JP2002341863A - 楽音制御システム、楽音制御装置および報知装置 - Google Patents

楽音制御システム、楽音制御装置および報知装置

Info

Publication number
JP2002341863A
JP2002341863A JP2001142282A JP2001142282A JP2002341863A JP 2002341863 A JP2002341863 A JP 2002341863A JP 2001142282 A JP2001142282 A JP 2001142282A JP 2001142282 A JP2001142282 A JP 2001142282A JP 2002341863 A JP2002341863 A JP 2002341863A
Authority
JP
Japan
Prior art keywords
operator
detection signal
tone
control
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001142282A
Other languages
English (en)
Other versions
JP3867515B2 (ja
Inventor
Yoshiki Nishitani
善樹 西谷
Satoshi Usa
聡史 宇佐
Eiko Kobayashi
詠子 小林
Akira Miki
晃 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2001142282A priority Critical patent/JP3867515B2/ja
Priority to GB0210133A priority patent/GB2377315B/en
Priority to US10/140,859 priority patent/US6933434B2/en
Publication of JP2002341863A publication Critical patent/JP2002341863A/ja
Application granted granted Critical
Publication of JP3867515B2 publication Critical patent/JP3867515B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/201User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/4013D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】 ユーザの動きや身体状態を反映して楽音発生
を制御する際に、ユーザの動きが停止した時等にもユー
ザの意図に沿わない制御がなされてしまうことを抑制す
る。 【解決手段】 この楽音発生システムは、操作者に携帯
される動作検出端末を備えており、この動作検出端末か
ら操作者の動作が検出されて楽音発生装置に送信され
る。楽音発生装置は、動作検出端末から供給される動作
検出信号に応じた、すなわち操作者の動作に応じて楽音
発生を行う。また、楽音発生装置では、上記動作検出信
号の絶対値レベルが閾値Sよりも大きいか否かを判断
し、閾値Sよりも小さくなっている期間が所定時間tを
越えた時点で、全ての楽音発生を停止する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ユーザの動作や身
体状態を反映した楽音発生制御を行う楽音制御システ
ム、楽音制御装置、および報知装置に関する。
【0002】
【従来の技術】オーディオ機器等の楽音発生装置では、
音色、音高、音量および効果といった4つの演奏パラメ
ータが決まると、所望の楽音を発音することができる。
MIDI(Musical Instrument Digital Interface)楽
器等の楽音発生装置では、楽曲データに基づいた楽曲の
演奏再生が行われ、ユーザは当該MIDI楽器の操作摘
みやボタン等を操作することにより、音量等の演奏パラ
メータを調整していた。
【0003】
【発明が解決しようとする課題】上述したようにMID
I楽器等の楽音発生装置では、所望の音量等を得るため
にユーザは操作摘み等の操作子を適宜調整している。ユ
ーザが楽音発生装置により再生された演奏を所望の音量
等で聴く場合には、操作摘みによる演奏パラメータの調
整方法は有効である。しかしながら、従来の楽音発生装
置では、楽曲データに基づいて忠実に楽曲の演奏再生す
る機能をユーザに提供することはできても、ユーザが楽
曲演奏に積極的に参加できるといった娯楽性をユーザに
提供することはできない。
【0004】そこで、ユーザの体に動作検出センサを取
り付け、これらのセンサがユーザの身体の動きを検出
し、その検出結果に応じて楽曲演奏を行うシステムが考
えられる。このようなシステムを用いることにより、ユ
ーザは音楽に合わせて踊るといった動作を行うわけでは
なく、ユーザが動くことによりMIDIデータ等に基づ
く楽曲演奏制御を行うことができ、新しい参加型音楽エ
ンターテイメントをユーザに提供することができる。
【0005】ところで、上記のようなユーザの動きを検
出し、該検出結果に応じた楽曲データに基づいた演奏を
行うといったシステムでは、ユーザが疲労等に起因して
体を動かすのを休止したりすると、楽曲演奏に支障を来
す場合がある。例えば、MIDIデータは、ノートオン
イベントデータによって楽音を発生させ、ノートオフイ
ベントデータによって楽音発生を停止するといったデー
タである。したがって、ユーザの動きに応じて逐次MI
DIイベントデータに応じたイベントを実行するといっ
た楽曲演奏制御を行う場合には、ユーザが途中で動作を
停止することにより、MIDIデータのノートオフイベ
ントデータが出力されず、ある音高のノートオンイベン
トデータによって発音された楽音がそのまま継続されて
出力されることになってしまう。このようなユーザの動
きが停止した後も発音が継続されてしまうといった問題
を防止するために、ユーザの動きが停止した時点で全て
の楽音発生を自動的に止めて終了するといった制御を行
うことが考えられる。しかしながら、例えば演奏楽曲が
「フェルマータ」といった記号で表される楽曲の途中や
終わりで拍子の運動を停止するといった部分を含んでい
る場合等には、ユーザがこの楽曲演奏を制御するために
あえて動きを停止しているのにも関わらず、自動的に全
ての発音が突然停止されて楽曲演奏が終了してしまうと
いったユーザの意図に合致しない制御がなされてしま
う。
【0006】本発明は、上記の事情を考慮してなされた
ものであり、ユーザの動きや身体状態を反映して楽音発
生を制御する際に、ユーザの動きが停止した時等にもユ
ーザの意図に沿わない制御がなされてしまうことを抑制
することができる楽音制御システム、楽音制御装置およ
び報知装置を提供することを目的とする。
【0007】
【課題を解決するための手段】上記課題を解決するた
め、本発明に係る楽音制御システムは、操作者に携帯可
能な手段であって、当該手段を携帯する操作者の動作に
応じた動作検出信号を生成して送信する動作検出手段
と、前記動作検出手段から送信される動作検出信号を受
信し、受信した動作検出信号に基づいて、楽音発生装置
から発生される楽音を制御する制御手段とを具備し、前
記制御手段は、受信した前記動作検出信号に基づいて前
記操作者が動いている状態にあるか否かを判別し、前記
操作者が動いていないと判別した場合に、その時点から
所定時間経過後に前記楽音発生装置からの楽音発生を停
止するための制御を行うことを特徴としている。
【0008】また、本発明に係る楽音制御システムは、
操作者に携帯可能な手段であって、当該手段を携帯する
操作者の動作に応じた動作検出信号を生成して送信する
動作検出手段と、前記動作検出手段から送信される動作
検出信号を受信し、受信した動作検出信号に基づいて、
楽音発生装置から発生される楽音を制御する制御手段と
を具備し、前記制御手段は、受信した前記動作検出信号
に基づいて前記操作者が動いている状態にあるか否かを
判別し、前記操作者が所定期間動いていないと判別した
場合に、前記楽音発生装置からの楽音発生を停止するた
めの制御を行うことを特徴としている。
【0009】これらの構成によれば、操作者が動作する
ことによってその動作が動作検出手段によって検出さ
れ、動作検出手段から送信される動作検出信号に応じて
楽音制御を行うことができる。このような楽音制御の際
に、動作検出手段から送信される動作検出信号に基づい
て、所定期間操作者の動きがないと判別された時点、も
しくは動きがないと判別された後所定時間経過後に楽音
発生が停止させられる。したがって、操作者が発生楽音
制御のために何らかの意図をもって動作を一時停止した
時点で直ちに楽音が停止したり、あるいは操作者が動作
を休止しているのに関わらず楽音発生が継続されてしま
うといった操作者の意図に沿わない楽音制御がなされて
しまうことを抑制することができる。
【0010】また、本発明に係る楽音制御システムは、
操作者に携帯可能な手段であって、当該手段を携帯する
操作者の動作に応じた動作検出信号を生成して送信する
動作検出手段と、前記動作検出手段から送信される動作
検出信号を受信し、受信した動作検出信号に基づいて、
楽音発生装置から発生される楽音を制御する制御手段
と、前記制御手段によって受信された前記動作検出信号
に基づいて前記操作者が動いている状態にあるか否かを
判別し、前記操作者が動いていないと判別した場合に、
その時点から所定時間経過後にその旨を前記操作者に報
知する報知手段とを具備することを特徴としている。
【0011】また、本発明に係る楽音制御システムは、
操作者に携帯可能な手段であって、当該手段を携帯する
操作者の動作に応じた動作検出信号を生成して送信する
動作検出手段と、前記動作検出手段から送信される動作
検出信号を受信し、受信した動作検出信号に基づいて、
楽音発生装置から発生される楽音を制御する制御手段
と、前記制御手段によって受信された前記動作検出信号
に基づいて前記操作者が動いている状態にあるか否かを
判別し、前記操作者が所定期間動いていないと判別した
場合に、その旨を前記操作者に報知する報知手段とを具
備することを特徴としている。
【0012】これらの構成によれば、操作者が動作する
ことによってその動作が動作検出手段によって検出さ
れ、動作検出手段から送信される動作検出信号に応じて
楽音制御を行うことができる。このような楽音制御の際
に、動作検出手段から送信される動作検出信号に基づい
て、所定期間操作者の動きがないと判別された時点、も
しくは動きがないと判別された後所定時間経過後に、動
作が停止した旨を操作者に報知することができる。した
がって、操作者が動作が停止しているといったことを認
識していないときに、楽音が突然停止したりするといっ
た操作者の意図に沿わない楽音制御がなされてしまうこ
とを抑制することができ、また運動再開を操作者に促す
こともできる。
【0013】また、本発明に係る楽音制御システムは、
操作者に携帯可能な手段であって、当該手段を携帯する
操作者の動作に応じた動作検出信号を生成して送信する
動作検出手段と、前記動作検出手段から送信される動作
検出信号を受信し、受信した動作検出信号に基づいて、
楽音発生装置から発生される楽音を制御する制御手段
と、前記制御手段によって受信された前記動作検出信号
に基づいて前記操作者が動いている状態にあるか否かを
判別し、前記操作者が動いていないと判別した場合に、
その旨を前記操作者に報知する報知手段と、前記制御手
段および前記報知手段を制御するための第1、第2、第
3および第4の制御モードのオン/オフを設定する設定
手段とを具備しており、前記設定手段によって前記第1
の制御モードがオンに設定されている場合には、前記制
御手段は、受信した前記動作検出信号に基づいて前記操
作者が動いている状態にあるか否かを判別し、前記操作
者が動いていないと判別した場合に、その時点から所定
時間経過後に前記楽音発生装置からの楽音発生を停止す
るための制御を行い、前記設定手段によって前記第2の
制御モードがオンに設定されている場合、前記制御手段
は、受信した前記動作検出信号に基づいて前記操作者が
動いている状態にあるか否かを判別し、前記操作者が所
定期間動いていないと判別した場合に、前記楽音発生装
置からの楽音発生を停止するための制御を行い、前記設
定手段によって前記第3の制御モードがオンに設定され
ている場合、前記報知手段は、前記制御手段によって受
信された前記動作検出信号に基づいて前記操作者が動い
ている状態にあるか否かを判別し、前記操作者が動いて
いないと判別した場合に、その時点から所定時間経過後
にその旨を前記操作者に報知し、前記設定手段によって
前記第4の制御モードがオンに設定されている場合、前
記報知手段は、前記制御手段によって受信された前記動
作検出信号に基づいて前記操作者が動いている状態にあ
るか否かを判別し、前記操作者が所定期間動いていない
と判別した場合に、その旨を前記操作者に報知すること
を特徴としている。
【0014】また、本発明に係る楽音制御システムは、
ユーザに装着される手段であって、当該手段が装着され
たユーザの身体状態を検出して身体検出信号を送信する
身体情報検出手段と、前記身体情報検出手段から送信さ
れる身体検出信号を受信し、受信した身体検出信号に基
づいて、楽音発生装置から発生される楽音を制御する制
御手段とを具備し、前記制御手段は、受信した前記身体
検出信号に示される前記ユーザの身体状態が予め設定さ
れた状態であるか否かを判別し、前記ユーザの身体状態
が予め設定された状態であると判別した場合に、その時
点から所定時間経過後に前記楽音発生装置からの楽音発
生を停止するための制御を行うことを特徴としている。
【0015】また、本発明に係る楽音制御システムは、
ユーザに装着される手段であって、当該手段が装着され
たユーザの身体状態を検出して身体検出信号を送信する
身体情報検出手段と、前記身体情報検出手段から送信さ
れる身体検出信号を受信し、受信した身体検出信号に基
づいて、楽音発生装置から発生される楽音を制御する制
御手段と、前記制御手段によって受信された前記身体検
出信号に示される前記ユーザの身体状態が予め設定され
た状態であるか否かを判別し、前記ユーザが予め設定さ
れた身体状態であると判別した場合に、その時点から所
定時間経過後にその旨を前記ユーザに報知する報知手段
とを具備することを特徴としている。
【0016】また、本発明に係る楽音制御装置は、操作
者の動作に応じた動作検出信号を受信し、受信した動作
検出信号に基づいて、楽音発生装置から発生される楽音
を制御する制御手段を具備し、前記制御手段は、受信し
た前記動作検出信号に基づいて前記操作者が動いている
状態にあるか否かを判別し、前記操作者が動いていない
と判別した場合に、その時点から所定時間経過後に前記
楽音発生装置からの楽音発生を停止するための制御を行
うことを特徴としている。
【0017】また、本発明に係る楽音制御装置は、操作
者の動作に応じた動作検出信号を受信し、受信した動作
検出信号に基づいて、楽音発生装置から発生される楽音
を制御する制御手段を具備し、前記制御手段は、受信し
た前記動作検出信号に基づいて前記操作者が動いている
状態にあるか否かを判別し、前記操作者が所定期間動い
ていないと判別した場合に、前記楽音発生装置からの楽
音発生を停止するための制御を行うことを特徴としてい
る。
【0018】また、本発明に係る報知装置は、ユーザの
動作に応じた動作検出信号を受信し、受信した動作検出
信号に基づいて、前記ユーザが動いている状態にあるか
否かを判別し、前記ユーザが動いていないと判別した場
合に、その時点から所定時間経過後にその旨を前記ユー
ザに報知する報知手段を具備することを特徴としてい
る。
【0019】また、本発明に係る報知装置は、ユーザの
動作に応じた動作検出信号を受信し、受信した動作検出
信号に基づいて、前記ユーザが動いている状態にあるか
否かを判別し、前記ユーザが所定期間動いていないと判
別した場合に、その旨を前記ユーザに報知する報知手段
を具備することを特徴としている。
【0020】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態について説明する。 A.楽音発生システム まず、図1は本発明の一実施形態に係る楽音発生システ
ムの概略機能構成を示す図である。同図に示すように、
楽音発生システム(楽音制御システム)3は、楽音発生
装置4と、動作検出端末5とを備えている。
【0021】動作検出端末5は、操作者の手に把持され
る、もしくは身体の一部に装着される等といったように
操作者に携帯可能な端末である。使用時には、動作検出
端末5は、操作者に携帯され、携帯している操作者の動
きを検出して動作検出信号を生成する動作センサMSを
備えている。ここで、動作センサMSとしては、3次元
加速度センサ、3次元速度センサ、2次元加速度セン
サ、2次元速度センサまたは歪み検出器等の公知の種々
の動作検出センサを用いることができる。
【0022】また、動作検出端末5は、楽音発生装置4
にデータを無線送信するための無線送信部20を搭載し
ており、上述したように動作センサMSにより生成され
た操作者の動きに応じた動作検出信号を逐次楽音発生装
置4に無線送信する。
【0023】楽音発生装置4は、無線受信部22と、情
報解析部23と、演奏パラメータ決定部24と、楽音発
生部25と、無動作時処理部27と、サウンドスピーカ
システム26とを備えている。
【0024】無線受信部22は、動作検出端末5から無
線送信される動作検出信号を受信し、受信した動作検出
信号を情報解析部23に出力する。情報解析部23は、
無線受信部22から供給された運動情報に対して所定の
解析処理を行い、当該解析結果を演奏パラメータ決定部
24に出力する。
【0025】演奏パラメータ決定部24は、情報解析部
23から供給される運動情報の解析結果に応じて楽音の
演奏パラメータ、例えば、楽音の音量やテンポ等のパラ
メータを決定する。楽音発生部25は、予め記憶してい
る楽曲データ(例えば、MIDIデータなど)に基づい
て楽音信号を生成する。楽音発生部25は、この楽音信
号生成の際に、上述した演奏パラメータ決定部24によ
って決定された楽音の演奏パラメータに応じて楽音信号
を調整し、調整後の楽音信号をサウンドスピーカシステ
ム26に出力する。サウンドスピーカシステム26は、
楽音発生部25から供給された調整後の楽音信号に応じ
た楽音を発音し、これにより楽曲の演奏再生が行われ
る。無動作時処理部27は、情報解析部23の解析結果
から動作検出端末5を携帯する操作者が動いているか否
かを判別し、動いていない場合には楽音発生を停止させ
る制御処理を行う。
【0026】楽音発生システム3は、上記のような機能
を備えることにより、単なる楽曲データに忠実な演奏再
生ではなく、動作検出端末5を携帯した操作者の動きを
反映したオリジナルの楽曲の演奏再生を行うことができ
る。以下、このような機能を実現するための動作検出端
末5および楽音発生装置4の構成について詳細に説明す
る。
【0027】B.動作検出端末 図2は、動作検出端末5の構成例を示すブロック図であ
る。同図に示すように、動作検出端末5は、動作センサ
MSの外に信号処理及び送信装置を備え、信号処理及び
送信装置は、送信機中央処理装置(送信機CPU(Cent
ral ProcessingUnit))T0、メモリT1、高周波トラ
ンスミッタT2、表示ユニットT3、送信用電力増幅器
T5、操作スイッチT6等から構成される。動作センサ
MSは、演奏参加者である操作者が手に把持したり或い
は操作者の身体の任意箇所に取り付けたりすることがで
きる構造であるが、その外観構造例に関しての詳細は後
述する。例えば、動作センサMSを手持ちタイプにする
場合、信号処理及び送信装置を動作センサMSと共にセ
ンサ筐体内に組み込むことができる(図3参照)。
【0028】送信機CPUT0は、メモリT1に記録さ
れた送信機動作プログラムに基づいて、動作センサM
S、高周波トランスミッタT2、表示ユニットT3を制
御する。動作センサMSからの検出信号は、送信機CP
UT0により、IDナンバの付加処理等の所定の処理が
施され、高周波トランスミッタT2に伝送され、さら
に、送信用電力増幅器T5で増幅された上、送信アンテ
ナTAを介して楽音発生装置4a側に無線送信される。
つまり、送信機CPUT0、メモリT1、高周波トラン
スミッタT2、送信用電力増幅器T5および送信アンテ
ナTAは、図1に示す無線送信部20を構成している。
なお、送信機CPUT0によるIDナンバの付与は、複
数の動作検出端末5を使用する場合に、どの動作検出端
末5からの検出信号であるかを楽音発生装置4が識別す
るために用いる識別情報であり、単一の動作検出端末5
のみを用いる構成であれば、IDナンバを付与する処理
を割愛してもよい。
【0029】表示ユニットT3は、例えば、7セグメン
ト形式のLED(Light Emitting Diode)又はLCD
(Liquid Crystal Display)表示器や1個乃至複数個の
LED発光器等を備え、センサナンバ、動作中、電源ア
ラーム等の各種情報を表示する。操作スイッチT6は、
当該動作検出端末5の電源のオン/オフやモード設定等
の各種設定を行うために用いられるスイッチである。こ
れらの各構成要素には、図示せぬ電池電源から駆動電力
が供給されるが、このような電池電源としては、一次電
池を用いるようにしてもよいし、充電可能な二次電池を
用いるようにしてもよい。
【0030】ここで、図3は動作検出端末5の外観の構
成例を示す図である。同図は、バトン形の手持ちタイプ
の外観構成例である。この動作検出端末5は、操作部及
び表示部を除く図2に示す諸装置を内蔵している。内蔵
される動作センサMSには、例えば、3次元加速度セン
サや3次元速度センサ等の3次元センサが用いられ、こ
の動作検出端末5を演奏参加者が手に持って操作するこ
とにより、その操作の方向、大きさおよび速度に応じた
運動情報を出力することができる。
【0031】この動作検出端末5の外観構造は、図示の
ように、両端側が大径で中央側が小径のテーパ状をなす
基部(図示左寄り)及び端部(図示右寄り)から成り,
基部は、平均径が端部より小さく手で握りやすくなって
おり、把持部として機能する。底部(図示左端)外面に
は表示ユニットT3のLED表示器TDや電池電源の電
源スイッチTSが設けられ、中央部外面には操作スイッ
チT6が設けられ、端部の先端近傍には表示ユニットT
3の複数個のLED発光器TLが設けられる。
【0032】図3に示すバトン形の動作検出端末5は、
演奏参加者がバトンの基部を手で握って操作すると、内
蔵された3次元センサから操作方向と操作力に応じた信
号が出力される。例えば、操作スイッチT6の取付方向
にx方向の検出軸を合わせて3次元加速度センサが内蔵
されている場合、バトンを操作スイッチT6の取付位置
が上になるように持って上下に振ると、振り加速度
(力)に応じたX方向の加速度αxを表わす信号出力が
発生し、バトンを左右(紙面に垂直方向)に振ると、振
り加速度(力)に応じたy方向の加速度αyを表わす信
号出力が発生し、バトンを前後(紙面の左右)に突いた
り引いたりすると、突き加速度或いは引き加速度に応じ
たz方向の加速度αzを表わす信号出力が発生する。こ
のように発生した信号出力である動作検出信号が上述し
た無線送信機能により楽音発生装置4側に送信される。
【0033】なお、動作検出端末5は、このようなバト
ン形状であって操作者の手に把持されるものに限らず、
バンド等を用いて腕や足に装着するタイプのものであっ
てもよいし、その形状や操作者への取り付け方等は任意
であり、その形状も任意のものを使用することができ
る。
【0034】C.楽音発生装置 次に、図4は、楽音発生装置4のハードウェア構成例を
示すブロック図である。同図に示すように、この楽音発
生装置4は、本体中央処理装置(本体CPU)10、R
OM(Read Only Memory)11、RAM(Random Acces
s Memory)12、外部記憶装置13、タイマ14、第1
及び第2の検出回路15、16、表示回路17、音源回
路18、効果回路19、受信処理回路10a等を備え、
これらの各装置10〜10aは、バス10bを介して互
いに接続されている。
【0035】楽音発生装置4全体を制御する本体CPU
10は、テンポクロックや割り込みクロックの発生等に
利用されるタイマ14による時間管理の下、所定のプロ
グラムに従って種々の制御を行うものであり、演奏パラ
メータの決定や演奏データ変更、再生制御および無動作
時の制御に関する演奏処理制御プログラムを中枢的に遂
行する。ROM11には、楽音発生装置4を制御するた
めの所定の制御プログラムが記憶されており、これらの
制御プログラムには、演奏パラメータ決定や演奏データ
変更、再生制御および無動作時の制御に関する演奏処理
プログラム、各種データ/テーブル等を含ませることが
できる。RAM12は、これらの処理に際して必要なデ
ータやパラメータを記憶し、また、処理中の各種データ
を一時記憶するためのワーク領域として用いられる。
【0036】第1の検出回路15にはキーボード10e
が接続され、第2の検出回路16には、マウス等のポイ
ンティングデバイス10fが接続され、表示回路17に
はディスプレイ10gが接続される。これにより、ディ
スプレイ10gに表示される各種画面を視認しつつキー
ボード10eやポインティングデバイス10fを操作
し、楽音発生装置4での演奏データ制御に必要な各種モ
ードの設定、動作検出端末5が複数ある場合には、複数
の動作検出端末5を識別するIDナンバに対応する処理
・機能の割り当て、演奏トラックへの音色(音源)・設
定等、種々の設定操作を行うことができる。
【0037】受信処理回路10aには、アンテナ分配回
路10hが接続され、このアンテナ分配回路10hは、
例えば、多チャンネル高周波レシーバで構成され、複数
の動作検出端末5からの無線送信される動作検出信号を
受信アンテナRAを介して受信する。受信処理回路10
aは、受信信号を楽音発生装置4で処理可能な情報に変
換して装置に取り込み、RAM12の所定領域に格納す
る。つまり、受信処理回路10aアンテナ分配回路10
hおよび受信アンテナRAは、図1に示す無線受信部2
2を構成している。
【0038】本体CPU10は、上述した制御プログラ
ムにしたがった演奏処理を行い、各動作検出端末5を所
持する操作者の身体の動作を表わす動作検出信号を解析
し、当該解析結果に基づいて演奏パラメータを決定す
る。また、本体CPU10は、動作検出端末5から供給
される動作検出信号の解析結果から操作者が動いていな
いと判別した時、つまり無動作検出時には特別の制御処
理を行う。すなわち、本体CPU10等が図1に示す情
報解析部23および演奏パラメータ決定部24を構成し
ている。なお、ここでの演奏パラメータの決定処理およ
び無動作時の処理等についての詳細は後述する。
【0039】DSP(Digital Signal Processing)等
で構成される効果回路19は、音源回路18及び本体C
PU10と共に、図1に示す楽音発生部25の機能を実
現するものであり、設定された演奏パラメータに基づい
て、演奏される演奏データを制御することにより、演奏
参加者の動きに応じて演出処理された演奏データを生成
する。サウンドスピーカシステム26は、このように演
出処理された演奏データに基づく楽音信号に応じて演奏
楽音を放音する。
【0040】外部記憶装置13は、ハードディスクドラ
イブ(HDD)、コンパクトディスク・リード・オンリ
イ・メモリ(CD−ROM)ドライブ、フロッピィデイ
スクドライブ(FDD)、光磁気(MO)ディスクドラ
イブ、ディジタル多目的ディスク(DVD)ドライブ等
の記憶装置から成り、各種制御プログラムや楽曲データ
等の各種データを記憶することができる。従って、演奏
パラメータ決定や演奏データ変更、再生制御および無動
作検出時の処理に必要な制御プログラムや各種データ等
は、ROM11を利用するだけでなく、外部記憶装置1
3からRAM12内に読み込むことができ、必要に応じ
て、処理結果を外部記憶装置13に記録しておくことも
できる。
【0041】D.解析処理およびパラメータ決定処理 上述したように、楽音発生システム3では、無線受信部
22により受信された各動作検出端末5からの動作検出
信号に対して情報解析部23が所定の解析処理を行い、
当該解析結果に基づいて演奏パラメータ決定部24が演
奏パラメータを決定している。ここで、動作検出信号を
どのように解析して、その解析結果をどの演奏パラメー
タ決定の要素とするかは任意であり、使用する動作検出
端末5の形状タイプ(バトン形タイプや、足などに装着
するタイプ)や、動作検出端末5が搭載する動作センサ
MSの種類(2次元センサや3次元センサ)などに応じ
て適宜設定するようにすればよいが、以下、動作センサ
MSとして3次元センサを用いた場合の解析処理および
パラメータ決定処理の一例について説明する。
【0042】図5は、3次元センサを使用して楽曲演奏
の演出を行う場合の機能ブロック図を示す。3次元セン
サを使用する場合には、図3で説明したバトン形の動作
検出端末5に搭載される動作センサMSとして3次元セ
ンサが内蔵され、これらの動作検出端末5を各操作者が
手あるいは両手に持って操作することにより、操作方向
と操作力に応じた動作検出信号を出力することができ
る。
【0043】ここで、3次元センサとして3次元加速度
センサを用いる場合には、各動作検出端末5における動
作センサMSのx軸検出部SX、y軸検出部SYおよび
z軸検出部SZから、それぞれ、x(上下)方向の加速
度αx、y(左右)方向の加速度αyおよびz(前後)
方向の加速度αzを表わす信号Mx,My,Mzが各動作
検出端末5a-1〜動作検出端末5a-nそれぞれのIDナ
ンバが付加されて楽音発生装置4aに無線出力される。
楽音発生装置4aでは、予め設定されたIDナンバがこれ
らの信号に付加されていることを確認すると、各軸の加
速度データが無線受信部22を介して情報解析部23に
出力される。
【0044】情報解析部23においては、各軸加速度デ
ータが解析され、まず、次式(1)で表わされる加速度
の絶対値|α|が求められる。 |α|=(αx*αx+αy*αy+αz*αz)1/2 ……(1) 次に、加速度αx、αyと、加速度αzとを比較する。
例えば、αx<αz、且つ、αy<αzの関係が成立す
るとき、つまり、z方向加速度αzがx、y方向加速度
αx、αyより大きいときは、バトンを突く「突き動
作」であると判別する。
【0045】逆に、z方向加速度αzがx、y方向加速
度αx、αyより小さいときには、バトンにより空気を
切りさく「切り動作」であると判別する。この場合、さ
らに、x、y方向加速度αx,αyの値を互いに比較す
ることにより、「切り動作」の方向が「たて」(x)な
のか「よこ」(y))なのかを判別することができる。
【0046】また、各軸x、y、z方向成分相互の比較
だけでなく、各方向成分αx、αy、αz自体の大きさ
と所定のしきい値とを比較し、しきい値以上であれば、
これらの動作を組み合わせた「組合せ動作」であると判
別することができる。例えば、αz>αx、αy、且
つ、αx>「x成分のしきい値」であれは「たて(x方
向)に切りつつ、突く動作」と判別し、αz<αx、α
y、αx>「x成分のしきい値」且つ、αy>「y成分
のしきい値」であれば、「斜め(x、y両方向)切り動
作」であると判別する。さらに、X方向およびy方向の
加速度αx、αyの値が、円軌跡を描くように相対的に
変化して行く現象を検出することにより、バトンをぐる
ぐると回す「回し動作」を判別することができる。
【0047】演奏パラメータ決定部24では、これらの
判別出力に応じて種々の演奏パラメータを決定し、楽音
発生部25において、決定された演奏パラメータに基づ
いて演奏データを制御し、サウンドスピーカシステム2
6を介して楽音演奏の出力を行う。例えば、加速度絶対
値|α|或いは各方向成分αx、αy、αzのうち最大
を示す成分の大きさに応じて演奏データの音量を制御す
る。
【0048】また、情報解析部23による解析処理の判
定結果に基づいて他のパラメータを次のように制御す
る。例えば、「たて(x方向)切り動作」の周期に応じ
てテンポを制御する。これとは別に、「たて切り動作」
が素早く小さい動作であればアーティキュレーションを
与え、ゆっくりと大きい動作であればピッチ(音高)を
下げる。また、「よこ(y方向)切り動作」の判別によ
りスラー効果を与える。「突き動作」を判別したとき
は、そのタイミングで、楽音発生タイミングを縮めてス
タッカート効果を与えたり、大きさに応じた単発音(打
楽器音、掛け声等)を楽音演奏に挿入し、「突き動作」
との「組み合わせ動作」を判別したときは、上述の制御
を併用する。また、「回し動作」を判別したときは、周
期が大きい場合は大きさに応じて残響効果を高めたり、
周期が小さい場合は周期に応じてトリルを発生させるよ
うに制御する。
【0049】なお、このような制御を行う以外にも、各
軸の加速度のローカルピーク値やローカルピークの鋭さ
を示すピークQ値、ローカルピーク間の時間間隔を表わ
すピークインターバル、ローカルピーク間の谷の深さ、
ピークの高周波成分の強さ、加速度α(t)のローカル
ピークの極性等を抽出し、ピーク発生時刻に応じて演奏
楽曲の拍タイミングを制御し、ローカルピーク値に応じ
てダイナミクスを制御し、ピークQ値に応じてアーティ
キュレーションARを制御する、等の制御を行う。
【0050】そして、楽音発生システム3が演奏再生を
行う場合には、上述したように動作検出端末5からの送
信された動作検出信号を解析して演奏パラメータを決定
し、決定した演奏パラメータに応じてMIDIデータ等
の楽曲データに応じて生成した楽音信号を制御する。こ
れにより、動作検出端末5を携帯した操作者の動きを反
映した演奏再生が可能となる。
【0051】E.無動作検出時の処理 動作検出端末5を携帯する操作者が楽曲演奏を行うため
に何らかの動作を行っている間は、上述したように操作
者の動作に対応した演奏パラメータが決定されて、その
動きがMIDIデータ等の楽曲データの演奏再生に反映
されることになる。このような操作者の動作に応じた楽
音発生処理を行うシステムにおいては、ある楽曲の演奏
途中であっても操作者が疲労等に起因して動作を休止し
たりすることも考えられる。したがって、本実施形態に
係る楽音発生システム3の楽音発生装置4の無動作時処
理部27は、動作検出端末5から無線受信部22を介し
て供給される動作検出信号に基づいて、操作者が動いて
いるか否かを判別し、動いていないと判別した場合に
は、現在発生している楽音を全て停止するといった制御
を行うようになっている。以下、無動作時処理部27に
よって周期的に実行される無動作検出処理について図6
を参照しながら説明する。
【0052】まず、動作検出端末5からの動作検出信号
によって現在操作者が停止している状態であるか否かを
示すフラグがオンであるか否かを判別する(ステップS
a1)。ここで、当該フラグは、操作者が動作していな
い状態が検出されるとオンに設定され、動作している状
態が検出されるとオフに設定されるものである。上記の
ようなフラグがオンであるか否かの判別において、フラ
グがオフの場合には、動作検出端末5の動作センサMS
によって検出されて無線送信された動作検出信号のレベ
ル値と、予め設定された閾値とを比較し(ステップSa
2)、動作検出端末5から供給される動作検出信号のレ
ベル値が閾値より大きい場合には、当該無動作検出処理
を終了する。一方、動作検出端末5から供給される動作
検出信号のレベル値が閾値より小さい(未満)場合に
は、操作者が動作していない状態であることを示す上記
フラグをオンに設定する(ステップSa3)。そして、
所定時間(例えば、0.5秒)にタイマをセットし(ス
テップSa4)、当該無動作検出処理を終了する。
【0053】一方、ステップSa1におけるフラグがオ
ンであるか否かの判別において、フラグがオンであると
判別された場合には、タイマのカウントがアップしたか
否か、すなわち操作者が動いていないと判断されてから
所定時間が経過したか否かを判別する(ステップSa
5)。ここで、タイマがアップした場合には、楽音発生
部25が現在発音している全ての楽音の発音停止を指示
する制御情報を生成し、この制御情報を楽音発生部25
に出力する(ステップSa6)。この結果、楽音発生部
25による楽音発生が強制的に終了する。ここで、楽音
発生部25がMIDIデータに基づいて楽曲再生を行う
ものである場合、無動作時処理部27はオールノートオ
フメッセージを生成し、これを楽音発生部25に出力す
るようにすればよい。このように全ての楽音の発生停止
制御を行うと、フラグをオフに設定し(ステップSa
7)、当該無動作検出処理を終了する。
【0054】また、ステップSa5の判別において、タ
イマがアップしていない、すなわち操作者が動いていな
いと判断されてから所定時間が経過していないと判別さ
れた場合には、タイマを当該無動作検出処理を行う1周
期分の時間だけデクリメントし(ステップSa8)、当
該無動作検出処理を終了する。
【0055】無動作時処理部27は、このような無動作
検出処理を周期的に実行することにより、所定時間(例
えば、0.5秒)の間、動作検出端末5を携帯する操作
者の動きが停止(ほぼ停止)した場合には、それまでの
操作者の動きを反映して制御されていた楽音の発生を強
制的に全て停止する制御を行うことができる。例えば、
操作者が携帯する動作検出端末5の動作センサMSのセ
ンサ出力レベルの絶対値が図7に示すように推移した場
合には、その絶対値が所定の閾値Sよりも小さくなる期
間が所定時間tに達した時点で、全楽音の発生を停止す
る制御が行われる。
【0056】このように操作者が動きを所定期間にわた
って停止した場合に、全楽音の発生を停止することによ
り、次のような効果が得られる。すなわち、操作者の動
き応じてMIDIデータに基づいた演奏を行うといった
システムでは、ユーザが疲労等に起因して体を動かすの
を休止したりすると、既に発音中のノートに対してノー
トオフイベントデータが出力されず、発音中の楽音がそ
のまま継続されて出力されるといった操作者の意図に沿
わない楽音制御がなされてしまう。一方、このような発
音継続を防止するために、操作者が動きを停止した時点
で直ちに全楽音の発生を停止するといったことも考えら
れるが、演奏楽曲が「フェルマータ」といった楽曲の途
中や終わりで拍子の運動を停止するといった部分を含ん
でいる場合等には、操作者がこの楽曲演奏を制御するた
めに意図的に動きを停止しているのにも関わらず、自動
的に全ての発音が突然停止されて楽曲演奏が終了してし
まうといった操作者の意図に合致しない制御がなされて
しまう。これに対し、本実施形態では、無動作時処理部
27が操作者が動きを停止した直後ではなく、上記のよ
うに所定期間にわたって操作者が動きを停止した場合に
全楽音の発生を停止するようにしている。したがって、
上記のように操作者が疲労等により動きを停止している
にも関わらず、楽音発生が継続されてしまったり、また
操作者が楽音制御のための意図的に動きを一時的に停止
しているにも関わらず、全楽音の発生が強制的に停止し
たりするといった操作者の意図に沿わない制御が行われ
てしまうことを抑制することができる。
【0057】F.変形例 なお、本発明は、上述した実施形態に限定されるもので
はなく、以下に例示するような種々の変形が可能であ
る。
【0058】(変形例1)上述した実施形態では、動作
検出端末5から供給される動作検出信号に基づいて、操
作者が所定期間にわたって動いていないと判断された場
合に、全楽音の発生を停止するようにしていたが、上記
のように操作者が所定期間にわたって動いていないと判
断された回数が所定の回数(例えば、3回)に達した時
点で全楽音発生を停止するようにしてもよい。このよう
にすれば、例えば1度疲労により操作者が動きを停止し
た場合にも全楽音の発生が停止されずに楽曲演奏が継続
されるので、操作者が一度休止した後再度動きを開始し
た場合には、動作を反映させた楽曲演奏を継続すること
ができる。楽曲の内容によっては操作者が動きを止めて
休息する回数が多くなる傾向の楽曲もあれば、少なくな
る傾向の楽曲もあるので、上記所定の回数を楽曲毎に設
定できるようにしておけばよい。
【0059】(変形例2)また、上述した実施形態で
は、動作検出端末5から供給される動作検出信号に基づ
いて、操作者が所定期間にわたって動いていないと判断
された場合に、全楽音の発生を停止するようにしていた
が、操作者が動いていないと判断した時点(図7の場
合、信号のレベル値の絶対値が閾値Sよりも小さくなっ
た時点で)から所定時間経過後に、その後の操作者の動
きに関わらず自動的に全楽音の発生を停止するといった
制御を行うようにしてもよい。この場合にも、操作者が
動いていないと判断した回数、すなわち動作検出端末5
からの動作検出信号のレベル値の絶対値が閾値Sよりも
小さくなった回数が所定の回数に達した時点で全楽音発
生を停止するようにしてもよい。
【0060】(変形例3)また、上述した実施形態で
は、動作検出端末5から供給される動作検出信号に基づ
いて、操作者が所定期間にわたって動いていないと判断
された場合に、全楽音の発生を停止するようにしていた
が、無動作時処理部27(図1参照)が楽音発生を停止
せずに動きの止まっている操作者に対し動きが止まって
いる旨を報知する処理を実行するようにしてもよい。こ
の場合、上述した無動作検出処理(図6参照)のステッ
プSa6の全楽音発生を停止する制御に代えて、操作者
に動きが停止している旨を報知するための種々の処理を
行うようにすればよい。
【0061】操作者に動きが停止している旨を報知する
方法としては、警告音を発したり、警告メッセージの音
声ガイダンスを再生したりする操作者の聴覚を利用して
報知する方法があり、このように聴覚を利用する場合、
別途警告音用の音源等を設けずにMIDIデータ等に基
づく楽曲の再生音量を上げたり、下げたりすることによ
り報知するようにしてもよい。また、楽音発生装置4の
ディスプレイ10gに警告メッセージを表示したり、動
作検出端末5の表示ユニットT3に警告用の発光等を行
わせたりし、操作者の視覚を利用して報知するようにし
てもよい。操作者が停止していることを報知するために
動作検出端末5の表示ユニットT3を発光させる場合に
は、動作検出端末5に無線受信機能を搭載し、楽音発生
装置4から警告発光のための制御信号を動作検出端末5
に対して無線送信する必要がある。また、動作検出端末
5に振動モータ等を搭載し、動きが停止している旨を操
作者に報知する際に、楽音発生装置4から動作検出端末
5に対して制御信号を無線送信し、上記振動モータを振
動させるといったように触覚を利用して操作者に報知す
るようにしてもよい。
【0062】上述したように操作者に動きが所定期間停
止した場合に、その旨を操作者に報知することにより、
楽音制御のために操作者に動作を行うように促すことが
できる。このようにすることで、操作者が動作を停止し
た瞬間に楽音発生が全て停止したりするといった操作者
の意図に沿わない楽音制御が行われてしまうことを抑制
することができる。また、楽音発生は継続されているの
で操作者は再度動作を行うことにより、再度楽曲演奏に
参加することができる。例えば、リハビリテーション等
にこのような楽音発生システムを利用すれば、リハビリ
テーションの対象者である操作者は、運動するといった
リハビリテーションを、楽曲演奏に参加するといった娯
楽を楽しみながら行うことができる。この際、運動を所
定期間にわたって停止した場合には、その旨を操作者に
報知することができ、リハビリテーション対象者である
操作者に対して運動の再開を促すことができる。
【0063】また、自動車等の運転中に当該楽音発生シ
ステムを利用すれば、操作者(自動車の運転者)の動き
が所定期間にわたって停止等した場合に、警告音の発生
や警告メッセージガイダンスの再生等の処理を行うこと
により、操作者が居眠り運転してしまうといったことを
抑制することができる。
【0064】なお、上記のように所定期間にわたって操
作者の動きがないと判断した場合に、その旨を操作者に
報知するようにしてもよいが、上記変形例で説明したよ
うに、操作者が動いていないと判断した時点(図7の場
合、信号のレベル値の絶対値が閾値Sよりも小さくなっ
た時点で)から所定時間経過後に、その後の操作者の動
きに関わらず、動作が停止した旨を操作者に報知するよ
うにしてもよい。
【0065】また、操作者が所定期間にわたって動いて
いないと判断された回数が所定の回数(例えば、3回)
に達した時点で、動きが停止している旨を操作者に報知
するようにしてもよい。
【0066】(変形例4)また、操作者の動きが所定期
間にわたって停止した時点、もしくは操作者の動きが停
止したと判断した時点から所定時間経過した時点で、無
動作時処理部27が動作が停止している旨を操作者に報
知する制御を行うとともに、一旦全ての楽音の発生を中
断するように楽音発生部25を制御し、その後所定時間
が経過した時点もしくは動作検出端末5からの動作検出
信号の絶対値が操作者が動いていると判断できるレベル
に達した時点で再度楽曲演奏を再開するように楽音発生
部25を制御するようにしてもよい。このように楽曲演
奏を再開する場合には、無動作時処理部27は、まず比
較的遅い再生テンポで楽曲演奏がなされるように楽音発
生部25を制御し、その再生テンポから時間経過に伴っ
て徐々に再生テンポが速くなるように楽音発生部25を
制御するようにすればよい。このように再生テンポを制
御することにより、例えば疲労等に起因して動作を一旦
停止した操作者が再度動作を開始した際に、ゆっくりと
した再生テンポに合わせて動作する、すなわちゆっくり
とした動作で楽曲演奏への参加を再開することができ
る。
【0067】(変形例5)また、上述した実施形態およ
び様々な変形例では、操作者の動きが所定期間にわたっ
て停止した時点、もしくは操作者の動きが停止したと判
断した時点から所定時間経過した時点で、楽音を停止し
たり、運動停止を操作者に報知したりといった処理を行
うようにしていたが、これらの様々な楽音停止制御や報
知制御のいずれを実行するかを操作者が選択できるよう
にしてもよい。例えば、上述した実施形態で説明した所
定期間にわたって動作がないと判断した時点で全ての楽
音発生を停止する制御を実行するモード、上記変形例2
で説明した操作者が動いていないと判断した時点から所
定時間経過後に自動的に全楽音の発生を停止する制御を
実行するモード、上記変形例3で説明した所定期間にわ
たって動作がないと判断した時点でその旨を操作者に報
知する制御を実行するモード、および操作者が動いてい
ないと判断した時点から所定時間経過後に自動的にその
旨を操作者に報知する制御を実行するモードといった4
つのモードを選択して実行できるようにしてもよい。こ
の場合、操作者が所望のモードのオン/オフを適宜選択
(2つ以上同時にオンも可)して設定することができる
ようにし、無動作検出時の処理としてはオン設定された
モードに対応する制御を行うようにすればよい。このよ
うにすれば、操作者は演奏する楽曲に応じて上記のよう
な種々の制御モードを選択することができる。
【0068】(変形例6)また、上述した実施形態で
は、三次元加速度センサ等から構成される動作センサM
Sが操作者の動作に応じて動作検出信号を取得し、これ
を動作検出端末5から楽音発生装置4に出力して、操作
者が動いているか否かを判別して楽音制御等を行うよう
にしていたが、このような動作センサMSに代えて、脈
拍、体温、皮膚間抵抗、脳波、呼吸および眼球移動等の
人の身体情報を検出する身体情報検出センサを用いるよ
うにし、当該身体情報検出センサによって検出された身
体検出信号に基づいて、楽音発生装置4が楽音発生を制
御するようにしてもよい。この場合にも、身体情報検出
センサによって検出された身体検出信号に示される身体
情報が所定の範囲(例えば、脈拍の場合には、通常の一
般的な脈拍数より非常に多い、もしくは非常に少ない)
にある場合に、上述した実施形態や様々な変形例と同様
に、楽音発生を全て停止したり、警告等によりユーザに
報知するようにしてもよい。このようにすれば、身体情
報検出センサを装着したユーザの身体に異常等の兆しが
見られた時点で、楽音を停止するもしくは警告等をする
ことにより、その旨をユーザに伝えることができ、ユー
ザに無理な運動を強いたりすることを抑制することがで
きる。
【0069】また、上述した実施形態と同様に、動作セ
ンサMSを搭載した動作検出端末5を用いて操作者の動
作に応じて楽音発生制御を行いつつ、上記のような身体
情報検出センサを当該操作者に装着して、動きが停止し
た場合や、身体情報が異常の兆しを見せた時点で楽音発
生を停止したり、警告を発するようにしてもよい。
【0070】(変形例7)上述した実施形態において
は、動作検出端末5に搭載される動作センサMSの検出
結果を楽音発生装置4に対して無線送信するようにして
いたが、これに限らず、動作検出端末5および楽音発生
装置4を信号ケーブル等で接続し、当該信号ケーブルを
介して動作検出端末5から楽音発生装置4に対して動作
センサMSの検出結果を送信するようにしてもよい。ま
た、上記実施形態のように動作検出端末5と楽音発生装
置4を別体として構成せずに、両者を一体のシステムと
して構成するようにしてもよい。
【0071】(変形例8)なお、上述したような演奏パ
ラメータ決定や演奏データ変更、再生制御および無動作
検出時の処理ををコンピュータに実現させるためのプロ
グラムを記録したCD−ROMやフロッピー(登録商
標)ディスク等の様々な記録媒体をユーザに提供するよ
うにしてもよいし、インターネット等の伝送媒体を介し
てユーザに提供するようにしてもよい。
【0072】
【発明の効果】以上説明したように、本発明によれば、
ユーザの動きや身体状態を反映して楽音発生を制御する
際に、ユーザの動きが停止した時等にもユーザの意図に
沿わない制御がなされてしまうことを抑制することがで
きる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係る楽音発生システム
の概略機能構成を示すブロック図である。
【図2】 前記楽音発生システムの構成要素である動作
検出端末のハードウェア構成例を示すブロック図であ
る。
【図3】 前記動作検出端末の外観を示す図である。
【図4】 前記楽音発生システムの構成要素である楽音
発生装置のハードウェア構成例を示すブロック図であ
る。
【図5】 前記楽音発生システムによる解析処理および
パラメータ決定処理の一例を説明するための図である。
【図6】 前記楽音発生装置による無動作検出時の処理
手順を示すフローチャートである。
【図7】 前記無動作検出時の処理を説明するための図
である。
【符号の説明】
3……楽音発生システム、4……楽音発生装置、5……
動作検出端末、20……無線送信部、22……無線受信
部、23……情報解析部、24……演奏パラメータ決定
部、25……楽音発生部、26……サウンドスピーカシ
ステム、27……無動作時処理部、MS……動作センサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小林 詠子 静岡県浜松市中沢町10番1号 ヤマハ株式 会社内 (72)発明者 三木 晃 静岡県浜松市中沢町10番1号 ヤマハ株式 会社内 Fターム(参考) 5D378 QQ01 SC06 SF02 SF15

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 操作者に携帯可能な手段であって、当該
    手段を携帯する操作者の動作に応じた動作検出信号を生
    成して送信する動作検出手段と、 前記動作検出手段から送信される動作検出信号を受信
    し、受信した動作検出信号に基づいて、楽音発生装置か
    ら発生される楽音を制御する制御手段とを具備し、 前記制御手段は、受信した前記動作検出信号に基づいて
    前記操作者が動いている状態にあるか否かを判別し、前
    記操作者が動いていないと判別した場合に、その時点か
    ら所定時間経過後に前記楽音発生装置からの楽音発生を
    停止するための制御を行うことを特徴とする楽音制御シ
    ステム。
  2. 【請求項2】 操作者に携帯可能な手段であって、当該
    手段を携帯する操作者の動作に応じた動作検出信号を生
    成して送信する動作検出手段と、 前記動作検出手段から送信される動作検出信号を受信
    し、受信した動作検出信号に基づいて、楽音発生装置か
    ら発生される楽音を制御する制御手段とを具備し、 前記制御手段は、受信した前記動作検出信号に基づいて
    前記操作者が動いている状態にあるか否かを判別し、前
    記操作者が所定期間動いていないと判別した場合に、前
    記楽音発生装置からの楽音発生を停止するための制御を
    行うことを特徴とする楽音制御システム。
  3. 【請求項3】 操作者に携帯可能な手段であって、当該
    手段を携帯する操作者の動作に応じた動作検出信号を生
    成して送信する動作検出手段と、 前記動作検出手段から送信される動作検出信号を受信
    し、受信した動作検出信号に基づいて、楽音発生装置か
    ら発生される楽音を制御する制御手段と、 前記制御手段によって受信された前記動作検出信号に基
    づいて前記操作者が動いている状態にあるか否かを判別
    し、前記操作者が動いていないと判別した場合に、その
    時点から所定時間経過後にその旨を前記操作者に報知す
    る報知手段とを具備することを特徴とする楽音制御シス
    テム。
  4. 【請求項4】 操作者に携帯可能な手段であって、当該
    手段を携帯する操作者の動作に応じた動作検出信号を生
    成して送信する動作検出手段と、 前記動作検出手段から送信される動作検出信号を受信
    し、受信した動作検出信号に基づいて、楽音発生装置か
    ら発生される楽音を制御する制御手段と、 前記制御手段によって受信された前記動作検出信号に基
    づいて前記操作者が動いている状態にあるか否かを判別
    し、前記操作者が所定期間動いていないと判別した場合
    に、その旨を前記操作者に報知する報知手段とを具備す
    ることを特徴とする楽音制御システム。
  5. 【請求項5】 前記制御手段は、前記報知手段によって
    前記操作者が動いていない旨を報知した際に、前記楽音
    発生装置からの楽音発生を停止するための制御を行い、
    楽音発生の停止から所定時間経過後に前記楽音発生装置
    による楽音発生を再開させるための制御を行うことを特
    徴とする請求項3または4に記載の楽音制御システム。
  6. 【請求項6】 前記制御手段は、楽音発生の再開時から
    徐々に演奏テンポを上げるように前記楽音発生装置を制
    御することを特徴とする請求項5に記載の楽音制御シス
    テム。
  7. 【請求項7】 操作者に携帯可能な手段であって、当該
    手段を携帯する操作者の動作に応じた動作検出信号を生
    成して送信する動作検出手段と、 前記動作検出手段から送信される動作検出信号を受信
    し、受信した動作検出信号に基づいて、楽音発生装置か
    ら発生される楽音を制御する制御手段と、 前記制御手段によって受信された前記動作検出信号に基
    づいて前記操作者が動いている状態にあるか否かを判別
    し、前記操作者が動いていないと判別した場合に、その
    旨を前記操作者に報知する報知手段と、 前記制御手段および前記報知手段を制御するための第
    1、第2、第3および第4の制御モードのオン/オフを
    設定する設定手段とを具備しており、 前記設定手段によって前記第1の制御モードがオンに設
    定されている場合には、前記制御手段は、受信した前記
    動作検出信号に基づいて前記操作者が動いている状態に
    あるか否かを判別し、前記操作者が動いていないと判別
    した場合に、その時点から所定時間経過後に前記楽音発
    生装置からの楽音発生を停止するための制御を行い、 前記設定手段によって前記第2の制御モードがオンに設
    定されている場合、前記制御手段は、受信した前記動作
    検出信号に基づいて前記操作者が動いている状態にある
    か否かを判別し、前記操作者が所定期間動いていないと
    判別した場合に、前記楽音発生装置からの楽音発生を停
    止するための制御を行い、 前記設定手段によって前記第3の制御モードがオンに設
    定されている場合、前記報知手段は、前記制御手段によ
    って受信された前記動作検出信号に基づいて前記操作者
    が動いている状態にあるか否かを判別し、前記操作者が
    動いていないと判別した場合に、その時点から所定時間
    経過後にその旨を前記操作者に報知し、 前記設定手段によって前記第4の制御モードがオンに設
    定されている場合、前記報知手段は、前記制御手段によ
    って受信された前記動作検出信号に基づいて前記操作者
    が動いている状態にあるか否かを判別し、前記操作者が
    所定期間動いていないと判別した場合に、その旨を前記
    操作者に報知することを特徴とする楽音制御システム。
  8. 【請求項8】 ユーザに装着される手段であって、当該
    手段が装着されたユーザの身体状態を検出して身体検出
    信号を送信する身体情報検出手段と、 前記身体情報検出手段から送信される身体検出信号を受
    信し、受信した身体検出信号に基づいて、楽音発生装置
    から発生される楽音を制御する制御手段とを具備し、 前記制御手段は、受信した前記身体検出信号に示される
    前記ユーザの身体状態が予め設定された状態であるか否
    かを判別し、前記ユーザの身体状態が予め設定された状
    態であると判別した場合に、その時点から所定時間経過
    後に前記楽音発生装置からの楽音発生を停止するための
    制御を行うことを特徴とする楽音制御システム。
  9. 【請求項9】 ユーザに装着される手段であって、当該
    手段が装着されたユーザの身体状態を検出して身体検出
    信号を送信する身体情報検出手段と、 前記身体情報検出手段から送信される身体検出信号を受
    信し、受信した身体検出信号に基づいて、楽音発生装置
    から発生される楽音を制御する制御手段と、 前記制御手段によって受信された前記身体検出信号に示
    される前記ユーザの身体状態が予め設定された状態であ
    るか否かを判別し、前記ユーザが予め設定された身体状
    態であると判別した場合に、その時点から所定時間経過
    後にその旨を前記ユーザに報知する報知手段とを具備す
    ることを特徴とする楽音制御システム。
  10. 【請求項10】 操作者の動作に応じた動作検出信号を
    受信し、受信した動作検出信号に基づいて、楽音発生装
    置から発生される楽音を制御する制御手段を具備し、 前記制御手段は、受信した前記動作検出信号に基づいて
    前記操作者が動いている状態にあるか否かを判別し、前
    記操作者が動いていないと判別した場合に、その時点か
    ら所定時間経過後に前記楽音発生装置からの楽音発生を
    停止するための制御を行うことを特徴とする楽音制御装
    置。
  11. 【請求項11】 操作者の動作に応じた動作検出信号を
    受信し、受信した動作検出信号に基づいて、楽音発生装
    置から発生される楽音を制御する制御手段を具備し、 前記制御手段は、受信した前記動作検出信号に基づいて
    前記操作者が動いている状態にあるか否かを判別し、前
    記操作者が所定期間動いていないと判別した場合に、前
    記楽音発生装置からの楽音発生を停止するための制御を
    行うことを特徴とする楽音制御装置。
  12. 【請求項12】 ユーザの動作に応じた動作検出信号を
    受信し、受信した動作検出信号に基づいて、前記ユーザ
    が動いている状態にあるか否かを判別し、前記ユーザが
    動いていないと判別した場合に、その時点から所定時間
    経過後にその旨を前記ユーザに報知する報知手段を具備
    することを特徴とする報知装置。
  13. 【請求項13】 ユーザの動作に応じた動作検出信号を
    受信し、受信した動作検出信号に基づいて、前記ユーザ
    が動いている状態にあるか否かを判別し、前記ユーザが
    所定期間動いていないと判別した場合に、その旨を前記
    ユーザに報知する報知手段を具備することを特徴とする
    報知装置。
JP2001142282A 2001-05-11 2001-05-11 楽音制御システムおよび楽音制御装置 Expired - Fee Related JP3867515B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001142282A JP3867515B2 (ja) 2001-05-11 2001-05-11 楽音制御システムおよび楽音制御装置
GB0210133A GB2377315B (en) 2001-05-11 2002-05-02 Musical tone control system,control method for same,program for realizing the control method,musical tone control apparatus,and notifying device
US10/140,859 US6933434B2 (en) 2001-05-11 2002-05-08 Musical tone control system, control method for same, program for realizing the control method, musical tone control apparatus, and notifying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001142282A JP3867515B2 (ja) 2001-05-11 2001-05-11 楽音制御システムおよび楽音制御装置

Publications (2)

Publication Number Publication Date
JP2002341863A true JP2002341863A (ja) 2002-11-29
JP3867515B2 JP3867515B2 (ja) 2007-01-10

Family

ID=18988610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001142282A Expired - Fee Related JP3867515B2 (ja) 2001-05-11 2001-05-11 楽音制御システムおよび楽音制御装置

Country Status (3)

Country Link
US (1) US6933434B2 (ja)
JP (1) JP3867515B2 (ja)
GB (1) GB2377315B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293191A (ja) * 2006-04-27 2007-11-08 Nintendo Co Ltd 音出力プログラムおよび音出力装置
JP2008242285A (ja) * 2007-03-28 2008-10-09 Yamaha Corp 演奏装置およびその制御方法を実現するプログラム
JP2010020254A (ja) * 2008-07-14 2010-01-28 Yamaha Corp 電子楽器機能付き携帯電話機

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144269B2 (ja) 2002-06-28 2008-09-03 ヤマハ株式会社 演奏処理装置
JP3867630B2 (ja) 2002-07-19 2007-01-10 ヤマハ株式会社 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法
JP4144296B2 (ja) 2002-08-29 2008-09-03 ヤマハ株式会社 データ管理装置、プログラムおよびデータ管理システム
US6969795B2 (en) * 2003-11-12 2005-11-29 Schulmerich Carillons, Inc. Electronic tone generation system and batons therefor
US7294777B2 (en) * 2005-01-06 2007-11-13 Schulmerich Carillons, Inc. Electronic tone generation system and batons therefor
GB2445703A (en) * 2005-10-05 2008-07-16 Lg Home Products Llc Sound privacy machine and methods of use thereof
US7771318B2 (en) * 2005-12-22 2010-08-10 International Business Machines Corporation Device for monitoring a user's posture
US7986963B2 (en) * 2005-12-29 2011-07-26 Siemens Aktiengesellschaft Wireless communication device
JP4301270B2 (ja) * 2006-09-07 2009-07-22 ヤマハ株式会社 オーディオ再生装置およびオーディオ再生方法
US10039970B2 (en) * 2010-07-14 2018-08-07 Adidas Ag Location-aware fitness monitoring methods, systems, and program products, and applications thereof
US20120269360A1 (en) * 2011-04-20 2012-10-25 Daniel Patrick Burke Large Scale Participatory Entertainment Systems For Generating Music Or Other Ordered, Discernible Sounds And/Or Displays Sequentially Responsive To Movement Detected At Venue Seating
JP5812663B2 (ja) * 2011-04-22 2015-11-17 任天堂株式会社 音楽演奏用プログラム、音楽演奏装置、音楽演奏システムおよび音楽演奏方法
JP5821824B2 (ja) * 2012-11-14 2015-11-24 ヤマハ株式会社 音声合成装置
CN104834642B (zh) * 2014-02-11 2019-06-18 北京三星通信技术研究有限公司 改变音乐演绎风格的方法、装置及设备
CN108496209A (zh) * 2015-09-16 2018-09-04 特科科技(新加坡)私人有限公司 检测用户的移动的系统
US9939910B2 (en) 2015-12-22 2018-04-10 Intel Corporation Dynamic effects processing and communications for wearable devices
US9966051B2 (en) * 2016-03-11 2018-05-08 Yamaha Corporation Sound production control apparatus, sound production control method, and storage medium
CN114190924B (zh) * 2016-04-14 2023-12-15 医学节奏股份有限公司 用于神经康复的系统和方法
US20180218204A1 (en) * 2017-01-31 2018-08-02 Stephen Phillip Kasmir Systems and methods for synchronizing timing between an individual leader and one or more people
JP6741143B2 (ja) * 2017-03-24 2020-08-19 ヤマハ株式会社 音発生装置及び音発生システム
JP6724879B2 (ja) * 2017-09-22 2020-07-15 ヤマハ株式会社 再生制御方法、再生制御装置およびプログラム
US11127386B2 (en) * 2018-07-24 2021-09-21 James S. Brown System and method for generating music from electrodermal activity data
JP7331366B2 (ja) * 2019-01-22 2023-08-23 ヤマハ株式会社 演奏システム、演奏モード設定方法および演奏モード設定装置
WO2021013324A1 (en) * 2019-07-19 2021-01-28 Mictic Ag Emulating a virtual instrument from a continuous movement via a midi protocol

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA803163B (en) * 1979-06-02 1981-05-27 E Cohen Personal monitoring device
US4614145A (en) * 1982-12-08 1986-09-30 Nippon Gakki Seizo Kabushiki Kaisha Operating member control device of electronic musical instrument
US4662260A (en) * 1985-04-26 1987-05-05 Daniel Rumsey Sound producing ball
US4737134A (en) * 1986-03-13 1988-04-12 Rumsey Daniel L Sound producing ball
US5290964A (en) 1986-10-14 1994-03-01 Yamaha Corporation Musical tone control apparatus using a detector
US5177311A (en) 1987-01-14 1993-01-05 Yamaha Corporation Musical tone control apparatus
US4862144A (en) * 1987-04-21 1989-08-29 Tao Billy S K Movement monitor
US5005460A (en) * 1987-12-24 1991-04-09 Yamaha Corporation Musical tone control apparatus
JP2663503B2 (ja) 1988-04-28 1997-10-15 ヤマハ株式会社 楽音制御装置
US5027688A (en) 1988-05-18 1991-07-02 Yamaha Corporation Brace type angle-detecting device for musical tone control
JPH0283590A (ja) 1988-09-21 1990-03-23 Yamaha Corp 楽音制御装置
US5313010A (en) 1988-12-27 1994-05-17 Yamaha Corporation Hand musical tone control apparatus
US5642104A (en) * 1991-08-29 1997-06-24 The Genlyte Group Incorporated Audible alert for automatic shutoff circuit
JP2812055B2 (ja) 1992-03-24 1998-10-15 ヤマハ株式会社 電子楽器
US5663514A (en) 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
JP3307152B2 (ja) 1995-05-09 2002-07-24 ヤマハ株式会社 自動演奏制御装置
US5648627A (en) 1995-09-27 1997-07-15 Yamaha Corporation Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network
JP3598613B2 (ja) 1995-11-01 2004-12-08 ヤマハ株式会社 楽音パラメータ制御装置
JPH119559A (ja) * 1997-06-25 1999-01-19 Matsushita Electric Works Ltd 生活異常検知システム
US5993397A (en) * 1998-01-23 1999-11-30 Branson; Krista Lynn Infant respiratory monitor
US6550426B2 (en) * 1999-01-08 2003-04-22 Steven Tsengas Pet toy
US7183480B2 (en) 2000-01-11 2007-02-27 Yamaha Corporation Apparatus and method for detecting performer's motion to interactively control performance of music or the like
DE60132963T2 (de) * 2000-09-05 2009-04-16 Yamaha Corporation, Hamamatsu Vorrichtung und Verfahren zur Tonerzeugung in Abhängigkeit der Bewegung eines tragbares Terminals

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293191A (ja) * 2006-04-27 2007-11-08 Nintendo Co Ltd 音出力プログラムおよび音出力装置
JP4679429B2 (ja) * 2006-04-27 2011-04-27 任天堂株式会社 音出力プログラムおよび音出力装置
JP2008242285A (ja) * 2007-03-28 2008-10-09 Yamaha Corp 演奏装置およびその制御方法を実現するプログラム
JP2010020254A (ja) * 2008-07-14 2010-01-28 Yamaha Corp 電子楽器機能付き携帯電話機

Also Published As

Publication number Publication date
US20020166437A1 (en) 2002-11-14
GB2377315A (en) 2003-01-08
GB2377315B (en) 2005-06-08
JP3867515B2 (ja) 2007-01-10
US6933434B2 (en) 2005-08-23
GB0210133D0 (en) 2002-06-12

Similar Documents

Publication Publication Date Title
JP2002341863A (ja) 楽音制御システム、楽音制御装置および報知装置
JP4626087B2 (ja) 楽音制御システムおよび楽音制御装置
JP3948242B2 (ja) 楽音発生制御システム
JP4779264B2 (ja) 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法
JP3915257B2 (ja) カラオケ装置
JP3646599B2 (ja) 演奏インターフェイス
CN100506151C (zh) 动作支持方法和设备
JP3867630B2 (ja) 楽曲再生システム、楽曲編集システム、楽曲編集装置、楽曲編集端末、楽曲再生端末及び楽曲編集装置の制御方法
EP1803113A1 (en) Portable electronic device for instrumental accompaniment and evaluation of sounds
CN105405337B (zh) 一种辅助音乐弹奏的方法和系统
EP1803114A2 (en) Rhythmic device for the production, playing, accompaniment and evaluation of sounds
JP3879583B2 (ja) 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体
US7038122B2 (en) Musical tone generation control system, musical tone generation control method, musical tone generation control apparatus, operating terminal, musical tone generation control program and storage medium storing musical tone generation control program
JP2001195060A (ja) 演奏インターフェイス
JP3972619B2 (ja) 音発生装置
JP2008242285A (ja) 演奏装置およびその制御方法を実現するプログラム
JP3599624B2 (ja) カラオケ装置用の電子打楽器装置
JP4581202B2 (ja) 身体情報測定方法、身体情報測定ネットワークシステムおよび身体情報測定システム
JP4868045B2 (ja) 楽音制御システム
JP2011154289A (ja) 聴衆に唱和をうながす気分を楽しむカラオケ装置
JP2002041036A (ja) 楽音発生方法および楽音発生ネットワークシステム
JP2006106411A (ja) 音出力制御装置、楽曲再生装置、音出力制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP4158634B2 (ja) 楽曲データ編集装置、楽曲データ配信装置及びプログラム
JP4073597B2 (ja) 電子打楽器装置
WO2019092786A1 (ja) 移動体システム、制御装置、移動体、移動体の制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060627

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061002

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees