JP2005292829A - 動き基盤の音声発生方法および装置 - Google Patents
動き基盤の音声発生方法および装置 Download PDFInfo
- Publication number
- JP2005292829A JP2005292829A JP2005090386A JP2005090386A JP2005292829A JP 2005292829 A JP2005292829 A JP 2005292829A JP 2005090386 A JP2005090386 A JP 2005090386A JP 2005090386 A JP2005090386 A JP 2005090386A JP 2005292829 A JP2005292829 A JP 2005292829A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- sensor
- movement
- signal
- motion pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】 所定装置の動きを感知し、感知された動きに対応する信号を生成するセンサー部10、前記生成された信号に基づいて所定装置の動きパターンを認識する動きパターン認識部20、および前記認識された動きパターンに対応する音声信号を生成する音声信号生成部30を含む動き基盤の音声発生装置を提供する。前記動きパターン認識部20は、前記センサー部で生成された信号をデジタル信号に変換するA/D変換部22、および前記変換されたデジタル信号に基盤して前記所定装置の動きパターンを分析する動きパターン分析部24を含む。前記音声信号生成部30は、前記所定装置の動きパターンとそれに対応する音声信号データを保存している保存媒体32、および所定の音声信号データに対応する音声信号を発生する信号発生部34を含む。
【選択図】 図1
Description
(2)動き基盤の音声発生装置の左右方向の動きを認識する場合、|ωz(kz−1)|≦Czから|ωz(kz)|>Czに変わる時点kzを探知する。音声発生装置の左右方向の動きは、音声発生装置の本体座標系のz軸上に配置されている角速度センサーを使用して認識される。
(3)音声発生装置の時計/逆時計回り方向の動きを認識する場合、|ωy(ky−1)|≦Cyから|ωy(ky)|>Cyに変わる時点kyを探知する。音声発生装置の時計/逆時計回り方向の動きは、音声発生装置の本体座標系のy軸上に配置されている角速度センサーを使用して認識される。ここで、前記ωx、ωy、ωzは、角速度センサーから出力されたセンサー信号値であり、kx、ky、kzは、現在の離散時間値であり、kx−1、ky−1、kz−1は、現在の離散時間の直前の値である。
(2)音声発生装置の上下方向の加速度を認識する場合、|Anz(kz−1)|≦Cbzから|Anz(kz)|>Cbzに変わる時点kzを探知する。音声発生装置の上下方向の加速度は、音声発生装置の本体座標系のz軸上に配置されている加速度センサーを使用して認識される。
(3)音声発生装置の前後方向の加速度を認識する場合、|Any(ky−1)|≦Cbyから|Any(ky)|>Cbyに変わる時点kyを探知する。音声発生装置の前後方向の加速度は、音声発生装置の本体座標系のy軸上に配置されている加速度センサーを使用して認識される。ここで、kx、ky、kzは、現在の離散時間値であり、kx−1、ky−1、kz−1は、現在離散時間の直前の値である。550段階で、加速度センサーから出力されたセンサー信号値が前記所定臨界値を超過するそれぞれの時点Kx,Ky,Kzに動きパターン認識表現変数Tx,Ty,Tzは、それぞれ‘1’と設定される。前記動きパターン認識表現変数が‘1’と設定される時点に、前記動き基盤の音声発生装置は、x軸、y軸またはz軸の動きパターンに対応するそれぞれの音声を発生させる。
20 動きパターン認識部
22 A/D変換部
24 動きパターン分析部
30 音声信号生成部
32 保存媒体
34 信号発生部
40 出力部
Claims (19)
- 所定装置の動きを感知し、感知された動きに対応するセンサー信号を生成するセンサー部と、
前記生成されたセンサー信号に基づいて前記所定装置の動きパターンを認識する動きパターン認識部と、
前記認識された動きパターンに対応する音声信号を生成する音声信号生成部と、を含むことを特徴とする動き基盤の音声発生装置。 - 前記動きパターン認識部は、
前記センサー部で生成されたセンサー信号をデジタル信号に変換するA/D変換部と、
前記デジタル信号に基づいて前記所定装置の動きパターンを分析する動きパターン分析部と、を含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。 - 前記音声信号生成部は、
前記所定装置の動きパターンとそれに対応する音声信号データとを保存している保存媒体と、
前記動きパターン認識部で認識された所定装置の動きパターンに対応する所定の音声信号データを前記保存媒体から抽出して音声信号を発生させる信号発生部と、を含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。 - 前記生成された音声信号を出力する出力部をさらに含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。
- 前記センサー部は、
角速度センサーであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。 - 前記センサー部は、
加速度センサーであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。 - 前記センサー部は、
角速度センサーと加速度センサーとの組合わせであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。 - 所定装置の動きを感知し、感知された動きに対応するセンサー信号を生成する段階と、
前記生成されたセンサー信号に基づいて前記所定装置の動きパターンを認識する段階と、
前記認識された動きパターンに対応する音声信号を生成する段階と、を含むことを特徴とする動き基盤の音声発生方法。 - 前記所定装置の動きパターンを認識する段階は、
前記センサー信号をデジタル信号に変換する段階と、
前記デジタル信号に変換されたセンサー信号に基づいて前記所定装置の動きパターンを分析する段階と、を含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。 - 前記所定装置の動きパターンを分析する段階は、
動きパターン認識表現変数を初期化する段階と、
前記センサー信号の値が所定臨界値を超過する時点を探知する段階と、
前記探知された時点で前記動きパターン認識表現変数を所定値と設定する段階と、を含むことを特徴とする請求項9に記載の動き基盤の音声発生方法。 - 前記臨界値は、ユーザの動きパターンによって調節可能であることを特徴とする請求項10に記載の動き基盤の音声発生方法。
- 前記所定装置の動きパターンを分析する段階は、
動きパターン認識表現変数を初期化する段階と、
前記デジタル信号に変換されたセンサー信号の値を航法座標系上のセンサー信号値に変換する段階と、
前記航法座標系上のセンサー信号値が所定の臨界値を超過する時点を探知する段階と、
前記探知された時点に前記動きパターン認識表現変数を所定値に変換する段階と、を含むことを特徴とする請求項9に記載の動き基盤の音声発生方法。 - 前記臨界値は、ユーザの動きパターンによって調節可能であることを特徴とする請求項12に記載の動き基盤の音声発生方法。
- 前記音声信号を生成する段階は、
前記認識された動きパターンに対応する音声信号データを抽出する段階と、
前記抽出された音声信号データに対応する音声信号を生成する段階と、を含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。 - 前記生成された音声信号を出力する段階をさらに含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。
- 前記所定装置の動きを感知する段階は、前記所定装置の角速度を感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
- 前記所定装置の動きを感知する段階は、前記所定装置の加速度を感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
- 前記所定装置の動きを感知する段階は、前記所定装置の角速度と加速度とを感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
- 請求項8ないし15のうちいずれか1項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040020763A KR100668298B1 (ko) | 2004-03-26 | 2004-03-26 | 움직임에 기반한 소리 발생 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005292829A true JP2005292829A (ja) | 2005-10-20 |
Family
ID=34880347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005090386A Pending JP2005292829A (ja) | 2004-03-26 | 2005-03-28 | 動き基盤の音声発生方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7474197B2 (ja) |
| EP (1) | EP1583073A1 (ja) |
| JP (1) | JP2005292829A (ja) |
| KR (1) | KR100668298B1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007240930A (ja) * | 2006-03-09 | 2007-09-20 | Xing Inc | 電子早見本装置 |
| WO2017135549A1 (ko) * | 2016-02-04 | 2017-08-10 | 박종섭 | 양극 연주 전자 악기 |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100738072B1 (ko) * | 2005-02-01 | 2007-07-12 | 삼성전자주식회사 | 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법 |
| JP4679429B2 (ja) * | 2006-04-27 | 2011-04-27 | 任天堂株式会社 | 音出力プログラムおよび音出力装置 |
| JP4679431B2 (ja) * | 2006-04-28 | 2011-04-27 | 任天堂株式会社 | 音出力制御プログラムおよび音出力制御装置 |
| TW200828077A (en) * | 2006-12-22 | 2008-07-01 | Asustek Comp Inc | Video/audio playing system |
| KR100921814B1 (ko) * | 2007-04-26 | 2009-10-16 | 주식회사 애트랩 | 포인팅 장치 및 이의 움직임 제어 방법 |
| KR100903566B1 (ko) | 2007-08-03 | 2009-06-23 | 김영기 | 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너 |
| US9171531B2 (en) * | 2009-02-13 | 2015-10-27 | Commissariat À L'Energie et aux Energies Alternatives | Device and method for interpreting musical gestures |
| US7939742B2 (en) * | 2009-02-19 | 2011-05-10 | Will Glaser | Musical instrument with digitally controlled virtual frets |
| WO2010103427A1 (en) * | 2009-03-10 | 2010-09-16 | Koninklijke Philips Electronics N.V. | Interactive system and method for sensing movement |
| US8461468B2 (en) | 2009-10-30 | 2013-06-11 | Mattel, Inc. | Multidirectional switch and toy including a multidirectional switch |
| WO2011097371A1 (en) * | 2010-02-04 | 2011-08-11 | First Act Inc. | Electronic drumsticks system |
| KR101157129B1 (ko) * | 2010-04-23 | 2012-06-22 | (재) 전라남도문화산업진흥원 | 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치 |
| JP5316818B2 (ja) * | 2010-10-28 | 2013-10-16 | カシオ計算機株式会社 | 入力装置およびプログラム |
| JP6044099B2 (ja) | 2012-04-02 | 2016-12-14 | カシオ計算機株式会社 | 姿勢検出装置、方法及びプログラム |
| JP2013213744A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 姿勢検出装置、方法及びプログラム |
| JP2013213946A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
| GB201315228D0 (en) * | 2013-08-27 | 2013-10-09 | Univ London Queen Mary | Control methods for expressive musical performance from a keyboard or key-board-like interface |
| CN105354950A (zh) * | 2015-11-09 | 2016-02-24 | 苏州美达瑞电子有限公司 | 一种基于压电感应的门铃铃声调节控制装置 |
| CN106390465A (zh) * | 2016-11-23 | 2017-02-15 | 璁搁弓 | 一种生活娱乐用品及其控制方法 |
| CA3048296C (en) | 2016-12-25 | 2023-06-13 | Mictic Ag | Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal |
| KR101925888B1 (ko) * | 2017-01-06 | 2018-12-06 | 주식회사 이랜텍 | 착용식 알림 장치 |
| JP7081921B2 (ja) * | 2017-12-28 | 2022-06-07 | 株式会社バンダイナムコエンターテインメント | プログラム及びゲーム装置 |
| JP7081922B2 (ja) | 2017-12-28 | 2022-06-07 | 株式会社バンダイナムコエンターテインメント | プログラム、ゲーム装置及びゲームを実行するための方法 |
| US10152958B1 (en) | 2018-04-05 | 2018-12-11 | Martin J Sheely | Electronic musical performance controller based on vector length and orientation |
| US10991349B2 (en) | 2018-07-16 | 2021-04-27 | Samsung Electronics Co., Ltd. | Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces |
| JP7147384B2 (ja) * | 2018-09-03 | 2022-10-05 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
| US20220189335A1 (en) * | 2019-04-22 | 2022-06-16 | University Of Kentucky Research Foundation | Motion feedback device |
| CN112216283B (zh) * | 2020-09-24 | 2024-02-23 | 建信金融科技有限责任公司 | 一种语音识别方法、装置、设备及存储介质 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5290964A (en) * | 1986-10-14 | 1994-03-01 | Yamaha Corporation | Musical tone control apparatus using a detector |
| US5177311A (en) * | 1987-01-14 | 1993-01-05 | Yamaha Corporation | Musical tone control apparatus |
| US4905560A (en) * | 1987-12-24 | 1990-03-06 | Yamaha Corporation | Musical tone control apparatus mounted on a performer's body |
| US5170002A (en) * | 1987-12-24 | 1992-12-08 | Yamaha Corporation | Motion-controlled musical tone control apparatus |
| US4904222A (en) * | 1988-04-27 | 1990-02-27 | Pennwalt Corporation | Synchronized sound producing amusement device |
| JP2663503B2 (ja) * | 1988-04-28 | 1997-10-15 | ヤマハ株式会社 | 楽音制御装置 |
| JPH0299994A (ja) * | 1988-10-06 | 1990-04-11 | Yamaha Corp | 楽音制御装置 |
| JP2500544B2 (ja) * | 1991-05-30 | 1996-05-29 | ヤマハ株式会社 | 楽音制御装置 |
| US5541358A (en) * | 1993-03-26 | 1996-07-30 | Yamaha Corporation | Position-based controller for electronic musical instrument |
| US5920024A (en) * | 1996-01-02 | 1999-07-06 | Moore; Steven Jerome | Apparatus and method for coupling sound to motion |
| JPH11118507A (ja) | 1997-10-09 | 1999-04-30 | Yokogawa Denshikiki Co Ltd | 船舶の慣性航法装置 |
| JP2000148351A (ja) | 1998-09-09 | 2000-05-26 | Matsushita Electric Ind Co Ltd | ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体 |
| US6150947A (en) * | 1999-09-08 | 2000-11-21 | Shima; James Michael | Programmable motion-sensitive sound effects device |
| EP1855267B1 (en) * | 2000-01-11 | 2013-07-10 | Yamaha Corporation | Apparatus and method for detecting performer´s motion to interactively control performance of music or the like |
| US6626728B2 (en) * | 2000-06-27 | 2003-09-30 | Kenneth C. Holt | Motion-sequence activated toy wand |
| EP1195742B1 (en) * | 2000-09-05 | 2008-02-27 | Yamaha Corporation | System and method for generating tone in response to movement of portable terminal |
| US6826509B2 (en) * | 2000-10-11 | 2004-11-30 | Riddell, Inc. | System and method for measuring the linear and rotational acceleration of a body part |
| JP4694705B2 (ja) * | 2001-02-23 | 2011-06-08 | ヤマハ株式会社 | 楽音制御システム |
| EP1366712A4 (en) * | 2001-03-06 | 2006-05-31 | Microstone Co Ltd | DETECTOR APPLICABLE TO THE MOVEMENT OF A BODY |
| JP4779264B2 (ja) | 2001-09-05 | 2011-09-28 | ヤマハ株式会社 | 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法 |
| TWD100629S1 (zh) * | 2003-03-19 | 2004-10-01 | 任天堂股份有限公司 | 揮動顯示之玩具 |
-
2004
- 2004-03-26 KR KR1020040020763A patent/KR100668298B1/ko not_active Expired - Lifetime
-
2005
- 2005-01-27 US US11/043,186 patent/US7474197B2/en not_active Expired - Lifetime
- 2005-03-22 EP EP20050251758 patent/EP1583073A1/en not_active Ceased
- 2005-03-28 JP JP2005090386A patent/JP2005292829A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007240930A (ja) * | 2006-03-09 | 2007-09-20 | Xing Inc | 電子早見本装置 |
| WO2017135549A1 (ko) * | 2016-02-04 | 2017-08-10 | 박종섭 | 양극 연주 전자 악기 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050213476A1 (en) | 2005-09-29 |
| EP1583073A1 (en) | 2005-10-05 |
| US7474197B2 (en) | 2009-01-06 |
| KR100668298B1 (ko) | 2007-01-12 |
| KR20050095386A (ko) | 2005-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2005292829A (ja) | 動き基盤の音声発生方法および装置 | |
| JP5911796B2 (ja) | マルチモーダル情報を用いるユーザ意図推論装置及び方法 | |
| US20070091292A1 (en) | System, medium, and method controlling operation according to instructional movement | |
| JP6553124B2 (ja) | 複数センサ入力のためのセンサフュージョンインタフェース | |
| US10095402B2 (en) | Method and apparatus for addressing touch discontinuities | |
| Choi et al. | Beatbox music phone: gesture-based interactive mobile phone using a tri-axis accelerometer | |
| CN103366722B (zh) | 姿势检测装置及方法 | |
| US8629344B2 (en) | Input apparatus and recording medium with program recorded therein | |
| WO2006070044A1 (en) | A method and a device for localizing a sound source and performing a related action | |
| EP2648182A1 (en) | Orientation detection device and orientation detection method | |
| US10838508B2 (en) | Apparatus and method of using events for user interface | |
| KR101615661B1 (ko) | 실시간 동작인식시스템 및 그의 방법 | |
| KR101189214B1 (ko) | 동작에 따른 음을 출력하는 장치 및 방법 | |
| KR101185144B1 (ko) | 제스쳐의 2차원 궤적을 추정하는 방법 및 장치 | |
| KR100738072B1 (ko) | 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법 | |
| KR101652705B1 (ko) | 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 | |
| KR20070009299A (ko) | 동작에 따른 음을 발생하는 장치 및 방법 | |
| US9958902B2 (en) | Input device, input method, and program | |
| JP2005092722A (ja) | 動作認識装置 | |
| Ghaffar et al. | Malay cued speech transliterate system using wearable sensors: A survey | |
| KR20070039330A (ko) | 동작 인식 장치 및 방법 | |
| KR20140083848A (ko) | 센서 데이터를 활용한 제스처 인식 방법 및 장치 | |
| Dimitrov | Analyzing Theremin Sounds for Touch-Free Gesture Recognition | |
| Benatan et al. | Mobile Device Augmentation for Interactive Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061114 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080912 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081014 |
