JP2005292829A - 動き基盤の音声発生方法および装置 - Google Patents

動き基盤の音声発生方法および装置 Download PDF

Info

Publication number
JP2005292829A
JP2005292829A JP2005090386A JP2005090386A JP2005292829A JP 2005292829 A JP2005292829 A JP 2005292829A JP 2005090386 A JP2005090386 A JP 2005090386A JP 2005090386 A JP2005090386 A JP 2005090386A JP 2005292829 A JP2005292829 A JP 2005292829A
Authority
JP
Japan
Prior art keywords
motion
sensor
movement
signal
motion pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005090386A
Other languages
English (en)
Inventor
Eun-Seok Choi
恩 碩 崔
Dong-Yoon Kim
東 潤 金
鐘 九 ▲呉▼
Jong-Koo Oh
Won-Chul Bang
遠 ▲チュル▼ 方
Joon-Kee Cho
趙 俊 基
Sung-Jung Cho
誠 貞 趙
Wook Chang
旭 張
Kyoung-Ho Kang
京 浩 姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005292829A publication Critical patent/JP2005292829A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/4013D sensing, i.e. three-dimensional (x, y, z) position or movement sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】 動き基盤の音声発生方法および装置を提供する。
【解決手段】 所定装置の動きを感知し、感知された動きに対応する信号を生成するセンサー部10、前記生成された信号に基づいて所定装置の動きパターンを認識する動きパターン認識部20、および前記認識された動きパターンに対応する音声信号を生成する音声信号生成部30を含む動き基盤の音声発生装置を提供する。前記動きパターン認識部20は、前記センサー部で生成された信号をデジタル信号に変換するA/D変換部22、および前記変換されたデジタル信号に基盤して前記所定装置の動きパターンを分析する動きパターン分析部24を含む。前記音声信号生成部30は、前記所定装置の動きパターンとそれに対応する音声信号データを保存している保存媒体32、および所定の音声信号データに対応する音声信号を発生する信号発生部34を含む。
【選択図】 図1

Description

本発明は、音声を発生させる方法および装置に係り、さらに詳細には、慣性センサーを利用して所定装置の動きパターンを認識し、その認識された動きパターンに対応する音声を発生させる、動き基盤の音声発生装置および動き基盤の音声発生方法に関する。以下、動きに基づいて音声を発生させる装置および方法を動き基盤の音声発生装置および動き基盤の音声発生方法と呼ぶ。
角速度センサーは、所定装置の角変化量を感知し、その感知した角変化量に対応するセンサー信号値を出力するセンサーであり、加速度センサーは、所定装置の速度変化量を感知し、その感知した速度変化量に対応するセンサー信号値を出力するセンサーである。角速度センサーや加速度センサー等の慣性センサーを利用して、3次元空間で所定装置の動きを認識し、認識された動きパターンに対応する文字、記号または所定の制御命令を入力する入力装置についての研究が進められている。
ユーザの動きパターンは、ユーザごとに少しずつ異なるため、ユーザが正確な動きパターンで動かない場合に、前記動き基盤の入力装置にユーザの意図と全く異なる文字や制御命令が入力される場合が発生する。従来の動き基盤の入力装置では、特定文字や制御命令の入力中に、いかなる種類および内容の文字または制御命令が実際に入力されているか、ユーザ自身は、認識できない。特定文字や制御命令を完全に入力した後、入力装置の入力動作に対応する入力または制御の結果を通じて、ユーザ自身は、実際にいかなる内容および種類の文字や制御命令が入力されたかを認識できる。したがって、ユーザの所望する文字または制御命令が入力されていない場合に、最初から再び所定文字や制御命令を入力せねばならない不便さがあった。
本発明が解決しようとする技術的課題は、所定装置の動きパターンを認識し、認識された動きパターンに対応する所定の音声を発生させる方法および装置、すなわち、動き基盤の音声発生方法および動き基盤の音声発生装置を提供することである。
本発明が解決しようとする他の技術的課題は、前記動き基盤の音声発生方法をコンピュータで実行させるためのプログラム(プログラム製品)、および、そのプログラムを記録したコンピュータ可読記録媒体を提供することである。
前記課題を解決するための本発明による動き基盤の音声発生装置は、音声発生装置の動きを感知し、感知された動きに対応する信号を生成するセンサー部、前記生成されたセンサー信号に基づいて前記音声発生装置の動きパターンを認識する動きパターン認識部および前記認識された動きパターンに対応する音声信号を生成する音声信号生成部を含むことを特徴とする。
望ましくは、前記動きパターン認識部は、前記センサー部から出力されたセンサー信号をデジタル信号に変換するA/D(Analog to Digital)変換部、および前記デジタル信号に基づいて前記音声発生装置の動きパターンを分析する動きパターン分析部を含むことを特徴とする。
望ましくは、前記音声信号生成部は、音声発生装置の動きパターンとそれに対応する音声信号データとを保存している保存媒体、および音声信号データに対応する音声信号を発生する信号発生部を含むことを特徴とする。
望ましくは、前記動き基盤の音声発生装置は、前記音声信号生成部で生成された音声信号を出力する出力部をさらに含むことを特徴とする。
望ましくは、前記センサー部は、角速度センサー、加速度センサーまたはこれらの組合わせであることを特徴とする。
一方、前記課題を解決するための本発明による動き基盤の音声発生方法は、所定装置の動きを感知し、感知された動きに対応するセンサー信号を生成する段階、前記生成されたセンサー信号に基づいて前記所定装置の動きパターンを認識する段階および前記認識された動きパターンに対応する音声信号を生成する段階を含むことを特徴とする。
望ましくは、前記所定装置の動きパターンを認識する段階は、前記センサー信号をデジタル信号に変換する段階、および前記デジタル信号に変換されたセンサー信号に基づいて前記所定装置の動きパターンを分析する段階を含むことを特徴とする。
望ましくは、前記所定装置の動きパターンを分析する段階は、動きパターン認識表現変数を初期化する段階、前記センサー信号の値が所定臨界値を超過する時点を探知する段階、および前記探知された時点で前記動きパターン認識表現変数を所定値と設定する段階を含むことを特徴とする。
前記動き基盤の音声発生方法および装置を通じて、ユーザは、特定文字や信号または制御命令の入力中にもいかなる内容の文字や信号または制御命令が入力されているか分かる。また、本発明は、ユーザの特定の動きをユニークな音声で表現でき、したがって、常に新しさを追求する現代人の欲求を充足させることができる。
以下、添付された図面を参照して、本発明の実施形態としての、動き基盤の音声発生方法および動き基盤の音声発生装置について詳細に説明する。
図1は、本発明の一実施形態としての動き基盤の音声発生装置を示すブロック図である。図1に示すように、前記動き基盤の音声発生装置は、センサー部10と、動きパターン認識部20と、音声信号生成部30と、出力部40とを含む。音声発生装置が動くと、センサー部10は、音声発生装置の動きを感知し、感知された動きに対応するセンサー信号値を出力する。動きパターン認識部20は、前記センサー部10から出力されたセンサー信号値に基づいて音声発生装置の動きパターンを認識する。前記音声信号生成部30は、前記動きパターン認識部で認識された動き基盤の音声発生装置の動きパターンに対応する音声信号を生成する。出力部40は、前記音声信号生成部30で生成された音声信号を受信してその音声信号に対応する音声を出力する。例えば、スピーカなどで構成される出力部40は、本発明が適用される応用分野によって一つ以上のスピーカを含んでいる。
前記センサー部10は、本発明が応用される分野によって角速度センサー、加速度センサーまたはこれらの組合わせを含むものとして構成することができる。前記音声発生装置の動きに応じて音声発生装置の角速度および加速度は変化する。以下の記載において、音声発生装置の動きパターンは、音声発生装置の動きに応じて変化する角速度および加速度の変化パターンをいずれも含むものと定義する。角速度センサーは、前記音声発生装置の角速度、すなわち、前記音声発生装置の左右方向または上下方向または時計/逆時計回り方向の動きを感知し、感知された角速度に対応するセンサー信号値を生成する。前記角速度センサーを通じて音声発生装置の角速度を認識できる。加速度センサーは、前記音声発生装置の加速度、すなわち、音声発生装置の動き速度の変化を感知し、感知された加速度に対応するセンサー信号値を生成する。前記加速度センサーを通じて音声発生装置の加速度を認識できる。一方、前記センサー部10が角速度センサーと加速度センサーとの組合わせで構成されている場合には、音声発生装置の角速度および加速度をいずれも感知し、感知された角速度と加速度とに対応するセンサー信号値をそれぞれ生成する。
図2は、本発明の一実施形態としての動き基盤の音声発生装置を3次元空間で使用した場合の動きパターンを例示している。図2に示すように、前記動き基盤の音声発生装置は、それぞれ左右方向、上下方向および時計/逆時計回り方向の動きパターンを有する。前記3つの動きパターンを感知するために、前記音声発生装置は、音声発生装置の本体座標系上のx軸、y軸およびz軸方向にそれぞれ1個の角速度センサーまたは加速度センサーを備えている。前記x軸上に配置されている角速度センサーまたは加速度センサーは、それぞれ音声発生装置の上下方向の動きの角速度または左右方向の動きの加速度を感知する。前記y軸上に配置されている角速度センサーまたは加速度センサーは、それぞれ音声発生装置の時計/逆時計回り方向の動きの角速度または前後方向の動きの加速度を感知する。一方、z軸上に配置されている角速度センサーまたは加速度センサーは、それぞれ音声発生装置の左右方向の動きの角速度または上下方向の動きの加速度を感知する。
また、前記動きパターン認識部20は、図1に示すように、アナログ電圧信号をデジタル信号に変換するA/D変換部22および音声発生装置の動きパターン認識アルゴリズムを実行する動きパターン分析部24を含む。前記センサー部10から出力されるセンサー信号は、前記動き基盤の音声発生装置の角速度または加速度値に対応するアナログ信号であり、A/D変換部22は、センサー部10から出力されるアナログセンサー信号値をデジタルセンサー信号値に変換する。A/D変換部22で変換されたデジタルセンサー信号値は、動きパターン分析部24に提供され、前記動きパターン分析部24は、提供されたデジタルセンサー信号値を利用して音声発生装置の動きパターンを分析するためのアルゴリズムを実行する。
前記音声信号生成部30は、音声発生装置の動きパターンとそれぞれの動きパターンに対応する音声信号データを保存(記憶)する保存媒体32、および所定の音声信号データに対応する信号を発生する信号発生部34を含む。前記動きパターン分析部24は、音声発生装置の動きパターンを分析すると、音声発生装置の動きパターンに対応する音声信号データを前記保存媒体32から抽出する。前記信号発生部34は、動きバターン分析部24で抽出された音声信号データに対応する音声信号を発生させる。出力部40は、音声信号生成部30の信号発生部34で発生させた音声信号を入力として所定の音声を出力する。
図3は、音声発生装置の動きに基づいて音声を発生させる方法を説明するためのフローチャートである。まず、310段階で、音声発生装置のセンサー部10によって、音声発生装置の動きが感知される。前述したように、前記センサー部10は、角速度センサーまたは加速度センサーまたはこれらの組合わせで構成されており、前記音声発生装置の動き角速度および/または加速度を測定する。前記センサー部10は、測定された音声発生装置の動きに対応するセンサー信号値を生成して動きパターン認識部20に出力する。次に、320段階で、前記感知された音声発生装置の動きに基づいて前記音声発生装置の動きパターンを認識する。前記音声発生装置の動きパターンを認識する段階(320)は、センサー部10で生成されたセンサー信号値をA/D変換部22でデジタルセンサー信号値に変換する段階と、前記デジタルに変換されたセンサー信号値を利用して動きパターン分析部24で前記音声発生装置の動きパターンを分析する段階と、を含む。前記音声発生装置の動きパターンを分析する段階についての詳細は、図4および図5を参照して、後述する。続いて、330段階で、前記認識された音声発生装置の動きパターンに対応する音声信号を生成する。前記音声信号生成段階は、認識された動きパターンに対応する音声信号データを保存媒体32から抽出する段階と、前記抽出された音声信号データに基づいて信号発生部34で音声信号を生成する段階と、を含む。
図4は、本発明の一実施形態による角速度センサー10を備える動き基盤の音声発生装置で、その音声発生装置の動きパターンを分析する段階をさらに詳細に説明するためのフローチャートである。410段階で、3個の変数Tx、Ty、Tzの値を‘0’に初期化する。前記3個の変数は、動き基盤の音声発生装置の所定動きパターンを認識したか否かを示す(表現する)変数である。以下で、前記3個の変数を動きパターン認識表現変数と呼ぶ。前記動きパターン認識表現変数が‘0’と設定されているときは、所定大きさ以上の音声発生装置の動きが認知されていないということを表している。所定大きさ以上の音声発生装置の動きが認識されると、動きパターン認識表現変数が‘1’と設定される。420段階では、角速度センサー10で感知された音声発生装置の動きに対応するセンサー信号値から前記A/D変換部22によるA/D変換を通じてデジタルセンサー信号値を獲得する。前記角速度センサー10は、音声発生装置の動きの大きさに対応する測定値、例えば、電圧信号を生成し、前記生成された測定値は、下記の数式(1)を通じて角速度センサー信号値ωx,ωy,ωzとして計算される。
Figure 2005292829
ここで、ωx、ωy、ωzは、音声発生装置の本体座標系の各軸(x軸、y軸、z軸)で測定した音声発生装置の角速度センサー信号値であり、Sx、Sy、Szは、音声発生装置の各軸に配置されている角速度センサーの敏感度を表す値であり、Vx、Vy、Vzは、音声発生装置の各軸に装着された角速度センサーから出力された電圧信号値であり、Vox、Voy、Vozは、音声発生装置の各軸に装着された角速度センサーの角速度値が‘0’である場合に出力される電圧信号値である。
当業者であれば、前記数式(1)を通じて計算された角速度センサー信号値を利用する代わりに、前記角速度センサーで生成された測定値をそのまま使用して音声発生装置の動きパターンを認識できるということが容易に理解されるだろう。
430段階では、前記変換されたデジタルセンサー信号値と所定の臨界値Cx,Cy,Czとを比較して、前記デジタルセンサー信号値が所定の臨界値を超過する(430段階で「はい」となる)時点を探知する。前記所定の臨界値は、ユーザの動き分析を通じて決定される値であって、所定の音声を発生させるユーザの動きが小さな場合、前記臨界値は小さく設定され、一方、所定の音声を発生させるユーザの動きが大きい場合には、前記臨界値が大きく設定される。前記臨界値は、前記動き基盤の音声発生装置の製作時にあらかじめ特定値を設定しておくこともできるが、本願発明が適用される分野またはユーザの好みによって、ユーザが任意の値に調節できるよう構成することもできる。前記デジタルセンサー信号値が所定の臨界値を超過する(430段階で「はい」となる)時点で、音声発生装置の特定動きパターンが認識され、動いたパターン認識表現変数は‘1’と設定される。音声発生装置の上下、左/右、または時計/逆時計回り方向の動きは、以下の動き認識アルゴリズムで認識される。
(1)動き基盤の音声発生装置の上下方向の動きを認識する場合、|ωx(kx−1)|≦Cxから|ωx(kx)|>Cxに変わる時点kxを探知する。動き基盤の音声発生装置の上下方向の動きは、音声発生装置の本体座標系のx軸上に配置されている角速度センサーを使用して認識される。
(2)動き基盤の音声発生装置の左右方向の動きを認識する場合、|ωz(kz−1)|≦Czから|ωz(kz)|>Czに変わる時点kzを探知する。音声発生装置の左右方向の動きは、音声発生装置の本体座標系のz軸上に配置されている角速度センサーを使用して認識される。
(3)音声発生装置の時計/逆時計回り方向の動きを認識する場合、|ωy(ky−1)|≦Cyから|ωy(ky)|>Cyに変わる時点kyを探知する。音声発生装置の時計/逆時計回り方向の動きは、音声発生装置の本体座標系のy軸上に配置されている角速度センサーを使用して認識される。ここで、前記ωx、ωy、ωzは、角速度センサーから出力されたセンサー信号値であり、kx、ky、kzは、現在の離散時間値であり、kx−1、ky−1、kz−1は、現在の離散時間の直前の値である。
440段階で、角速度センサーから出力されたセンサー信号値が前記所定の臨界値を超過するそれぞれの時点kx,ky,kzに、前記動きパターン認識表現変数Tx,Ty,Tzは、それぞれ‘1’と設定される。前記動きパターン認識表現変数が‘1’と設定される時点に、前記動き基盤の音声発生装置は、x軸、y軸またはz軸の動きパターンに対応するそれぞれの音声を発生させる。450段階で、角速度センサーから出力されるセンサー信号値が続いて入力されているかを判定する。センサー信号値が獲得され続けていれば(450段階で「はい」)、410段階に戻る。
一方、430段階で、角速度センサーから生成されたセンサー信号値を所定の臨界値と比較して、前記センサー信号値が所定の臨界値を超過しない場合には(430段階で「いいえ」)、420段階に戻る。
前記音声発生装置の動きパターンを分析する(1)、(2)、(3)のアルゴリズムでは、角速度センサーで生成されたセンサー信号値の絶対値を利用して、音声発生装置の動きパターンを認識している。したがって、左右方向、上下方向および時計/逆時計回り方向の動きをそれぞれ同一に認識する。しかし、絶対値を使用せずに音声発生装置の動きパターン分析アルゴリズムを実行することもできる。この場合、音声発生装置の本体座標系のx軸に配置されている角速度センサーは、音声発生装置の上方および下方の動きを、y軸に配置されている角速度センサーは、音声発生装置の時計/逆時計回り方向の動きを、そしてz軸に配置されている角速度センサーは、音声発生装置の左右方向の動きをそれぞれ区別して認識するよう構成することができる。
図5は、本発明の一実施形態による加速度センサー10を備える動き基盤の音声発生装置で、その音声発生装置の動きパターンを分析する段階をさらに詳細に説明するためのフローチャートである。510段階では、前記動き基盤の音声発生装置の動きパターン認識表現変数Tx,Ty,Tzを‘0’に初期化する。動きパターン認識表現変数についての定義は、前記図4を参照しつつ説明した通りである。520段階では、加速度センサー10で感知された音声発生装置の動きに対応するセンサー信号値から前記A/D変換部22によるA/D変換を通じてデジタル変換されたセンサー信号値Abx,Aby,Abzを獲得する。前記加速度センサー10は、音声発生装置の動きパターン大きさに対応する測定値、例えば、電圧信号を生成し、前記生成された測定値は、下記の数式(2)を通じて加速度センサー信号値Abx,Aby,Abzとして計算される。
Figure 2005292829
ここで、Abx、Aby、Abzは、音声発生装置の本体座標系の各軸(x軸、y軸、z軸)で測定した音声発生装置の加速度センサー信号値であり、Sbx、Sby、Sbzは、音声発生装置の各軸に配置されている加速度センサーの敏感度を表す値であり、Vbx、Vby、Vbzは、音声発生装置の本体座標系の各軸に装着された加速度センサーで生成される測定値であり、Vbox、Vboy、Vbozは、音声発生装置の本体座標系の各軸に装着された加速度センサーの加速度値が‘0’である場合に生成される測定値である。
3次元空間上で動き基盤の音声発生装置は、常に重力加速度gを受けているため、530段階で、加速度センサーから生成されたセンサー信号値Abx,Aby,Abzを航法座標系(navigation coordinate system)のセンサー信号値Anx,Any,Anzに変換しなければならない。本体座標系センサー信号値を航法座標系センサー信号値に変換するためには、一般に、角速度センサーが必要である。しかし、本願発明では、ユーザが音声発生装置を動かす時、音声発生装置の姿勢は大きく変わらないという仮定下に、下記の数式(3)を使用して、本体座標系センサー信号値Abx,Aby,Abzを航法座標系センサー信号値Anx,Any,Anzに変換する。
Figure 2005292829
Figure 2005292829
ここで、φ、θ、ψはオイラー角であり、次の数式(4)、(5)、(6)によって計算される。
Figure 2005292829
Figure 2005292829
Figure 2005292829
540段階で、前記航法座標系に変換されたセンサー信号値と所定の臨界値Cbx,Cby,Cbzとを比較して、前記センサー信号値が所定の臨界値を超過する(540段階で「はい」となる)時点を探知する。前記センサー信号値が所定の臨界値を超過する時点に、音声発生装置の特定方向加速度が認識される。音声発生装置の上下、左右または前後方向の加速度は、下記のように認識される。
(1)音声発生装置の左右方向の加速度を認識する場合、|Anx(kx−1)|≦Cbxから|Anx(kx)|>Cbxに変わる時点kxを探知する。音声発生装置の左右方向の加速度は、音声発生装置の本体座標系のx軸上に配置されている加速度センサーを使用して認識される。
(2)音声発生装置の上下方向の加速度を認識する場合、|Anz(kz−1)|≦Cbzから|Anz(kz)|>Cbzに変わる時点kzを探知する。音声発生装置の上下方向の加速度は、音声発生装置の本体座標系のz軸上に配置されている加速度センサーを使用して認識される。
(3)音声発生装置の前後方向の加速度を認識する場合、|Any(ky−1)|≦Cbyから|Any(ky)|>Cbyに変わる時点kyを探知する。音声発生装置の前後方向の加速度は、音声発生装置の本体座標系のy軸上に配置されている加速度センサーを使用して認識される。ここで、kx、ky、kzは、現在の離散時間値であり、kx−1、ky−1、kz−1は、現在離散時間の直前の値である。550段階で、加速度センサーから出力されたセンサー信号値が前記所定臨界値を超過するそれぞれの時点Kx,Ky,Kzに動きパターン認識表現変数Tx,Ty,Tzは、それぞれ‘1’と設定される。前記動きパターン認識表現変数が‘1’と設定される時点に、前記動き基盤の音声発生装置は、x軸、y軸またはz軸の動きパターンに対応するそれぞれの音声を発生させる。
一方、540段階で、航法座標系センサー信号値を所定の臨界値と比較して、前記センサー信号値が所定の臨界値を超過しない場合には(540段階で「いいえ」)、520段階に戻る。560段階で、加速度センサーからセンサー信号値が続いて入力されているかを判定する。センサー信号値が獲得され続けていれば(560段階で「はい」)、510段階に戻る。
図6Aないし6Cは、本発明の一実施形態による角速度センサー10を備える動き基盤の音声発生装置が左右、上下または時計/逆時計回り方向に動く時、前記音声発生装置の角速度センサー10から生成された本体座標系の各軸の角速度値ωx,ωy,ωzを示している。図6Aは、x軸角速度センサー信号値ωx、図6Bは、y軸の角速度センサー信号値ωy、図6Cは、z軸の角速度センサー信号値ωzを示している。
一方、図7Aないし7Cは、図6Aないし6Cに示されている角速度センサー信号値ωx,ωy,ωzの絶対値|ωx|,|ωy|,|ωz|とユーザ動きを分析して決定される所定の臨界値Cx,Cy,Czとを示している。図7Aは、x軸角速度センサー信号の絶対値|ωx|および臨界値Cx、図7Bは、y軸の角速度センサー信号の絶対値|ωy|および臨界値Cy、図7Cは、z軸の角速度センサー信号の絶対値|ωz|および臨界値Czを示している。 図7Aで、x軸角速度センサー信号の絶対値は、4個の離散時間で臨界値Cxを超過する。図7Bで、y軸角速度センサー信号の絶対値は、4個の離散時間で臨界値Cyを超過する。図7Cで、z軸角速度センサー信号の絶対値は、4個の離散時間で臨界値Czを超過する。
図8Aないし8Cは、前記動きパターン認識アルゴリズムを通じて、Tx、Ty、Tzの値が‘1’と設定される時の離散時間を示している。図8Aは、x軸角速度センサー信号の絶対値が所定の臨界値Cxを超過する離散時間を示している。図8Bは、y軸角速度センサー信号の絶対値が所定の臨界値Cyを超過する離散時間を示している。図8Cは、z軸角速度センサー信号の絶対値が所定の臨界値Czを超過する離散時間を示している。各軸で、角速度信号の絶対値が所定の臨界値を超過する時点に動きパターン認識表現変数Tx,Ty,Tzは、‘1’と設定される。
図9は、2個の音声発生装置を利用してビットボックス(bit box)を具現する本発明の一実施形態を示している。図9に示すように、ユーザが音声発生装置を左右方向、上下方向または時計/逆時計回り方向に動かすか、または速いまたは遅い速度変化を伴う動きとなるように動かすと、前記音声発生装置の動きを感知し、感知された動きに基づいて音声発生装置の動きパターンを認識する。前記音声発生装置は、音声発生装置の動きパターンを認識し、認識された動きパターンに対応する音声を発生させる。音声発生装置1と音声発生装置2とは、動きパターンによってそれぞれ異なる音声を発生させるように製作することができる。図9は、音声発生装置の一実施形態を示す図面であり、前記音声発生装置が使われる分野によって多数の音声発生装置が使用され、それぞれの音声発生装置は、動きパターンによって異なる音声を発生させるように製作することができる。
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムに作成可能であり、コンピュータ可読記録媒体を利用して保存、流通ないしインストールして、前記プログラムを動作させる汎用デジタルコンピュータ上で本発明を実現することができる。
前記コンピュータ可読記録媒体は、磁気記憶媒体(例えば、ROM(Read Only Memory)、フレキシブルディスク、ハードディスクなど)、光学的な記録媒体(例えば、CD−ROM、DVDなど)およびキャリアウェーブ(例えば、インターネットを通じた伝送)のような伝送(通信)媒体を含む。
本発明は、図面に示された実施形態を参考として説明されたが、これは、例示的なものに過ぎず、当業者ならば、これから多様な変形および均等な他の実施形態が可能であることが分かる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されねばならない。
本発明は、携帯電話やPDAのような多様な携帯情報機器または打楽器の機能を有する装置などに適用できる。
本発明の一実施形態による動き基盤の音声発生装置を示すブロック図である。 本発明の一実施形態による動き基盤の音声発生装置を3次元空間で使用した場合の動きパターンを示す。 本発明の一実施形態による動き基盤の音声発生装置の、動きに基づいて音声を発生させる方法を説明するフローチャートである。 本発明の一実施形態による角速度センサーを備える動き基盤の音声発生装置で、音声発生装置の動きパターンを分析する段階をさらに詳細に説明するフローチャートである。 本発明の一実施形態による加速度センサーを備える動き基盤の音声発生装置で、音声発生装置の動きパターンを分析する段階をさらに詳細に説明するフローチャートである。 本発明の一実施形態による角速度センサーを備える音声発生装置が左右、上下または時計/逆時計回り方向に動く時、前記音声発生装置のセンサー部から生成された本体座標系のx軸の角速度センサー信号値ωxを示す図面である。 本発明の一実施形態による角速度センサーを備える音声発生装置が左右、上下または時計/逆時計回り方向に動く時、前記音声発生装置のセンサー部から生成された本体座標系のy軸の角速度センサー信号値ωyを示す図面である。 本発明の一実施形態による角速度センサーを備える音声発生装置が左右、上下または時計/逆時計回り方向に動く時、前記音声発生装置のセンサー部から生成された本体座標系のz軸の角速度センサー信号値ωzを示す図面である。 図6Aに示されている角速度センサー信号ωxの絶対値|ωx|とユーザ動きを分析して決定される所定の臨界値Cxとを示す図面である。 図6Bに示されている角速度センサー信号ωyの絶対値|ωy|とユーザ動きを分析して決定される所定の臨界値Cyとを示す図面である。 図6Cに示されている角速度センサー信号ωzの絶対値|ωz|とユーザ動きを分析して決定される所定の臨界値Czとを示す図面である。 前記動きパターン認識アルゴリズムを通じて、Txの値が‘1’と設定される時の離散時間を示す図面である。 前記動きパターン認識アルゴリズムを通じて、Tyの値が‘1’と設定される時の離散時間を示す図面である。 前記動きパターン認識アルゴリズムを通じて、Tzの値が‘1’と設定される時の離散時間を示す図面である。 異なる音声を発生させる2個の音声発生装置を利用して、ビットボックス(bit box)を具現する一実施形態を示す図面である。
符号の説明
10 センサー部
20 動きパターン認識部
22 A/D変換部
24 動きパターン分析部
30 音声信号生成部
32 保存媒体
34 信号発生部
40 出力部

Claims (19)

  1. 所定装置の動きを感知し、感知された動きに対応するセンサー信号を生成するセンサー部と、
    前記生成されたセンサー信号に基づいて前記所定装置の動きパターンを認識する動きパターン認識部と、
    前記認識された動きパターンに対応する音声信号を生成する音声信号生成部と、を含むことを特徴とする動き基盤の音声発生装置。
  2. 前記動きパターン認識部は、
    前記センサー部で生成されたセンサー信号をデジタル信号に変換するA/D変換部と、
    前記デジタル信号に基づいて前記所定装置の動きパターンを分析する動きパターン分析部と、を含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。
  3. 前記音声信号生成部は、
    前記所定装置の動きパターンとそれに対応する音声信号データとを保存している保存媒体と、
    前記動きパターン認識部で認識された所定装置の動きパターンに対応する所定の音声信号データを前記保存媒体から抽出して音声信号を発生させる信号発生部と、を含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。
  4. 前記生成された音声信号を出力する出力部をさらに含むことを特徴とする請求項1に記載の動き基盤の音声発生装置。
  5. 前記センサー部は、
    角速度センサーであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。
  6. 前記センサー部は、
    加速度センサーであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。
  7. 前記センサー部は、
    角速度センサーと加速度センサーとの組合わせであることを特徴とする請求項1ないし4のうちいずれか1項に記載の動き基盤の音声発生装置。
  8. 所定装置の動きを感知し、感知された動きに対応するセンサー信号を生成する段階と、
    前記生成されたセンサー信号に基づいて前記所定装置の動きパターンを認識する段階と、
    前記認識された動きパターンに対応する音声信号を生成する段階と、を含むことを特徴とする動き基盤の音声発生方法。
  9. 前記所定装置の動きパターンを認識する段階は、
    前記センサー信号をデジタル信号に変換する段階と、
    前記デジタル信号に変換されたセンサー信号に基づいて前記所定装置の動きパターンを分析する段階と、を含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。
  10. 前記所定装置の動きパターンを分析する段階は、
    動きパターン認識表現変数を初期化する段階と、
    前記センサー信号の値が所定臨界値を超過する時点を探知する段階と、
    前記探知された時点で前記動きパターン認識表現変数を所定値と設定する段階と、を含むことを特徴とする請求項9に記載の動き基盤の音声発生方法。
  11. 前記臨界値は、ユーザの動きパターンによって調節可能であることを特徴とする請求項10に記載の動き基盤の音声発生方法。
  12. 前記所定装置の動きパターンを分析する段階は、
    動きパターン認識表現変数を初期化する段階と、
    前記デジタル信号に変換されたセンサー信号の値を航法座標系上のセンサー信号値に変換する段階と、
    前記航法座標系上のセンサー信号値が所定の臨界値を超過する時点を探知する段階と、
    前記探知された時点に前記動きパターン認識表現変数を所定値に変換する段階と、を含むことを特徴とする請求項9に記載の動き基盤の音声発生方法。
  13. 前記臨界値は、ユーザの動きパターンによって調節可能であることを特徴とする請求項12に記載の動き基盤の音声発生方法。
  14. 前記音声信号を生成する段階は、
    前記認識された動きパターンに対応する音声信号データを抽出する段階と、
    前記抽出された音声信号データに対応する音声信号を生成する段階と、を含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。
  15. 前記生成された音声信号を出力する段階をさらに含むことを特徴とする請求項8に記載の動き基盤の音声発生方法。
  16. 前記所定装置の動きを感知する段階は、前記所定装置の角速度を感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
  17. 前記所定装置の動きを感知する段階は、前記所定装置の加速度を感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
  18. 前記所定装置の動きを感知する段階は、前記所定装置の角速度と加速度とを感知することを特徴とする請求項8ないし15のうちいずれか1項に記載の動き基盤の音声発生方法。
  19. 請求項8ないし15のうちいずれか1項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
JP2005090386A 2004-03-26 2005-03-28 動き基盤の音声発生方法および装置 Pending JP2005292829A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040020763A KR100668298B1 (ko) 2004-03-26 2004-03-26 움직임에 기반한 소리 발생 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2005292829A true JP2005292829A (ja) 2005-10-20

Family

ID=34880347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005090386A Pending JP2005292829A (ja) 2004-03-26 2005-03-28 動き基盤の音声発生方法および装置

Country Status (4)

Country Link
US (1) US7474197B2 (ja)
EP (1) EP1583073A1 (ja)
JP (1) JP2005292829A (ja)
KR (1) KR100668298B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240930A (ja) * 2006-03-09 2007-09-20 Xing Inc 電子早見本装置
WO2017135549A1 (ko) * 2016-02-04 2017-08-10 박종섭 양극 연주 전자 악기

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738072B1 (ko) * 2005-02-01 2007-07-12 삼성전자주식회사 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
JP4679429B2 (ja) * 2006-04-27 2011-04-27 任天堂株式会社 音出力プログラムおよび音出力装置
JP4679431B2 (ja) * 2006-04-28 2011-04-27 任天堂株式会社 音出力制御プログラムおよび音出力制御装置
TW200828077A (en) * 2006-12-22 2008-07-01 Asustek Comp Inc Video/audio playing system
KR100921814B1 (ko) * 2007-04-26 2009-10-16 주식회사 애트랩 포인팅 장치 및 이의 움직임 제어 방법
KR100903566B1 (ko) 2007-08-03 2009-06-23 김영기 인자 측정 및 표시 방법, 인자 측정 및 표시 장치, 인자측정 및 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는매체 및 음향 스캐너
US9171531B2 (en) * 2009-02-13 2015-10-27 Commissariat À L'Energie et aux Energies Alternatives Device and method for interpreting musical gestures
US7939742B2 (en) * 2009-02-19 2011-05-10 Will Glaser Musical instrument with digitally controlled virtual frets
WO2010103427A1 (en) * 2009-03-10 2010-09-16 Koninklijke Philips Electronics N.V. Interactive system and method for sensing movement
US8461468B2 (en) 2009-10-30 2013-06-11 Mattel, Inc. Multidirectional switch and toy including a multidirectional switch
WO2011097371A1 (en) * 2010-02-04 2011-08-11 First Act Inc. Electronic drumsticks system
KR101157129B1 (ko) * 2010-04-23 2012-06-22 (재) 전라남도문화산업진흥원 동작 기반의 음악 구절 표현 방법, 음악 검색 방법 및 음악 검색 장치
JP5316818B2 (ja) * 2010-10-28 2013-10-16 カシオ計算機株式会社 入力装置およびプログラム
JP6044099B2 (ja) 2012-04-02 2016-12-14 カシオ計算機株式会社 姿勢検出装置、方法及びプログラム
JP2013213744A (ja) * 2012-04-02 2013-10-17 Casio Comput Co Ltd 姿勢検出装置、方法及びプログラム
JP2013213946A (ja) * 2012-04-02 2013-10-17 Casio Comput Co Ltd 演奏装置、方法及びプログラム
GB201315228D0 (en) * 2013-08-27 2013-10-09 Univ London Queen Mary Control methods for expressive musical performance from a keyboard or key-board-like interface
CN105354950A (zh) * 2015-11-09 2016-02-24 苏州美达瑞电子有限公司 一种基于压电感应的门铃铃声调节控制装置
CN106390465A (zh) * 2016-11-23 2017-02-15 璁搁弓 一种生活娱乐用品及其控制方法
CA3048296C (en) 2016-12-25 2023-06-13 Mictic Ag Arrangement and method for the conversion of at least one detected force from the movement of a sensing unit into an auditory signal
KR101925888B1 (ko) * 2017-01-06 2018-12-06 주식회사 이랜텍 착용식 알림 장치
JP7081921B2 (ja) * 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
JP7081922B2 (ja) 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置及びゲームを実行するための方法
US10152958B1 (en) 2018-04-05 2018-12-11 Martin J Sheely Electronic musical performance controller based on vector length and orientation
US10991349B2 (en) 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
JP7147384B2 (ja) * 2018-09-03 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
US20220189335A1 (en) * 2019-04-22 2022-06-16 University Of Kentucky Research Foundation Motion feedback device
CN112216283B (zh) * 2020-09-24 2024-02-23 建信金融科技有限责任公司 一种语音识别方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5290964A (en) * 1986-10-14 1994-03-01 Yamaha Corporation Musical tone control apparatus using a detector
US5177311A (en) * 1987-01-14 1993-01-05 Yamaha Corporation Musical tone control apparatus
US4905560A (en) * 1987-12-24 1990-03-06 Yamaha Corporation Musical tone control apparatus mounted on a performer's body
US5170002A (en) * 1987-12-24 1992-12-08 Yamaha Corporation Motion-controlled musical tone control apparatus
US4904222A (en) * 1988-04-27 1990-02-27 Pennwalt Corporation Synchronized sound producing amusement device
JP2663503B2 (ja) * 1988-04-28 1997-10-15 ヤマハ株式会社 楽音制御装置
JPH0299994A (ja) * 1988-10-06 1990-04-11 Yamaha Corp 楽音制御装置
JP2500544B2 (ja) * 1991-05-30 1996-05-29 ヤマハ株式会社 楽音制御装置
US5541358A (en) * 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument
US5920024A (en) * 1996-01-02 1999-07-06 Moore; Steven Jerome Apparatus and method for coupling sound to motion
JPH11118507A (ja) 1997-10-09 1999-04-30 Yokogawa Denshikiki Co Ltd 船舶の慣性航法装置
JP2000148351A (ja) 1998-09-09 2000-05-26 Matsushita Electric Ind Co Ltd ユ―ザ動作の種類に応じて操作指示をする操作指示出力装置及びコンピュ―タ読み取り可能な記録媒体
US6150947A (en) * 1999-09-08 2000-11-21 Shima; James Michael Programmable motion-sensitive sound effects device
EP1855267B1 (en) * 2000-01-11 2013-07-10 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
US6626728B2 (en) * 2000-06-27 2003-09-30 Kenneth C. Holt Motion-sequence activated toy wand
EP1195742B1 (en) * 2000-09-05 2008-02-27 Yamaha Corporation System and method for generating tone in response to movement of portable terminal
US6826509B2 (en) * 2000-10-11 2004-11-30 Riddell, Inc. System and method for measuring the linear and rotational acceleration of a body part
JP4694705B2 (ja) * 2001-02-23 2011-06-08 ヤマハ株式会社 楽音制御システム
EP1366712A4 (en) * 2001-03-06 2006-05-31 Microstone Co Ltd DETECTOR APPLICABLE TO THE MOVEMENT OF A BODY
JP4779264B2 (ja) 2001-09-05 2011-09-28 ヤマハ株式会社 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法
TWD100629S1 (zh) * 2003-03-19 2004-10-01 任天堂股份有限公司 揮動顯示之玩具

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240930A (ja) * 2006-03-09 2007-09-20 Xing Inc 電子早見本装置
WO2017135549A1 (ko) * 2016-02-04 2017-08-10 박종섭 양극 연주 전자 악기

Also Published As

Publication number Publication date
US20050213476A1 (en) 2005-09-29
EP1583073A1 (en) 2005-10-05
US7474197B2 (en) 2009-01-06
KR100668298B1 (ko) 2007-01-12
KR20050095386A (ko) 2005-09-29

Similar Documents

Publication Publication Date Title
JP2005292829A (ja) 動き基盤の音声発生方法および装置
JP5911796B2 (ja) マルチモーダル情報を用いるユーザ意図推論装置及び方法
US20070091292A1 (en) System, medium, and method controlling operation according to instructional movement
JP6553124B2 (ja) 複数センサ入力のためのセンサフュージョンインタフェース
US10095402B2 (en) Method and apparatus for addressing touch discontinuities
Choi et al. Beatbox music phone: gesture-based interactive mobile phone using a tri-axis accelerometer
CN103366722B (zh) 姿势检测装置及方法
US8629344B2 (en) Input apparatus and recording medium with program recorded therein
WO2006070044A1 (en) A method and a device for localizing a sound source and performing a related action
EP2648182A1 (en) Orientation detection device and orientation detection method
US10838508B2 (en) Apparatus and method of using events for user interface
KR101615661B1 (ko) 실시간 동작인식시스템 및 그의 방법
KR101189214B1 (ko) 동작에 따른 음을 출력하는 장치 및 방법
KR101185144B1 (ko) 제스쳐의 2차원 궤적을 추정하는 방법 및 장치
KR100738072B1 (ko) 움직임 기반 소리 설정장치와 소리 발생장치 및 움직임기반 소리 설정방법과 소리 발생방법
KR101652705B1 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
KR20070009299A (ko) 동작에 따른 음을 발생하는 장치 및 방법
US9958902B2 (en) Input device, input method, and program
JP2005092722A (ja) 動作認識装置
Ghaffar et al. Malay cued speech transliterate system using wearable sensors: A survey
KR20070039330A (ko) 동작 인식 장치 및 방법
KR20140083848A (ko) 센서 데이터를 활용한 제스처 인식 방법 및 장치
Dimitrov Analyzing Theremin Sounds for Touch-Free Gesture Recognition
Benatan et al. Mobile Device Augmentation for Interactive Environments

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081014