CN111862910A - 虚拟电子乐器系统及其运作方法 - Google Patents

虚拟电子乐器系统及其运作方法 Download PDF

Info

Publication number
CN111862910A
CN111862910A CN202010065120.5A CN202010065120A CN111862910A CN 111862910 A CN111862910 A CN 111862910A CN 202010065120 A CN202010065120 A CN 202010065120A CN 111862910 A CN111862910 A CN 111862910A
Authority
CN
China
Prior art keywords
data
musical instrument
audio signal
sensor
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010065120.5A
Other languages
English (en)
Inventor
黄志方
张振义
黄兴真
刘育成
黄锦煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Feng Chia University
Original Assignee
Feng Chia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Feng Chia University filed Critical Feng Chia University
Publication of CN111862910A publication Critical patent/CN111862910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/371—Vital parameter control, i.e. musical instrument control based on body signals, e.g. brainwaves, pulsation, temperature, perspiration; biometric information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种虚拟电子乐器系统，包括：至少一传感器，配置于一用户或安装于至少一乐器组件上，所述至少一传感器侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；一系统服务器，与所述传感器连接并接收所述轨迹数据，所述系统服务器包括：一处理器，以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及一扬声器，与所述处理器连接，所述扬声器输出所述音频讯号。

Description

虚拟电子乐器系统及其运作方法
技术领域
本发明提出一种虚拟电子乐器系统及其运作方法，尤指一种透过传感器侦测使用者的手势轨迹或乐器组件的运动轨迹，以输出相对应的音频讯号或可视化讯号的虚拟电子乐器系统及其运作方法。
背景技术
目前现有的乐器大多分为两种：(一)传统的乐器，如爵士鼓等打击乐器、吉他及各式提琴等弦乐器或钢琴等；(二)传统乐器及电子组成的乐器，如电子鼓、电吉他或电子琴等。然而，上述乐器通常具有尺寸庞大及结构复杂等缺点，搬运的过程中需要众多人力以及货车或更大的车辆进行运输，且拆卸及组装的步骤同样繁琐，往往需花费大量的人力及时间成本。除此之外，乐团排练的过程中更需要以上多组乐器才得以进行演练，无论是租借排练的工作室或场地，还是购买上述所有的乐器组合，皆是乐团组成上常遇到的阻碍。
因此，陆续有厂商开始研究虚拟乐器，亦即不需要实体的乐器即可产生乐器的效果。如美国专利公告号US9224377B2就提出一种电子打击乐器，不需要击打实体的物体表面即能发出与打击乐器相同的声音，其技术手段是使用摄影机撷取用户打击动作的影像后，处理器透过影像辨识技术计算该影像所代表的意义进而发出对应的音效；然而，透过摄影机侦测使用者打击动作的缺点在于，其拍摄或录像的过程中可能会被外在物体挡住视线(如用户自己的双手)或于特殊环境(如暗室或行动中的交通工具)中无法运作的问题。因此，需一种能在任何场合使用的虚拟电子乐器系统及其运作方法，以解决上述技术所提到的问题。
发明内容
为解决背景技术中所提到，如何让用户不须演奏实体乐器即可体验演奏的效果，同时解决传统使用一个或多个摄影(像)机捕捉影像的过程中，会被外在物体挡住视线(如用户自己的双手)或于黑暗中无法运作的问题，本发明提出一种虚拟电子乐器系统，包括：至少一传感器，配置于一用户或安装于至少一乐器组件上，所述至少一传感器侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；一系统服务器，与所述传感器连接并接收所述轨迹数据，所述系统服务器包括：一处理器，以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及一扬声器，与所述处理器连接，所述扬声器输出所述音频讯号。
另外，本发明更提出一种虚拟电子乐器系统的运作方法，包括以下步骤： (A)配置于一用户或安装于至少一乐器组件上的至少一传感器侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；(B) 一系统服务器以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及(C)一扬声器输出所述音频讯号。
进一步而言，其中在步骤(B)中，所述系统服务器还可产生一与所述轨迹数据对应的可视化讯号，且该虚拟电子乐器系统的运作方法更包一步骤(D) 一显示设备输出所述可视化讯号，且所述可视化讯号与所述音频讯号同步显示。
以上对本发明的简述，目的在于对本发明的数种面向和技术特征作基本说明。发明简述并非对本发明的详细表述，因此其目的不在特别列举本发明的关键性或重要组件，也不是用来界定本发明的范围，仅为以简明的方式呈现本发明的数种概念而已。
附图说明
图1为本发明较佳实施例的虚拟电子乐器系统。
图2为本发明另一较佳实施例的虚拟电子乐器系统。
图3为本发明较佳实施例的虚拟电子乐器系统的运作方法流程图。
图4为本发明较佳实施例的安装有传感器的至少一乐器组件。
图5为本发明较佳实施例的虚拟鼓组的示意图。
图6为本发明较佳实施例的虚拟鼓组的操作方法示意图。
图7为本发明较佳实施例的第一平面轨迹数据定义的示意图。
图8为本发明较佳实施例的第二平面轨迹数据定义的示意图。
附图标号说明：
10…虚拟电子乐器系统
10’…虚拟电子乐器系统
100…传感器
100A…第一传感器
100B…第二传感器
110…电子电路
111…处理单元
112…储存单元
113…大数据分析单元
200…系统服务器
210…处理器
220…数据库
230…大数据分析模块
300…扬声器
400…显示设备
500…鼓棒
500A…第一鼓棒
500B…第二鼓棒
600…鼓组
610…小鼓鼓面
620…第一中鼓鼓面
630…第一中鼓鼓面
640…落地鼓鼓面
650…碎音钹鼓面
660…迭音钹鼓面
670…大鼓鼓面
61…第一平面
62…第二平面
63…第三平面
W…第一平面与第二平面之俯仰角
D…由上往下打击
U…由下往上打击
具体实施方式
为能了解本发明的技术特征及实用功效，并可依照说明书的内容来实施，进一步以如图式所示的较佳实施例，详细说明如后：
本发明提出了一种虚拟电子乐器系统及其运作方法，使用者可透过安装于乐器组件(如鼓棒、吉他拨片或琴弓等)上的传感器，或是直接透过配置有传感器的穿戴式装置(如智能手表、智能手环或戒指等)来侦测使用者演凑乐器时的运动(手势)轨迹后，利用算法分析该运动(手势)轨迹并输出相应于该轨迹的音频讯号或/及可视化讯号，以实现传统乐器的体验。
除此之外，本发明的虚拟电子乐器系统还可与虚拟现实(Virtual Reality, VR)或增强实境(Augmented Reality,AR)系统做结合，将可视化讯号以虚拟现实或增强实境的方式呈现出虚拟乐器(如鼓组、吉他、各式提琴或钢琴等)，以此增加表演者或观众的音乐体验。
首先，请参照图1及图2，图1为本发明较佳实施例的虚拟电子乐器系统，图2为本发明另一较佳实施例的虚拟电子乐器系统。如图1所示，该虚拟电子乐器系统10包括有至少一传感器100，与所述至少一传感器100有线或无线连接的系统服务器200，与所述系统服务器200有线或无线连接的扬声器300，以及与所述系统服务器200有线或无线连接的显示设备400；其中，所述扬声器300除了是与系统服务器200连接的外部扬声器300，也可以是内嵌于系统服务器200的嵌入式扬声器300，本发明不应依此为限。
上述的至少一传感器100可以安装于如鼓棒、吉他拨片或琴弓等乐器组件上，也可以配置于如智能手表、智慧手环或戒指等穿戴式装置中，当用户直接装备有上述的穿戴式装置时，甚至连乐器组件(如鼓棒、吉他拨片或琴弓等触发组件)都不须使用即可进行演奏；进一步而言，每一个传感器100还相对应配置有电子电路110(可参照图2)，且该电子电路110中可以包括有收发单元(transceiver)、处理单元111(processor)、储存单元112(memory)、大数据分析单元113或/及系统单芯片(System on a Chip,SoC)。所述至少一传感器100的功用在于侦测用户或表演者演奏虚拟乐器时的手势轨迹，或侦测所述至少一乐器组件演奏时的运动轨迹，以产生一轨迹数据并向外部设备发送讯息。其中，所述轨迹数据包括水平位移数据、垂直位移数据、水平角度数据、垂直角度数据、水平方向数据、垂直方向数据、水平速度数据、垂直速度数据、水平加速度数据、垂直加速度数据或其组合等。
传感器100可以包括陀螺仪、磁力计、加速度计或其组合等；传感器100 也可以是九轴姿态传感器或惯性测量单元(Inertial Measurement Unit,IMU)。九轴姿态传感器具有三轴陀螺仪、三轴磁力计及三轴加速度计，惯性测量单元则由三个加速度计及三个陀螺仪所构成，其二者的目的皆在于侦测物体的角度、位置、位移、转动及速度。传感器100可侦测用户手势或乐器组件的初始位置、终止位置、相对位置、位移量、三轴旋转矩阵、角度(方向角或俯仰角)、速度及加速度等数据，以此判断用户演奏乐器时，其手势或乐器组件的运动轨迹。
与所述至少一传感器100有线或无线连接的系统服务器200，包括有一处理器210，可实时接收每一个传感器100所传送的轨迹数据，并透过系统内建的算法来分析辨识所述轨迹数据所对应到的音频讯号或可视化讯号，再经由与所述处理器210连接的扬声器300实时输出(播放)所述音频讯号，或经由与所述处理器210连接的显示设备400实时输出(显示)所述可视化讯号，且所述可视化讯号与所述音频讯号同步输出，以提高用户的视觉及听觉体验。进一步而言，上述的扬声器300及显示设备400皆可以是与系统服务器有线或无线(如蓝芽设备、Wi-Fi网络设备等)连接的外部扬声器300及显示设备400，也可以是内嵌于系统服务器的嵌入式扬声器300及嵌入式显示设备400，本发明不应依此为限。
除此之外，所述系统服务器还包括有一数据库220与处理器210连接，所述数据库220可储存历史的所述轨迹数据、所述音频讯号以及所述可视化讯号。当用户希望播放历史的音频讯号或显示历史的可视化讯号，即可调动数据库 220中的数据进行输出。进一步而言，所述系统服务器200还包括有一大数据分析模块230，分别与所述数据库220及所述处理器210连接，可实时搜集数据库220中所有的轨迹数据，实时针对每一个轨迹数据分析并找出用户于演奏时较容易出错的段落(音节)，如吉他拨弦或指法的位置、鼓组打击的位置及力道或钢琴琴键弹奏的位置等，并于显示设备400上显示正确演奏方法所需要的手势轨迹或运动轨迹，让用户不须拥有实体乐器及可自主练习各式音乐的目的。
值得注意的是，传感器100除了可将侦测到的轨迹数据传送至系统服务器200进行分析运算外，也可将所述轨迹数据传送至相对应配置有的电子电路110 中所包括有收发单元(transceiver)、处理单元111(processor)、储存单元112(memory)及大数据分析单元113，而该处理单元111相当于上述系统服务器中200的处理器210，可利用算法分析所述轨迹数据并输出相应于轨迹数据的音频讯号或/及可视化讯号，并将所述音频讯号透过收发单元传送至扬声器300以输出(播放)音频讯号，并将所述可视化讯号透过收发单元传送至显示设备400以输出(显示)可视化讯号；该储存单元112则相当于上述系统服务器200中的数据库220，可储存历史的所述轨迹数据、所述音频讯号以及所述可视化讯号；该大数据分析单元113则相当于上述系统服务器200中的大数据分析模块230，可实时搜集储存单元112中所有的轨迹数据，实时针对每一个轨迹数据分析并找出用户于演奏时较容易出错的段落。以此，另一实施例的虚拟电子乐器系统10’可更近一步省去系统服务器200的组件，仅透过配置于用户(的穿戴式装置)或安装于至少一乐器组件上的传感器模块(包括至少一传感器100及相对应配置有的电子电路110)，即可侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹，并依据该些轨迹透过扬声器300输出相对应的音频讯号，或/及透过显示设备400输出相对应的可视化讯号，且所述可视化讯号与所述音频讯号同步输出。
以上所提及的系统服务器200可以是个人计算器(PC)、平板计算机、机顶盒(STB)、个人数字助理(PDA)、行动装置或任何能够执行机器指令进行运算处理的装置。扬声器300可以是耳机、音响、喇叭或任何能够播放音频讯号的装置。显示设备400可以是一般显示设备如投影机、屏幕或显示面板，也可以是虚拟现实(Virtual Reality,VR)或增强实境(Augmented Reality, AR)的显示设备，用以显示虚拟现实讯号或增强实境讯号的可视化讯号。
具体的，请参照图3，其为本发明较佳实施例的虚拟电子乐器系统的运作方法流程图。如图3所示，本发明的虚拟电子乐器系统的运作方法包括以下步骤：(A)配置于一用户或安装于至少一乐器组件上的至少一传感器100侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；(B)一系统服务器200(或电子电路110)以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及(C)一扬声器300输出所述音频讯号。其中在步骤(B)中，所述系统服务器200还可产生与所述轨迹数据对应的一可视化讯号。
进一步而言，在上述运作方法流程中，更包一步骤(D)一显示设备400 输出所述可视化讯号，且所述可视化讯号与所述音频讯号同步显示。其中，所述可视化讯号的输出方式包括虚拟现实(Virtual Reality,VR)或增强实境 (Augmented Reality,AR)讯号。
以下将针对本发明如何辨识使用者的手势轨迹或/及至少一乐器组件的运动轨迹，并将手势轨迹或/及运动轨迹所产生的轨迹数据转换成音频讯号及可视化讯号的演算方法作进一步说明。
首先，请同时参照图4、图5及图6，图4本发明较佳实施例的安装有传感器的至少一乐器组件，图5及图6为本发明较佳实施例的虚拟鼓组的示意图。如图4所示，在本实施例中至少一传感器100A/100B是安装于可产生音频效果或可视化效果的一对鼓棒500上，该对鼓棒包括有一第一鼓棒500A(以左手握持)及一第二鼓棒500B(以右手握持)，且第一鼓棒500A及第二鼓棒500B 分别安装有至少一传感器100A/100B，以及与传感器100A/100B相对应配置有的一电子电路110A/110B，且该电子电路中可以包括有(可同时参照图2)收发单元(transceiver)、处理单元(processor)、储存单元(memory)或/ 及系统单芯片(System ona Chip,SoC)。在本实施例中，第一鼓棒500A可以是一父鼓棒，而第二鼓棒500B可以是一子鼓棒，父鼓棒可以从子鼓棒上的传感器100B接收数据，并将子鼓棒的传感器数据与父鼓棒本身的传感器数据 (即轨迹数据)一同发送至系统服务器200(如计算器、计算机及行动装置等设备)做进一步的运算处理，或是透过电子电路110A/110B分析计算后，直接将音频讯号发送至扬声器300或是直接将可视化讯号发送至显示设备400；在其他可能的实施例中，第一鼓棒500A及第二鼓棒500B可以独立地向系统服务器200、扬声器300或显示设备400发送相对应的传感器数据、音频讯号或可视化讯号。
进一步而言，可以将第一鼓棒500A分配给使用者的左手握持，将第二鼓棒500B分配给使用者的右手握持；当使用者使用该对鼓棒500进行演奏时，左手握持的第一鼓棒500A上的至少一传感器100A侦测该第一鼓棒500A的运动轨迹以产生第一轨迹数据，并被配置为输出第一音频讯号或第一可视化讯号；右手握持的第二鼓棒500B上的至少一传感器100B侦测该第二鼓棒500B 的运动轨迹以产生第二轨迹数据，并被配置为输出第二音频讯号或第二可视化讯号。具体而言，鼓棒可使虚拟鼓组600(可参照图5)基于第一鼓棒500A及第二鼓棒500B不同的运对轨迹输出不同的音频讯号(鼓声)，举例来说当第一鼓棒500A的运动轨迹为敲击低音鼓，其产生的第一音频讯号为低音鼓的鼓声；当第二鼓棒500B的运动轨迹为敲击高音钹，其产生的第二音频讯号为高音钹的鼓声，透过分别侦测第一鼓棒500A与第二鼓棒500B的运动轨迹相互协调产生不同的音频讯号，以达到仿真真实鼓组的声音效果。
具体的，如图5及图6所示，在本实施例中图4的该对鼓棒500(乐器组件)为虚拟鼓组600(乐器)的触发组件，而虚拟鼓组600可区分为三个平面，包括：一第一平面61、一第二平面62以及一第三平面63。进一步而言，该第一平面61为一水平的平面，且具有四个鼓面由左至右依序分别为一小鼓(Snare drum)鼓面610、二中鼓(Tom-Tom)鼓面620/630以及一落地鼓(Floor Tom) 鼓面640，其中小鼓鼓面610的直径大小为12-14吋，中鼓鼓面620/630的直径大小为12-16吋，落地鼓鼓面640的直径大小为14-18吋；该第二平面62 为相对于第一平面61具有向上仰角W约30至90度(更好的仰角为30至40 度)的平面，且具有两个鼓面由左至右依序分别为碎音钹(Crash Cymbal)鼓面650以及迭音钹(Ride Cymbal)鼓面660，其中碎音钹鼓面650的直径大小为16-20吋，迭音钹鼓面660的直径大小为20-24吋；该第三平面63为相对于第一平面61具有向下且垂直于第一平面61的平面，且该第三平面63具有一大鼓(Bass Drum)鼓面670，其鼓面670的直径大小为18-26吋，而在其他可能的实施例中，上述每一个平面中鼓面的数量以及其放置的位置皆可依据用户的需求自行调整，本发明不应依此为限。
接下来将说明使用者演奏时，鼓棒运动轨迹的判别方式。首先，最基础的判断方式为当使用者握持的鼓棒500轨迹是由上往下敲击第一平面61或第二平面62，则输出音频讯号(即鼓声)或/及可视化讯号(相对应的鼓面震动)，或是鼓棒500轨迹是由左往右或由右往左敲击第三平面63亦输出音频讯号或 /及可视化讯号。值得注意的是，若鼓棒500轨迹是由下往上敲击任一平面则皆不会输出任何音频讯号或/及可视化讯号；还有当左手握持第一鼓棒500A 的运动轨迹是由右往左敲击第三平面，以及右手握持第二鼓棒500B的运动轨迹是由左往右敲击第三平面，其代表正常敲击第三平面63运动轨迹的惯性回程，故皆不输出音频讯号或/及可视化讯号。
除此之外，鼓棒500由上往下敲击的运动轨迹是否确实接触到第一、第二或第三平面61/62/63是由每一平面的俯仰角来决定；鼓棒500敲击后输出音频讯号的音色则是由每一平面的方向角来决定。而音频讯号的音量大小则是由鼓棒500敲击的运动轨迹的线性加速度或角加速度来决定，当线性加速度或角加速度的值越大(即使用者握持鼓棒500的打击力道越大)，则其音频讯号的音量亦越大；反之，若线性加速度或角加速度的值越小(即使用者握持鼓棒500 的打击力道越小)，则其音频讯号的音量亦越小。
以下请参照图7及图8，图7及图8将针对第一平面、第二平面及第三平面的轨迹数据定义做进一步说明。
首先，如图7所示，在第一平面61中音频讯号的音色是由方向角来决定。具体而言，第一平面61中由左至右的鼓面依序为一小鼓鼓面610、二中鼓鼓面 620/630以及一落地鼓鼓面640，其音频讯号的判断方式为运动轨迹中有效打击的水平范围值(H)来决定，当使用者握持鼓棒500的运动轨迹打击到第一平面61中水平方向为0-45度角(即水平范围值H为0-45)，则其轨迹数据相对应的音频讯号为小鼓610的音频讯号，可视化讯号为小鼓鼓面震动；当鼓棒 500的运动轨迹打击到第一平面61中水平方向为45-90度角(即水平范围值H 为45-90)，则其轨迹数据相对应的音频讯号为第一中鼓620的音频讯号，可视化讯号为第一中鼓鼓面震动；当鼓棒500的运动轨迹打击到第一平面61中水平方向为90-135度角(即水平范围值H为90-135)，则其轨迹数据相对应的音频讯号为第二中鼓的音频讯号，可视化讯号为第二中鼓630鼓面震动；当鼓棒500的运动轨迹打击到第一平面61中水平方向为135-180度角(即水平范围值H为135-180)，则其轨迹数据相对应的音频讯号为落地鼓640的音频讯号，可视化讯号为落地鼓鼓面震动。举例来说，当使用者的运动轨迹的轨迹数据为打击第一平面61水平范围值H为120时，其相对应输出的音频讯号为第二中鼓630的音频讯号，可视化讯号为第二中鼓的鼓面震动，透过以上方式可达到当使用者敲击同一平面的不同水平方向即可输出不同音色的音频讯号，以及不同鼓面震动的可视化效果，以实现真实鼓组的音乐体验。
另一方面，是否确实接触到第一平面61的鼓面进而输出音频讯号则是由俯仰角来决定。具体而言，当鼓棒500的运动轨迹为使用者握持鼓棒500的位置，位于相对于第一平面上方且俯仰角(R)大于等于5度(较好的俯仰角是介于10-30度)的位置，同时由上向下(向第一平面61)敲击D的角度大于等于5度(较好的角度是介于10-30度)时，会触发该鼓面610/620/630/640的一次打击而使得系统服务器200输出相对应的音频讯号或可视化讯号。反之，当用户握持鼓棒500的位置相对于第一平面61上方的俯仰角小于5度、鼓棒由上向下敲击D的角度小于5度，以及鼓棒500相对于第一平面61由下向上敲击U的运对轨迹所产生的数据，皆不会触发系统服务器200输出音频讯号与可视化讯号。
进一步而言，当系统服务器200的处理器210接收到至少一传感器100所侦测的轨迹数据为确实接触到第一平面61的鼓面时，还可传送一作动讯号至安装于鼓棒500上的作动单元(图未示)，或与所述至少一传感器100连接的作动单元(该作动单元亦与所述处理器210有线或无线连接以接收该作动讯号)，其中该作动讯号可以是使该鼓棒500(乐器组件)震动或是朝打击鼓面所施加力道的反向提供一反作用力，并透过该作动单元实现鼓棒震动或反作用力，藉以让使用者确得知已确实打击到第一平面61的鼓面并模拟更真实的打击效果。而此概念不单仅应用于打击乐器，如使用吉他拨片确实弹到(模拟) 弦时造成拨片的震动，或是使用琴弓确实演奏到(模拟)弦时造成琴弓的震动，皆属于本发明保护的范围之内。
具体的，如图8所示，在第二平面62中音频讯号的音色也是由方向角来决定。具体而言，第二平面62中由左至右的鼓面依序为碎音钹(Crash Cymbal) 鼓面650以及迭音钹(Ride Cymbal)鼓面660，其音频讯号的判断方式为运动轨迹中有效打击的水平范围值(H)来决定，当使用者握持鼓棒500的运动轨迹打击到第二平面62中水平方向为0-90度角(即水平范围值H为0-90)，则其轨迹数据相对应的音频讯号为碎音钹650的音频讯号，可视化讯号为碎音钹鼓面震动；当鼓棒500的运动轨迹打击到第二平面62中水平方向为90-180度角(即水平范围值H为90-180)，则其轨迹数据相对应的音频讯号为迭音钹 660的音频讯号，可视化讯号为迭音钹鼓面震动。举例来说，当使用者的运动轨迹的轨迹数据为打击第二平面62水平范围值H为120时，其相对应输出的音频讯号为迭音钹660的音频讯号，可视化讯号为迭音钹的鼓面震动，透过以上方式可达到当使用者敲击同一平面的不同水平方向即可输出不同音色的音频效果，以及不同鼓面震动的可视化效果，以实现真实鼓组的音乐体验。
另一方面，是否确实接触到第二平面62的鼓面进而输出音频讯号则是由俯仰角来决定。具体而言，当鼓棒500的运动轨迹为使用者握持鼓棒500的位置，位于相对于第二平面62上方且俯仰角(R)大于等于30度(较好的俯仰角是介于30-90度)的位置，同时由上向下(向第二平面)敲击D的角度大于等于30度(较好的角度是介于30-90度)时，会触发该鼓面650/660的一次打击而使得系统服务器200输出相对应的音频讯号或可视化讯号。反之，当用户握持鼓棒500的位置相对于第二平面62上方的俯仰角小于30度、鼓棒由上向下敲击D的角度小于30度，以及鼓棒500相对于第二平面62由下向上敲击 U的运对轨迹所产生的数据，皆不会触发系统服务器输出音频讯号与可视化讯号。
进一步而言，当系统服务器200的处理器210接收到至少一传感器100所侦测的轨迹数据为确实接触到第二(三)平面62/63的鼓面时，还可传送一作动讯号至安装于鼓棒500上的作动单元(图未示)，或与所述至少一传感器100 连接的作动单元(该作动单元亦与所述处理器210有线或无线连接，以接收该作动讯号)，其中该作动讯号可以是使该鼓棒500(乐器组件)震动或是朝打击鼓面所施加力道的反向提供一反作用力，并透过该作动单元实现鼓棒震动或反作用力，藉以让使用者确得知已确实打击到第二(三)平面62/63的鼓面并模拟更真实的打击效果。
至于上述之第一、第二平面61/62中有效打击的水平范围值(H)，以及位于第一、第二平面61/62上方的俯仰角(R)等参数，皆可依据使用者的习惯自行调整，本发明不应当依此为限。
最后，位于第一平面61下方且垂直第一平面61的第三平面63，当使用者握持第一鼓棒500A(左手)的运对轨迹为由左往右挥击，或第二鼓棒500B(右手)的运动轨迹为由右往左挥击，皆可使得系统服务器200输出相对应的音频讯号(低音大鼓鼓声)或可视化讯号(低音大鼓鼓面震动)。理论上来说，若有多个鼓位于第三平面63，应由第三平面63的俯仰角判别鼓面的位置；然而，在本实施例中第三平面63仅有一大鼓鼓面670，因此无论俯仰角的角度是多少，仅需要在第三平面63的运动轨迹正确(第一鼓棒500A由左往右挥击或第二鼓棒500B由右往左挥击)，皆可使得系统服务器200输出音频讯号与可视化讯号。
以下将针对本发明的虚拟电子乐器系统10/10’的多种应用模式做进一步的说明。
首先为最基础的自由打击模式，用户可透过握持配置有至少一传感器100 的鼓棒500，或直接配戴安装有至少一传感器100的穿戴式装置打击虚拟乐器 (在此为虚拟鼓组600)的第一、第二及第三平面61/62/63，并经由系统服务器200或电子电路110接收演奏过程的运动(手势)轨迹的轨迹数据后，透过扬声器300或显示设备400输出相对应的音频讯号或可视化讯号。
具体的为伴奏模式，用户可预先透过系统服务器200或电子电路110选取随机或默认的音乐旋律，并透过扬声器300输出该音乐旋律，此时用户即可随着该音乐旋律进行演奏，用户同样透过握持配置有至少一传感器100的鼓棒 500，或直接配戴安装有至少一传感器100的穿戴式装置打击虚拟乐器(在此为虚拟鼓组600)的第一、第二及第三平面61/62/63，并透过系统服务器200 或电子电路110接收演奏过程的运动(手势)轨迹的轨迹数据后，透过扬声器 300或显示设备400输出相对应的音频讯号或可视化讯号，且所述音频讯号可针对音乐旋律进行伴奏。
而上述二种模式中，还可透过大数据分析模块230(或大数据分析单元113) 实时针对用户演奏的过程中可能出现状况实时作出参数的设定调整。举例而言，当演奏的使用者为入门者或是演奏的场合为搭乘交通工具的路途上(非正式的演奏场合)，而导致演奏的过程中出现较多的错误，例如传感器100的运动(手势)轨迹的俯仰角度过小以致于未触发该次挥击而未产生音频讯号及可视化讯号，或是传感器100的运动(手势)轨迹的水平角度错误而产生错误音色的音频讯号及可视化讯号等问题。本发明的大数据分析模块230(或大数据分析单元113)即可实时搜集该些信息并判断出针对所述使用者合适的参数，举例而言，若使用者频繁地因运动(手势)轨迹的俯仰角度过小而未产生音频讯号，即可实时调整降低系统服务器200中对俯仰角度的设定门坎(如第二水平面62上方的俯仰角从60度降至30度角)，以提高传感器100的侦测范围；若使用者频繁地因水平角度错误而打击到错误鼓面并产生错误音色，即可实时调整放大每一个鼓面或特定一个鼓面的面积(如落地鼓鼓面640的直径大小从 14吋放大到18吋)，以降低使用者打击错误的机率。
而以上所有实施例中的可视化讯号皆可透过具有虚拟现实(Virtual Reality,VR)或增强实境(Augmented Reality,AR)效果的显示设备400(如 VR眼镜)来实现。使用者可以配戴虚拟现实或增强实境眼镜来呈现真实的鼓组，当使用握持的鼓棒500所产生的运动轨迹被侦测为敲击鼓组中的某一鼓面时，所述显示设备400会接收相对应的可视化讯号，而使得显示画面中该个被敲击的鼓面产生震动的可视化效果，同时扬声器300同步输出与所述可视化讯号对应的音频效果，以此实现打击真实鼓组的体验。
以上所述的至少一传感器100皆系安装于鼓棒500上并侦测使用者演奏时鼓棒的运动轨迹，然而在其他可能的实施例中，至少一传感器100还可直接配置于一用户身上，如智能手表、智能手环或戒指等穿戴式装置，并侦测用户的手势轨迹以产生轨迹数据，并依据所述轨迹数据输出音频讯号或可视化讯号；因此，有关于以上「运动轨迹」的叙述皆可替换为「手势轨迹」。除此之外，本发明的虚拟电子乐器系统10/10’除了透过系统服务器200接收轨迹数据并输出相对应的音频讯号或可视化讯号，也可以直接透过与传感器100相应配置的电子电路110(如图2之实施例)接收轨迹数据并输出相对应的音频讯号或可视化讯号，以进一步省去系统服务器200的组件；因此，有关于以上「系统服务器200」的叙述亦可替换为「电子电路100」。
除此之外，本实施例虽仅对鼓组及其对应触发声音的鼓棒(乐器组件)做详细的说明，然而该虚拟乐器还可以是吉他、钢琴或各式提琴，及其对应触发声音的乐器组件还可以是吉他拨片或琴弓，本发明的传感器同样可以侦测使用者弹奏吉他时吉他拨片或手指的运动轨迹，输出相对应的音频讯号(吉他声) 及可视化讯号(吉他弦震动)；或是侦测使用者弹奏钢琴时手指的运动轨迹，输出相对应的音频讯号(琴声)及可视化讯号(琴键的垂直位移)；或是侦测使用者演奏提琴时琴弓及手指的运动轨迹，输出相对应的音频讯号(提琴声)及可视化讯号(提琴弦震动)。因此，举凡是透过传感器侦测使用者的手势轨迹或乐器组件的运动轨迹，并输出相对应的音频讯号或可视化讯号皆属于本发明的保护范围内，即依本发明申请专利范围及说明内容所作之乐器更换，皆仍属本发明涵盖之范围内。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的实用、新型构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (12)

1.一种虚拟电子乐器系统，其特征在于，包括：
至少一传感器，配置于一用户或安装于至少一乐器组件上，所述至少一传感器侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；
一系统服务器，与所述传感器连接并接收所述轨迹数据，所述系统服务器包括：
一处理器，以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及
一扬声器，与所述处理器连接，所述扬声器输出所述音频讯号。
2.根据权利要求1所述的虚拟电子乐器系统，其特征在于，所述处理器还产生与所述轨迹数据对应的一可视化讯号。
3.根据权利要求2所述的虚拟电子乐器系统，其特征在于，还包括一显示设备与所述系统服务器连接，所述显示设备输出所述可视化讯号，且所述可视化讯号与所述音频讯号同步显示。
4.根据权利要求2所述的虚拟电子乐器系统，其特征在于，所述系统服务器还包括一数据库与所述处理器连接，所述数据库储存所述轨迹数据、所述音频讯号以及所述可视化讯号。
5.根据权利要求1所述的虚拟电子乐器系统，其特征在于，所述至少一传感器包括惯性测量单元。
6.根据权利要求1所述的虚拟电子乐器系统，其特征在于，所述至少一传感器包括陀螺仪、磁力计、加速度计或其组合。
7.根据权利要求3所述的虚拟电子乐器系统，其特征在于，所述可视化讯号为虚拟现实讯号或增强实境讯号。
8.根据权利要求1所述的虚拟电子乐器系统，其特征在于，所述轨迹数据包括水平位移数据、垂直位移数据、水平角度数据、垂直角度数据、水平方向数据、垂直方向数据、水平速度数据、垂直速度数据、水平加速度数据、垂直加速度数据或其组合。
9.一种虚拟电子乐器系统的运作方法，其特征在于，包括：
(A)配置于一用户或安装于至少一乐器组件上的至少一传感器侦测所述使用者的手势轨迹，或所述至少一乐器组件的运动轨迹并产生一轨迹数据；
(B)以一算法分析所述轨迹数据并产生与所述轨迹数据对应的一音频讯号；以及
(C)一扬声器输出所述音频讯号。
10.根据权利要求9所述的虚拟电子乐器系统的运作方法，其特征在于，其中在步骤(B)中，还可产生与所述轨迹数据对应的一可视化讯号。
11.根据权利要求10所述的虚拟电子乐器系统的运作方法，其特征在于，更包括一步骤(D)一显示设备输出所述可视化讯号，且所述可视化讯号与所述音频讯号同步显示。
12.根据权利要求11所述的虚拟电子乐器系统的运作方法，其特征在于，其中所述可视化讯号的输出方式包括虚拟现实或增强实境。
CN202010065120.5A 2019-04-25 2020-01-20 虚拟电子乐器系统及其运作方法 Pending CN111862910A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108114606 2019-04-25
TW108114606A TWI743472B (zh) 2019-04-25 2019-04-25 虛擬電子樂器系統及其運作方法

Publications (1)

Publication Number Publication Date
CN111862910A true CN111862910A (zh) 2020-10-30

Family

ID=72984850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065120.5A Pending CN111862910A (zh) 2019-04-25 2020-01-20 虚拟电子乐器系统及其运作方法

Country Status (2)

Country Link
CN (1) CN111862910A (zh)
TW (1) TWI743472B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793581A (zh) * 2021-09-16 2021-12-14 上海渐华科技发展有限公司 一种基于运动检测辅助识别的打击乐智能教育系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252149A (ja) * 2003-02-20 2004-09-09 Yamaha Corp 仮想打楽器演奏システム
CN201069642Y (zh) * 2007-08-03 2008-06-04 西北工业大学 电子音乐装置
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
US20130255476A1 (en) * 2012-04-02 2013-10-03 Casio Computer Co., Ltd. Playing apparatus, method, and program recording medium
US20150143976A1 (en) * 2013-03-04 2015-05-28 Empire Technology Development Llc Virtual instrument playing scheme
CN104732962A (zh) * 2015-03-25 2015-06-24 关然 一种可穿戴式音乐演奏系统
US20160093278A1 (en) * 2014-09-25 2016-03-31 Sunhouse Technologies, Inc. Systems and methods for capturing and interpreting audio
CN107408376A (zh) * 2015-01-08 2017-11-28 沐择歌有限责任公司 交互式乐器和其它打击物体
CN107424593A (zh) * 2017-08-25 2017-12-01 广州彩磁信息技术有限公司 一种区域划动触控式曲面立体扬声器阵列的数码乐器
CN108269563A (zh) * 2018-01-04 2018-07-10 暨南大学 一种虚拟爵士鼓及实现方法
CN109166565A (zh) * 2018-08-23 2019-01-08 百度在线网络技术（北京）有限公司 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201118662A (en) * 2009-11-30 2011-06-01 Yin-Chen Chang Trace-generating systems and methods thereof
CN106527718B (zh) * 2016-11-09 2019-03-12 快创科技（大连）有限公司 基于ar增强现实的乐器辅助演奏和协奏体验系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252149A (ja) * 2003-02-20 2004-09-09 Yamaha Corp 仮想打楽器演奏システム
CN201069642Y (zh) * 2007-08-03 2008-06-04 西北工业大学 电子音乐装置
CN101504832A (zh) * 2009-03-24 2009-08-12 北京理工大学 基于手部动作感应的虚拟演奏系统
US20130255476A1 (en) * 2012-04-02 2013-10-03 Casio Computer Co., Ltd. Playing apparatus, method, and program recording medium
US20150143976A1 (en) * 2013-03-04 2015-05-28 Empire Technology Development Llc Virtual instrument playing scheme
US20160093278A1 (en) * 2014-09-25 2016-03-31 Sunhouse Technologies, Inc. Systems and methods for capturing and interpreting audio
CN107408376A (zh) * 2015-01-08 2017-11-28 沐择歌有限责任公司 交互式乐器和其它打击物体
CN104732962A (zh) * 2015-03-25 2015-06-24 关然 一种可穿戴式音乐演奏系统
CN107424593A (zh) * 2017-08-25 2017-12-01 广州彩磁信息技术有限公司 一种区域划动触控式曲面立体扬声器阵列的数码乐器
CN108269563A (zh) * 2018-01-04 2018-07-10 暨南大学 一种虚拟爵士鼓及实现方法
CN109166565A (zh) * 2018-08-23 2019-01-08 百度在线网络技术（北京）有限公司 虚拟乐器处理方法、装置、虚拟乐器设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KICKSTARTER: "Freedrum:The Drumkit That Fits in Your Pocket", pages 1 - 22, Retrieved from the Internet <URL:https://www.kickstarter.com/projects/freedrum/freedrum-the-drumkit-that-fits-in-your-pocket/description> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793581A (zh) * 2021-09-16 2021-12-14 上海渐华科技发展有限公司 一种基于运动检测辅助识别的打击乐智能教育系统
CN113793581B (zh) * 2021-09-16 2024-02-20 上海渐华科技发展有限公司 一种基于运动检测辅助识别的打击乐智能教育系统

Also Published As

Publication number Publication date
TW202040561A (zh) 2020-11-01
TWI743472B (zh) 2021-10-21

Similar Documents

Publication Publication Date Title
US9773480B2 (en) Electronic music controller using inertial navigation-2
US8858330B2 (en) Music video game with virtual drums
JP5499030B2 (ja) 音楽ゲームのための触覚的に使用可能にしたゲーム周辺機器
US8961309B2 (en) System and method for using a touchscreen as an interface for music-based gameplay
CN103325363B (zh) 演奏装置及方法
CN102129798B (zh) 微电脑控制的数码弦乐器
JP5792131B2 (ja) ゲーム機、それに用いる制御方法及びコンピュータプログラム
US20090188371A1 (en) Methods and apparatus for stringed controllers and/or instruments
JP2012133076A (ja) 演奏装置および電子楽器
US20170344113A1 (en) Hand-held controller for a computer, a control system for a computer and a computer system
US8414369B2 (en) Music game system and method of providing same
CA2842520A1 (en) Device, method and system for making music
US20090264199A1 (en) Using a Musical Instrument as a Video Game Controller
US9418639B2 (en) Smart drumsticks
CN102842251A (zh) 激光标识乐器示教系统和示教方法
US20190385577A1 (en) Minimalist Interval-Based Musical Instrument
JP5549698B2 (ja) 演奏装置、方法及びプログラム
TWI743472B (zh) 虛擬電子樂器系統及其運作方法
US20130190092A1 (en) Control device for a game console and a method for controlling a game console
WO2021233426A1 (zh) 乐器模拟系统
JP2009229680A (ja) 音発生システム
JP2011252994A (ja) 演奏装置および電子楽器
JP6111526B2 (ja) 楽音発生装置
JP6098083B2 (ja) 演奏装置、演奏方法及びプログラム
JP2012013725A (ja) 演奏システムおよび電子楽器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination