CN105027192A - 增强数字音乐表现力的装置和方法 - Google Patents

增强数字音乐表现力的装置和方法 Download PDF

Info

Publication number
CN105027192A
CN105027192A CN201580000167.0A CN201580000167A CN105027192A CN 105027192 A CN105027192 A CN 105027192A CN 201580000167 A CN201580000167 A CN 201580000167A CN 105027192 A CN105027192 A CN 105027192A
Authority
CN
China
Prior art keywords
key
music
action
approximate data
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580000167.0A
Other languages
English (en)
Other versions
CN105027192B (zh
Inventor
施政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2014/071850 external-priority patent/WO2014139349A1/en
Priority claimed from PCT/CN2014/080317 external-priority patent/WO2015113360A1/en
Priority claimed from PCT/CN2014/080495 external-priority patent/WO2015113365A1/en
Priority to CN201480041861.2A priority Critical patent/CN105765512A/zh
Priority to CN201580000167.0A priority patent/CN105027192B/zh
Application filed by Individual filed Critical Individual
Priority claimed from PCT/CN2015/070162 external-priority patent/WO2015113457A1/en
Priority to US14/681,103 priority patent/US20160346686A1/en
Priority to CN201580014022.6A priority patent/CN106164852A/zh
Publication of CN105027192A publication Critical patent/CN105027192A/zh
Priority to US15/086,092 priority patent/US9737802B2/en
Publication of CN105027192B publication Critical patent/CN105027192B/zh
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/02—Counting; Calculating
    • G09B19/025—Counting; Calculating with electrically operated apparatus or devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H19/00—Model railways
    • A63H19/02—Locomotives; Motor coaches
    • A63H19/14—Arrangements for imitating locomotive features, e.g. whistling, signalling, puffing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H19/00—Model railways
    • A63H19/24—Electric toy railways; Systems therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/04—Building blocks, strips, or similar building parts
    • A63H33/042—Mechanical, electrical, optical, pneumatic or hydraulic arrangements; Motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B17/00—Teaching reading
    • G09B17/003—Teaching reading electrically operated apparatus or devices
    • G09B17/006—Teaching reading electrically operated apparatus or devices with audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H2200/00—Computerized interactive toys, e.g. dolls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toys (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明披露一种装置和方法，通过使用电容传感器直接捕获手指的动态运动来创作增强表现力的数字音乐，当手指接近但未触及、触摸以及离开琴键或琴键之间的区域时，电容传感器连续不断地生成电容变化的模拟输出。

Description

增强数字音乐表现力的装置和方法
技术领域
本发明涉及数字乐器。更具体地说，本发明涉及一种生成增强表现力的音乐的数字乐器。
背景技术
一个原声乐器生成的声音和音乐来源于乐器本身的材料、结构和工艺。就音乐术语中的织体、音色、断连和力度，或者从热爱音乐的人所欣赏的表现出的细微差别、复杂度、情感甚至灵感的角度而言，在一个经验丰富的演奏者手中，一件原声乐器可以创作高表现力的声音和音乐。
另一方面，一件数字乐器生成的声音和音乐是从声音和音乐的数字库中得到并合成的。尽管经过数十年的努力，数字乐器仍然不能保留原声乐器的大部分表现力。当然，数字乐器创作出的音乐可以用很多种音效增强。例如，MIDI数据可以被用于增加所演奏声音的数字音效，如混响、回声、延时和颤音。然而，每次一个音效被启动或停止时仍然需要按一个按钮。当专业人士可以即刻随意使用各种各样的技术来表达对音乐的诠释时，这些“音效”无法与专业人士用原声乐器创作出的表现力品质相媲美。比如，当电子钢琴以小提琴模式弹奏时，很难即刻随意进行揉弦或者滑音。
为了增强数字键盘乐器的表现力品质，一种方法是在每个琴键下面放置2、3个甚至多个传感器。通过复杂的方式捕获并修正击键的速度，进而产生包含击键速度和力度的琴键声音。大多数情况下速度与音符的强弱呈正比关系。这种方法对表现力的增强仍然从根本上受限于对每次击键动作采集到的数据点的数目。
通过使用不同种类的传感器，人们试图增加采集的数据点的数目。霍尔效应传感器、光电传感器、压电传感器以及压力传感器都被用来试图产生更连续的输出或模拟输出，以便更好地捕捉用户的单一击键力度。经过所有这些努力，手指触摸动作产生的琴键运动结果可以被更细致的捕获，但是手指自身的动态运动并没有被直接捕获。一个局限是目前还没有现有技术可以捕捉手指靠近琴键或离开琴键但实际并未接触琴键时手指的运动。另一个局限是目前还没有现有技术可以捕捉手指在触摸两个传感器物理边界之间的区域时手指的运动。大多数商业数字键盘都有演奏包括钢琴和弦乐器等多种乐器声音的功能，这些局限造成键盘作为键盘乐器演奏时音乐表现力的一定损失，以及作为弦乐器演奏时音乐表现力的严重损失。而且，这些局限不利于数字乐器变得比原声乐器更富表现力。
简单地说，对于原声乐器而言，通过触摸琴键或者琴弦生成音符与通过各种各样的技巧使音符富有表现力的完美融合是自然而然的。然而，这样的完美融合在数字乐器中还没有实现，障碍就在于现有技术无法直接捕捉手指运动的力度和复杂度。因此，有必要直接捕捉有经验的乐器演奏者触摸动作的独特力度，从而使数字乐器生成与原声乐器具有同样完美表现力的音乐。
发明内容
本发明披露了通过直接捕捉手指触摸运动的动态运动，进而创作增强表现力的数字音乐的装置和方法。
本发明的一个实施例公开了一个生成音乐的装置，该装置包括板、处理器、存储器和程序，其中，所述板包含一个琴键阵列，每个所述琴键与一个音符相关联，所述程序存储在存储器中、用来被处理器执行。该装置还包括用于记录音乐描述和重播音乐的第二存储器，以及将音乐描述转换为乐音的声音模块。
根据本发明的一个实施例，每个琴键表面的下面放置一个或多个电容传感器，其中每个电容传感器都用来连续不断地生成触摸动作产生的电容变化的模拟输出，而不是生成“开”和“关”的二元输出。因此，电容传感器能够检测的触摸动作包括，手指接近但尚未触及所述板，手指用强力或弱力触摸所述板上的一个琴键，手指触摸所述板上的琴键之间的区域，手指离开所述板，所有这些动作都超越了手指对琴键的简单接触。
根据本发明的一个实施例，一旦有一个或多个手指触摸所述板，电容传感器就检测到触摸动作并连续不断地产生电容变化的模拟输出。存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述。数字描述的参数包括手指与电容传感器间的距离、速度、加速度、减速度、力度和手指触摸的持续时间。该程序还可以确定音乐演奏动作，比如与触摸动作或一组触摸动作相对应的揉弦或滑音。该程序还应用一个或多个音乐演奏动作的近似算法，将触摸动作或一组触摸动作的数字描述转换为乐器数字接口（MIDI）格式的音乐描述。
根据本发明的一个实施例，一个或多个近似算法包括揉弦近似算法、滑音近似算法、击键近似算法、连奏近似算法、分弓近似算法、断奏近似算法、跳弓近似算法和泛音近似算法。
本发明完美融合了通过触摸琴键或者琴弦生成音符和通过各种各样的技巧使音符富有表现力，这种融合对原声乐器来说是自然而然的，使得数字乐器可以生成与原声乐器同样完美表现力的音乐。
附图说明
为了更好地说明本发明实施例的技术特征，本发明的各实施例将会结合附图进行简要描述。显而易见，附图是本发明的示例性实例，本领域普通技术人员在不违背本发明原理的情况下可以获得其他附图。
图1为说明用现有数字乐器很难演的奏弦乐器的某些运音法的示意图。
图2为根据本发明的一个实施例，说明自电容传感器阵列的示意图。
图3A-3D为本发明的一个实施例的示意图，说明为了实现特定音乐演奏技术，应用于本发明音乐装置的触摸动作。
图3A为本发明一个实施例的示意图，说明应用于本发明音乐装置的揉弦动作，该动作模拟弦乐器的揉弦动作。
图3B为本发明一个实施例的示意图，说明应用于本发明音乐装置的滑音动作，该动作模拟弦乐器的滑音动作。
图3C为本发明一个实施例的示意图，说明应用于本发明音乐装置的连奏动作，该动作模拟弦乐器的连奏动作。
图3D为本发明一个实施例的示意图，说明应用于本发明音乐装置的断奏动作，该动作模拟弦乐器的断奏动作。
图4为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3A所描述的揉弦动作。
图5为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3B所描述的滑音动作。
图6为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3D所描述的断奏动作。
图7为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的强劲快速击键动作，该动作模拟键盘乐器上强劲快速的击键动作。
图8为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的轻柔缓慢击键动作，该动作模拟键盘乐器上轻柔缓慢的击键动作。
图9为本发明一个实施例的用于生成增强表现力的音乐的装置的示意图。
图10为本发明一个实施例的生成增强表现力的音乐的方法流程示意图。
具体实施方式
虽然本发明将会用详尽的实施例描述，但本发明并不局限于这些实施例。本领域专业技术人员会认识到本发明的装置和方法可以有很多其他的应用。在本发明的精神和范畴内，本发明试图覆盖所有替代、修改和等同的内容，正如权利要求所定义的那样。
此外，在本发明的详细描述中对具体细节进行阐述，以便彻底理解本发明。然而对于本领域普通技术人员显而易见的是，本发明无须这些具体细节便可得到实践。例如，术语乐器数字接口（MIDI）在本发明中作为一个实例技术讨论，是为了简化；然而，为了本发明的目的，其他数字音乐技术和格式也可以被改变和采用，并且在本发明的范畴内。本发明的另一个例子是使用术语键盘作为本发明可用的乐器形式，但是，为了本发明的目的，其他乐器形式也可以被改变、采用或者创造，并且在本发明的范畴内。还有另一个例子是本发明中电容传感器技术的使用，然而，为了本发明的目的，其他传感器技术也可以被改变、采用或创造，并且在本发明的范畴内。
此外，在其他实例中，公知的方法、过程、部件和电路没有详细描述，以避免不必要地模糊对本发明的清晰理解。
通过参考附图，对于本领域技术人员来说，本发明可以得到更好的理解，它的许多目的和优点将变得明显。
图1为说明用现有数字乐器很难演奏的弦乐器的某些运音法的示意图。
如图1所示，以弦乐器的五种运音法为例，从左到右依次为，断音（101）、特断音（102）、顿音（103）、重音（104）和保持音（105）。所有的音乐发声技巧都很难由数字键盘乐器区分开来。
此外，其他表现特征，如揉弦、颤音、滑音和泛音都很难用数字乐器完美地演奏出来。在演奏中，这些技术可能需要弯音轮、延音踏板、调制轮的协助；或者，他们可能需要演奏者切换数字乐器的演奏模式。
图2为根据本发明的一个实施例，说明自电容传感器阵列的示意图。
如图2所示，电容传感器阵列201共包括32个自电容传感器202。每个自电容传感器202包括一个作为自电容传感器202的一个电极的金属方块203和一个作为终端用户的感知装置的LED灯205；LED灯205放置于空方格204的中心，空方格204位于金属方块203的中心。电容传感器阵列201还包括一个与所有32个传感器相连接的微处理器（未在图2中显示）。
一旦一个或多个自电容传感器202被放置于琴键表面的下面，每个电容传感器202都用来连续不断地生成对键盘的触摸动作所引起的电容变化的模拟输出，而不是生成“开”和“关”的二元输出。触摸动作可以是手指接近但未触及板，手指用强力或弱力触摸板上的一个琴键，手指触摸板上的琴键之间的区域，以及手指离开板。手指触摸板，可以是手指触摸琴键、手指触摸琴键周围区域或者是手指触摸两个或多个琴键之间的区域。
图3A-3D为根据本发明的一个实施例的示意图，说明为了实现特定音乐演奏技术的性能，应用于本发明中音乐装置的触摸动作。
如图3A-3D所示，板301上的琴键阵列中的三个琴键302、303和304被使用。中间琴键302是N键，与N键302相邻的琴键是左边的N-1键303和右边的N+1键304。N-1，N和N+1电容传感器分别放在N-1琴键303，N琴键302和N+1琴键304表面的下面。
图3A为本发明一个实施例的示意图，说明应用于本发明音乐装置的揉弦动作，该动作模拟弦乐器的揉弦动作。在本发明的这一实施例中，揉弦动作是将手指305放在N键302上，然后有节奏地将手指305左右移动，保持手指305既不离开板，也不完全到达N-1键303或N+1键304。换句话说，是一种很近似于原声弦乐器揉弦技术的手势。
图3B为本发明一个实施例的示意图，说明应用于本发明音乐装置的滑音动作，该动作模拟弦乐器的滑音动作。在本发明实施例中，滑音动作是将手指305放在N-1键303上，然后将手指305平稳地向右滑动，经过N键302到达N+1键304，保持手指305不离开板。换句话说，是一种很近似于原声弦乐器滑音技术的手势。
图3C为本发明一个实施例的示意图，说明应用于本发明音乐装置的连奏动作，该动作模拟弦乐器的连奏动作。在本发明实施例中，连奏动作是将手指305放在N-1键303上，然后平滑地将手指305移到N键302，再将手指305移到N+1键305上，同时从板上稍稍抬起手指305，以“低跳”方式在琴键之间移动。
图3D为本发明一个实施例的示意图，说明应用于本发明音乐装置的断奏动作，该动作模拟弦乐器的断奏动作。在本发明实施例中，断奏动作是快速、有力地将手指305靠近、触摸和离开N-1传感器303，然后手指305快速、有力地靠近、触摸和离开N传感器302，然后手指305快速、有力地靠近、触摸和离开N+1传感器304。每次触摸动作完成后，手指305彻底抬起离开板，以“高跳”方式在琴键之间移动。
图4为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3A所描述的揉弦动作。
这种运动模式是对弦乐器，如小提琴和中提琴，的揉弦动作的直接模拟，其特征通过图4所示的三个传感器的电容输出捕获。
N-1，N和N+1曲线分别代表N-1传感器、N传感器和N+1传感器的电容输出。x轴为时间，y轴为电容的模拟值。图3A描述的揉弦动作生成这样一种模式，N-1曲线达到小峰值，然后N曲线达到大峰值，然后N+1曲线达到小峰值，N曲线达到大峰值，N-1曲线达到小峰值，等等。
根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述，确定触摸动作的音乐演奏方式为弦乐器的揉弦动作，并应用揉弦近似算法将数字描述转换为乐器数字接口（MIDI）格式的揉弦动作的描述。
三条曲线的数字描述的特征包括电容的峰值，电容变化的速度、加速度和减速度，电容停留在峰值的持续期间以及完成一个变化周期的时间。揉弦动作由主音高、音量和揉弦的速度、深度和延迟描述。
从电容变化曲线的数字描述特征到MIDI格式的音乐描述的转换过程说明如下：
 ·音符的主音高是与N传感器相关的音高，该传感器在整个时间段生成了最大的电容输出值；
 ·音符的音量取决于N传感器的电容输出达到峰值的速度，还取决于N传感器电容输出的实际峰值；
 ·揉弦的速度取决于所有三条电容曲线的电容变化的每个周期的持续时间；
 ·揉弦的深度取决于N-1曲线和N+1曲线相对于N曲线的振幅；
 ·揉弦的延迟与这一特定运动模式的持续时间等长。
因此，在揉弦动作的情况下，有经验的乐器演奏者只是做在原声乐器上的动作，手指在琴键上的运动状态被直接捕获，完美的生成MIDI格式的音乐描述。
图5为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3B所描述的滑音动作。
这种运动模式是对弦乐器（如小提琴和中提琴）的滑音动作的直接模拟，其特征由图5所示的三个传感器的电容输出捕获。
与图4相似，N-1，N和N+1曲线分别代表N-1传感器，N传感器和N+1传感器的电容输出。x轴为时间，y轴为电容的模拟值。图3B说明的滑音动作生成这样一种模式，N-1曲线达到峰值，然后N曲线达到峰值而且N-1曲线仍然维持一个高值，然后N+1曲线达到峰值，此时N曲线仍维持一个高值。
根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为弦乐器的滑音动作，并应用滑音近似算法将数字描述转换为乐器数字接口（MIDI）格式的滑音动作的描述。
三条曲线的数字描述特征，以及从这些特征转换为MIDI格式的音乐描述的过程说明如下：
  ·滑音的开始音高是与N-1传感器相关联的音高；
  ·滑音的结束音高是与N+1传感器相关联的音高；
  ·在滑音中间的任意点，开始音高与结束音高之间的过渡音高是一个指定音高，基于在那一点两个相邻传感器的相对电容值的计算，根据一些数学算法得到。最简单的数学算法是根据这一点到N-1传感器和N传感器之间的物理距离，指定N-1到N传感器之间的某个点的过渡音高。物理距离可以通过测量随着手指从N-1传感器移动到N传感器同时还保持与板的接触，N-1传感器和N传感器所感应到的电容值得到，物理距离还可以通过构建产生的电容数据随着距离变化的校准曲线得到；
  ·滑音的音量取决于电容输出达到峰值的速度以及N-1、N和N+1每个曲线的实际峰值；
  ·滑音的速度取决于所有三个电容曲线的每个电容变化周期持续时间。
因此，对于滑音动作，有经验的乐器演奏者只是做在原声乐器上的动作，手指在琴键上的动态运动态被直接捕获，完美地生成MIDI格式的音乐描述。
更一般地，本发明的这个实施例，对于具有一组离散琴键以及相应的离散音高的数字键盘乐器，可使其像数字弦乐器一样被演奏，随着手指滑过琴键生成渐进的和连续的音高变化。
图6为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3D所描述的断奏动作。
这种运动模式是对弦乐器，如小提琴和中提琴，的断奏动作的直接模拟，其特征由图6所示的三个传感器的电容输出捕获。
与图5相似，N-1，N和N+1曲线分别代表N-1传感器，N传感器和N+1传感器的电容输出。X轴为时间，y轴为电容的模拟值。
根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为弦乐器的断奏动作，并应用断奏近似算法将数字描述转换为乐器数字接口（MIDI）格式的断奏动作的描述。
三条曲线的数字描述特征及其向MIDI描述的相应转换过程是不言自明的。对断奏动作的数字描述，作为滑音动作数字描述的对照在此进行说明。
图7为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的强劲快速击键动作，该动作模拟键盘乐器上强劲快速的击键动作。
键盘乐器的强劲快速击键动作的特征由图7所示的传感器电容输出捕获。x轴为时间，y轴为电容的模拟值。
根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为键盘乐器的强劲快速击键动作，并应用击键近似算法将数字描述转换为乐器数字接口（MIDI）格式的强劲快速击键动作的描述。
曲线的数字描述特征和将这些特征转换为MIDI格式的音乐描述的过程说明如下：
 ·击键的音高是与传感器相关联的音高；
 ·击键的初始音量是由电容输出达到阈值的速度决定的；
 ·随着电容输出进一步增加，提高击键的音量，进一步生成一系列触摸以后的信息；
 ·随着电容输出停留在最大值一段时间，进一步生成维持信息；
 ·音量随着电容输出值降低而降低，而且当电容输出值低于阈值时音量为零。
因此，在强劲快速击键动作情况下，有经验的乐器演奏者只是做在原声乐器上、没有延音踏板的帮助下的动作，手指在琴键上的动态运动被直接捕获，完美的生成MIDI格式的音乐描述。
图8为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的轻柔缓慢击键动作，该动作模拟键盘乐器上轻柔缓慢的击键动作。
键盘乐器的轻柔缓慢击键动作的特征由图8所示的传感器电容输出捕获。x轴为时间，y轴为电容的模拟值。
根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为键盘乐器的轻柔缓慢击键动作，并应用击键近似算法将数字描述转换为乐器数字接口（MIDI）格式的轻柔缓慢击键动作的描述。
曲线的数字描述特征和将这些特征转换为MIDI格式的音乐描述的过程说明如下：
  ·击键的音高是与传感器相关联的音高；
  ·击键的初始音量是由电容输出达到阈值的速度决定的；
  ·随着电容输出进一步增加，提高击键的音量，进一步生成一系列触摸以后的信息；
  ·随着电容输出停留在最大值一段时间，进一步生成维持信息；
  ·音量随着电容输出值降低而降低，而且当电容输出值低于阈值时音量为零。
应该指出的是，与图7相比，图8的电容输出曲线需要更长的时间才能上升到最大值，也需要更长的时间下降到基线值。图8中的电容输出曲线峰值比图7的曲线低。这些特征都与图8所描述的击键动作比图7所描述的击键动作更轻柔缓慢相符合。
以上图4到图8的描述说明本发明音乐演奏动作的多个实施例，如揉弦(图4)、滑音(图5)、断奏（图6）、强劲快速击键(图7)和轻柔缓慢击键（图8），这些动作由本发明的装置或方法捕获。在本发明的其他实施例中，音乐演奏动作，如连奏动作、分弓动作、跳弓动作和泛音动作，被捕获并转化成MIDI格式的音乐描述，相应的触摸动作基本上与演奏原声乐器时的手指动作相似。
根据本发明的一个实施例，电容传感器检测琴键上轻柔持久的手指动作，程序生成触摸动作的数字描述，确定触摸动作的音乐演奏动作是泛音动作，并通过将泛音近似算法应用于数字描述，将数字描述转换成泛音的描述，其中音符和作为泛音基础音的琴键相关联。
图9为本发明一个实施例的用于生成增强表现力的音乐的装置的示意图。
如图9所示，装置901包括一个拥有琴键阵列的键盘902，每个琴键都与一个音符相对应。装置901还包括两个分别带有加号和减号的按钮903和904，其功能为将整个键盘的音高升高或降低一个八度。键盘902的每个琴键表面下都放置一个或多个电容传感器，每个电容传感器都可以连续生成触摸动作产生的电容变化的模拟输出。装置901还包括乐器选择区905，以便于选择多种乐器进行模拟。装置901还包括和弦区906，以便于键盘生成以关联音符为基础音的和弦，而不是生成单一音符。装置901还包括节奏区907，以便于为生成的音乐设置节奏。
装置901还嵌入有处理器908、存储器909、声音模块910以及一对扬声器911。程序存储在存储器909中，由处理器908执行。电容传感器检测到一个或多个手指对板的触摸动作并在触摸动作的持续时间内生成电容变化的模拟输出，然后程序应用一个或多个近似算法于一个或多个手指触摸动作，生成触摸动作的数字描述，并将数字描述转换为乐器数字接口（MIDI）格式的音乐描述。声音模块910用于将MIDI格式的音乐描述转换为乐音。
根据本发明的一个实施例，一个或多个触摸动作的数字描述和衍生自数字描述的音乐描述存储在存储器909中，以便日后重播。
图10为本发明一个实施例的生成增强表现力的音乐的方法流程示意图。如图10所示，该方法包括以下的步骤：
在一块包括一个琴键阵列并且每个琴键与一个音符相关联的板上，
步骤1001：电容传感器检测一个触摸动作或一组触摸动作。电容变化由手指引起并被放置在每个琴键表面的下面的电容传感器所感知，一旦电容变化超过阈值，或者阈值的倍数，触摸动作就可以被检测到。
步骤1002：电容传感器连续不断地生成电容变化的模拟输出。只要电容变化超过阈值，电容传感器就能继续感知并输出电容变化的模拟值。
步骤1003：存储在存储器里并由处理器执行的程序将电容变化转化为音乐描述。程序存储在存储器里，由处理器执行，将一个或一组触摸动作的电容变化转化为乐器数字接口（MIDI）格式的音乐描述。
步骤1003A：生成一个触摸动作或一组触摸动作的电容变化的数字描述。程序生成一个或一组触摸动作的电容变化的数字描述，数字描述包括的参数从以下一组参数中选择：距离、速度、加速度、减速度、力度和持续时间；
步骤1003B：确定数字描述对应于特定音乐演奏动作。程序确定数字描述对应于特定音乐演奏动作，比如揉弦或滑音；
步骤1003C：程序应用与音乐演奏动作相关的近似算法并生成音乐描述。

Claims (20)

1.一种生成音乐的装置，其特征在于，包括：
- 包括琴键阵列的板，每个所述琴键与一个音符相关联；
- 置于每个所述琴键表面的下面的电容传感器；
- 处理器；
- 存储器；
- 存储在存储器中、用来被处理器执行的程序；
其中，每个所述电容传感器用于检测手指的触摸动作，并在所述触摸动作的持续时间内连续不断地生成电容变化的模拟输出；
其中，所述程序将一个或一组所述触摸动作的电容变化转换成乐器数字接口（MIDI）格式的音乐描述。
2.根据权利要求1所述的装置，其特征在于，所述电容传感器用于检测触摸动作，所述触摸动作从以下一组动作中选择：手指接近但未触及所述板，手指用强力或弱力触摸所述板上的一个琴键，手指触摸所述板上的琴键之间的区域，手指离开所述板。
3.根据权利要求1所述的装置，其特征在于，所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，所述一个或多个近似算法包括：
- 揉弦近似算法，用于确定手指与所述板保持接触的同时主要以横向运动触摸琴键，所述横向运动指从琴键的中心位置有节奏地来回移动，还用于描述所述触摸动作为弦乐器的揉弦动作；
- 滑音近似算法，用于确定手指与所述板保持接触的同时触摸第一琴键后向第二琴键横向移动，还用于描述所述触摸动作为弦乐器的滑音动作。
4.根据权利要求1所述的装置，其特征在于，所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，所述一个或多个近似算法包括：
- 击键近似算法，用于确定手指主要以轻柔缓慢的垂直运动触摸琴键，还用于描述所述触摸动作为键盘乐器的轻柔缓慢的击键；
- 击键近似算法，用于确定手指主要以强劲快速的垂直运动触摸琴键，还用于描述所述触摸动作为键盘乐器的强劲快速的击键。
5.根据权利要求3所述的装置，其特征在于，所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，一个或多个近似算法从以下一组近似算法中选择：连奏近似算法、分弓近似算法、断奏近似算法、跳弓近似算法和泛音近似算法。
6.根据权利要求1所述的装置，其特征在于，所述程序用于生成一个或一组触摸动作的电容变化的数字描述，所述数字描述包括的参数从以下一组参数中选择：距离、速度、加速度、减速度、力度和持续时间。
7.根据权利要求6所述的装置，其特征在于，所述程序用于确定所述数字描述对应于特定音乐演奏动作。
8.根据权利要求7所述的装置，其特征在于，所述程序用于应用与音乐演奏动作相关的近似算法并生成音乐描述。
9.根据权利要求1所述的装置，其特征在于，所述板还包括一个或多个琴键，每个所述琴键与一个音乐相关的元素相关联，所述音乐相关的元素从以下一组元素中选择：和弦、节奏、临时变音记号、力度变化符号、断连记号以及代表一种特定类型乐器的符号，所述音乐相关的元素被融入所述音乐描述中。
10.根据权利要求1所述的装置，其特征在于，还包括用来记录音乐描述和重播音乐的第二存储器。
11.一种产生音乐的方法，其特征在于，包括：
在包括一个琴键阵列并且每个所述琴键与一个音符相关联的板上，
- 置于每个所述琴键表面的下面的电容传感器检测手指的触摸动作；
- 在所述触摸动作的持续时间内电容传感器连续不断地生成电容变化的模拟输出；
- 存储在存储器中、被处理器执行的程序将一个或一组所述触摸动作的电容变化转换成乐器数字接口（MIDI）格式的音乐描述。
12.根据权利要求11所述的方法，其特征在于，所述电容传感器用于检测一个触摸动作，所述触摸动作从以下一组动作中选择：手指接近但未触及所述板，手指用强力或弱力触摸所述板上的一个琴键，手指触摸所述板上的琴键之间的区域，手指离开所述板。
13.根据权利要求11所述的方法，其特征在于，还包括所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，所述一个或多个近似算法包括：
- 揉弦近似算法，用于确定手指与所述板保持接触的同时主要以横向运动触摸琴键，所述横向运动指从琴键的中心位置有节奏地来回移动，还用于描述所述触摸动作为弦乐器的揉弦动作；
- 滑音近似算法，用于确定手指与所述板保持接触的同时触摸第一琴键后向第二琴键横向移动，还用于描述所述触摸动作为弦乐器的滑音动作。
14.根据权利要求11所述的方法，其特征在于，还包括所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，所述一个或多个近似算法包括：
- 击键近似算法，用于确定手指主要以轻柔缓慢的垂直运动触摸琴键，还用于描述所述触摸动作为键盘乐器的轻柔缓慢的击键；
- 击键近似算法，用于确定手指主要以强劲快速的垂直运动触摸琴键，还用于描述所述触摸动作为键盘乐器的强劲快速的击键。
15.根据权利要求11所述的方法，其特征在于，还包括所述程序通过应用一个或多个近似算法生成所述音乐描述，其中，一个或多个近似算法从以下一组近似算法中选择：连奏近似算法、分弓近似算法、断奏近似算法、跳弓近似算法和泛音近似算法。
16.根据权利要求11所述的方法，其特征在于，还包括所述程序生成一个或一组触摸动作的电容变化的数字描述，所述数字描述包括的参数从以下一组参数中选择：距离、速度、加速度、减速度、力度和持续时间。
17.根据权利要求16所述的方法，其特征在于，还包括所述程序确定所述数字描述对应于特定音乐演奏动作。
18.根据权利要求17所述的方法，其特征在于，还包括所述程序应用与音乐演奏动作有关的近似算法并生成音乐描述。
19.根据权利要求11所述的方法，其特征在于，所述板还包括一个或多个琴键，每个所述琴键与一个音乐相关的元素相关联，所述音乐相关的元素从以下一组元素中选择：和弦、节奏、临时变音记号、力度变化符号、断连符号以及代表一种特定类型乐器的符号，所述方法还包括与琴键相关联的音乐相关的元素被融入所述音乐描述中。
20.根据权利要求11所述的方法，其特征在于，还包括第二存储器记录音乐描述和重播音乐。
CN201580000167.0A 2014-01-30 2015-01-06 增强数字音乐表现力的装置和方法 Active CN105027192B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201480041861.2A CN105765512A (zh) 2014-01-30 2014-07-07 在交互面上用物理物体进行计算机编程的系统及方法
CN201580000167.0A CN105027192B (zh) 2014-01-30 2015-01-06 增强数字音乐表现力的装置和方法
US14/681,103 US20160346686A1 (en) 2014-01-30 2015-04-08 System and method for directing a small scale object to generate a sensory output to a user powered by rf energy harvesting
CN201580014022.6A CN106164852A (zh) 2014-06-13 2015-05-08 用功能物体对移动物体的移动动作编程的方法和系统
US15/086,092 US9737802B2 (en) 2014-06-13 2016-03-31 System and method for recognizing objects placed together using sensors

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
CNPCT/CN2014/071850 2014-01-30
PCT/CN2014/071850 WO2014139349A1 (en) 2013-03-12 2014-01-30 System and method for identifying an object's id and location relative to an interactive surface
PCT/CN2014/072961 WO2014139369A1 (en) 2013-03-12 2014-03-06 System and method for identifying object's id and location relative to interactive surface
CNPCT/CN2014/072961 2014-03-06
PCT/CN2014/079892 WO2015113359A1 (en) 2013-03-12 2014-06-13 System and method for identifying an object's id and location relative to an interactive surface
PCT/CN2014/079891 WO2015113358A1 (en) 2013-03-12 2014-06-13 System and method for operating computer program with physical objects
CNPCT/CN2014/079892 2014-06-13
CNPCT/CN2014/079891 2014-06-13
CNPCT/CN2014/080317 2014-06-19
PCT/CN2014/080317 WO2015113360A1 (en) 2014-01-30 2014-06-19 System and method for learning,composing,and playing music with physical objects
PCT/CN2014/080495 WO2015113365A1 (en) 2014-01-30 2014-06-23 System and method to recognize object's id, orientation and location relative to interactive surface
CNPCT/CN2014/080495 2014-06-23
PCT/CN2014/090890 WO2015113431A1 (en) 2014-01-30 2014-11-12 System and method for recognizing objects with continuous capacitance sensing
CNPCT/CN2014/090890 2014-11-12
CNPCT/CN2014/091918 2014-11-21
PCT/CN2014/091918 WO2015113440A1 (en) 2014-01-30 2014-11-21 System and method for changing the state of user interface element marked on physical objects
CN201580000167.0A CN105027192B (zh) 2014-01-30 2015-01-06 增强数字音乐表现力的装置和方法
PCT/CN2015/070162 WO2015113457A1 (en) 2014-01-30 2015-01-06 Apparatus and method to enhance expressive qualities of digital music

Publications (2)

Publication Number Publication Date
CN105027192A true CN105027192A (zh) 2015-11-04
CN105027192B CN105027192B (zh) 2019-06-14

Family

ID=54415293

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480041861.2A Pending CN105765512A (zh) 2014-01-30 2014-07-07 在交互面上用物理物体进行计算机编程的系统及方法
CN201580000167.0A Active CN105027192B (zh) 2014-01-30 2015-01-06 增强数字音乐表现力的装置和方法
CN201580014022.6A Pending CN106164852A (zh) 2014-06-13 2015-05-08 用功能物体对移动物体的移动动作编程的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480041861.2A Pending CN105765512A (zh) 2014-01-30 2014-07-07 在交互面上用物理物体进行计算机编程的系统及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580014022.6A Pending CN106164852A (zh) 2014-06-13 2015-05-08 用功能物体对移动物体的移动动作编程的方法和系统

Country Status (2)

Country Link
US (2) US20160346686A1 (zh)
CN (3) CN105765512A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105372505A (zh) * 2015-12-11 2016-03-02 得理电子(上海)有限公司 基于电容值测量距离的装置、方法及其应用
CN106157942A (zh) * 2016-08-29 2016-11-23 四川文化艺术学院 激光midi马林巴琴
CN106971748A (zh) * 2017-05-05 2017-07-21 南京大学 基于三维立体结构的音乐播放系统及方法
CN107404581A (zh) * 2017-07-25 2017-11-28 广东欧珀移动通信有限公司 移动终端的乐器模拟方法、装置及存储介质和移动终端
CN107424593A (zh) * 2017-08-25 2017-12-01 广州彩磁信息技术有限公司 一种区域划动触控式曲面立体扬声器阵列的数码乐器
CN107754325A (zh) * 2017-11-03 2018-03-06 泾县吉祥纸业有限公司 一种儿童玩具钢琴
CN110249295A (zh) * 2017-07-03 2019-09-17 黄丽华 一种多点触控应用装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10825352B2 (en) 2014-06-04 2020-11-03 Square Panda Inc. Letter manipulative identification board
US10607502B2 (en) * 2014-06-04 2020-03-31 Square Panda Inc. Phonics exploration toy
EP3209401B1 (en) * 2014-10-21 2019-06-12 Lego A/S A toy construction system and a method for a spatial structure to be detected by an electronic device comprising a touch screen
WO2017168404A1 (en) * 2016-03-29 2017-10-05 Play Properties Entertainment Ltd. A computerized system and method of using a physical toy construction set
CN106139614A (zh) * 2016-07-22 2016-11-23 苏州乐派特机器人有限公司 一种利用实物化编程操作进行的游戏方法
CN106310678A (zh) * 2016-08-29 2017-01-11 安徽小木文化科技有限公司 智能积木系统及其控制方法
CN106504614B (zh) * 2016-12-01 2022-07-26 华南理工大学 一种积木式编程的教育机器人
CN106730907B (zh) * 2016-12-02 2022-04-22 浙江机电职业技术学院 桌面层叠平衡玩具及其使用方法
IT201700005258A1 (it) * 2017-01-18 2018-07-18 Wavedu S R L Superfici interattive di studio e di gioco con riconoscimento di oggetti tramite rfid
CN106781869A (zh) * 2017-01-22 2017-05-31 智童时刻（厦门）科技有限公司 一种教育机器人结合环境的实物编程方法
EP3601112A1 (en) 2017-03-23 2020-02-05 Berkshire Grey, Inc. Systems and methods for processing objects, including automated linear processing stations
JP6877688B2 (ja) 2017-03-27 2021-05-26 カシオ計算機株式会社 プログラミング装置及びその制御プログラム、プログラミング方法
JP6877689B2 (ja) * 2017-03-27 2021-05-26 カシオ計算機株式会社 プログラミング装置及びその制御プログラム、プログラミング方法
CN107149768A (zh) * 2017-06-01 2017-09-12 杨军 一种迷宫编程桌面游戏装置及方法
CN108079587B (zh) * 2017-12-22 2020-06-02 武汉蛋玩科技有限公司 一种互动卡片式编程系统及其编程方法
CN108170421B (zh) * 2017-12-22 2020-06-02 武汉蛋玩科技有限公司 一种stem教育卡片编程系统及其编程方法
US10128837B1 (en) 2018-06-11 2018-11-13 Horizon Group USA, INC System and method for identifying objects using capacitive sensing technology
CN108492678A (zh) * 2018-06-14 2018-09-04 深圳欧沃机器人有限公司 利用卡片进行编程的装置及系统
WO2020047815A1 (en) * 2018-09-07 2020-03-12 Zheng Shi System and method for user created object, property, method, or event with physical manipulatives
CN109003510A (zh) * 2018-09-25 2018-12-14 宁波凯思奥教育科技有限公司 实物编程装置
US10872283B2 (en) * 2018-10-31 2020-12-22 United Services Automobile Association (Usaa) Wireless communications device with concealed value
CN112394913B (zh) * 2019-08-19 2022-09-09 中国科学院自动化研究所 支持程序分解和复用的实物编程系统
US20230142950A1 (en) * 2019-11-19 2023-05-11 Talkiwear Pty Ltd Systems and methods for facilitating learning through interaction with objects in an environment
US11465054B1 (en) 2019-12-04 2022-10-11 United Services Automobile Association (Usaa) Wireless communication device with concealed value in mobile gaming
WO2021195654A1 (en) * 2020-03-27 2021-09-30 Microchip Technology Incorporated Recognizing an object using capacitive sensing
US11554324B2 (en) * 2020-06-25 2023-01-17 Sony Interactive Entertainment LLC Selection of video template based on computer simulation metadata
KR102478563B1 (ko) * 2020-09-18 2022-12-15 하우영 마찰력 학습 게임 장치 및 이를 이용한 게임 방법
US11517812B2 (en) 2021-02-19 2022-12-06 Blok Party, Inc. Application of RFID gamepieces for a gaming console

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338977A (ja) * 1999-05-28 2000-12-08 Umeko Kato 静電容量センサを用いた電子楽器
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
CN102047319A (zh) * 2008-03-11 2011-05-04 米萨数码控股有限公司 一种数字乐器
US20120071994A1 (en) * 2010-09-17 2012-03-22 Apple Inc. Altering sound output on a virtual music keyboard
WO2013006746A1 (en) * 2011-07-07 2013-01-10 Drexel University Multi-touch piano keyboard

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004063883A2 (en) * 2003-01-09 2004-07-29 Evolution Robotics, Inc. Vision- and environment-based programming of robots and/or computer systems
US20050052327A1 (en) * 2003-09-10 2005-03-10 Posluszny Jerry C. Folded antenna
US8111143B2 (en) * 2005-04-29 2012-02-07 Hewlett-Packard Development Company, L.P. Assembly for monitoring an environment
US7400253B2 (en) * 2005-08-04 2008-07-15 Mhcmos, Llc Harvesting ambient radio frequency electromagnetic energy for powering wireless electronic devices, sensors and sensor networks and applications thereof
AU2006318721A1 (en) * 2005-11-21 2007-05-31 Powercast Corporation Radio-frequency (RF) power portal
US7579946B2 (en) * 2006-04-20 2009-08-25 Nike, Inc. Footwear products including data transmission capabilities
US20080084271A1 (en) * 2006-10-06 2008-04-10 Denny Jaeger Continuous variable wireless data input to RFID reader
TW200927247A (en) * 2007-07-03 2009-07-01 G Time Electronic Co Ltd Game system and method of playing game
US8602857B2 (en) * 2008-06-03 2013-12-10 Tweedletech, Llc Intelligent board game system with visual marker based game object tracking and identification
US8517383B2 (en) * 2008-06-20 2013-08-27 Pure Imagination, LLC Interactive game board system incorporating capacitive sensing and identification of game pieces
US8013744B2 (en) * 2008-08-06 2011-09-06 Uchicago Argonne, Llc Radio frequency identification (RFID) surveillance tag
DE102008057389B4 (de) * 2008-11-14 2011-03-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transport eines Objekts über eine Oberfläche
CN102039045A (zh) * 2009-10-12 2011-05-04 朱立圣 电子化棋盘类游戏系统
TW201020002A (en) 2010-02-05 2010-06-01 Univ Chang Gung Digital chessboard and the use method for chessboard
CN102136208B (zh) * 2011-03-30 2013-01-09 中国科学院软件研究所 一种实物编程方法和系统
US20120249430A1 (en) 2011-03-31 2012-10-04 Oster David Phillip Multi-Touch Screen Recognition of Interactive Objects, and Application Thereof
US9041669B1 (en) * 2012-06-20 2015-05-26 Amazon Technologies, Inc. Input/output device
CN102789713B (zh) * 2012-07-19 2015-04-15 中国科学院软件研究所 一种基于红外和无线传输技术的实物编程方法和系统
CN202983151U (zh) 2012-08-09 2013-06-12 上海科斗电子科技有限公司 一种象棋棋具
US8854056B1 (en) * 2012-09-13 2014-10-07 Cypress Semiconductor Corporation Capacitance sensing devices and methods
CN103456203B (zh) * 2013-09-12 2015-08-26 中国科学院软件研究所 一种便携式实物编程方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
JP2000338977A (ja) * 1999-05-28 2000-12-08 Umeko Kato 静電容量センサを用いた電子楽器
CN102047319A (zh) * 2008-03-11 2011-05-04 米萨数码控股有限公司 一种数字乐器
US20120071994A1 (en) * 2010-09-17 2012-03-22 Apple Inc. Altering sound output on a virtual music keyboard
WO2013006746A1 (en) * 2011-07-07 2013-01-10 Drexel University Multi-touch piano keyboard

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW MCPHERSON: "Design and Applications of a Multi-touch Musical Keyboard", 《BOARDS（2011）》 *
ANDREW MCPHERSON: "TouchKeys:Capacitive Multi-Touch Sensing on a Physical Keyboard", 《PRECEEDINGS OF THE INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105372505A (zh) * 2015-12-11 2016-03-02 得理电子(上海)有限公司 基于电容值测量距离的装置、方法及其应用
CN106157942A (zh) * 2016-08-29 2016-11-23 四川文化艺术学院 激光midi马林巴琴
CN106971748A (zh) * 2017-05-05 2017-07-21 南京大学 基于三维立体结构的音乐播放系统及方法
CN110249295A (zh) * 2017-07-03 2019-09-17 黄丽华 一种多点触控应用装置
CN107404581A (zh) * 2017-07-25 2017-11-28 广东欧珀移动通信有限公司 移动终端的乐器模拟方法、装置及存储介质和移动终端
CN107404581B (zh) * 2017-07-25 2020-03-31 Oppo广东移动通信有限公司 移动终端的乐器模拟方法、装置及存储介质和移动终端
CN107424593A (zh) * 2017-08-25 2017-12-01 广州彩磁信息技术有限公司 一种区域划动触控式曲面立体扬声器阵列的数码乐器
CN107754325A (zh) * 2017-11-03 2018-03-06 泾县吉祥纸业有限公司 一种儿童玩具钢琴

Also Published As

Publication number Publication date
CN106164852A (zh) 2016-11-23
CN105027192B (zh) 2019-06-14
US20160346686A1 (en) 2016-12-01
US20160210484A1 (en) 2016-07-21
US9737802B2 (en) 2017-08-22
CN105765512A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
CN105027192A (zh) 增强数字音乐表现力的装置和方法
WO2015113457A1 (en) Apparatus and method to enhance expressive qualities of digital music
US9299330B2 (en) Apparatus and method to enhance the expressive qualities of digital music
JP2017507349A (ja) デジタル音楽の表現品質を高めるための装置及び方法
Bretan et al. A survey of robotic musicianship
Hunt et al. Mapping performer parameters to synthesis engines
US7598449B2 (en) Musical instrument
US6647359B1 (en) System and method for synthesizing music by scanning real or simulated vibrating object
Kapur et al. 2004: The Electronic Sitar Controller
CN104091589B (zh) 弓弦乐器弹奏指导装置及其控制方法
CN105741639B (zh) 一种模拟弓弦类乐器的微感掌上乐器
Arfib et al. Expressiveness and digital musical instrument design
CN102792353A (zh) 教育性的弦乐器触摸屏模拟
US9812110B2 (en) Digital musical instrument and method for making the same
WO2020059245A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN110178177B (zh) 用于曲谱简化的系统和方法
CN110379400A (zh) 一种用于生成乐谱的方法及系统
WO2017125006A1 (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
CN103425901B (zh) 原创声响数据整理器
CN204087780U (zh) 一种数字弦乐器
CN208655232U (zh) 一种设置有重锤力度键盘的智能钢琴
US11250824B2 (en) Musical system and method thereof
KR101813557B1 (ko) 디지털 음악의 표현적 특성을 개선하는 장치 및 방법
Overholt Advancements in violin-related human-computer interaction
Granieri et al. Harnessing Ancillary Microgestures in Piano Technique: Implementing Microgestural Control Into an Expressive Keyboard-Based Hyper-Instrument

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 2203, Building 4, China Railway Construction Plaza, 19 Beiyuan East Road, Chaoyang District, Beijing 100012

Applicant after: Shi Zheng

Address before: 100022 Chaoyang District, Beijing Jian Wai Street B 12, Gemini building, 1208 West Tower.

Applicant before: Shi Zheng