CN1897103B - 通过运动检测来控制并播放声效的方法、设备以及介质 - Google Patents

通过运动检测来控制并播放声效的方法、设备以及介质 Download PDF

Info

Publication number
CN1897103B
CN1897103B CN2006100922546A CN200610092254A CN1897103B CN 1897103 B CN1897103 B CN 1897103B CN 2006100922546 A CN2006100922546 A CN 2006100922546A CN 200610092254 A CN200610092254 A CN 200610092254A CN 1897103 B CN1897103 B CN 1897103B
Authority
CN
China
Prior art keywords
sound effect
motion
signal
play
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006100922546A
Other languages
English (en)
Other versions
CN1897103A (zh
Inventor
崔恩硕
金东润
方远哲
赵诚贞
赵俊基
黄光一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1897103A publication Critical patent/CN1897103A/zh
Application granted granted Critical
Publication of CN1897103B publication Critical patent/CN1897103B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/241—Scratch effects, i.e. emulating playback velocity or pitch manipulation effects normally obtained by a disc-jockey manually rotating a LP record forward and backward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206—Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种用于输出比如音乐的多媒体数据的方法、设备和介质，它能使用惯性传感器识别特定装置的运动，并将与识别出的运动相应的声音与多媒体数据相混合，以输出与该声音相混合的多媒体数据。这种用于通过运动检测来控制并播放声效的设备包括：媒体播放单元，读取多媒体数据并播放声音信号；运动传感器，检测所述设备的运动并产生与检测出的运动相应的传感器信号；模式识别单元，接收产生的传感器信号并使用特定的判断标准来识别所述设备的运动；声效播放单元，基于识别结果来播放声效；和输出单元，输出播放的声音信号和声效。

Description

通过运动检测来控制并播放声效的方法、设备以及介质
技术领域
本发明涉及一种输出多媒体数据的方法，更具体地讲，涉及一种能够使用惯性传感器识别特定装置的运动模式，并且将与识别出的运动模式相应的声音和多媒体数据混合起来以输出与声音混合的多媒体数据的方法、设备和介质。
背景技术
角速度传感器是一种检测特定装置的角度变化并输出与检测出的角度变化相应的传感器信号的传感器。加速度传感器是一种用于检测特定装置的速度变化并用于输出与检测出的速度变化相应的传感器信号的传感器。对下述装置的研究已经进行，所述装置能够使用惯性传感器(例如，角速度传感器和/或加速度传感器)在三维空间中识别特定装置的运动，并且能够操作以输入与识别出的运动模式相应的字符、符号或者特定命令。
用户运动模式稍有不同。如果用户没有以特定的方式(运动模式)运动，则与用户的意图不匹配的字符或者控制命令可被输入到基于运动的输入装置。在传统的基于运动的输入装置中，用户不能识别出输入到该装置的字符或者控制命令的类型和内容。用户仅能在字符或者控制命令被输入之后通过检查所输入的结果来识别输入的字符或者控制命令。因此，最近已经开发了用于更精确地识别用户的各种运动模式的技术。
同时，随着由计算机和网络的快速增长而引起的多媒体的广泛分布，现在很多便携式装置具有播放各种格式(比如MP3和WAV)的音乐的功能。然而，用户仅能听存储在其中的音乐。还没有提出在播放音乐期间使用户能够产生各种声效的技术。这种技术不仅使用户能听存储的音乐，而且还可将声效合入存储的音乐中，从而使用户能合成音乐。
作为一种相关的传统技术，第1999-252240号日本未审查专利公报公开了一种能够通过检测移动电话的摇动并根据该移动电话的摇动来调节接收机的音量的系统。然而，这不过是一种仅根据用户的运动来控制移动电话的一项功能的技术。
此外，第2005-049345号韩国未审查专利公报公开了一种播放模式控制设备和方法，它能基于生物测定信息来分析用户的运动，并响应于用户的运动来控制内容的播放模式。然而，这项技术只是使用用户的运动信息作为控制播放模式的手段，因此不同于根据用户的运动将声效和音乐相混合。
因此，需要这样的一种方法和设备，该方法和设备能够在具有运动传感器的便携式装置中播放音乐时，通过使用传统的运动检测技术来检测用户的运动，并能根据用户的运动将预定的声效或节拍与音乐相混合以输出与声效相混合的音乐。
发明内容
本发明的另外的方面、特征和/或优点将在下面的描述中部分地阐述，部分地，将从下面的描述中清楚或者通过实施本发明而被了解。
因此，本发明解决了现有技术中发生的上述问题。一方面，本发明提供了一种用于实时地将便携式装置中播放的多媒体数据和与用户的运动相应的声效相混合并输出与声效混合的多媒体数据的方法和设备。
本发明的另一方面提供了一种以多种方式表示声效的方法。
在本发明的一方面中，根据本发明，提供了一种用于通过运动检测来控制并播放声效的设备，所述设备包括：媒体播放单元，读取多媒体数据并播放声音信号；运动传感器，检测所述设备的运动并产生与检测出的运动相应的传感器信号；模式识别单元，接收产生的传感器信号并基于特定的判断标准来识别所述设备的运动模式；声效播放单元，基于识别结果来播放声效；和输出单元，输出播放的声音信号和声效。
在本发明的另一方面中，提供了一种用于通过运动检测来控制并播放声效的方法，所述方法包括下述步骤：(a)读取多媒体数据并播放声音信号；(b)检测声效控制及播放的设备的运动并产生与检测出的运动相应的传感器信号；(c)接收产生的传感器信号并基于特定的判断标准来识别所述设备的运动模式；(d)基于识别结果来播放声效；和(e)输出播放的声音信号和声效。
在本发明的另一方面中，提供了至少一种存储指令的计算机可读介质，所述指令控制至少一个处理器来执行用于通过运动检测来控制并播放声效的方法，所述方法包括：(a)读取多媒体数据并播放声音信号；(b)检测用于控制并播放声效的设备的运动，并产生与检测出的运动相应的传感器信号；(c)接收产生的传感器信号并基于特定的判断标准来识别所述设备的运动；(d)基于识别结果来播放声效；和(e)输出播放的声音信号和声效。
附图说明
从下面结合附图对本发明示例性实施例的描述中，本发明的这些和/或其他方面、特征和优点将会更明显并且容易理解，其中：
图1是表示根据本发明示例性实施例的便携式装置的外部构造的示图，所述便携式装置在音频数据的播放期间将由用户运动产生的声效与音频数据相混合；
图2是根据图1的示例性实施例的便携式装置的框图；
图3是根据图2的示例性实施例的便携式装置的硬件连线的框图；
图4是表示根据本发明示例性实施例的便携式装置的三维坐标系的示图；
图5A和图5B是表示3轴加速度信号和运动识别信号的曲线图；
图6到图9是表示声效播放设置的示例；和
图10是表示根据本发明示例性实施例的用于通过运动检测来控制并播放声效的方法的流程图。
具体实施方式
现在将详细描述其示例在附图中表示的本发明示例性实施例，其中相同的标号始终表示相同的部件。通过参照附图，本发明示例性实施例将描述如下以解释本发明。
本发明提供了这样一种方法和设备，即如果便携式装置在特定方向上摇动，则该设备使用安装在便携式装置中的检测便携式装置的运动的运动传感器来分析用户的生物测定信息、将当前正在播放的多媒体数据与存储的声效相混合并输出与声效相混合的多媒体数据。声效可为节拍，也可与多媒体数据有相同或不同的格式。
因此，用户可简单地收听音乐，独立地创建由用户运动所发起的节拍，或者同时根据用户的爱好来执行这两项操作。这不同于简单地检测运动并输入字符或者控制命令的传统技术。
图1是根据本发明示例性实施例的便携式装置100的外部构造的示图，其中，在多媒体数据的播放期间发生运动而发起的声效可与多媒体数据相混合。便携式装置100可包括设置在便携式装置外表面上通过LCD或LED来显示各种信息(例如，便携式装置的当前状态)的显示单元13。便携式装置100还可包括：运动传感器60，用于检测由用户的运动引起的便携式装置100的运动；键输入单元12，接收通过键输入的用户命令；和输出单元55，向用户输出混合的声音。
图2是根据图1的示例性实施例的便携式装置的逻辑框图。便携式装置100可包括运动传感器60、模式识别单元80、播放控制器90、声效播放单元40、媒体播放单元30、存储器15、混音器50和输出单元55。
运动传感器60检测便携式装置100的运动，并输出与检测出的运动相应的传感器信号。模式识别单元80基于从运动传感器60输出的传感器信号识别便携式装置100的运动模式。
播放控制器90基于识别出的运动模式来控制声效播放单元40播放特定的声效。声效播放单元40在播放控制器90的控制下产生与模式识别单元80识别出的运动模式相应的声音信号。声效播放单元40可在播放控制器90的控制下使用存储在存储器15中的声效信号产生声音信号。
媒体播放单元30通过解码器(例如，编解码器)恢复存储在存储器15中的多媒体数据，从而产生模拟声音信号。混音器50将声效播放单元40输出的声效与媒体播放单元30输出的声音信号相混合以输出单一混合的声音信号。
图3是图2的便携式装置100的硬件连线的框图的示例性实施例。如图3所示，便携式装置100的部件可通过总线16被电气连接到CPU 10和存储器15。存储器15可以以用于存储由CPU 10执行的程序的只读存储器(ROM)和用于存储各种数据并具有备用电池的随机存取存储器(RAM)的形式实现。RAM可为可读写的并且即使在断电的情况下也能够保存数据的闪存或者是硬盘。其他类型的存储器或存储装置也可被使用。存储器15存储至少一组多媒体数据和一组声音信号数据。
键输入单元12将来自用户的键输入转换为电信号，它可以以键区或者数字转换器的形式实现。显示单元13可用比如LCD和LED的发光元件实现。通信单元14被连接到天线17，经载波调制通过天线17来发送信号和数据，并对经天线17接收的信号和数据进行解调。
麦克风21将输入语音转换成模拟声音信号，放大器22将转换的模拟声音信号放大，其增益由增益控制信号G1来控制。然后放大的信号被输入到语音编码器23和混音器50。语音编码器23将放大的信号转换为数字数据，压缩该数字数据，并将压缩的数据发送到通信单元14。
媒体播放单元30可包括缓冲器31、解码器32、DAC 33和放大器34。缓冲器31的示例是先进先出(FIFO)型缓冲器，它接收并临时存储在存储器15中存储的多媒体数据。解码器32对临时存储在缓冲器31中的多媒体数据解压缩以恢复原始声音信号(视频或者图像也可在该恢复处理中恢复)。解码器32可支持多种格式。解码器可为MPEG 1、MPEG 2、MPEG 4、JPEG或者MPEG层3(MP3)编解码器。
DAC 33是数模转换器，它将解压缩的声音信号转换成模拟声音信号。放大器34根据增益控制信号G2来放大模拟声音信号。
声效播放单元40在播放控制器90的控制下根据存储在存储器15中的声效信号产生模拟声音信号。声效信号可被存储在代替存储器15的分离的存储器中。声效信号可具有与多媒体数据相同的格式，或者它也可具有不同的格式。如果声效信号也为压缩的形式，则声效播放单元40可以以与媒体播放单元30相同的方式包括缓冲器41、解码器42、DAC 43和放大器44。
混音器50将从媒体播放单元30输出的声音信号与从声效播放单元40输出的声音信号相混合。混音器50也可混合通过麦克风21和放大器22输入的声音信号。结果，除了在声效中混合外，用户可将他/她的语音与音频数据相混合。例如，用户可在将节拍插入到播放的音乐中的同时输出或记录他的语音。由于在现有技术中，已经知道多种涉及通过混音器50来混合多个模拟信号的算法，所以将省略其详细的解释。
由混音器50混合的声音(以下，被称作“混音”)可通过输出单元55输出。输出单元55可包括：放大器51，其增益根据主增益控制信号G4来控制；扬声器52，将输入的电声音信号转换为实际的声音。
运动传感器60检测便携式装置100的运动，并输出与检测出的运动相应的传感器信号。运动传感器60可包括加速度传感器、角速度传感器、地磁传感器或其他装置，或者其结合。角速度传感器检测声音播放装置的角速度，即装置向右、向左、向上、向下、顺时针和逆时针的运动，并且产生与检测出的角速度相应的传感器信号值。换句话说，角速度传感器检测播放装置的角速度。
加速度传感器检测播放装置的加速度，即播放装置的速度变化，并产生与检测出的加速度相应的传感器信号。播放装置的加速度可通过加速度传感器识别。如果运动传感器60由角速度传感器和加速度传感器的结合而构造，则运动传感器可检测播放装置的角速度和加速度二者，并产生与检测出的角速度和加速度相应的传感器信号。运动传感器60可利用加速度传感器、角速度传感器或其他装置。然而，本发明将参照加速度传感器来描述。
图4是表示根据本发明示例性实施例的便携式装置的三维坐标系的示图。如图4所示，基于运动的播放装置具有左/右、上/下、前/后方向的运动模式。为了检测这三种运动模式，三个加速度传感器被安装在便携式装置100的坐标系的x、y和z轴上。x轴上的加速度传感器检测播放装置的左/右运动。y轴上的加速度传感器检测播放装置的前/后运动。z轴上的加速度传感器检测播放装置的上/下运动。加速度传感器可为运动传感器60的一部分。
参照图3，从运动传感器60输出的传感器信号是与基于运动的播放装置的加速度相应的模拟信号，模数转换器(ADC)70将从运动传感器60输出的模拟传感器信号转换成数字传感器信号。来自ADC 70的数字传感器信号被提供给模式识别单元80，模式识别单元80使用提供的数字传感器信号依次执行用于分析播放装置的运动模式的算法。所述模式识别单元80可在，例如当传感器信号值超过特定的临界值的时刻识别运动的发生。
根据该算法，可识别便携式装置100的运动方向和运动量。该算法的细节将稍后描述。
播放控制器90按照由模式识别单元80提供的运动模式根据特定的设置(setup)(以下称作“声效播放设置”)来控制声效播放单元40播放声效。声效播放设置的细节将稍后描述。
这里使用的图3中所示的部件可为软件或硬件组件，比如执行特定任务的现场可编程门阵列(FPGA)或者专用集成电路(ASIC)，但并不限于软件或硬件组件。组件可有利地被构造为存在于可寻址的存储介质中并被构造为在一个或多个处理器上执行。由组件所提供的功能可由几个组件或一个组件实现。
以下，将解释模式识别单元80中的模式识别处理。与播放装置的运动的大小相应的电压信号由运动传感器60产生，加速度传感器信号值(Abx、Aby、Abz)通过等式(1)产生：
Abx＝Sbx*(Vbx-Vbox)
Aby＝Sby*(Vby-Vboy)    ......(1)
Abz＝Sbz*(Vbz-Vboz)
这里，Abx、Aby和Abz表示在播放装置的坐标系的各个坐标轴(x、y和z轴)上测量的播放装置的加速度传感器信号值，Sbx、Sby和Sbz表示播放装置的坐标系的各个轴的灵敏度。另外，Vbx、Vby和Vbz表示在播放装置的坐标系的各个轴上安排的加速度传感器产生的测量值，Vbox、Vboy和Vboz表示当在播放装置的坐标系的各个轴上安排的加速度传感器的加速度值是“0”时的测量值。
模式识别单元80将传感器信号值与临界值(Cbx、Cby和Cbz)相比较并监视传感器信号值超过特定的临界值的时刻。在传感器信号值超过临界值的时刻，识别特定方向上的播放装置的加速度。可如下面所示来识别播放装置的上/下、左/右或者前/后加速度。
在识别播放装置的左/右加速度的情况下，检测出传感器信号值从|Abx(kx-1)|≤Cbx到|Abx(kx)|＞Cbx改变的时刻(kx)。使用位于播放装置的坐标系的x轴上的加速度传感器来识别播放装置的左/右运动。
另外，在识别播放装置的上/下加速度的情况下，检测出传感器信号值从|Abz(kz-1)|≤Cbz到|Abz(kz)|＞Cbz改变的时刻(kz)。使用位于播放装置的坐标系的z轴上的加速度传感器来识别播放装置的上/下运动。
此外，在识别播放装置的前/后加速度的情况下，检测出传感器信号值从|Aby(ky-1)|≤Cby到|Aby(ky)|＞Cby改变的时刻(ky)。使用位于播放装置的坐标系的y轴上的加速度传感器来识别播放装置的前/后运动。这里，kx、ky和kz表示当前离散时间值，kx-1、ky-1和kz-1表示先前离散时间值。
假定在媒体播放单元30播放多媒体期间，运动传感器60产生如图5A所示的3轴加速度信号。在图5A的曲线图中，各个轴上超过临界值的时刻标记有环形符号或者菱形符号。图5B的曲线图显示经模式识别单元80进行的运动识别结果。然而，可看到如图5A的曲线图所示有9个时刻超过临界值，但在图5B中只有6个时刻被实际识别为运动。这是因为如果多个超过临界值的时刻包括在特定的时间段内，则相应的时刻被识别为一个时刻。在特定的时间段中的多个时刻上识别出的时刻是第一个。因为在非常短的时间内重复声效的输出不是优选的，所以为每一时间段提供临界值。当然，随着时间段的临界值的增加，识别出的时刻的数目减少，反之亦然。
以下，将参照图6到图9来解释播放控制器90控制声效播放单元40所需的声效播放设置。
图6表示这样的一个示例：如果在多媒体播放期间识别出运动，则播放声效；如果在声效的播放期间在特定时刻102处又识别出运动，则从初始时刻101又开始播放声效。如果声效是节拍，则每当用户运动时节拍就会重复输出。当然，如果在声效播放期间没有运动，则声效信号将会播放至完成。
图7表示这样的一个示例：如果识别出一次运动，则播放多个声效。在第一运动的识别中，声效1从其初始时刻103开始播放；如果在特定时刻104处再次识别出运动，则声效2从它的初始时刻105开始播放。此外，如果在特定时刻106又识别出运动，则声效3从它的初始时刻107开始播放。结果，如果假定总共使用三种声效，则当在声效3的播放期间又识别出运动时，声效1又被播放。
如上所述，在有多种声效存储在存储器15中的情况下，播放控制器90改变声效的索引，并将存储器15提供的相应的声效发送到声效播放单元40。
图8表示针对各个轴输出不同声效的示例。这里，假定x、y和z轴分别相应于声效1、2和3。当在多媒体播放期间识别出x轴运动时，声效1从它的初始时刻111开始播放。当在声效1的播放期间识别出z轴运动模式时，声效3从它的初始时刻113开始播放。相似地，当在声效3的播放期间识别出y轴运动模式时，声效2从它的初始时刻115开始播放。
图8的示例对应于单独的声效被指定给各个轴的情况。从而，用户可根据其爱好将不同的声效插入到正在播放的音频数据中。例如，用户可分别对x轴、y轴和z轴指定鼓声、吉他声、钢琴声，并根据识别出的运动方向来产生不同声效。
图10是表示根据本发明示例性实施例的通过运动检测来控制并播放声效的方法的流程图。
首先，媒体播放单元30读取多媒体数据并播放声音信号(S1)。运动传感器60在声音信号的播放期间检测播放装置的运动，并产生与检测出的运动相应的传感器信号(S2)。模式识别单元80接收产生的传感器信号并基于特定的判断标准识别播放装置的运动(S3)。声效播放单元40基于识别的结果播放声效(S4)，混音器50将声效与正在播放的声音信号相混合以产生混音信号(S5)。然后输出单元55经扬声器输出混音信号(S6)。
在操作S6中，输出单元55可执行经放大器51根据主增益控制信号来控制混音信号的增益的子步骤，并可通过扬声器52将其增益被控制的混音信号转换为实际声音。
图10的流程图还可包括将经过麦克风21输入的语音转换为模拟声音信号并将该模拟声音信号提供给混音器50的操作。
在操作S1中，媒体播放单元30可执行使用缓冲器31来临时存储多媒体数据、使用解码器32对临时存储在缓冲器31中的多媒体数据解压缩以恢复原始的声音信号的子操作。
在操作S4中，声效播放单元40可执行使用缓冲器41来临时存储声效数据、并使用解码器42对临时存储在缓冲器41中的声效数据解压缩以恢复原始声效的子操作。
在操作S2中，运动可由加速度传感器、角速度传感器或其结合来检测。
在操作S3中，模式识别单元80可在传感器信号超过特定临界值的时刻识别出运动的发生。另外，如果多个时刻被识别为在特定时间段内存在的运动发生的时刻，则模式识别单元80可将它们识别为单个运动。
图10的流程图还可包括如果识别出运动的发生则使用播放控制器90根据特定的声效播放设置来控制声效的播放的步骤。
参照图6，声效播放设置以下述方式进行：如果在声音信号的播放期间识别出运动，则播放声效；如果在声效的播放期间识别出运动，则从声效的初始时刻开始来播放声效。
参照图7，声效播放设置以下述方式进行：每当在声效的播放期间识别出运动时，播放不同的声效。
参照图8，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则根据由运动指示的轴来播放相应的声效。
参照图9，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则声效的幅度随着运动的大小而改变。
除了上述示例性实施例，本发明的示例性实施例也可通过执行介质，例如计算机可读介质上/中的计算机可读代码/指令来实现。所述介质可相应于允许计算机可读代码的存储和/或传输的任何介质/媒体。
所述计算机可读代码/指令可以以各种方式在介质上/中被记录/传送，所述介质的示例包括：磁存储介质(例如，软盘、硬盘、磁带等)、光学记录介质(例如，CD-ROM或DVD)、磁性光学介质(例如，光磁软盘)、硬件存储装置(例如，只读存储介质、随机存取存储介质、闪存等)、以及比如传输包括指令、数据结构等的信号的载波的存储/传输介质。存储/传输介质的示例可包括有线和/或无线传输(比如，通过互联网的传输)。有线存储/传输介质的示例可包括光学线和金属线。所述介质/媒体还可为分布式的网络，从而以分布式的方式来存储/传输并执行计算机可读代码/指令。所述计算机可读代码/指令可由一个或者多个处理器来执行。
如上所述，本发明的优点在于：用户可根据其爱好实时地将声效或者节拍插入到正在由便携式装置播放的多媒体数据中，从而用户能除了简单地收听音乐之外，还能合成音乐。
尽管已经显示并描述了本发明一些示例性实施例，但是本领域的技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些示例性实施例进行改变，本发明的范围由权利要求和它们的等同物来限定。

Claims (31)

1.一种通过运动检测来控制并播放声效的设备，该设备包括：
媒体播放单元，读取多媒体数据并播放声音信号；
运动传感器，检测所述设备的运动并产生与检测出的运动相应的传感器信号；
模式识别单元，接收产生的传感器信号并识别所述设备的运动；
声效播放单元，基于识别出的运动来播放声效；和
输出单元，输出声音信号和声效，
其中，模式识别单元识别运动的发生，从而在特定的时间段内出现多个识别的运动的发生时，模式识别单元将所述多个识别的发生作为单个运动。
2.如权利要求1所述的设备，还包括：混音器，将声效与声音信号相混合，并向输出单元提供混音信号。
3.如权利要求2所述的设备，其中，所述输出单元包括：
放大器，根据主增益控制信号来控制混音信号的增益；和
扬声器，将增益受控制的混音信号转换为实际的声音。
4.如权利要求1所述的设备，还包括：
麦克风，将输入语音转换成模拟声音信号；和
混音器，将声音信号、声效和转换的声音信号相混合，并向输出单元提供混音。
5.如权利要求1所述的设备，其中，媒体播放单元包括：
先进先出型缓冲器，接收并临时存储在存储器中存储的多媒体数据；和
解码器，对临时存储在缓冲器中的多媒体数据解压缩以恢复原始的声音信号。
6.如权利要求5所述的设备，其中，所述多媒体数据为MPEG层-3格式。
7.如权利要求1所述的设备，声效播放单元包括：
先进先出型缓冲器，接收并临时存储在存储器中存储的声效数据；和
解码器，对临时存储在缓冲器中的声效数据解压缩以恢复原始的声效。
8.如权利要求7所述的设备，其中，声效数据为MPEG层-3格式。
9.如权利要求1所述的设备，其中，运动传感器是加速度传感器、角速度传感器、或者其结合。
10.如权利要求9所述的设备，其中，模式识别单元在传感器信号超过特定的临界值的时刻识别出运动的发生。
11.如权利要求9所述的设备，还包括：播放控制器，如果运动发生被识别出，则该播放控制器根据特定的声效播放设置来控制声效的播放。
12.如权利要求11所述的设备，其中，声效播放设置以下述方式进行：如果在声音信号的播放期间识别出运动，则播放声音数据的声效；如果在声效的播放期间识别出运动，则又从声效的初始时刻开始来播放声效。
13.如权利要求11所述的设备，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则播放与播放的声效不同的声效。
14.如权利要求11所述的设备，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则根据由运动指示的轴来播放相应的声效。
15.如权利要求11所述的设备，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则声效的幅度随着运动的大小而改变。
16.一种通过运动检测来控制并播放声效的方法，该方法包括：
(a)读取多媒体数据并播放声音信号；
(b)检测用于控制并播放声效的装置的运动，并产生与检测出的运动相应的传感器信号；
(c)接收产生的传感器信号并识别所述装置的运动；
(d)基于识别出的运动来播放声效；和
(e)输出播放的声音信号和声效，
其中，识别装置的运动步骤识别运动的发生，从而在特定的时间段内出现多个识别的运动的发生时，将所述多个识别的发生作为单个运动。
17.如权利要求16所述的方法，还包括将声效与播放的声音信号相混合并向输出单元提供混音信号的步骤。
18.如权利要求17所述的方法，其中，步骤(e)包括：
根据主增益控制信号来控制混音信号的增益；和
将增益受控制的混音信号转换为实际的声音。
19.如权利要求16所述的方法，还包括：
将输入语音转换成模拟声音信号；和
将播放的声音信号、声效和转换的声音信号相混合，并向输出单元提供混音。
20.如权利要求19所述的方法，其中，步骤(a)包括：
接收并临时存储在存储器中存储的多媒体数据；和
对临时存储在缓冲器中的多媒体数据解压缩以恢复原始的声音信号。
21.如权利要求20所述的方法，其中，所述多媒体数据为MPEG层-3格式。
22.如权利要求16所述的方法，步骤(d)包括：
接收并临时存储在存储器中存储的声效数据；和
对临时存储在缓冲器中的声效数据解压缩以恢复原始的声效。
23.如权利要求22所述的方法，其中，声效数据为MPEG层-3格式。
24.如权利要求16所述的方法，其中，由加速度传感器、角速度传感器、或者其结合来检测运动。
25.如权利要求24所述的方法，其中，步骤(c)包括：在传感器信号超过特定临界值的时刻识别出运动的发生。
26.如权利要求25所述的方法，其中，步骤(c)还包括：如果在特定的时间段内有多个这样的时刻，即发生单独运动的时刻，则识别为只有一个运动发生。
27.如权利要求24所述的方法，还包括：如果运动被识别出，则根据特定的声效播放设置来控制声效的播放。
28.如权利要求27所述的方法，其中，声效播放设置以这样的方式进行：如果在声音信号的播放期间识别出运动，则播放声效；如果在声效的播放期间识别出运动，则又从声效的初始时刻开始来播放声效。
29.如权利要求27所述的方法，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则播放与播放的声效不同的声效。
30.如权利要求27所述的方法，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则根据由运动指示的轴来播放相应的声效。
31.如权利要求27所述的方法，其中，声效播放设置以下述方式进行：如果在声效的播放期间识别出运动，则声效的幅度随着运动的大小而改变。
CN2006100922546A 2005-07-15 2006-06-15 通过运动检测来控制并播放声效的方法、设备以及介质 Expired - Fee Related CN1897103B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050064450A KR20070009298A (ko) 2005-07-15 2005-07-15 모션 감지에 의하여 효과 음향을 재생하고 제어하는 방법및 장치
KR10-2005-0064450 2005-07-15
KR1020050064450 2005-07-15

Publications (2)

Publication Number Publication Date
CN1897103A CN1897103A (zh) 2007-01-17
CN1897103B true CN1897103B (zh) 2011-04-20

Family

ID=37206626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100922546A Expired - Fee Related CN1897103B (zh) 2005-07-15 2006-06-15 通过运动检测来控制并播放声效的方法、设备以及介质

Country Status (4)

Country Link
US (1) US20070013539A1 (zh)
EP (1) EP1744301A1 (zh)
KR (1) KR20070009298A (zh)
CN (1) CN1897103B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101105937B (zh) * 2007-08-03 2011-04-13 西北工业大学 电子音乐产生方法
KR100891263B1 (ko) * 2007-11-15 2009-03-30 에스케이 텔레콤주식회사 단말기 움직임으로 단말기에 미디어를 재생하는 방법,시스템 및 서버
CN101868771B (zh) * 2007-12-07 2013-07-31 松下电器产业株式会社 电子设备
US8238582B2 (en) * 2007-12-07 2012-08-07 Microsoft Corporation Sound playback and editing through physical interaction
US8259957B2 (en) * 2008-01-10 2012-09-04 Microsoft Corporation Communication devices
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
US10007486B2 (en) * 2008-12-01 2018-06-26 Micron Technology, Inc. Systems and methods to enable identification of different data sets
JP5619775B2 (ja) 2009-01-30 2014-11-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ マルチメディアの表示から情報を制御及び要求する方法
US9930310B2 (en) * 2009-09-09 2018-03-27 Apple Inc. Audio alteration techniques
US9094813B2 (en) * 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
CN102842319B (zh) * 2011-06-24 2015-04-08 深圳深讯和科技有限公司 音乐播放的控制方法和装置
CN102969008A (zh) * 2012-11-02 2013-03-13 天津大学 乐随形动数字音乐播放系统
CN103336451B (zh) * 2013-06-09 2016-04-06 廖明忠 感测并记录动态并使一表现装置产生对应表现的电子装置
CN103617771A (zh) * 2013-12-10 2014-03-05 宁波长青家居用品有限公司 一种音乐光纤旗帜
US10796326B2 (en) * 2014-01-06 2020-10-06 Transform Sr Brands Llc Consumer game
USD740353S1 (en) * 2014-02-28 2015-10-06 Markus Oliver HUMMEL Tone effects pedal
CN103984193B (zh) * 2014-03-14 2020-10-16 广州虹天航空科技有限公司 拍摄设备稳定器及其控制方法
KR102260721B1 (ko) * 2014-05-16 2021-06-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 음악 연주 방법
WO2017061577A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 信号処理装置、信号処理方法及びコンピュータプログラム
US10607386B2 (en) 2016-06-12 2020-03-31 Apple Inc. Customized avatars and associated framework
CN106101631A (zh) * 2016-07-04 2016-11-09 安霸公司 云摄像机
JP7140447B2 (ja) * 2016-12-25 2022-09-21 ミクティック アーゲー 感知ユニットの動きからの少なくとも１つの検出される力を聴覚信号に変換するための装置及び方法
US10861210B2 (en) 2017-05-16 2020-12-08 Apple Inc. Techniques for providing audio and video effects
CN110517657B (zh) * 2019-08-15 2024-01-16 上海若安文化传播有限公司 音乐文件的节拍配置/播放方法、系统、介质及设备
CN112863466A (zh) * 2021-01-07 2021-05-28 广州欢城文化传媒有限公司 一种音频社交变声方法及装置
CN114222184B (zh) * 2022-01-27 2023-08-15 英华达（上海）科技有限公司 基于运动状态的多媒体播放控制方法、系统、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541358A (en) * 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5125313A (en) * 1986-10-31 1992-06-30 Yamaha Corporation Musical tone control apparatus
EP0587190B1 (en) * 1987-02-03 1998-12-09 Yamaha Corporation Clothing equipment for controlling a musical tone
US4909117A (en) * 1988-01-28 1990-03-20 Nasta Industries, Inc. Portable drum sound simulator
US5585586A (en) * 1993-11-17 1996-12-17 Kabushiki Kaisha Kawai Gakki Seisakusho Tempo setting apparatus and parameter setting apparatus for electronic musical instrument
JP3307152B2 (ja) * 1995-05-09 2002-07-24 ヤマハ株式会社 自動演奏制御装置
GB2347593B (en) * 1999-01-06 2001-05-23 Motorola Inc Apparatus and method for using motion to input information to a wireless communication device
US6356185B1 (en) * 1999-10-27 2002-03-12 Jay Sterling Plugge Classic automobile sound processor
US20010035087A1 (en) * 2000-04-18 2001-11-01 Morton Subotnick Interactive music playback system utilizing gestures
US6903730B2 (en) * 2000-11-10 2005-06-07 Microsoft Corporation In-air gestures for electromagnetic coordinate digitizers
JP4779264B2 (ja) * 2001-09-05 2011-09-28 ヤマハ株式会社 移動通信端末、楽音生成システム、楽音生成装置および楽音情報提供方法
US20060060068A1 (en) 2004-08-27 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling music play in mobile communication terminal

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5541358A (en) * 1993-03-26 1996-07-30 Yamaha Corporation Position-based controller for electronic musical instrument

Also Published As

Publication number Publication date
US20070013539A1 (en) 2007-01-18
KR20070009298A (ko) 2007-01-18
EP1744301A1 (en) 2007-01-17
CN1897103A (zh) 2007-01-17

Similar Documents

Publication Publication Date Title
CN1897103B (zh) 通过运动检测来控制并播放声效的方法、设备以及介质
CN1808566B (zh) 重放装置和方法
US6998966B2 (en) Mobile communication device having a functional cover for controlling sound applications by motion
CN107680571A (zh) 一种歌曲伴奏方法、装置、设备和介质
US8618405B2 (en) Free-space gesture musical instrument digital interface (MIDI) controller
CN110602624B (zh) 音频测试方法、装置、存储介质及电子设备
KR100664961B1 (ko) 다중 음향 출력을 지원하는 모바일 기기
CN102348150A (zh) 音频信号处理装置、音频信号处理方法和程序
CN104900222A (zh) 一种基于智能终端的演奏系统
CN107331378A (zh) 麦克风
CN107004035A (zh) 音乐播放方法、装置及音乐播放设备
CN111415675B (zh) 音频信号处理方法、装置、设备及存储介质
CN107371075A (zh) 麦克风
CN103714805A (zh) 一种控制电子乐器的装置及其方法
CN101673540A (zh) 一种实现移动终端演奏音乐的方法和装置
CN111417054B (zh) 多音频数据通道阵列生成方法、装置、电子设备和存储介质
CN101399068B (zh) 音频系统和导航装置
CN1980437B (zh) 用于移动电话的声音效果处理方法及装置
US20060252539A1 (en) Game software's direction control device and method for handheld apparatus
CN103531188A (zh) 一种midi音乐发生器和演奏midi音乐的系统及方法
KR101014961B1 (ko) 가속도 감지에 의한 음악 연주 기능을 가지는무선통신단말기 및 그 방법
CN1910694A (zh) 用于信息数据集的回放设备
CN1145913C (zh) 重现信息或执行功能的设备
CN111131890A (zh) 一种音频音效处理装置及系统
KR101400258B1 (ko) 음성 인식을 이용한 이미지 표시 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110420

Termination date: 20190615

CF01 Termination of patent right due to non-payment of annual fee