CN106952637A - 一种可交互式音乐的创作方法和体验装置 - Google Patents

一种可交互式音乐的创作方法和体验装置 Download PDF

Info

Publication number
CN106952637A
CN106952637A CN201710153675.3A CN201710153675A CN106952637A CN 106952637 A CN106952637 A CN 106952637A CN 201710153675 A CN201710153675 A CN 201710153675A CN 106952637 A CN106952637 A CN 106952637A
Authority
CN
China
Prior art keywords
music
human body
module
action
body head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710153675.3A
Other languages
English (en)
Other versions
CN106952637B (zh
Inventor
张晨
孙学京
刘恩
张旭
王宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoling Xinsheng Technology Co.,Ltd.
Original Assignee
Beijing Tuoling Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoling Inc filed Critical Beijing Tuoling Inc
Priority to CN201710153675.3A priority Critical patent/CN106952637B/zh
Publication of CN106952637A publication Critical patent/CN106952637A/zh
Application granted granted Critical
Publication of CN106952637B publication Critical patent/CN106952637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/26—Selecting circuits for automatically producing a series of tones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明公开了一种可交互式音乐的创作方法和体验装置，所述方法包括，第一步：对音乐信息及人体头部动作信号进行定义；第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换；所述装置包括：动作定义模块、动作获取模块、预加重头部传输模块、音乐风格切换模块、空间场景切换模块、节奏快慢控制模块、音乐内容过滤模块。本发明借助交互装置，通过人体头部动作信号的定义获取，控制音乐风格切换、空间场景切换、节奏快慢控制、音乐内容过滤，同时用户可以选择收听的内容，场景，方向等，并与音乐元素进行交互，给用户带来全新的音乐创作和体验方式。

Description

一种可交互式音乐的创作方法和体验装置
技术领域
本发明涉及音乐制作和信号处理技术领域，具体涉及一种可交互式音乐的创作方法和体验装置。
背景技术
音乐的发展在形式上经历了由单声道音乐，到立体声音乐，以及5.1声道音乐的变化；在风格上包括了摇滚，经典，流行，电子等类型；在播放硬件上经历了由唱片，卡带到CD，mp3，手机等设备的变化。
目前在音乐体验时主要以耳机，和音箱为主。音乐内容以立体声音乐为主，用户一般只能被动的欣赏混音师制作好的立体声音乐。
交互式音乐指用户可以通过交互设备，来选择，改变，调节甚至二次创作音乐内容或播放方式。交互设备，比如一部带头部跟踪传感器的立体声耳机。
实现头部跟踪也有多种方法。比较常见的是使用多种传感器。运动传感器套件通常包括加速度计、陀螺仪和磁力传感器。常用的做法是采用传感器“融合”(sensor fusion)将来自各传感器的信号组合在一起，产生一个更加精确的运动检测结果。一般结果包括头部在3个自由度的旋转角度：Yaw(水平角)，Pitch(仰角)，Roll(倾斜角)和3个自由度的位移：x，y，z。
在交互式音乐中，用户置身于一个360度全景音乐的3D空间，音乐的呈现和交互方式相比传统方法会有很大的不同。音乐创作者可以自由定义音乐中各个元素在全景3D空间的方位，距离，音乐元素播放存续时间和触发方式等，从而设计音乐场景的线索和分支。同时用户可以选择收听的内容，场景，方向等，并与音乐元素进行交互。
有鉴于此，在交互式音乐领域需要一个交互式音乐创作设计和体验方法的解决方案。
发明内容
本发明的目的在于提供一种可交互式音乐的创作方法和体验装置，用以用户进行可交互式音乐的创作和体验。
为实现上述目的，可交互式音乐的创作方法具体包括如下步骤：
第一步：对音乐信息及人体头部动作信号进行定义，具体包括：
定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；
定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；
定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；
第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；
第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。
进一步的，所述的第一步中定义音乐的音频格式为声场音频格式，将声源转换到3D空间中的声场。
进一步的，所述的第一步中定义音乐的音频格式为对象音频格式与声场音频格式结合的方式，其中将主唱和主要乐器声源定义为对象音频格式,将非主唱和主要乐器的其他声源定义为声场音频格式。
进一步的，所述的第二步中人体头部的左右旋转的动作信息指向左旋转的角度或向右旋转的角度，所述的第二步中人体头部的上下摆动的动作信息指向上抬头的角度或向下低头的角度。
进一步的，所述的第三步中的人体头部动作信息进一步用于控制音乐节奏快慢、音乐内容过滤、音乐模式选择。
进一步的，对人体头部动作信息进行时间、动作维度区分，即根据时间段的不同赋予人体头部动作不同的控制含义。
本发明还提供一种可交互式音乐的体验装置，所述装置采用如上所述的可交互式音乐的创作方法，所述装置包括：动作定义模块、动作获取模块、预加重头部传输模块、音乐风格切换模块、空间场景切换模块、节奏快慢控制模块、音乐内容过滤模块；
所述的动作定义模块用于定义人体头部动作所控制的不同指令信息；
所述的动作获取模块用于获取人体头部动作信号，根据人体头部动作信号的指令内容，传输到相应的控制模块；
所述的预加重头部传输模块用于根据动作获取模块传输的人体头部动作信号加强单个或至少两个特定方向的音乐元素；
所述的音乐风格切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的音乐风格；
所述的空间场景切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的空间场景；
所述的节奏快慢控制模块用于根据动作获取模块传输的人体头部动作信号调节音乐节奏快慢；
所述的音乐内容过滤模块用于根据动作获取模块传输的人体头部动作信号从不同方向播放不同的音乐内容。
进一步的，可交互式音乐的体验装置还包括音乐场景虚拟交互模块，所述的音乐场景虚拟交互模块用于提供可互动的逼真音乐环境。所述的音乐场景虚拟交互模块为AR穿戴设备。
进一步的，可交互式音乐的体验装置还包括音乐模式控制模块，所述的音乐模式控制模块用于根据动作获取模块传输的人体头部动作信号控制音乐模式的切换，所述音乐模式包括原唱模式、录音模式、伴唱模式。
需要进一步阐明的是音乐的音频格式采用全景声格式，包括对象音频(ObjectAudio)格式，即可以对每个乐器和人声设置一个分轨来记录。或者采用声场音频(Ambisonic)格式，把所有声源转换到3D空间中的声场。或者是两者结合的方式，将主唱和主要乐器用对象音频,将其他声源用声场音频。
用户可以根据混音师设计的全景声，体验360度音乐场景。同时根据交互装置实时提供的头部动作跟踪信息，来实现音乐场景随头部动作的旋转以及距离。还可以通过定制预加重头部传输函数(HRTF)的方法来实现加强某个或某些特定方向的音乐元素的目的。从而在用户头部旋转时产生类似雷达扫描的效果。比如设置预加重前方头部传输函数，那么用户在旋转头部听音乐时，会感觉他前方的音乐元素最突出。
此外，可以定制根据音乐内容，随着音乐播放的时间轴推移，对用户的motion响应和交互是不同的。即有两个维度，时间和用户motion。在特定的时间段内，对用户motion有特定的解读。从而最终根据时间的推移，体验到不同的输出内容和交互场景。
本发明具有如下优点：对音乐信息及人体头部动作信号进行定义，音乐创作者可以自由定义音乐中各个元素在全景3D空间的方位，距离，音乐元素播放存续时间和触发方式等，从而设计音乐场景的线索和分支，因而可以制作出多元化的音乐。用户借助交互装置可以根据爱好选择收听的内容，场景，方向等，以及可以通过头部运动信息控制同一首音乐中音乐风格切换、空间场景切换、节奏快慢控制、音乐内容过滤，从而实现一首音乐有多种的体验方式，而不拘泥于音乐本身。
附图说明
图1可交互式音乐的创作方法流程示意图；
图2可交互式音乐的体验装置系统示意图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
如图1所示，提供一种可交互式音乐的创作方法，所述方法具体包括如下步骤：
第一步S01：对音乐信息及人体头部动作信号进行定义，具体包括：
定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；
定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；
定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；
第二步S02：实时获取人体头部的左右旋转、上下摆动的动作信息；
第三步S03：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。
针对音乐风格，比如可设计四种音乐风格，分别对应头部旋转方向的四个角度：0度对应古典，90度对应流行，180度对应摇滚，270度对应电音。那么用户可以很方便的通过旋转角度，感受不一样的音乐风格。
针对空间场景的切换，比如可以通过定制混响的方法来实现不同方向听到不同空间的场景。设计四种空间场景，分别对应头部旋转方向的四个角度：0度对应大会堂，90度对应歌剧院，180度对应酒吧，270度对应客厅。那么用户可以很方便的通过旋转角度，感受不一样的空间场景。
进一步的，所述的第一步中定义音乐的音频格式为声场音频格式，将声源转换到3D空间中的声场。
进一步的，所述的第一步中定义音乐的音频格式为对象音频格式与声场音频格式结合的方式，其中将主唱和主要乐器声源定义为对象音频格式,将非主唱和主要乐器的其他声源定义为声场音频格式。
需要说明的是对象音频是指特定的声源或发声体，比如一辆汽车，一个电视或者一个说话的人发出的声音。在格式上一般是单声道或立体声的音频格式，配合metadata来表征声源的位置信息。声场音频指的是环境中若干声源共同作用混合在一起的环境声。在格式上可以5.1，7.1这种格式，也可以是ambisonic格式，均为多轨音频格式，不需要metadata信息。
进一步的，所述的第二步中人体头部的左右旋转的动作信息指向左旋转的角度或向右旋转的角度，所述的第二步中人体头部的上下摆动的动作信息指向上抬头的角度或向下低头的角度。
进一步的，所述的第三步中的人体头部动作信息进一步用于控制音乐节奏快慢、音乐内容过滤、音乐模式选择。
人体头部动作信息用于控制音乐节奏快慢体现在，通过定制播放速度的方法来实现不同仰角听到不同速率的音乐，以满足有人喜欢快节奏音乐，有人喜欢慢节奏的不同需求。比如抬头，会使音乐节奏加快。低头会使音乐节奏变慢。也可用来歌曲的快进快退，或是上一首下一首。
人体头部动作信息用于音乐内容过滤体现在，通过定制内容分支的方法来实现不同方向听到不同的音乐内容。比如将一个交响乐分解成4个组：人声，弦乐器，管乐器，打击乐器。分别对应头部旋转方向的四个角度：0度对应人声，90度对应弦乐器，180度对应打击乐器，270度对应管乐器。那么用户可以很方便的通过旋转角度，聚集在某一类音乐元素里。当然这里的内容分支可以是同一音乐的不同制作版本，也可以是完全不同的几个音乐间的切换。
人体头部动作信息用于音乐模式选择体现在，通过交互定制一些玩法和应用。比如用户向左转头到90度，会过滤掉音乐里的主唱这一路，同时麦克风启动，进入K歌录音模式。可以随时转回头来恢复到原唱模式。又比如用户向右转头到270度，会过滤掉音乐里所有乐器，同时麦克风启动，用户可以拿起吉他或其他乐器，进入给明星伴奏的录音模式。
进一步的，对人体头部动作信息进行时间、动作维度区分，即根据时间段的不同赋予人体头部动作不同的控制含义。根据定制音乐内容，随着音乐播放的时间轴推移，对用户的人体头部动作响应和交互是不同的。即有两个维度，时间和用户人体头部动作。在特定的时间段内，对用户人体头部动作有特定的解读。从而最终根据时间的推移，体验到不同的输出内容和交互场景。
如图2所示，提供一种可交互式音乐的体验装置，所述装置采用如上所述的可交互式音乐的创作方法，所述装置包括：动作定义模块1、动作获取模块2、预加重头部传输模块3、音乐风格切换模块4、空间场景切换模块5、节奏快慢控制模块6、音乐内容过滤模块7；
所述的动作定义模块1用于定义人体头部动作所控制的不同指令信息；
所述的动作获取模块2用于获取人体头部动作信号，根据人体头部动作信号的指令内容，传输到相应的控制模块；
所述的预加重头部传输模块3用于根据动作获取模块2传输的人体头部动作信号加强单个或至少两个特定方向的音乐元素；
所述的音乐风格切换模块4用于根据动作获取模块2传输的人体头部动作信号切换不同的音乐风格；
所述的空间场景切换模块5用于根据动作获取模块2传输的人体头部动作信号切换不同的空间场景；
所述的节奏快慢控制模块6用于根据动作获取模块2传输的人体头部动作信号调节音乐节奏快慢；
所述的音乐内容过滤模块7用于根据动作获取模块2传输的人体头部动作信号从不同方向播放不同的音乐内容。
可交互式音乐的体验装置的一个实施例中，可交互式音乐的体验装置还包括音乐场景虚拟交互模块9，所述的音乐场景虚拟交互模块9用于提供可互动的逼真音乐环境。所述的音乐场景虚拟交互模块9为AR穿戴设备。
可交互式音乐的体验装置的一个实施例中，可交互式音乐的体验装置还包括音乐模式控制模块8，所述的音乐模式控制模块8用于根据动作获取模块2传输的人体头部动作信号控制音乐模式的切换，所述音乐模式包括原唱模式、录音模式、伴唱模式。
需要进一步阐明的是音乐的音频格式采用全景声格式，包括对象音频(ObjectAudio)格式，即可以对每个乐器和人声设置一个分轨来记录。或者采用声场音频(Ambisonic)格式，把所有声源转换到3D空间中的声场。或者是两者结合的方式，将主唱和主要乐器用对象音频,将其他声源用声场音频。
用户可以根据混音师设计的全景声，体验360度音乐场景。同时根据交互装置实时提供的头部动作跟踪信息，来实现音乐场景随头部动作的旋转以及距离。还可以通过定制预加重头部传输函数(HRTF)的方法来实现加强某个或某些特定方向的音乐元素的目的。从而在用户头部旋转时产生类似雷达扫描的效果。比如设置预加重前方头部传输函数，那么用户在旋转头部听音乐时，会感觉他前方的音乐元素最突出。
本发明利用交互装置，通过人体头部动作信号的定义获取，控制音乐风格切换、空间场景切换、节奏快慢控制、音乐内容过滤，用户置身于一个360度全景音乐的3D空间，音乐的呈现和交互方式相比传统方法会有很大的不同。音乐创作者可以自由定义音乐中各个元素在全景3D空间的方位，距离，音乐元素播放存续时间和触发方式等，从而设计音乐场景的线索和分支。同时用户可以选择收听的内容，场景，方向等，并与音乐元素进行交互，给用户带来全新的音乐创作和体验方式。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种可交互式音乐的创作方法，其特征在于：所述的创作方法包括以下步骤：
第一步：对音乐信息及人体头部动作信号进行定义，具体包括：
定义音乐的音频格式为对象音频格式，对每个乐器种类和人声分别设置一个分轨进行记录；
定义预加重头部传输函数，用以实现加强单个或至少两个特定方向的音乐元素；
定义人体头部的运动信息，不同的左右旋转、上下摆动幅度对应不同的音乐控制方式；
第二步：实时获取人体头部的左右旋转、上下摆动的动作信息；
第三步：根据获取的人体头部动作信息，控制音乐风格和空间场景的切换。
2.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第一步中定义音乐的音频格式为声场音频格式，将声源转换到3D空间中的声场。
3.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第一步中定义音乐的音频格式为对象音频格式与声场音频格式结合的方式，其中将主唱和主要乐器声源定义为对象音频格式,将非主唱和主要乐器的其他声源定义为声场音频格式。
4.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第二步中人体头部的左右旋转的动作信息指向左旋转的角度或向右旋转的角度，所述的第二步中人体头部的上下摆动的动作信息指向上抬头的角度或向下低头的角度。
5.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：所述的第三步中的人体头部动作信息进一步用于控制音乐节奏快慢、音乐内容过滤、音乐模式选择。
6.根据权利要求1所述的一种可交互式音乐的创作方法，其特征在于：进一步对人体头部动作信息进行时间、动作维度区分，即根据时间段的不同赋予人体头部动作不同的控制含义。
7.一种可交互式音乐的体验装置，其特征在于：所述装置采用如权利要求1至6任意一项所述的可交互式音乐的创作方法，所述装置包括：动作定义模块、动作获取模块、预加重头部传输模块、音乐风格切换模块、空间场景切换模块、节奏快慢控制模块、音乐内容过滤模块；
所述的动作定义模块用于定义人体头部动作所控制的不同指令信息；
所述的动作获取模块用于获取人体头部动作信号，根据人体头部动作信号的指令内容，传输到相应的控制模块；
所述的预加重头部传输模块用于根据动作获取模块传输的人体头部动作信号加强单个或至少两个特定方向的音乐元素；
所述的音乐风格切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的音乐风格；
所述的空间场景切换模块用于根据动作获取模块传输的人体头部动作信号切换不同的空间场景；
所述的节奏快慢控制模块用于根据动作获取模块传输的人体头部动作信号调节音乐节奏快慢；
所述的音乐内容过滤模块用于根据动作获取模块传输的人体头部动作信号从不同方向播放不同的音乐内容。
8.根据权利要求7所述的一种可交互式音乐的体验装置，其特征在于：进一步包括音乐场景虚拟交互模块，所述的音乐场景虚拟交互模块用于提供可互动的逼真音乐环境。
9.根据权利要求8所述的一种可交互式音乐的体验装置，其特征在于：所述的音乐场景虚拟交互模块为AR穿戴设备。
10.根据权利要求7所述的一种可交互式音乐的体验装置，其特征在于：进一步包括音乐模式控制模块，所述的音乐模式控制模块用于根据动作获取模块传输的人体头部动作信号控制音乐模式的切换，所述音乐模式包括原唱模式、录音模式、伴唱模式。
CN201710153675.3A 2017-03-15 2017-03-15 一种可交互式音乐的创作方法和体验装置 Active CN106952637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710153675.3A CN106952637B (zh) 2017-03-15 2017-03-15 一种可交互式音乐的创作方法和体验装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710153675.3A CN106952637B (zh) 2017-03-15 2017-03-15 一种可交互式音乐的创作方法和体验装置

Publications (2)

Publication Number Publication Date
CN106952637A true CN106952637A (zh) 2017-07-14
CN106952637B CN106952637B (zh) 2021-02-09

Family

ID=59471917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153675.3A Active CN106952637B (zh) 2017-03-15 2017-03-15 一种可交互式音乐的创作方法和体验装置

Country Status (1)

Country Link
CN (1) CN106952637B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111916039A (zh) * 2019-05-08 2020-11-10 北京字节跳动网络技术有限公司 音乐文件的处理方法、装置、终端及存储介质
CN112037738A (zh) * 2020-08-31 2020-12-04 腾讯音乐娱乐科技（深圳）有限公司 一种音乐数据的处理方法、装置及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011044680A8 (en) * 2009-10-13 2011-08-25 Recon Instruments Inc. Control systems and methods for head-mounted information systems
EP2428869A1 (en) * 2010-09-13 2012-03-14 Sony Ericsson Mobile Communications AB Control of mobile communication device based on head movement
CN103235642A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟乐器系统及其实现方法
FR3008217A1 (fr) * 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20150053067A1 (en) * 2013-08-21 2015-02-26 Michael Goldstein Providing musical lyrics and musical sheet notes through digital eyewear
CN105824424A (zh) * 2016-03-31 2016-08-03 乐视控股（北京）有限公司 一种音乐控制方法和终端
CN105938396A (zh) * 2016-06-07 2016-09-14 陈火 一种音乐播放器的控制系统及方法
CN106249900A (zh) * 2016-08-16 2016-12-21 惠州Tcl移动通信有限公司 一种基于增强现实的音频虚拟现实实现方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011044680A8 (en) * 2009-10-13 2011-08-25 Recon Instruments Inc. Control systems and methods for head-mounted information systems
EP2428869A1 (en) * 2010-09-13 2012-03-14 Sony Ericsson Mobile Communications AB Control of mobile communication device based on head movement
CN103235642A (zh) * 2013-03-17 2013-08-07 浙江大学 一种6维度感官交互的虚拟乐器系统及其实现方法
FR3008217A1 (fr) * 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
US20150053067A1 (en) * 2013-08-21 2015-02-26 Michael Goldstein Providing musical lyrics and musical sheet notes through digital eyewear
CN105824424A (zh) * 2016-03-31 2016-08-03 乐视控股（北京）有限公司 一种音乐控制方法和终端
CN105938396A (zh) * 2016-06-07 2016-09-14 陈火 一种音乐播放器的控制系统及方法
CN106249900A (zh) * 2016-08-16 2016-12-21 惠州Tcl移动通信有限公司 一种基于增强现实的音频虚拟现实实现方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
腾讯视频: "Lyra VR [Pre-Alpha] - 让音乐变得真实可触摸", 《腾讯视频》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111916039A (zh) * 2019-05-08 2020-11-10 北京字节跳动网络技术有限公司 音乐文件的处理方法、装置、终端及存储介质
CN111916039B (zh) * 2019-05-08 2022-09-23 北京字节跳动网络技术有限公司 音乐文件的处理方法、装置、终端及存储介质
US11514923B2 (en) 2019-05-08 2022-11-29 Beijing Bytedance Network Technology Co., Ltd. Method and device for processing music file, terminal and storage medium
CN112037738A (zh) * 2020-08-31 2020-12-04 腾讯音乐娱乐科技（深圳）有限公司 一种音乐数据的处理方法、装置及计算机存储介质
CN112037738B (zh) * 2020-08-31 2024-05-28 腾讯音乐娱乐科技（深圳）有限公司 一种音乐数据的处理方法、装置及计算机存储介质

Also Published As

Publication number Publication date
CN106952637B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US11039264B2 (en) Method of providing to user 3D sound in virtual environment
EP3142383B1 (en) Terminal sound mixing system and playing method
US20040111171A1 (en) Object-based three-dimensional audio system and method of controlling the same
CN105101027A (zh) 声学环境的实时控制
CN106331977B (zh) 一种网络k歌的虚拟现实全景声处理方法
CN110915240B (zh) 向用户提供交互式音乐创作的方法
CN106952637A (zh) 一种可交互式音乐的创作方法和体验装置
JP6737342B2 (ja) 信号処理装置および信号処理方法
Otondo et al. Creating sonic spaces: An interview with Natasha Barrett
KR102324816B1 (ko) 사운드의 병행 출력을 통한 공간 이동에 따른 사운드 인터렉션 시스템 및 방법
MacDonald Performance practice in the presentation of electroacoustic music
Nazemi et al. Sound design: a procedural communication model for VE
CN106851482A (zh) 一种全景声扬声器体感实时交互系统及交互方法
Hamanaka Sound Scope Pad: Controlling a VR Concert with Natural Movement
Pachet et al. A mixed 2D/3D interface for music spatialization
Barrett Spatial music composition
CN105307086A (zh) 一种双声道耳机模拟环绕立体声的方法及系统
Morrill Loudspeakers and performers: some problems and proposals
US20180109899A1 (en) Systems and Methods for Achieving Multi-Dimensional Audio Fidelity
Li Loco-Radio: designing high-density augmented reality audio browsers
Lennox et al. Spatialization and Computer Music
Hamanaka et al. Sound Scope Headphones: Controlling an Audio Mixer through Natural Movement.
Baxter Convergence the Experiences
Corah A framework for site-specific spatial audio applications
Rumori 13 Space and body in sound art

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210818

Address after: Room 960A, floor 9, No. 11, Zhongguancun Street, Haidian District, Beijing 100190

Patentee after: Beijing Tuoling Xinsheng Technology Co.,Ltd.

Address before: 100085 1506, block B, new world office building, 3 Chongwenmenwai Street, Dongcheng District, Beijing

Patentee before: BEIJING TUOLING Inc.

TR01 Transfer of patent right