CN106847257A - 合成声音的方法和装置 - Google Patents

合成声音的方法和装置 Download PDF

Info

Publication number
CN106847257A
CN106847257A CN201610821199.3A CN201610821199A CN106847257A CN 106847257 A CN106847257 A CN 106847257A CN 201610821199 A CN201610821199 A CN 201610821199A CN 106847257 A CN106847257 A CN 106847257A
Authority
CN
China
Prior art keywords
sound
speed
information
base
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610821199.3A
Other languages
English (en)
Inventor
J.弗勒里奥
Y.拉菲尔
P.吉尔洛特尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN106847257A publication Critical patent/CN106847257A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00—Instruments in which the tones are generated by means of electronic generators
    • G10H5/02—Instruments in which the tones are generated by means of electronic generators using generation of basic tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Auxiliary Devices For Music (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种合成声音的方法和装置，其中，获得表示在第一表面10上移动的第一对象13的速度的信息。所获得的速度信息与一个或多个基准声音一起使用以获得声音。所述一个或多个基准声音与在第二表面上移动的第二对象的位移的所确定的速度相关联，所述第一表面与所述第二表面不同。

Description

合成声音的方法和装置
技术领域
本公开涉及触觉的领域。还应在生成将在触摸/摩擦材料时产生的声音的背景下理解本公开。
背景技术
随着消费者采用平板和智能电话，现在能够在与诸如视频和图片这样的内容项进行交互时利用触觉。例如，现在能够允许某人“感受”图像中所呈现的材料的纹理或粗糙度。这种“感受”可以在他/她触摸图像时，通过诸如终端用户设备中所嵌入的激励器所生成的振动这样的触觉效果或者使用如Peter Sergeant、Frédéric Giraud和Betty Lemaire-Semail在2010年的“Geometrical optimization of an ultrasonic tactile plate forsurface texture rendering”中所公开的专用“智能表面”的粗糙度变化来产生。
当用户经由诸如鼠标这样的设备进行交互时，伪触觉技术可以间接地允许用户感受在图像中所呈现的材料的纹理或起伏。如Anatole Lécuyer在2009年的“Simulatinghaptic feedback using vision:A survey of research and applications of pseudo-haptic feedback”中所述，这引入在手持设备的运动与所显示的图像上的光标的位置之间的差异性。
为了增强感觉质量，当用户触摸屏幕或者控制鼠标时，可以在触摸屏幕或者控制鼠标的同时生成声音。声音可以对应于将在触摸或摩擦材料自身时生成的声音。为了达到该目的，可以记录在触摸材料时所生成的声音，并且当在平板/智能电话屏幕上触摸材料的表示时重放。这样的方法引入一些限制。例如，所播放的声音可能具有有限的持续时间。在长交互期间循环该短持续时间声音可能引入假声(artifacts)(拼接问题)。
发明内容
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以未必包括所述特定特征、结构或特性。而且，这样的短语未必指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为其在本领域技术人员的认知内，以结合其他实施例作用于这样的特征、结构或特征，而无论是否明确地描述。
本公开涉及一种获得声音的方法，所述方法包括：获得表示在第一表面上移动的第一对象的速度的信息。所述方法还包括：根据表示至少一个基准声音的信息并且根据表示速度的信息来获得声音，所述至少一个基准声音与在第二表面上移动的第二对象的位移的所确定的速度相关联，所述第一表面与所述第二表面不同。
本公开还涉及一种用于获得声音的装置，所述装置包括至少一个处理器，所述至少一个处理器被配置为获得表示在第一表面上移动的第一对象的速度的信息。所述至少一个处理器还被配置为根据表示至少一个基准声音的信息并且根据表示速度的信息来获得所述声音，所述至少一个基准声音与在第二表面上移动的第二对象的位移的所确定的速度相关联，所述第一表面与所述第二表面不同。
根据具体特征，使用所述至少一个基准声音的频率信息和能量信息来获得所述声音。
有利地，通过在频率中并且在能量中内插至少两个基准声音来获得所述声音。
根据特定特征，基于与自回归模型所生成的所述至少一个基准声音的至少一个所建模的样本相关联的频率信息来获得与所述声音相关联的频率信息。
有利地，通过所述自回归模型对所述至少一个基准声音进行建模。
根据特定特征，根据表示与所述声音的样本相对应的速度的信息的值，通过所建模的样本的线性组合，来获得与所述样本相关联的频率信息，并且通过与所述至少一个基准声音相关联的能量值的线性组合来获得与所述声音的样本相关联的能量信息。
本公开还涉及一种携带至少包括表示所获得的声音的数据的包的信号。
本公开还涉及一种计算机程序产品，其包括程序代码指令，以当该程序在计算机上执行时执行获得声音的方法的步骤。
本公开还涉及一种(非临时性)处理器可读介质，其中存储用于使得处理器至少执行上述获得声音的方法的指令。
附图说明
通过阅读以下描述，将更好地理解所述原理，并且将呈现其他具体特征和优点，描述参照附图，附图中：
图1示出根据所述原理的具体实施例的表示与材料相关联的纹理的图像的示例；
图2示出根据所述原理的具体实施例的、其纹理在图1的图像中呈现的材料的示例；
图3示出根据所述原理的具体实施例的、用以在触摸或摩擦图2的材料时获得基准声音的处理的框图；
图4示出根据所述原理的具体实施例的、表示通过图3的处理所获得的基准声音的信号；
图5图示性地示出根据所述原理的具体实施例的、用以在触摸或摩擦图1的图像时生成声音的处理的框图；
图6示出根据所述原理示例的、携带表示通过图5的处理所生成的声音的参数的信号；
图7示出根据所述原理示例的、被配置为生成在触摸或摩擦图1的图像时所获得的声音的设备；
图8示出根据所述原理示例的、用于在触摸或摩擦图1的图像时获得声音的方法。
具体实施方式
现在参照附图来描述主题，其中相同的标号通篇用于指代相同的元件。在以下描述中，为了解释的目的，将阐述大量细节以提供主题的透彻理解。然而，可以显而易见的是，可以在不使用这些具体细节的情况下实践主题实施例。
将参照当在第一表面(例如触摸屏或鼠标垫)上移动第一对象(例如手指或指示笔或鼠标)时获得(例如，生成或合成)声音的方法的具体示例来描述所述原理。为此目的，所述方法使用表示在第一表面上移动的第一对象的速度的信息以及表示至少两个基准声音的信息(例如至少两个信息声音的频率和能量信息)。所述至少两个基准声音例如对应于当在与第一表面不同的第二表面上以一速度(对于每个基准声音不同的速度)移动第二对象(例如手指或指示笔)时所生成的声音。第二表面例如对应于材料的表面，其图像可以在第一表面上移动第一对象的同时呈现。
通过与材料的一个或多个图像的呈现一起生成声音，就仿佛材料被触摸或摩擦一样，可以增强用户体验。当考虑在第一表面上移动的第一对象的位移的速度时，可以生成更逼真的声音，并且基准声音使得能够生成更逼真的声音。
图1示出根据所述原理的具体但非限制性的实施例的、在设备(诸如平板或智能电话)的第一表面10(例如触摸表面)上移动的第一对象13(例如手指)。例如，当第一表面实施为屏幕时，材料的纹理的图像11可以显示在第一表面上。如在本文中所使用的那样，“纹理”是表示材料的真实表面(被称为第二表面)的方面的图像。图2示出这样的第二表面的示例。当通过第二对象触摸或摩擦第二表面时，生成特定于第二表面的材料的声音。第二对象可以与第一对象相同，但是第二对象也可以与第一对象不同(例如，第一对象是手指，而第二对象是指示笔)。设备可以有利地包括一个或多个扬声器12以当第一对象13在第一表面10上移动时呈现声音，所呈现的声音是与将在摩擦材料的第二表面(在如图1所示，其纹理可以显示第一表面上)时生成的声音相对应的所合成的声音。
第一对象不限于手指，而是扩展为任何对象(例如鼠标或指示笔)。第一表面也不限于触摸表面，而是扩展为任何表面(例如鼠标垫、桌面、屏幕)。根据另一示例，第一对象与在桌面或鼠标垫上移动的鼠标相对应，并且材料的表面的图像显示在控制鼠标的膝上型电脑或计算机的屏幕上。根据该另一示例，在移动鼠标的同时生成声音，鼠标的指针在屏幕上所显示的材料的表面的图像上移动。
一个或多个扬声器所呈现的声音模拟将通过在第二表面(即所显示的材料的真实表面)上摩擦而生成的声音。
图2示出根据所述原理的具体但非限制性的实施例的材料的第二表面的示例。根据第一示例，第二表面20与海绵的表面相对应。根据第二示例，第二表面21与纸张薄片的表面相对应。第二表面20和21的材料具有可以由3D模型表示的3D形状(例如平坦的或具有凸起和/或孔洞)。在摩擦或触摸第二表面时所生成的声音特定于材料的类型，而且还特定于在第二表面上移动的第二对象的位移的速度。
材料不限于海绵或纸张薄片，而是扩展为诸如例如木首部、塑料、棉花、石首部、沙砾、草这样的任何材料。
图3示出根据所述原理的具体但非限制性的实施例的、用于在触摸或摩擦一个或多个第二表面时获得基准声音的处理的框图。
在第一步骤中，通过任何手段(例如，通过麦克风)获取音频信号Si 300。信号Si300表示第二对象以所确定的速度在第二表面上移动所生成的声音。根据变型，信号Si 300表示第二对象以随时间增加的速度在第二表面上移动所生成的声音。获取的持续时间例如是几毫秒、一秒或甚至更多。根据另一变型，获取多个音频信号Si 300，每个信号在第二表面上的第二对象的运动的不同速度(例如，以低速、中速和高速)的情况下获取。被用于获得信号的速度的数量不限于3种，而是扩展为任何数量，例如2种、5种、10种、20种或者更多。
可以针对不同的第二表面(即针对不同的材料)获取若干音频信号Si300，其中针对每个第二表面以一个或多个不同的运动速度。
第一步骤是可选的，因为根据变型，信号Si 300不是被获取的，而是从包括表示由以不同的速度在第二表面上的第二对象的运动所生成的声音的一个或多个信号的数据库获得的。该数据库还可以包括表示由在不同的第二表面上(即不同的材料上)的第二对象的运动所生成的声音的信号。该数据库例如存储在诸如例如本地服务器或远程服务器这样的存储单元、存储器中。
在可选第二步骤中，通过高通滤波单元30对信号Si 300进行高通滤波。信号Si 300的高通滤波可以移除未嵌入有用的音频性质的信号Si 300的基线，仅感兴趣于获得音频信号的高频率谱。高通滤波单元30的输出是有中心的音频信号。有中心的音频信号的频率谱和能量(或者等效地，强度或幅度)可以确定，并且可以取决于运动速度。
在第三步骤中，从高通滤波单元30输出的有中心的音频信号被输入到诸如例如自回归模型单元这样的谱模型化单元31中。有中心的音频信号还被输入到诸如例如均值功率计算单元这样的能量确定单元32中。谱模型化单元31和均值功率计算单元32可以是分离的单元，或者可以组合在单个单元中。谱模型化单元31用于随着时间对音频信号Si 300的谱性质进行建模。均值功率计算单元32用于对音频信号Si 300的能量(或强度)性质进行建模。谱模型化单元31的输出是与谱模型化单元31的模型相关联的一组系数Fi 301。该组系数Fi 301在由单元31的模型(例如自回归模型)使用时使得能够从输入给模型的白噪声获得具有与信号Si 300的频率性质相似的频率性质的信号。这样的模型例如由全极点无限脉冲响应滤波器(IIR)表示，其系数被优化使得由该滤波器所滤波的白噪声将具有与信号Si300的谱性质相似的谱性质。可以从谱模型化单元31输出任何数量的系数Fi 301(例如64个、128个、256个或者更多的系数)。使用自回归模型对音频信号进行建模例如在ShlomoDubnov的“YASAS-YET ANOTHER SOUND ANALYSIS-SYNTHESIS METHOD”中描述。诸如例如在F.S.Schlindwein和D.H.Evans的“AUTOREGRESSIVE SPECTRAL ANALYSIS AS ANALTERNATIVE TO FAST FOURIER TRANSFORM ANALYSIS OF DOPPLER ULTRASOUND SIGNALS”(第74-84页)中所描述的那样，可以通过实现Yule-Walker方程、Levinson-Durbin递归算法或任何其他已知的处理来进行确定自回归系数。如在“YASAS–YET ANOTHER SOUNDANALYSIS-SYNTHESIS METHOD”中所描述的那样，在谱模型化单元31中所实现的模型不限于自回归模型，而是扩展为其他类型的模型，例如使用小波变换的模型或者使用最小方差无失真响应(MVDR)的模型。
能量确定单元32的输出是表示信号Si 300的能量(或幅度)的一个或多个参数Ai302的集合。例如，对于信号Si 300的每个样本，有一个能量参数，或者对于例如与信号Si300的样本的幅度的平均值相对应的信号，有一个能量参数。如果在获取信号Si 300的同时，第二表面上的第二对象的速度随着时间而增加，则可以针对每个速度值或针对表示不同速度的速度值的集合来确定能量参数。如果在获取信号Si 300的同时，第二表面上的第二对象的速度随着时间是恒定的，则可以针对信号确定例如与信号的幅度的均值相对应的能量参数。
在处理的结束时，针对(所确定的材料的)所确定的第二表面，获得N个三元组(vi，Fi，Ai)，N与通过单元31和32对基准声音进行建模的速度“v”的数量相对应，N大于或等于2，i包含在1至N之间。可以针对多个第二表面(即，针对多个不同的材料)执行相同处理。
可以通过这样的处理获得基准声音的库，即，多个基准声音与多个第二表面中的每个第二表面相关联，所确定的速度与每个基准声音相关联。基准声音均通过描述基准声音的谱性质的系数“F”的集合以及通过描述基准声音的幅度/能量的一个或多个能量参数“A”的集合来描述。
可以不同地(即，在不实现图3的处理的情况下)获得包括基准声音的描述的库。可以经由通信网络(例如，经由互联网)从远程服务器上所存储的库获得基准声音的描述。
图4示出根据所述原理的具体但非限制性的实施例的相同的第二表面的频率谱图表表41、42和43，其每个表示基准声音的信号。
图表41示出由高通滤波单元30产生的基准声音的频率谱(暗灰色部分)以及通过使用单元31的模型(例如自回归模型)并用模型系数所建模的频率谱(亮灰色部分)，其中模型系数与在获取高通滤波单元30中所输入的音频信号S时所使用的第二表面和速度值(例如，以低速)相关联。根据图表41可见，经滤波的信号S的频率谱离通过自回归模型所获得的频率谱非常接近，这意味着所建模的信号离“真实”信号是近的。
图表42还针对与图表41相同的第二表面但针对与图表41的速度不同的速度(例如针对中速)示出表示基准声音的信号的经滤波的“真实”频率谱与所建模的频率谱之间的比较。
图表43还针对与图表41和42相同的第二表面但针对与图表41和42的速度不同的速度(例如高速)示出表示基准声音的信号的经滤波的“真实”频率谱与所建模的频率谱之间的比较。
根据图表41、42、43可见，无论在第二表面上的第二对象的运动的速度值如何，所建模的频率谱离“真实”频率谱均非常接近。
图5图示性地示出根据所述原理的具体但非限制性的实施例的、当通过第一对象触摸或摩擦第一表面时生成声音的处理的框图。参照所确定的速度v[n]来描述图5的处理，并且该处理针对根据速度信息v[n]并且根据例如从库中检索到的三元组(vi，Fi，Ai)来获得第n个音频样本u[n]。
在第一步骤中，从库或数据库检索三元组(vi，Fi，Ai)。根据第一示例，从库检索具有指数a和b的两个三元组(va，Fa，Aa)和(vb，Fb，Ab)，使得va≤v[n]≤vb并且va和vb是库中在v[n]的值周围的v的最接近的值。因为va、Fa、Aa在库中彼此关联，并且vb、Fb、Ab在库中也彼此关联，所以确定va和vb使得能够还检索相关联的Fa、Aa以及Fb、Ab。
从库检索的三元组的数量不限于2，而是扩展为大于或等于2的任何数量。例如，可以检索具有指数a、b和c的3个三元组，使得va≤vb≤v[n]≤vc，或者可以检索具有指数a、b、c和d的4个三元组，使得va≤vb≤v[n]≤vc≤vd。
在第二步骤中，使用在第一步骤中所确定的模型系数Fa和Fb来计算通过模型50(诸如自回归模型)所建模的两个样本ya[n]和yb[n]的谱性质。使用系数Fa的集合、通过将先前所建模的样本ya[n-2]、ya[n-1]以及白噪声的白噪声样本wa[n-1]、wa[n]输入到自回归模型中，来获得所建模的样本ya[n]。以相同方式，使用系数Fb的集合、通过将先前所建模的样本yb[n-2]、yb[n-1]和白噪声的白噪声样本wb[n-1]、wb[n]输入到自回归模型中，来获得所建模的样本yb[n]。
根据变型，使用系数F1、F2、Fa、Fb、FN的相关联的集合来计算N个样本y1[n]、y2[n]、ya[n]、yb[n]、yN[n]的谱性质，N与库中对给定的第二表面可用的三元组(vi，Fi，Ai)的数量相对应。选择与速度va和vb相关联的所建模的样本，va和vb使得va≤v[n]≤vb。
在第三步骤中，使用先前所计算/选择的所建模的样本ya[n]、yb[n]来确定当以速度v[n]在时刻t摩擦第一表面时生成的声音信号的样本的谱信息u0[n]。u0[n]例如通过内插ya[n]和yb[n]，例如通过ya[n]和yb[n]的线性组合51，通过考虑与ya[n]和yb[n]的值相关联的速度，例如通过应用以下等式来获得：
在可以与第三步骤并行执行的第四步骤中，计算缩放因子β[n]，缩放因子与当以速度v[n]在时刻t摩擦第一表面时生成的声音信号的样本的能量信息相对应。β[n]通过内插在第一步骤中从库检索到的能量信息，例如通过Aa和Ab的线性组合53，通过考虑与Aa和Ab的值相关联的速度，例如通过应用以下等式来获得：
通过用能量信息β[n]对频率信息u0[n]进行缩放53，来获得在时间t生成以模拟将在触摸/摩擦与第二表面不同的第一表面的同时触摸/摩擦第二表面时生成的声音的声音的最终样本u[n]。例如，通过以下等式来获得表示在时间t合成的声音的最终样本：
u[n]＝u0[n].β[n] 等式3
例如，可以通过应用以下等式，在一轮计算中获得最终样本，这意味着单元51、52和53形成一个单一合成单元：
根据变型，仅从一个基准声音，即具有离v[n]最近的速度值(例如为va)的关联速度(例如va或vb)的基准声音，获得样本u[n]。根据变型，在va是离v[n]的最近的速度值的速度的情况下，u[n]与在vb＝0并且y[n]＝0的情况下的等式4的结果的绝对值相对应。
可以通过由一个或多个处理器所实现的计算机软件或者通过硬件或者通过硬件和软件的组合来执行根据图5的示例性实施例。单元50至53可以是软件单元和/或硬件单元。作为非限制性示例，可以通过一个或多个集成电路来实现根据图5的示例性实施例。作为非限制性示例，可以使用任何适当的数据存储技术(作为诸如光存储设备、磁存储设备、基于半导体的存储设备、固定存储器和可拆卸存储器)来实现适合于技术环境的任何类型的一个或多个存储器。作为非限制性示例，一个或多个处理器可以是适合于技术环境的任何类型，并且可以涵盖基于多核架构的微处理器、通用计算机、专用计算机和处理器中的一个或多个。将参照图7更详细地描述这样的技术环境的非限制性示例。
图6示出例如在通过基于包的传输协议发送数据时的表示与当通过第一对象摩擦/触摸第一表面时所生成的声音相对应的数据流的信号的语法的实施例的示例。每个所发送的包6包括首部H 60和有效载荷61。有利地，在有效载荷61中包括一个或多个样本u[n]的频率信息和能量信息。
图7示出可以被配置为实现参照图3、图5和/或图8所描述的方法的装置7的示例性架构。
设备7例如与机顶盒、个人计算机(PC)、膝上型电脑、平板、智能电话、游戏控制台或多媒体终端相对应。
设备7包括通过地址和数据的总线70(其还传送时钟信号)彼此连接的以下元件：
-一个或多个处理器71，例如CPU(“中央处理单元”)、DSP(“数字信号处理器”)和/或GPU；
-存储器73，例如易失性存储设备或非易失性存储设备，用于存储例如：
■表示与基准速度信息相关联的基准声音的信息，即，例如从远程数据库检索的频率信息和能量信息，
■在第一表面上的第一对象的运动的速度值，
■当通过第一对象摩擦/触摸第一表面时所生成的声音的一个或多个样本的频率信息和能量信息，
■用于执行根据所述原理的方法的、由处理器71所执行并且在接通设备7之后上传的程序、输入数据、所述方法的不同状态下的中间数据以及其他变量。
-一个或若干个I/O(输入/输出)设备74，诸如例如键盘、鼠标、触摸表面；
-通信接口72，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清晰度多媒体接口)接口)或无线接口(例如IEEE 802.11接口、或接口)，被配置为接收表示基准声音的信息(例如三元组(vi，Fi，Ai))和/或(例如以比特流的形式)将包括所生成的声音的样本的信号发送给例如一个或多个扬声器；以及
-显示设备75，被配置为显示第一表面的一个或多个图像。
根据变型，装置7还可以包括存储设备，其可以包括非易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备可以包括内部存储设备、附接存储设备和/或网络可访问的存储设备。
装置7还被配置用于生成表示所生成的声音的信号(比特流)并且对其进行编码。根据编码或编码器的示例，比特流发送到目的地。作为示例，比特流存储在本地或远程存储器(例如视频存储器或RAM、硬盘)中。在变型中，比特流发送给存储接口(例如与海量储存器、闪速存储器、ROM、光盘或磁支撑的接口)和/或通过通信接口(例如到点对点链路、通信总线、点对多点链路或广播网络的接口)发送。
根据另一变型，显示器75在装置的外部，并且经由有线连接(例如USB、HDMI)或无线连接(例如IEEE 802.11接口、或)链接到装置。
图8示出根据所述原理非限制性实施例的在装置7中所实现的用于获得声音的方法。
在初始化步骤80期间，更新装置7的不同参数。具体地，以任何方式来初始化表示要合成的声音的信息(即频率性质和能量性质)。
然后，在步骤81期间，通过任何方式来获得在第一表面上移动的第一对象的速度。例如，如果第一表面是触摸表面，则测量在第一表面之上的第一对象的位移，并且通过控制触摸表面的控制器和/或处理器来计算速度。如果第一对象是在鼠标垫上或在桌面上移动的鼠标，则通过控制鼠标的控制器和/或处理器来测量位移的速度。如果第一对象是在显示屏幕上或桌面上移动的手指或指示笔，则例如可以通过处理并分析在第一表面上移动的第一对象或指示笔的视频来确定位移的速度，该处理称为实时视频跟踪。根据另一示例，可以通过包括例如部署在第一对象上的标记器(例如光学标记器)以及测量并检测标记器的位移以获得标记器的速度的布置在第一表面的环境中的检测器(例如具有红外检测器的红外照明)的跟踪系统，来获得位移的速度。所获得的速度信息例如对应于以m.s-1为单位表示并且与时间相关联的值。可以按时间间隔获得若干值，例如可以按1ms、10ms、100ms、1秒或10秒的时间间隔来确定速度值。
在步骤82期间，基于在步骤81期间所获得的两个或更多的基准声音和速度信息来获得声音。所获得的声音与将在摩擦或触摸所确定的材料(可选地，其图像在第一表面上移动第一对象的同时呈现/显示)时生成的声音相对应。获得(例如，生成)与真实材料的摩擦相对应的声音增加所确定的真实材料的表面(被称为第二表面，同时第一表面与第二表面不同)的第一对象移动的感觉。被用于获得(即生成或合成)所获得的声音的基准声音与当以不同速度值来触摸或摩擦第二表面时所生成的声音相对应。例如，每个基准声音通过参数的集合来描述，例如所确定的速度值以及该所确定的速度值的声音的对应的频率性质和能量性质。例如通过当应用于滤波器(诸如自回归模型)时使得能够从白噪声获得基准声音的频率信息的系数的集合来描述频率性质。通过这样的滤波器，基准声音的持续时间仅受限于白噪声的持续时间。例如，通过基准声音的一个幅度值或当基准声音的幅度随着时间变化时通过取决于时间的幅度值的集合来描述基准声音的能量性质。例如，通过预处理(例如参照图3所描述的预处理)来获得描述每个基准声音的参数的集合。根据变型，从本地或远程地存储在存储设备上的库获得描述每个基准声音的参数的集合。基准声音可以与要模拟的第二表面(即材料)相关联。每个基准声音可以与所确定的材料相关联，针对在第二表面的表面上的第二对象的位移的不同速度来获取。
所获得的声音基于具有接近在第一表面上的第一对象的位移的速度(被称为第一速度)的相关联的速度值(被称为第二速度)的基准声音。例如，被用于获得声音的基准声音是具有在第一速度周围的相关联的第二速度值(即，具有小于第一速度值的最接近的值的第二速度以及具有大于第一速度值的最接近的值的第二速度)的基准声音。根据变型，使用多于两个基准声音来获得声音，例如具有小于第一速度值的相关联的第二速度的两个或更多的基准声音以及具有大于第一速度值的相关联的第二速度值的一个、两个或更多的基准声音。根据另一示例，使用具有小于第一速度值的相关联的第二速度的一个、两个或更多的基准声音以及具有大于第一速度值的相关联的第二速度值的一个、两个或更多的基准声音。
例如，通过内插基准声音，即通过内插与基准声音相关联的频率信息(频率中的内插)以获得声音的频率信息并且通过内插与基准声音相关联的能量信息(能量中的内插)以获得声音的能量信息，来获得与在第一表面上的第一对象的位移相关联的声音。
根据变型，仅使用一个基准声音来获得声音。例如，使用具有最接近于第一速度值的相关联的第二速度值的基准声音来生成声音，要生成的声音是这个所选择的基准声音。根据该变型，要获得的声音的频率信息与基准声音的频率信息相同，并且要获得的声音的能量信息与基准声音的能量信息相同。
例如，随着时间逐个样本地获得声音。对于给定的样本，获得第一速度值，并且基准声音的对应的样本根据其相关联的第二速度值来选择。
在可选的步骤中，将与所获得的声音相关联的频率信息和能量信息发送给例如一个或多个扬声器。
根据另一可选的步骤，由一个或多个扬声器呈现所获得的声音。
本公开不限于先前所描述的实施例。
具体地，本公开不限于用于获得声音的方法，而是还扩展为实现该方法的任何装置。
本公开还涉及一种生成包括声音的频率信息和能量信息的信号的方法以及被配置为生成所述信号的装置。
本公开还涉及一种呈现所获得的声音的方法以及被配置为呈现所获得的声音的装置。
可以例如以方法或处理、装置、计算机程序产品、数据流或信号来实现在本文所描述的实现方式。尽管仅在以实现方式的单一形式的背景下进行了讨论(例如仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以实现为例如适当的硬件、软件和固件中。方法例如可以实现在装置中，诸如例如通常指代处理设备的处理器，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括诸如例如智能电话、平板、计算机、移动电话、便携式/个人数字助理(“PDA”)这样的通信设备以及其他便于终端用户之间的信息通信的设备。
在本文中所描述的各种处理和特征的实现方式可以实施在各种不同的装备或应用中，具体地，例如与数据编码、数据解码、视图生成、纹理处理以及图像和有关纹理信息和/或深度信息的其他处理相关联的装备或应用中。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、将输入提供给编码器的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型电脑、个人计算机、蜂窝电话、PDA和其他通信设备。应当理解，装备可以是移动的并且甚至安装在移动车辆中。
此外，可以通过处理器所执行的指令来实现方法，并且这样的指令(和/或实现方式所产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路、软件载体或其他存储设备，诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如DVD，一般被称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成在处理器可读介质上有形地实施的应用程序。指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质的设备(例如存储设备)二者。此外，除了指令之外，或者代替指令地，处理器可读介质还可以存储实现方式所产生的数据值。
对于本领域技术人员将显而易见的是，实现方式可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。信息包括例如用于执行方法的指令或所描述的实现方式之一所产生的数据。例如，信号可以格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据，或者携带所描述的实施例所写入的实际语法值作为数据。这样的信号可以被格式化为例如电磁波(例如使用谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及以已编码的数据流来调制载波。信号携带的信息可以例如是模拟或数字信息。如所知的那样，可以通过各种不同的有线或无线链路来发送信号。信号可以存储在处理器可读介质上。
已经描述了许多实现方式。然而，应当理解，可以进行各种修改。例如，不同实现方式的要素可以组合、补充、修改或移除，以产生其他实现方式。此外，本领域技术人员将理解到，其他结构和处理可以代替所公开的那些结构和处理，所得实现方式将以与所公开的实现方式至少基本上相同的方式来执行与所公开的实现方式至少基本上相同的功能，以实现与所公开的实现方式至少基本上相同的结果。相应地，本申请想到了这些以及其他实现方式。

Claims (15)

1.一种生成声音的方法，所述方法包括获得(81)表示在第一表面(10)上移动的第一对象(13)的第一速度的信息，其特征在于，所述方法还包括：根据表示至少两个基准声音的信息并且根据表示第一速度的信息来生成(82)所述声音，在第二表面(20)上移动的第二对象的位移的不同的第二速度与所述至少两个基准声音中的每个基准声音相关联，所述第一表面(10)与所述第二表面(20)不同。
2.根据权利要求1所述的方法，其中，所述第一速度具有包含在与至少两个第二速度相关联的第二值之间的第一值。
3.根据权利要求1或2所述的方法，其中，所述生成使用所述至少两个基准声音的频率信息和能量信息。
4.根据权利要求1或2所述的方法，其中，所述生成包括：在频率中并且在能量中内插所述至少两个基准声音。
5.根据权利要求1或2所述的方法，其中，根据与自回归模型所生成的所述至少两个基准声音中的每个的至少一个所建模的样本相关联的频率信息，来生成与所述声音相关联的频率信息。
6.根据权利要求5所述的方法，其中，通过所述自回归模型对所述至少两个基准声音进行建模。
7.根据权利要求5所述的方法，其中，根据表示与所述声音的样本相对应的第二速度的信息的值，通过所建模的样本的线性组合，来生成与所述样本相关联的频率信息，并且通过与所述至少两个基准声音相关联的能量值的线性组合来生成与所述声音的样本关联的能量信息。
8.一种生成声音的装置，所述装置包括至少一个处理器(71)，所述至少一个处理器(71)被配置为获得表示在第一表面(10)上移动的第一对象(13)的第一速度的信息，其特征在于，所述至少一个处理器(71)还被配置为：根据表示至少两个基准声音的信息并且根据表示第一速度的信息来生成所述声音，在第二表面(20)上移动的第二对象的位移的不同的第二速度与所述至少两个基准声音中的每个基准声音相关联，所述第一表面(10)与所述第二表面(20)不同。
9.根据权利要求8所述的装置，其中，所述第一速度具有包含在与至少两个第二速度相关联的第二值之间的第一值。
10.根据权利要求8或9所述的装置，其中，所述至少一个处理器被配置为：使用所述至少两个基准声音的频率信息和能量信息来生成所述声音。
11.根据权利要求8或9所述的装置，其中，所述至少一个处理器还被配置为：在频率中并且在能量中内插所述至少两个基准声音。
12.根据权利要求8或9所述的装置，其中，所述至少一个处理器被配置为：使用自回归模型所生成的所述至少两个基准声音中的每个的至少一个所建模的样本，来获得与所述声音关联的频率信息。
13.根据权利要求12所述的装置，其中，通过所述自回归模型对所述至少两个基准声音进行建模。
14.根据权利要求12所述的装置，其中，所述至少一个处理器被配置为：根据表示与所述声音的样本相对应的第二速度的信息的值，通过所述至少一个所建模的样本的线性组合，来生成与所述样本相关联的频率信息，并且通过与所述至少两个基准声音相关联的能量值的线性组合来生成与所述声音的样本相关联的能量信息。
15.一种计算机程序产品，包括程序代码指令，以当该程序在计算机上执行时执行根据权利要求1至2中的任一项所述的方法的步骤。
CN201610821199.3A 2015-09-16 2016-09-13 合成声音的方法和装置 Pending CN106847257A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306420.9A EP3144802A1 (en) 2015-09-16 2015-09-16 Method and device for synthesizing a sound
EP15306420.9 2015-09-16

Publications (1)

Publication Number Publication Date
CN106847257A true CN106847257A (zh) 2017-06-13

Family

ID=54291212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610821199.3A Pending CN106847257A (zh) 2015-09-16 2016-09-13 合成声音的方法和装置

Country Status (5)

Country Link
US (1) US10133547B2 (zh)
EP (2) EP3144802A1 (zh)
JP (1) JP2017076377A (zh)
KR (1) KR20170035781A (zh)
CN (1) CN106847257A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704922A (zh) * 2021-09-01 2021-11-26 江苏师范大学 一种基于声振及纹理特征预测表面粗糙度的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102231025B1 (ko) * 2016-06-06 2021-03-23 다이니폰 인사츠 가부시키가이샤 터치 패널 펜용 필기 시트의 선별 방법, 터치 패널 시스템, 터치 패널 펜용 필기 시트, 터치 패널 및 표시 장치
KR102373877B1 (ko) * 2019-12-05 2022-03-11 서울대학교산학협력단 촉각 인지 향상을 위한 터치 속도 기반 소리 변조 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS502818B1 (zh) 1969-09-17 1975-01-29
JPH052818Y2 (zh) 1987-04-27 1993-01-25
US4911005A (en) 1988-09-09 1990-03-27 The John J. Heyn Co., Inc. Velocity-measuring device
US5694340A (en) 1995-04-05 1997-12-02 Kim; Charles Hongchul Method of training physical skills using a digital motion analyzer and an accelerometer
US5911170A (en) * 1997-02-28 1999-06-08 Texas Instruments Incorporated Synthesis of acoustic waveforms based on parametric modeling
JP3525817B2 (ja) 1999-08-12 2004-05-10 日本電気株式会社 操作反応音生成装置及び操作反応音生成プログラムを記録した記録媒体
JP4551829B2 (ja) 2005-07-06 2010-09-29 日之出水道機器株式会社 マンホール筒状体
JP4736771B2 (ja) 2005-12-09 2011-07-27 ソニー株式会社 効果音生成装置及び効果音生成方法、並びにコンピュータ・プログラム
US7637172B2 (en) 2006-09-19 2009-12-29 Mattel, Inc. Electronic device with speed measurement and output generation
KR101032632B1 (ko) 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
US8595012B2 (en) * 2010-06-29 2013-11-26 Lenovo (Singapore) Pte. Ltd. Systems and methods for input device audio feedback
KR101802522B1 (ko) * 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
KR20140110627A (ko) * 2013-03-08 2014-09-17 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102100968B1 (ko) * 2013-04-12 2020-04-16 삼성디스플레이 주식회사 모바일 장치 및 이의 구동 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113704922A (zh) * 2021-09-01 2021-11-26 江苏师范大学 一种基于声振及纹理特征预测表面粗糙度的方法
CN113704922B (zh) * 2021-09-01 2024-02-02 江苏师范大学 一种基于声振及纹理特征预测表面粗糙度的方法

Also Published As

Publication number Publication date
JP2017076377A (ja) 2017-04-20
US10133547B2 (en) 2018-11-20
US20170075655A1 (en) 2017-03-16
EP3144802A1 (en) 2017-03-22
EP3144803A1 (en) 2017-03-22
KR20170035781A (ko) 2017-03-31

Similar Documents

Publication Publication Date Title
CN104423593B (zh) 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
Romano et al. Creating realistic virtual textures from contact acceleration data
Han et al. Virtual pottery: a virtual 3D audiovisual interface using natural hand motions
CN106847257A (zh) 合成声音的方法和装置
CN116528016A (zh) 音视频合成方法、服务器和可读存储介质
Heinrichs et al. Human performance of computational sound models for immersive environments
Avanzini Procedural modeling of interactive sound sources in virtual reality
KR20190116871A (ko) 재질감 제공 장치 및 방법
KR20140078083A (ko) 증강 현실이 구현된 만화책
JP6660637B2 (ja) 触質情報処理装置および触質情報処理方法
Papetti Design and perceptual investigations of audio-tactile interactions
Nardelli A viewpoint on the computing-art dialogue: The classification of interactive digital artworks
US11886768B2 (en) Real time generative audio for brush and canvas interaction in digital drawing
US20240171782A1 (en) Live streaming method and system based on virtual image
JP6028489B2 (ja) 動画再生装置、動画再生方法、及びプログラム
Antunes et al. Computational ecosystems in evolutionary art, and their potential for the future of virtual worlds
CN113168727B (zh) 模拟cg动画中的手绘线条
Kraasch Autolume-Live: An interface for live visual performances using GANs
Kamath et al. Sound Designer-Generative AI Interactions: Towards Designing Creative Support Tools for Professional Sound Designers
Bilbow The area~ System: Exploring Real and Virtual Environments Through Gestural Ambisonics and Audio Augmented Reality
Rose Salto: a system for musical expression in the aerial arts.
Murray-Smith et al. Rub the stane
Goßmann et al. Musical Interface to Audiovisual Corpora of Arbitrary Instruments.
Sterling Audio-material Modeling and Reconstruction for Multimodal Interaction
Chen et al. Using music and motion analysis to construct 3D animations and visualisations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170613

WD01 Invention patent application deemed withdrawn after publication