CN114981757A - 用于基于触摸命令和光学命令生成信号的系统 - Google Patents

用于基于触摸命令和光学命令生成信号的系统 Download PDF

Info

Publication number
CN114981757A
CN114981757A CN202080093530.9A CN202080093530A CN114981757A CN 114981757 A CN114981757 A CN 114981757A CN 202080093530 A CN202080093530 A CN 202080093530A CN 114981757 A CN114981757 A CN 114981757A
Authority
CN
China
Prior art keywords
signal
generating
touch
setpoint
set point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080093530.9A
Other languages
English (en)
Inventor
E·埃默里
M·弗罗利希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imbodmi Co ltd
Original Assignee
Imbodmi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imbodmi Co ltd filed Critical Imbodmi Co ltd
Publication of CN114981757A publication Critical patent/CN114981757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G10H1/0558—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements using variable resistors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于生成信号的系统。所述系统包括：触摸板(PT)，其包括多个触摸单元和用于检测施加在所述触摸板(PT)上的至少一个压力的位置和强度的触摸检测装置(DD)；第一计算机(K1)，其基于所述至少一个压力的位置和强度生成至少一个第一指令(C1)；光学检测装置(OPT)，其用于检测移动和/或位置，所述光学检测装置包括用于捕获图像的至少一组光学器件(CAM)；第二计算机(K2)，其用于基于所捕获的图像确定至少一个运动参数(D1)并用于基于所述至少一个运动参数(D1)生成第二指令(C2)；以及信号生成器(GEN)，其用于基于以下所述生成第二信号(S2)：所述第一指令(C1)或从所述第一指令(C1)提取的第一信号(S1)，从所述第二指令(C2)提取的特殊效果被应用于所述第一信号；或所述第二指令(C2)或从所述第二指令(C2)提取的第一信号(S1)，从所述第一指令(C1)提取的特殊效果被应用于所述第一信号。

Description

用于基于触摸命令和光学命令生成信号的系统
技术领域
本发明涉及一种用于生成信号、尤其是声音信号的系统。本发明还涉及一种用于生成信号、尤其是声音信号的方法。确切地说，本发明的领域涉及具有用于生成声音设定点的触摸板的乐器。本发明的领域尤其涉及能够耦合到不同控制接口的系统。
背景技术
电子乐器提供产生广泛的声音序列的可能性，尤其是通过将用旨在调节或修改一个或多个声音的不同特殊效果或参数产生的声音进行组合。然而，音乐家控制并调整所有这些声音的能力受到仪器的性能和仪器接口的局限性的限制。需要扩展控制能力且因此扩展乐器的接口能力以允许探索并操作仪器声音产生。
当需要生成可应用于来自人控信号生成器的所述信号的各种各样的信号和效果时，可在各个领域中遇到类似问题。该需要会引起限定新控制接口以由用户实时地控制所述信号的各种参数。举例来说，可提及照明领域、机器人的控制或视频游戏中化身的控制。
因此实际上需要增加接口构件，以便增加用户基于仪器或信号生成器对信号生成各种各样的效果的可能性。
在提供丰富控制装置的现有乐器当中，特别是文献FR3008217中所描述的解决方案是已知的。此解决方案描述了例如陀螺仪的检测模块，其用以修改由乐器产生的声音。陀螺仪附接到乐器或附接到音乐家。然而，此系统的一个缺点是，其涉及除了附接乐器之外还附接检测模块，这很可能会在测量中引入不准确性或要求针对每种用途来配置设备。第二缺点是乐器与检测模块的兼容性。实际上，在此解决方案中有必要通过计算机并使用一方面收集乐器的信号且另一方面收集由检测模块获取的信号的软件以便生成输出信号。音乐家必须实施至少三个元件：仪器、计算机和检测模块，且必须继续进行到用于每个装置的配置。
本发明旨在提供一种用于生成信号的系统，允许在没有现有技术的缺点的情况下修改第一信号。
发明内容
根据第一方面，本发明涉及一种用于生成信号的系统，其包括：
●触摸板，其包括多个触摸单元和用于检测施加在所述触摸板上的至少一个压力的位置和强度的触摸检测装置；
●第一计算器，其基于所述至少一个压力的位置和强度生成至少一个第一设定点；以及
●光学检测装置，其用于检测运动和/或位置，所述光学检测装置包括用于捕获图像的至少一个光学器件；
●第二计算器，其用于基于所捕获的图像确定至少一个运动参数并用于基于所述至少一个运动参数生成第二设定点。
一个优点是允许将两个设定点或信号进行组合以从提供与用户的不同交互模式的两项设备产生单个信号。实际上，第一设备使得有可能考虑手指在键盘的单元内的触摸和压入力，且第二设备使得有可能考虑空间中的手势幅度。感兴趣的是，一个所生成的设定点与信号相关联，且另一所生成的设定点允许产生例如用以调节第一信号的效果。可因此借助于本发明的系统产生单个原始信号。此交互组合使得有可能提供所产生的信号的广泛的组合，例如声音信号的产生。最后，另一优点是允许显著自由地使用例如乐器的仪器，从而允许每个用户配置并适合此仪器。
在第一替代性实施例中，所述第一设定点中的每一者与第一信号的产生相关联，且所述系统包括用于基于所述第一设定点或所述第一信号产生第二信号的信号生成器，从所述第二设定点提取的特殊效果被应用于所述第一信号。
在第二替代性实施例中，所述第二设定点中的每一者与第一信号的产生相关联，且所述系统包括用于基于所述第二设定点或所述第一信号产生第二信号的信号生成器，从所述第一设定点提取的特殊效果被应用于所述第一信号。
在一个实施例中，所述第一信号和所述第二信号是声音信号。
在一个实施例中，每个触摸单元包括第一层并包括第二层，所述第一层包括至少一个力感应电阻器，所述第二层包括被设计成检测所述力感应电阻器的电阻率的变化的检测单元。
在一个实施例中，每个检测单元包括印刷电路，所述印刷电路包括通过所述第一层的所述力感应电阻器彼此连接的至少第一部分和第二部分。
在一个实施例中，所述运动参数基于手和/或手的手指的幅度、速度和/或方向而被确定。
在一个实施例中，用于检测运动和/或位置的所述光学检测装置包括立体相机，优选地为红外立体相机和/或深度相机。
一个优点是使得能够检测广泛的运动并使得能够精细地表征手势以产生对第一所生成的信号的声音效果。
在一个实施例中，所述第一信号对应于或包括音符。
在一个实施例中，所述系统包括用于向所述第二计算器提供反馈数据的用户接口。所述第二计算器接着包含强化学习算法，所述强化学习算法被配置成通过迭代基于所述反馈数据修改所述第二设定点的生成模式。
在一个实施例中，所述系统是乐器，且所述触摸板和光学检测装置集成到单个壳套中。
在一个实施例中，所述第一计算器和所述第二计算器集成到所述壳套中。
在一个实施例中，每个触摸单元包含用于在压力施加到所述触摸单元时产生光信号的光源。
在一个实施例中，所述信号生成器被配置成产生所述第二信号作为第三设定点。
根据第二方面，本发明涉及一种用于生成信号的方法，其包括：
●在具有多个触摸单元的触摸板上获取压力的位置和强度；
●产生与第一信号的产生相关联的第一设定点；以及
●由至少一个光学器件获取至少一个图像；以及
●基于所获取的图像确定至少一个运动参数；
●基于所述运动参数生成第二设定点。
所述方法还包含基于以下所述生成第二信号的步骤：
●所述第一设定点或与所述第一设定点相关联的第一信号，从所述第二设定点提取的特殊效果被应用于所述第一信号；或
●所述第二设定点或与所述第二设定点相关联的第一信号，从所述第一设定点提取的特殊效果被应用于所述第一信号。
在一个实施例中，所述第一信号和所述第二信号是声音信号。
在一个实施例中，所述第一设定点或所述第二设定点与第一信号相关联。
在一个实施例中，所述运动参数还基于手和/或手的手指的幅度、速度和/或方向而被确定。
在一个实施例中，第一声音信号对应于音符。
在一个实施例中，生成第二信号包含生成与所述第二信号相关联的第三设定点的步骤。
在一个实施例中，确定所述至少一个运动参数包括检测兴趣点，例如指尖、质心和/或偏转点。
在一个实施例中，基于所获取的图像确定至少一个运动参数的步骤包括生成深度图，所述运动参数还取决于所述深度图而被确定。
在一个实施例中，所述特殊效果包括以下所列元素中的一者或多者：
●混响，
●回声，
●失真，
●延音，
●哇音，
●颤音，
●相移。
根据第三方面，本发明涉及一种用于生成信号的系统，其包括实施根据本发明的第二方面的方法的硬件和/或软件元件，尤其是被设计成实施根据本发明的第二方面的方法的硬件和/或软件元件。
在一个实施例中，硬件构件包括：
●触摸板；
●触摸检测装置；
●光学检测装置；
●第一计算器；
●第二计算器；以及
●信号生成器。
根据第四方面，本发明涉及一种计算机程序产品，其可从通信网络下载和/或记录在计算机可读和/或计算机可执行数据存储介质上，所述计算机程序产品包括用于实施根据本发明的第二方面的方法的计算程序代码指令。
根据第五方面，本发明涉及一种计算机可读数据存储介质，其上记录有包括用于实施根据本发明的第二方面的方法的程序代码指令的计算机程序。
根据第六方面，本发明涉及一种用于生成信号的系统，其包括：
●触摸板，其包括多个触摸单元和用于检测施加在所述触摸板上的至少一个压力的位置和强度的触摸检测装置；
●第一计算器，其基于所述至少一个压力的位置和强度生成至少一个第一设定点，所述第一设定点中的每一者与第一信号的产生相关联；
●光学检测装置，其用于检测运动和/或位置，所述光学检测装置包括用于捕获图像的至少一个光学器件；以及
●第二计算器，其用于基于所捕获的图像确定至少一个运动参数并用于基于所述至少一个运动参数生成第二设定点；以及
●信号生成器，其用于基于所述第一设定点或所述第一信号产生第二信号，从所述第二设定点提取的特殊效果被应用于所述第一信号。
根据第六方面，本发明涉及一种用于生成信号的系统，其包括：
●触摸板，其包括多个触摸单元和用于检测施加在所述触摸板上的至少一个压力的位置和强度的触摸检测装置；
●光学检测装置，其用于检测运动和/或位置，所述光学检测装置包括用于捕获图像的至少一个光学器件；
●第一计算器，其基于所述至少一个压力的位置和强度生成第一设定点；
●第二计算器，其用于基于所捕获的图像确定至少一个运动参数并用于基于所述至少一个运动参数生成至少一个第二设定点，所述第二设定点中的每一者与第一信号的产生相关联；以及
●信号生成器，其用于基于所述第二设定点或所述第一信号产生第二信号，从所述第一设定点提取的特殊效果被应用于所述第一信号。
根据第八方面，本发明涉及一种用于生成信号的方法，其包括：
●在具有多个触摸单元的触摸板上获取压力的位置和强度；
●产生与第一信号的产生相关联的第一设定点；
●由至少一个光学器件获取至少一个图像；
●基于所获取的图像确定至少一个运动参数；
●基于所述运动参数生成第二设定点；以及
●基于所述第一设定点或所述第一信号生成第二信号，从所述第二设定点提取的特殊效果被应用于所述第一信号。
附图说明
在参考附图阅读以下具体实施方式后，本发明的其它特性和优点就将变得显而易见，所述附图示出：
[图1]：根据本发明的一个实施例的系统的示意图；
[图2]：根据本发明的一个实施例的系统的示意图，其包括用于传输反馈数据的用户接口；
[图3]：根据一个实施例的触摸板的横截面视图；
[图4]：根据本发明的一个实施例的用于生成信号的方法的逻辑图；
[图5]：根据本发明的一个实施例的用于生成信号的方法的逻辑图，其进一步包括用户反馈步骤；
[图6]：根据本发明的一个实施例的包括系统的壳套的视图；
[图7A]：根据本发明的一个实施例的检测单元的示意图；
[图7B]：根据本发明的一个实施例的触摸检测装置的多路复用电路的示意图；
[图7C]：根据一个实施例的电子剩余电流减少模块的示意图；
[图8]：根据本发明的一个实施例的触摸板的第一层的示意图；
[图9A]、[图9B]、[图9C]、[图9D]、[图9E]、[图9F]、[图9G]、[图9H]和[图9I]：可由根据一个实施例的光学检测装置检测的手势类型的图形表示；
[图10]：手的图像的表示，其中每个像素被标记以便生成手的兴趣区；
[图11]：包括兴趣点的手的图像的表示。
具体实施方式
本发明解决了技术问题，尤其是通过用于检测运动和/或位置以用于取决于用户的手势而生成特殊效果的光学检测装置来解决。所述特殊效果意图应用于基于触摸板PT确定的第一信号。
系统优选地为乐器。在下文中，系统尤其由乐器的示例描述。由系统产生的信号因此在此情况下是声音序列。然而，本发明不限于乐器。实际上，所产生的信号可为光信号、视频信号，或可由信号生成器产生并可通过应用例如空间或时间滤波器、预定义数据处理或任何其它数字或模拟效果的特殊效果而修改的任何其它类型的信号。
对系统的描述描述了所述系统的主要组件，所描述的组件的每个替代方案可与此描述中所描述的实施例进行组合。
系统一方面包括用于生成与第一信号的产生相关联的第一设定点C1的触摸板PT，且另一方面包括用于确定运动参数D1并生成与要应用于第一信号的特殊效果相关联的第二设定点C2的光学检测装置OPT。
触摸板
触摸板PT包括多个触摸单元CT。有利地，触摸板PT使得有可能检测施加在一个或多个触摸单元上的压力。为此目的，触摸板PT包括触摸检测装置DD。触摸检测装置DD有利地使得有可能一方面确定已施加有压力的触摸单元CT的位置，且另一方面确定所述所施加的压力的强度。
触摸板PT包括多个触摸单元CT。每个触摸单元CT包括至少一个力感应电阻器31。优选地，第一层3包括多个力感应电阻器FSR 31。力感应电阻器31是电子传感器，其电阻取决于施加到其上的压力而变化。
每个触摸单元CT包含至少一个检测单元41。检测单元41优选地被布置成与力感应电阻器31接触。检测单元41被配置成对力感应电阻器31的电阻率的改变作出响应。
每个力感应电阻器31与检测单元41相关联。在一个实施例中，力感应电阻器31可包含于多个触摸单元CT中。
检测单元
检测单元41优选地包括印刷电路71。检测单元的电路包括电输入74和电输出75。
印刷电路71包括连接到电输入74的第一部分73和连接到电输出75的第二部分72。印刷电路71的第一部分73和第二部分72不彼此接触：印刷电路71是开路。
印刷电路71与第一层3的力感应电阻器31的层接触。力感应电阻器31与印刷电路的第一部分73和第二部分72接触。
当没有压力施加在力感应电阻器31上时，力感应电阻器在第一部分和第二部分之间是绝缘的。
当压力施加在触摸板PT上时，力感应电阻器31经受压力。力感应电阻器31的电阻率随着压力增大而减小。在某一压力下，力感应电阻器31在印刷电路71的第一部分73和第二部分72之间传导电力。
在图7A中所示出的一个实施例中，第一部分包括多个分支轨道76。优选地，多个分支轨道包括从第一部分的第一主轨道延伸的多个大体上平行的轨道76。第一主轨道从电输入74延伸。在此相同实施例中，第二部分也包括从电输出75延伸的第二主轨道XX和从所述第二主轨道延伸的多个分支轨道。
优选地，第一部分和第二部分的分支轨道77、76在不接触的情况下彼此交替地互锁。当压力施加在所述压力传感器电阻器上时，力感应电阻器31允许在每个邻近的分支轨道之间进行电接触。
当压力施加到力感应电阻器31时，此实施例有利地改进检测单元41的电输入74和电输出75之间的导电性。
当压力施加在力感应电阻器31上时，检测单元41的印刷电路在印刷电路71的输入74和输出75之间的总导电性增大。
施加在力感应电阻器31上的压力的强度越显著，则所述力感应电阻器31的电阻率减小得越多，且因此检测单元41的导电性增大得越多。检测单元41的导电性因此随施加在力感应电阻器31上的压力的强度而变。
在一个实施例中，检测单元41的长度和/或宽度尺寸在5mm和15mm之间。
在一个实施例中，第一部分和/或第二部分包括在5个和15个之间的数个互锁分支轨道。
每个分支轨道可遍及5mm和15mm之间的长度和/或0.05mm和1mm之间的宽度延伸。第一部分73的分支轨道和邻近的第二部分72的分支轨道之间的间隙在0.05mm和1mm之间。
在一个实施例中，每个分支轨道的长度在3mm和20mm之间。在一个实施例中，检测单元41的电路的总体形状的宽度在5mm和15mm之间。印刷电路优选地由铜、铝或最优选地为金制成。
-第一层
在一个实施例中，触摸板PT可包括意图叠加在第二层4上的第一层3。第一层3包括至少一个力感应电阻器31。力感应电阻器31优选地包括导电材料，所述导电材料的电阻率性质取决于施加在所述材料上的压力而变化。所述材料优选地包括基质中的导电粒子和绝缘粒子的混合物。所述基质优选地为聚合物基质。当施加压力时，导电填充物彼此接触，从而修改了材料的电阻率性质。在未表示的一个实施例中，第一层3包括力感应电阻器31的薄片。
根据图3中所示出的一个替代性实施例，第一层3包括支撑薄片32。支撑薄片32优选地为透明的。支撑薄片32优选地为可变形的。力感应电阻器布置在所述支撑薄片32上。
优选地，力感应电阻器31印刷在第一层3的所述支撑薄片32上。力感应电阻器31因此是通过在可变形薄片上印刷油墨而获得。所述油墨包括所述材料，所述材料的电阻率性质取决于施加在所述材料上的压力而变化。
支撑薄片32的可变形性有利地允许传输施加在触摸板PT上的压力。支撑薄片32的可变形性还有利地允许较容易地安装触摸板PT。透明支撑薄片32有利地允许用户可见的显示构件通过第一层3集成在触摸板PT下方。
支撑薄片32因此有利地使得有可能充当用于油墨FSR的机械支撑件。其与力感应电阻器31的薄片相比还通过减小所需厚度并通过允许选择包括力感应电阻器31的第一层3的区域而减少要使用的油墨量。
在图8中所示出的优选实施例中，支撑薄片32包括力感应电阻器矩阵。最优选地，力感应电阻器矩阵布置在支撑薄片32的第一表面上。
-压入层和接触层。
触摸板PT可包含压入层2。压入层2可意图从用户接收压力。压入层2允许将用户所施加的压力传输到力感应电阻器31。压入层2优选地由可变形材料制成，最优选地由塑料材料制成。如图3中所示出，压入层2可被划分成多个按键21，优选地被划分成按键21的矩阵。
第一层3和压入层2被布置成使得每个按键21被定位成面向力感应电阻器31。
在一个实施例中，压入层2叠加在第一层3上。压入层2优选地被布置成面向第一层3的支撑薄片32的第二表面。支撑薄片32的第二表面是与布置有力感应电阻器的第一表面相对的面。
有利地，压入层2充当用于第一层3的保护层。有利地，压入层2使得有可能产生检测单元41的第一滤波器。低于某一压力时，应变由压入层2抑制且将不传输到第一层3。有利地，压入层2减小检测到无意按压在触摸板PT上的风险。
在一个实施例中，触摸板包括压入层和接触层5。接触层5安置在压入层2上方并意图由用户触摸以在压入层2上施加压力。
根据一个示例，压入层由半透明塑料制成以允许来自触摸板PT的一定量的光穿过。当压力施加在按键上时，用户可能会有按键被点亮的感觉。
-第二层
触摸板PT进一步包括触摸检测装置DD。所述装置包括第二层4。第二层4被布置成与第一层3的力感应电阻器31接触。
第二层4包括多个检测单元41。每个检测单元41与力感应电阻器31接触。每个检测单元41被定位成与力感应电阻器31接触。每个检测单元41被设计成对力感应电阻器31的变化作出响应。如图3中所示出，每个触摸单元CT因此包括至少一个检测单元41和一个力感应电阻器31。
-光源
在未表示的一个实施例中，系统包括多个光源。光源被设计成在用户对邻近所述光源的触摸单元CT施加压力时发射光。以此方式，用户在按压触摸单元后就从正被按压的所述触摸区有利地接收光响应。
在一个实施例中，每个光源布置在两个触摸单元之间。如图3中所示出，每个光源可布置在至少两个检测单元之间的第二层上。如图7B中所示出，光源42可安置在以正方形安置的四个检测单元41之间。
如图8中所示出，第一层3可包含孔33。孔33被布置成面向光源42，以便使来自所述光源42的光穿过所述孔33。
如图3中所示出，压入层2包括光井22。光井22可包括在远离光源42的横截面区中增大的孔洞。光井22被布置成面向光源并任选地面向第一层3的孔33。
光井允许光更均匀地扩散通过接触层5。
触摸板被安置成允许光源通过第二层4、第一层3和压入层2从触摸板PT向外发射光。光源可包括发光二极管。
在一个实施例中，触摸单元CT的光源被设计成在用户对触摸板施加压力时发射光。根据一个示例，调光器与光相关联以生成与所施加的压力成比例的发射功率。为此目的，调光器可由基于所施加的压力生成的设定点驱动。所施加的压力可由力传感器的电阻率间接测量。
检测装置
触摸板PT包含触摸检测装置DD。
触摸检测装置DD包含用于检测每个检测单元41的电阻率变化的硬件和/或软件构件。触摸检测装置DD生成包括已经历电阻率变化的检测单元41的位置和所述变化的强度的信息。单元位置接着可与包括预定义位置信息的声音库联系起来。
在一个实施例中，触摸检测装置DD包含多路复用电路。多路复用电路通过行和列的矩阵连接到检测单元41。多路复用电路将每个检测单元41连接到电流源。可在由组织在矩阵的行和列中的检测单元和导体形成的每个电路上测量电压、电流或电阻率。
下文参考图7B更特定地描述多路复用电路。
在一个实施例中，每个检测单元41的印刷电路71的输入74连接到多路复用电路的列，且每个检测单元41的印刷电路71的输出75连接到多路复用电路的行，或反之亦然。
此实施例有利地允许通过扫描多路复用电路的行和列而逐个地测量每个检测单元41的电阻率。扫描频率可被配置成使得当按压按键时探测全部列和行。
优选地，第二层4包括带有检测单元41的印刷电路和/或多路复用电路。
多路复用电路包括第一开关INT1。第一开关INT1与电流生成器串联连接。第一开关INT1包含输入端子。第一开关INT1的输入端子与电源串联连接。第一开关INT1包括多个输出端子。每个输出端子与多路复用电路的列串联连接。第一开关INT1被设计成通过扫描而对多路复用电路的每个列供电。
多路复用电路包括第二开关INT2。第二开关INT2包括连接到电压测量仪器的输出端子。
第二开关INT2包括多个输入端子。每个输入端子连接到多路复用电路的行。第二开关INT2被设计成通过扫描而将多路复用电路的每个行连接到电压测量仪器。
取决于第一开关和第二开关INT2的连接，多路复用电路允许通过扫描而向每个行和每个列逐个地独立供电。多路复用电路包括用于测量第一开关INT1和第二开关INT2之间的电压的构件。
取决于第一开关和第二开关INT2的连接，多路复用电路因此使得能够向每个检测单元41逐个地供电。可因此测量每个检测单元41的电压和/或电阻率。电压和/或电阻率的修改接着指示施加在所述检测单元41的所述触摸单元CT上的压力的存在。
触摸检测装置DD优选地包括存储器。当检测到电阻率变化时，存储器记录第一开关INT1的位置和第二开关INT2的位置。优选地，存储器还记录电阻率变化的强度。与存储器相关联的计算器接着被配置成基于第一开关INT1和第二开关INT2的位置生成位置信息。
触摸检测装置DD因此有利地能够确定施加在触摸板PT上的压力的位置。
当检测到电阻率改变时，可因此取决于两个开关的位置而生成位置信息。还可取决于所测量的或所计算的电阻率值而生成压力强度信息。
在一个实施例中，多路复用电路系统包含剩余电流减少模块。剩余电流可实际上增加误报检测的风险。
剩余电流减少模块可包括分压器桥。
在一个实施例中，剩余电流减少模块包含第一电阻器79。第一电阻器79被布置成连接到每个检测单元41的电输入74。优选地，第一电阻器79布置在第一开关INT1上游，如图7B中所展示。在一个实施例中，第一电阻器79并联连接到第一开关INT1和/或串联连接到地面。
在图7C中所示出的一个实施例中，剩余电流减少模块包含反馈回路76。有利地，反馈回路76允许消除可存在于电路中的剩余电压。
根据一个示例，反馈回路包含运算放大器77。运算放大器77优选地与多路复用电路的行串联连接。在一个实施例中，多路复用电路的每个行包含串联的反馈回路76。
反馈回路76包含第二电阻器78。第二电阻器78并联连接到运算放大器76。所述第二电阻器78连接到运算放大器77的负输入端子和输出端子。运算放大器的正输入端子优选地连接到地面。
优选地，第二电阻器78的阻抗大于第一电阻器79的阻抗。
有利地，反馈回路允许增加电路阻抗，以便使由第一电阻器79引起的电路阻抗为可忽略的。
电流减少模块因此使得有可能在不影响所测量的电压值的情况下减少剩余电流。
此布置有利地减少了存在于电路中的可导致误报检测的剩余电流。
在一个替代性实施例中，反馈回路76可包含在多路复用电路的每个列上。
触摸板的替代方案
在一个替代性实施例中，触摸板PT可由用于生成与第一信号S1的产生相关联的第一设定点C1的电子控制板替换。电子控制板可包括电子钢琴、合成器或合成器控制器。
光学检测装置
根据本发明的系统包括用于检测运动和/或位置的光学检测装置OPT。此装置与先前所公开的触摸检测装置的所有替代方案兼容。
光学检测装置OPT被设计成捕获用户的图像，尤其是手、前臂和可能为上臂或甚至为躯干的图像。光学检测装置OPT允许检测用户身体的至少一个部分的运动和/或检测所述至少一个部分的位置。优选地，光学检测装置OPT允许检测用户的至少一只手的运动或位置。
有利地，用户可因此使用第一只手以将一个或多个压力施加在触摸板PT上并使用具有光学检测装置OPT的第二只手。
在一个替代性实施例中，光学检测装置OPT允许捕获第二用户的图像。所述第二用户是除在触摸板PT上施加压力的人之外的人。在此情况下，所述系统接着由两个用户同时使用，一个用户用于触摸板PT且一个用户用于光学检测装置OPT。
在另一实施例中，光学检测装置OPT和触摸板PT是分开的并以无线方式连接，例如通过互联网络。
光学检测装置OPT包括用于捕获用户的图像的至少一个光学器件CAM。
在图6中所示出的一个实施例中，触摸板PT、光学检测装置OPT包含于单个壳套中。根据一个实施例，触摸板PT和光学器件CAM集成在壳套1的同一表面上。在此情况下，光学器件CAM例如被布置成邻近触摸板PT。此布置有利地使得较容易地感测来自用户用他的另一只手在触摸板PT上施加压力的手的图像。用户的第二只手接着较接近光学器件CAM的捕获场。
光学器件
光学器件CAM可包含相机、立体相机系统和/或深度相机。立体相机系统通常包括相对位置为已知的至少两个相机。两种获取一起用于确定深度图。深度相机通常配备有发射器，例如在红外范围内的光束，且使得有可能通过测量反射信号来获得飞行时间信息。所述信息接着用于确定深度数据。
光学器件CAM可被设计成捕获可见波长中的图像。光学器件CAM可被设计成捕获红外波长中的图像。优选地，光学器件CAM包括红外相机或红外立体相机系统。
在未表示的一个替代性实施例中，光学器件CAM不集成到壳套中。
在一个实施例中，本发明的系统包含多个光学器件CAM。第一光学器件CAM可被布置成感测用户身体的至少一个第一部分的图像，且第二光学器件CAM可被布置成感测用户身体的至少一个第二部分的图像。
在第一示例中，第一光学器件CAM被布置成感测用户的手的图像，且第二光学器件CAM被布置成感测用户的上部部分的图像。
在第二示例中，第二光学器件CAM可被布置成感测第二用户的身体部分的图像。
用于生成信号的方法
在一个实施例中，本发明包括耦合到触摸板PT以用于实施用于生成信号S1的方法的硬件构件和/或软件构件。
在一个实施例中，根据本发明的系统包括第一计算器K1。第一计算器K1包括用于生成至少一个第一设定点C1的软件构件。第一设定点C1与第一信号S1的产生相关联。每个第一设定点C1是基于施加在触摸板PT上的压力的位置和强度而生成。此设定点可用于生成所述第一信号S1。一个优点是，当乐器不集成到本发明的系统中时，设定点可被传送到乐器的输入以供乐器生成声音。当仪器集成到系统中时，设定点可由系统直接操作以产生信号S1。
计算器K1
第一计算器K1连接到触摸板PT的触摸检测装置DD。第一计算器K1可连接到触摸检测装置DD的存储器模块。
在一个实施例中，第一计算器K1包括用于实施以下步骤的软件构件：
-接收至少包括施加在触摸板PT上的压力的位置的信息；
-使所述位置与例如来自存储预记录的数据的库或数据库的第一信号S1相关联；以及
-生成与所述第一信号S1的产生相关联的第一设定点C1。
如果仪器不集成到系统中，则一个兴趣点是按需使用库，即根据仪器预建立的库。设定点可易于与仪器的声音库相关联。因此，可容易地执行使仪器与触摸板兼容。
由触摸检测装置DD传输的信息可包括以下信息：
-施加在触摸板PT上的至少一个压力的位置；
-施加在触摸板PT上的至少一个压力的强度。
第一设定点C1是基于由触摸检测装置DD接收的信息而生成。第一设定点C1是基于施加在触摸板PT上的至少一个压力的位置和/或强度而生成。
触摸检测装置DD可检测在两个不同位置处施加在触摸板PT上的至少两个压力。触摸检测装置DD接着生成包含每个压力的位置和与每个压力相关联的强度的信息。
在一个实施例中，第一计算器K1生成与由触摸检测装置DD检测到的压力一样多的第一设定点C1。每个设定点基于压力的位置和强度而与信号的产生相关联。
优选地，与由第一计算器K1生成的第一设定点C1相关联的第一信号S1是声音信号。在此实施例中，每个触摸单元CT可例如与音符相关联。与第一设定点C1相关联的第一声音信号S1的频率取决于施加在触摸板PT上的压力的位置。这可在先前步骤中被配置成准备将触摸板用于特定用途。
在一个实施例中，例如当若干压力同时施加在触摸板PT上时，要产生的声音信号的频率与若干同时音符相关联。
第一设定点C1优选地包括乐器数字接口(MIDI)控制消息。MIDI协议是专用于音乐的通信协议和文件格式。MIDI控制可包括关于要产生的声音信号的频率的信息。所述频率对应于与要产生的声音信号相关联的音符。
优选地，要产生的声音信号的频率的信息基于施加在触摸板PT上的压力的至少一个位置而被确定。
MIDI控制可包含关于要应用于要产生的声音信号的特定音色的信息。所述音色使得有可能例如再现用两个不同仪器产生的相同音符。音色可取决于施加在触摸板PT上的压力的位置而被确定。
MIDI控制可包含关于与音符相关联的速度的信息。优选地，音符的速度基于施加在触摸板PT上的压力的强度而被确定。
第一设定点C1的MIDI控制可包括用于触发和/或停止第一声音信号S1的产生的信息。
优选地，MIDI控制消息可在至少一个压力施加在触摸板PT上的整个时间期间产生。
计算器K2
根据本发明的系统包含第二计算器K2。第二计算器K2包含用于生成第二设定点C2的软件构件。第二设定点C2与至少一个特殊效果的产生相关联。
第二计算器K2包括用于实施以下步骤的软件构件：
-接收由光学检测装置OPT捕获的图像；
-基于所捕获的图像确定至少一个运动参数D1；以及
-基于所述运动参数D1生成第二设定点C2。
在一个实施例中，第二计算器K2和第一计算器K1是相同计算器。
基于学习的人工智能算法
在一个实施例中，第二计算器K2包括监督学习代理。监督学习代理可包括基于学习的人工智能算法。
监督学习代理针对由不同个体执行的手势的示例被训练。根据实施例的示例，人工智能算法允许从经训练的神经网络中根据分类器对手势进行分类。手势和其类别的检测接着允许使特殊效果与其相关联。
在一个实施例中，根据本发明的系统包括显示构件。显示构件使得有可能表示与运动参数D1相关的数据。
强化学习代理
在一个实施例中，第二计算器K2包括强化学习代理。有利地，强化代理允许从用户到代理的关于其当前或过去动作的正或负反馈RET被反复地执行。
因此，当由信号生成器生成第二信号S2时，用户可给出对应用于第一信号S1的特殊效果的正或负评论。强化学习代理因此通过发现哪些关联是最正回报或负回报来继续使运动参数D1与特殊效果相关联。强化学习代理可因此修改用于使运动参数D1与特殊效果相关联的方法以达到关联为最多回报的方法。
生成GENC2第二设定点C2的步骤和/或确定DET运动参数D1的步骤可因此包含强化学习代理。
有利地，强化学习代理允许根据用户的反馈进行渐进式学习。强化学习代理因此允许第二计算器K2生成包括向用户更喜欢的效果会聚的特殊效果的第二设定点。
在此实施例中，系统包含用户接口INU。用户接口INU使第二计算器K2能够被提供反馈数据R1。
第二计算器K2被配置成通过迭代基于取决于反馈数据而接收的图像来修改第二设定点C2的生成模式。
设定点C2的生成
第二计算器K2包括用于实施基于所述运动参数D1生成第二设定点C2的步骤的软件构件。优选地，第二计算器K2使运动参数D1与特殊效果相关联。
第二设定点C2与特殊效果相关联。特殊效果意图应用于由第一计算器K1生成的第一信号S1。
在一个实施例中，特殊效果选自特殊效果库。系统可包括存储器，存储器包括特殊效果库。第二计算器K2接着基于运动参数D1从库中选择特殊效果。给定运动和特殊效果之间的关联可被预配置。根据一个实施例，用户可从配置接口免费使用此关联。
在一个实施例中，取决于所检测的运动类型而从库中选择特殊效果。可取决于所辨识的手势的强度和/或幅度而确定要应用的特殊效果的强度值。
在一个实施例中，第二设定点C2包括可组合的若干特殊效果，尤其是在同时辨识若干手势时。
信号生成器
系统还包括信号生成器GEN。信号生成器GEN连接到第一计算器K1和第二计算器K2。信号生成器接收由第一计算器K1生成的第一设定点C1。信号生成器GEN接收由第二计算器K2生成的第二设定点C2。
信号生成器GEN生成第二信号S2。第二信号S2是基于第一设定点C1和/或第一信号S1而产生。第二信号S2还基于第二设定点C2而产生。优选地，第二信号S2包括第一信号S1，从第二设定点C2提取的特殊效果被应用于所述第一信号。
在一个实施例中，信号生成器GEN产生包括第二信号S2的控制信号。优选地，信号生成器GEN产生控制消息，最优选地为MIDI控制消息。MIDI控制消息包含第二声音信号S2。
单个壳套
在一个实施例中，触摸板PT、光学检测装置OPT、第一计算器K1、第二计算器K2和信号生成器包含在单个壳套中。
单个壳套优选地包含用于传输第二信号S2的构件。单个壳套有利地允许用户携带仅一项设备。优选地，用于传输第二信号S2的构件是扬声器或放大器。
在后一情况下，本发明的系统是乐器。
在一个实施例中，单个壳套包括用于与类似于本发明的触摸板的第二触摸板通信的构件。本发明接着允许两个音乐家一起远程地演奏。在未表示的一个实施例中，系统包括：第一壳套，其包括触摸板PT；以及第二壳套，其包括光学检测装置OPT及用于例如经由互联网络在两个壳套之间通信的构件。
系统接着可由两个远程用户使用。当两个壳套生成可例如由乐器接收的设定点时，乐器可与一个壳套在本地相关联或还可经由数据网络接入。因此，根据示例壳套，第一用户在第一位置处操控第一壳套，数据的设定点接着经由数据网络被传输到乐器，且第二用户在第二位置处操控第二壳套，数据的设定点经由数据网络被发送到乐器。乐器接着能够合成对应于第一设定点和第二设定点的产物的音符。使用情况可为在实时事件期间在不同艺术家之间产生声音序列。
除音乐领域之外的本发明的其它应用领域
本发明可应用于除音乐领域之外的其它领域。
在第一替代性实施例中，本发明意图用于照明领域，尤其是舞台照明。
举例来说，系统意图连接到包括多个光源的照明系统。第一信号S1可包括要激活的光源的信息。
包含于第二设定点C2中的特殊效果可包含由光源发射的强度或波长的调节。第二设定点C2还可包含光源的定向的改变。
有利地，本发明使得有可能产生用于控制舞台照明装置的第二信号S2。
在第二替代性实施例中，本发明意图用于全息控制领域或视频游戏领域。
举例来说，系统意图连接到用于生成全息图的装置。第一信号S1可包括包含全息图的形状的信息。
包含于第二设定点C2中的特殊效果可包括位置信息。第二设定点C2接着允许在运动中设定形状已由第一信号确定的全息图。
用于生成信号的方法
根据第二方面，本发明涉及一种用于生成信号的方法。所述方法的实施例在图4中示出。
所述方法包括在包括多个触摸单元的触摸板PT上获取ACQ用户压力的位置和强度的步骤。
所述方法包括产生PROD与第一信号S1的产生相关联的第一设定点C1的步骤。
所述方法包含由光学器件CAM获取CAPT至少一个图像的步骤。
在一个实施例中，获取CAPT至少一个图像的步骤包括获取包括用户的至少一个部分、优选地为用户的手的至少一个图像。
所述方法包含基于所获取的图像确定DET至少一个运动参数D1的步骤。
图像处理
在一个实施例中，第二计算器K2包括用于实施处理由光学器件CAM获取的图像的步骤的软件构件。
在本发明的一个简化实施例中，第二计算器K2允许检测手的简单运动和/或简单位置和/或移动速度。这是例如从左向右移动或上下移动的臂的简单运动的情况。
在本发明的一个富集实施例中，第二计算器K2被配置成检测涉及一系列链接运动的手姿势、手指运动或复杂手势。增强实施例还可包括根据简化模式的检测。可将两个实施例进行组合。
根据一个实施例，图像处理引起至少包括用户的兴趣点的图像的生成。
在一个实施例中，光学检测装置OPT或第一计算器K1包括用于处理图像IMG1的模块。图像处理模块生成至少一个第二图像IMG2。第二图像IMG2包含从第一图像IMG1提取的至少兴趣点的形状。这可为例如四肢的顶端，例如指尖、关节点、形状轮廓等。
自适应阈值
第二图像IMG2的生成在由光学检测装置OPT接收所捕获的图像IMG1的步骤之后。
第二图像IMG2的生成可包含取阈值步骤。取阈值步骤包括将一个或多个滤波器应用于所捕获的图像IMG1。
滤波器可包含拉普拉斯滤波器(Laplacian filter)。拉普拉斯滤波器用于使用户的形状的轮廓清晰。所述滤波器可包含用以减小所捕获的图像的噪声的滤波器。
生成第二图像IMG2可包括采用基于由光学检测装置OPT捕获的图像而获得的深度图的步骤。所述深度图包括用于针对每个像素或针对每个像素群组来识别与深度相关联的值的点云。第二图像IMG2接着可有利地为3D图像。
兴趣区域的检测
根据一个实施例，第二图像IMG2的生成包括兴趣区域的表示的增强。
兴趣区域的检测是基于由光学器件CAM捕获的图像而执行，可能为由取阈值步骤和/或由创建深度图的步骤生成的图像。兴趣区域的检测包括标记每个像素或像素群组。
在图10中所展示的用户的手的示例中，兴趣区域可包含手掌53、手腕54、每个手指52(拇指、食指、中指、无名指、小指)的第一指骨，以及每个手指的顶端和/或最后一个指骨51。在未表示的一个实施例中，兴趣区域可包含手的手指的每个指骨。
在一个实施例中，兴趣区域的检测在实施例如基于神经网络而配置的人工智能算法之后由分类器实施。所述分类器是例如先前借助于一组手图像而训练的分类器。图像数据库可包括已手动地标注有兴趣区域的手图像的数据库。
在一个替代性实施例中，从参数模型生成图像数据库以生成包括不同位置或姿态的大量手图像。所述参数模型生成其中已标记兴趣区域的图像。
检测兴趣区域的步骤生成用户的标记图像作为输出。对应于用户的标记图像的每个像素与对应于兴趣区域的标记相关联。
兴趣点的生成
生成第二图像IMG2进一步包括生成兴趣点的步骤。兴趣点可基于包括兴趣区的标记图像而生成。
兴趣点可包含质心103。质心103可在大体上对应于兴趣区的中心的坐标处生成。举例来说，兴趣点可对应于手的手掌的质心。
兴趣点可包括偏转点102。偏转点102是在两个邻近的兴趣区之间的边界处生成。举例来说，兴趣点可在对应于同一手指的两个邻近的指骨的兴趣区之间生成。此类兴趣点的位置接着可对应于关节的位置，例如在两个指骨之间。优选地，生成兴趣点可包括大体上在由两个邻近的兴趣区之间的边界形成的区段的中间产生兴趣点。
兴趣点可包含手指101的顶端或末端。此类兴趣点可在对应于手指的最后一个指骨的兴趣区域的远端处生成，或在对应于与手指的最后一个指骨相对应的兴趣区域的质心的兴趣区域的远端处生成。
在一个实施例中，生成兴趣点103、102、101的步骤包括按每个兴趣区域生成至少一个兴趣点。
在一个实施例中，生成兴趣点的步骤包括生成每个兴趣点的深度坐标。
生成兴趣点的步骤输出包括从由检测兴趣区的步骤生成的图像提取的兴趣点的图像或深度图。
骨架的生成
在一个实施例中，生成第二图像IMG2可包含生成骨架的步骤。通过以预定方式将兴趣点连接在一起来生成骨架。
图11示出通过连接某些兴趣点102、101而获得的骨架104。举例来说，对应于同一手指的关节102的兴趣点被连接在一起。
生成骨架的步骤输出包括兴趣点和将兴趣点连接在一起以便再现用户形状的骨架的图像IMG2或深度图IMG2。
有利地，生成骨架的步骤允许将手模型映射到兴趣点上。
第二图像IMG2可包括由生成兴趣点的步骤和/或生成骨架的步骤生成的图像和/或深度图。
骨架可包括将某些兴趣点连接在一起的区段。
运动参数
在一个实施例中，确定运动参数D1包括基于所捕获的图像检测用户的至少一个运动类型。
优选地，检测用户的运动类型包括检测用户的手的运动。检测运动是基于由光学检测装置OPT捕获的图像而执行。
通过“基于所捕获的图像”，本文中包含如由光学器件CAM捕获的原始图像以及通过处理这些图像而生成的图像，例如根据兴趣点的生成而生成的图像IMG2。还包含任何二维图像或任何深度图。
优选地，在库中列出不同类型的运动。计算器接着可执行拟合操作或分析回归操作以基于所捕获的图像确定特定类型的运动。
图9A至9I示出手的运动类型的示例。这些运动类型可由第二计算器K2辨识。第二计算器K2基于所检测的运动类型生成运动参数D1。
手的运动类型的示例可包括在握拳情况下的手腕的旋转运动(图9B)、手沿前臂的纵向轴线的旋转(图9E)、手沿垂直于前臂的纵向轴线的轴线的旋转(图9D和9F)。运动类型的另一示例可包括手的横向移动(图9I、9H和9G)。
运动类型还可取决于手指关节的位置和/或运动。举例来说，如果在手张开或合拢的情况下执行手腕旋转手势，则运动类型可为不同的。某些运动类型可与音乐或视听世界中的知名人士已知的手势相关联。举例来说，在超过阈值的速度下执行且同时收紧手指的向下握拳运动的类型可为“根据Ardisson的握拳”的特性。根据另一示例，同时进行的握拳和肘部横向运动可为根据主持人Nagui的握拳运动的特性。图9A中所示出的运动类型的另一示例可包含在手指伸直的情况下手的手指的合拢。运动类型的另一示例可以模拟波浪运动的方式包含手的摆动，如图9C中所表示。
运动类型还可随手势的方向而变。举例来说，可取决于平移的平面和/或方向而区别平移手移动手势。举例来说，在图9G中，沿垂直于手的手掌的轴线来执行平移。图9H和9G示出手在同一平面中的平移运动，其中一个运动在垂直于手指的纵向方向的方向上(图9H)且另一运动在平行于手指的纵向方向的方向上(图9I)。在另一示例中，可在平面中检测到手腕旋转。
优选地，运动参数D1还包含确定运动的速度和/或幅度。
第二设定点
所述方法包括基于运动参数D1生成GENC2第二设定点C2的步骤。第二设定点C2与特殊效果相关联。
特殊声音效果
在第一信号S1是声音信号的实施例中，特殊效果是更改声音信号的特殊效果。
特殊效果可选自以下特殊效果中的一者或多者：
■信号混响：通过基于第一声音信号产生重复声音而获得的效果，其中延迟不超过60ms，使得大脑无法分开地区分每个声音。
■回声：通过以足够长的延迟时间重复第一声音信号以供人脑分开地感知两个声音而实现的效果。
■失真：通过强有力地放大第一声音信号以便对其进行削波或使其展平而实现的效果。
■延音：通过在已触发第一声音信号之后在时间上维持第一声音信号而实现的效果。
■哇音：通过使第一声音信号穿过带通滤波器而实现的效果。
■颤音：通过在第一声音信号的原始值周围调节所述第一声音信号的频率而实现的效果。
■震音：通过调节第一声音信号的幅度(且因此调节音量)而实现的效果。
特殊效果可选自还可包含声音信号的相移、声音信号的频率变位、音色的修改、声音信号的滤波、声音信号的停止的库。
在一个实施例中，特殊效果选自信号强度的调节。信号S2的强度可因此首先由施加在触摸板PT上的压力的强度和/或由光学检测装置OPT所感测到的用户的手势来控制。
第二信号
所述方法包括基于第一设定点C1或第一信号S1并基于第二设定点C2生成GENS2第二信号S2的步骤。
在一个实施例中，所述方法包括对第一信号S1应用特殊效果的步骤。所述应用例如在于调节、混合或甚至更一般来说组合可为任何类型的信号。根据一个示例，所述效果应用于仅第一信号的一部分。根据另一示例，所述效果在给定时段内产生且应用于在此时段中产生的所有第一信号。
第二信号S2的传输
在一个实施例中，所述方法包括生成并传输第二信号S2。第二信号S2优选地被传输到能够施加信号的装置，例如控制装置或声音装置。这可为扬声器、扩音器或更一般来说为能够使第二信号S2可听的任何类型的膜。
优选地，生成第二信号的前面是生成第三设定点的步骤，所述第三设定点与第二信号相关联。所述方法和所述系统接着有利地能够例如以MIDI消息的形式来传输所生成的第二信号。
替代方案
替代地，基于触摸板上的压力的位置和强度生成的第一设定点与特殊效果相关联。基于运动参数生成的第二设定点与第一信号的产生相关联。
接着基于第二设定点(或第一信号)生成第二信号，从第一设定点提取的特殊效果被应用于所述第二信号。
此替代方案允许例如用户使用光学检测装置生成与音符相关联的第一信号并将特殊效果应用于所述第一信号，所述特殊效果是基于在触摸板上的压力的位置和/或强度而选择的。

Claims (18)

1.一种用于生成信号的系统，其包括：
■触摸板(PT)，其包括多个触摸单元和用于检测施加在所述触摸板(PT)上的至少一个压力的位置和强度的触摸检测装置(DD)；
■光学检测装置(OPT)，其用于检测运动和/或位置，所述光学检测装置包括用于捕获图像的至少一个光学器件(CAM)；
■第一计算器(K1)，其基于所述至少一个压力的位置和强度生成至少一个第一设定点(C1)，
■第二计算器(K2)，其用于基于所捕获的图像确定至少一个运动参数(D1)以及用于基于所述至少一个运动参数(D1)生成第二设定点(C2)；以及
■信号生成器(GEN)，其用于基于以下所述生成第二信号(S2)：
●所述第一设定点(C1)或从所述第一设定点(C1)提取的第一信号(S1)，从所述第二设定点(C2)提取的特殊效果被应用于所述第一信号；或
●所述第二设定点(C2)或从所述第二设定点(C2)提取的第一信号(S1)，从所述第一设定点(C1)提取的特殊效果被应用于所述第一信号。
2.根据权利要求1所述的系统，其特征在于，所述第一信号(S1、S11)和所述第二信号(S2)是声音信号。
3.根据权利要求2所述的系统，其中，所述信号生成器(GEN)被配置成产生所述第二信号作为第三设定点。
4.根据权利要求1至3中任一项所述的系统，其特征在于，每个触摸单元CT包括：
■第一层(3)，其包括至少一个力感应电阻器(31)；以及
■第二层(4)，其包括被设计成检测所述力感应电阻器(31)的电阻率的变化的检测单元(41)。
5.根据权利要求4所述的系统，其特征在于，每个检测单元(41)包括印刷电路(71)，所述印刷电路包括通过所述第一层(3)的所述力感应电阻器(31)彼此连接的至少第一部分(73)和第二部分(72)。
6.根据前述权利要求中任一项所述的系统，其特征在于，所述运动参数(D1)基于手和/或手的手指的幅度、速度和/或方向而确定。
7.根据前述权利要求中任一项所述的系统，其特征在于，用于检测运动和/或位置的所述光学检测装置(OPT)包括立体相机，优选地为红外立体相机和/或深度相机。
8.根据权利要求1至7中任一项所述的系统，其特征在于，所述系统包括用于向所述第二计算器(K2)提供反馈数据(R1)的用户接口(INU)，且其特征在于，所述第二计算器(K2)包括强化学习算法，所述强化学习算法被配置成通过迭代基于所述反馈数据(R1)而修改所述第二设定点(C2)的生成模式。
9.根据权利要求1至8中任一项所述的系统，其特征在于，所述系统是乐器，且其特征在于，所述触摸板(PT)和所述光学检测装置(OPT)集成到单个壳套(1)中。
10.根据权利要求1至9中任一项所述的系统，其特征在于，每个触摸单元(CT)包括用于在压力施加在所述触摸单元(CT)上时产生光信号的光源。
11.一种用于生成信号的方法，其包括：
■在具有多个触摸单元的触摸板上获取(ACQ)压力的位置和强度；
■基于所获取的位置和强度产生(PROD)第一设定点(C1)；以及
■由至少一个光学器件(CAM)获取(CAPT)至少一个图像；
■基于所获取的图像确定(DET)至少一个运动参数(D1)；
■基于所述运动参数(D1)生成(GENC2)第二设定点(C2)；
■基于以下所述生成(GENS2)第二信号(S2)：
●所述第一设定点(C1)或与所述第一设定点(C1)相关联的第一信号(S1)，从所述第二设定点(C2)提取的特殊效果被应用于所述第一信号；或
●所述第二设定点(C2)或与所述第二设定点(C2)相关联的第一信号(S1)，从所述第一设定点(C1)提取的特殊效果被应用于所述第一信号。
12.根据权利要求11所述的方法，其特征在于，所述运动参数(D1)还基于手和/或手的手指的幅度、速度和/或方向而确定。
13.根据权利要求11或12所述的方法，其特征在于，第一声音信号(S1)对应于音符。
14.根据权利要求11至13中任一项所述的方法，其特征在于，确定(DET)至少一个运动参数(D1)包括检测兴趣点，例如指尖、质心和/或偏转点。
15.根据权利要求11至14中任一项所述的方法，其特征在于，基于所获取的图像确定(DET)至少一个运动参数(D1)的步骤包括生成深度图，所述运动参数还取决于所述深度图而确定。
16.根据权利要求11至15中任一项所述的方法，其特征在于，所述特殊效果包括以下所列元素中的一者或多者：
■混响，
■回声，
■失真，
■延音，
■哇音，
■颤音，
■相移。
17.一种计算机程序产品，其能够从通信网络下载和/或存储在计算机可读和/或计算机可执行数据介质上，所述计算机程序产品包括用于实施根据权利要求11至16中任一项所述的方法的计算程序代码指令。
18.一种计算机可读数据存储介质，其上记录有包括用于实施根据权利要求11至16中任一项所述的方法的程序代码指令的计算机程序。
CN202080093530.9A 2019-11-20 2020-11-19 用于基于触摸命令和光学命令生成信号的系统 Pending CN114981757A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1912935A FR3103341B1 (fr) 2019-11-20 2019-11-20 Systeme pour generer un signal a partir d’une commande tactile et d’une commande optique
FRFR1912935 2019-11-20
PCT/EP2020/082767 WO2021099512A1 (fr) 2019-11-20 2020-11-19 Systeme pour generer un signal a partir d'une commande tactile et d'une commande optique

Publications (1)

Publication Number Publication Date
CN114981757A true CN114981757A (zh) 2022-08-30

Family

ID=70154489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080093530.9A Pending CN114981757A (zh) 2019-11-20 2020-11-19 用于基于触摸命令和光学命令生成信号的系统

Country Status (5)

Country Link
US (1) US20230005457A1 (zh)
EP (1) EP4062263A1 (zh)
CN (1) CN114981757A (zh)
FR (1) FR3103341B1 (zh)
WO (1) WO2021099512A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175162A1 (fr) 2022-03-18 2023-09-21 Embodme Dispositif et procede de detection d'un objet au-dessus d'une surface de detection
FR3133687B1 (fr) 2022-03-18 2024-03-15 Embodme Dispositif et procede de detection d’un objet au-dessus d’une surface de detection
FR3133688A1 (fr) 2022-03-18 2023-09-22 Embodme Dispositif et procede de generation d’un nuage de points d’un objet au-dessus d’une surface de detection
FR3136057A1 (fr) * 2022-05-24 2023-12-01 Embodme Unite de mesure de pression comprenant une pluralite de capteurs de pression

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US7060887B2 (en) * 2003-04-12 2006-06-13 Brian Pangrle Virtual instrument
FR3008217A1 (fr) 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
KR20170019651A (ko) * 2015-08-12 2017-02-22 삼성전자주식회사 음향 제공 방법 및 이를 수행하는 전자 장치

Also Published As

Publication number Publication date
US20230005457A1 (en) 2023-01-05
FR3103341B1 (fr) 2022-07-22
WO2021099512A1 (fr) 2021-05-27
FR3103341A1 (fr) 2021-05-21
EP4062263A1 (fr) 2022-09-28

Similar Documents

Publication Publication Date Title
CN114981757A (zh) 用于基于触摸命令和光学命令生成信号的系统
Miranda et al. New digital musical instruments: control and interaction beyond the keyboard
Bongers Physical interfaces in the electronic arts
Ng Music via motion: transdomain mapping of motion and sound for interactive performances
EP3759707B1 (en) A method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces
US20040080507A1 (en) Freely specifiable real-time control
JP2013152482A (ja) 出力を生成するシステムおよび方法
Petersen et al. Musical-based interaction system for the Waseda Flutist Robot: Implementation of the visual tracking interaction module
Di Donato et al. Myo Mapper: a Myo armband to OSC mapper
MacRitchie et al. Integrating optical finger motion tracking with surface touch events
Giordano et al. Design of vibrotactile feedback and stimulation for music performance
Kawazoe et al. Tactile echoes: Multisensory augmented reality for the hand
JPH1138967A (ja) 電子楽器
Overholt Violin-related HCI: A taxonomy elicited by the musical interface technology design space
Goto Virtual musical instruments: Technological aspects and interactive performance issues
Overholt Advancements in violin-related human-computer interaction
Panduranga et al. Sensors for virtual musical environment: A short survey
Weber et al. KONTRAKTION: Sonification of Metagestures with electromyographic Signals
Antoshchuk et al. Creating an interactive musical experience for a concert hall
Todoroff Control of digital audio effects
Bandara A music keyboard with gesture controlled effects based on computer vision
WO2023032422A1 (ja) 処理方法、プログラムおよび処理装置
Jessop A gestural media framework: Tools for expressive gesture recognition and mapping in rehearsal and performance
US11640202B2 (en) Motion capture for performance art
Shang et al. A music performance method based on visual gesture recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination