CN109983534A - 基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介 - Google Patents

基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介 Download PDF

Info

Publication number
CN109983534A
CN109983534A CN201780071322.7A CN201780071322A CN109983534A CN 109983534 A CN109983534 A CN 109983534A CN 201780071322 A CN201780071322 A CN 201780071322A CN 109983534 A CN109983534 A CN 109983534A
Authority
CN
China
Prior art keywords
performance
sound
guidance information
instrument
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780071322.7A
Other languages
English (en)
Inventor
全大荣
金延洙
金煐旼
吴京锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caimei Intelligence Co Ltd
Original Assignee
Caimei Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caimei Intelligence Co Ltd filed Critical Caimei Intelligence Co Ltd
Publication of CN109983534A publication Critical patent/CN109983534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/041—Remote key fingering indicator, i.e. fingering shown on a display separate from the instrument itself or substantially disjoint from the keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
    • G10H2220/026—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays associated with a key or other user input device, e.g. key indicator lights
    • G10H2220/056—Hand or finger indicator, e.g. for indicating which hand or which specific finger should be used
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

根据本发明的基于识别乐器演奏音的演奏导引信息提供方法，包括如下步骤：(a)执行演奏应用程序后,执行演奏界面；(b)识别从用户终端的外部发生的演奏音；(c)将所述演奏音与用户需要演奏的目标音进行比较；及(d)根据比较结果，将所述演奏音与目标音的一致度显示在所述演奏界面上，并且，所述演奏界面包括通过用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及表示演奏乐器的演奏工具的移动方向或呼吸时机的标识符。

Description

基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及 电脑可解读记录媒介
技术领域
本发明涉及一种基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介的技术。
背景技术
随着智能手机的上市和应用程序的积极开发，在与乐器演奏领域有关的技术领域也出现了很多应用程序。
例如为调音应用程序。以往的调音应用程序是通过智能手机的麦克风接收乐器的声音,将其与调音对象弦的基准音比较后导引乐器的调音。
并且，还有钢琴应用程序。钢琴应用程序是在画面的下端配置有键盘，当特定对象从上端向下端移动时，如果在特定对象与键盘相接的瞬间击打键盘，发生相应音,而极其便利地导引用户演奏。
但，调音应用程序只能提供乐器调音的程度的功能。并且，调音应用程序的乐器的演奏音识别原理是基于声音识别，因此，如果周边环境很嘈杂或噪音较多，存在识别准确度降低的问题。并且，钢琴应用程序是演奏在应用程序上表示的虚拟的钢琴，该应用程序使得完全不会弹奏钢琴的用户非常容易地使用，因此，难以满足要演奏实际乐器的高层次的需求的用户所需。
即，以往是未公开一种使用实际乐器弹奏特定乐曲，并提供是否正在准确地弹奏该乐曲或应该以何种方式进行正确的演奏的导引信息的应用程序。
发明内容
发明要解决的技术问题
本发明的目的为提供一种基于乐器的演奏音识别而将特定乐曲的实际乐谱与演奏音进行匹配比较后，向用户实时地提供对其的反馈，由此，向用户提供演奏导引信息的方法及装置、系统。
并且，本发明提供一种在乐器的一端固定而能够识别演奏音的调音辅助装置，而能够改善演奏音识别的速度及准确度。
解决问题的技术方案
根据本发明的第1实施例的基于识别乐器演奏音的演奏导引信息提供方法,包括如下步骤：(a)执行演奏应用程序后,执行演奏界面；(b)识别从用户终端的外部发生的演奏音；(c)将所述演奏音与用户需要演奏的目标音进行比较；及(d)根据比较结果，将所述演奏音与目标音的一致度显示在所述演奏界面上，并且，所述演奏界面包括通过用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机的标识符。
根据本发明的第2实施例的基于识别乐器演奏音的演奏导引信息提供装置,包括：存储器，存储执行基于识别乐器演奏音的演奏导引信息提供方法的程序；及处理器，执行所述程序，并且，所述处理器在通过所述程序的执行而执行演奏应用程序后，执行演奏界面，识别从用户终端的外部发生的演奏音，比较所述演奏音与用户需要演奏的目标音，并根据比较结果在所述演奏界面上表示所述演奏音与目标音的一致度，并且，所述演奏界面包括通过用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机的标识符。
根据本发明的第3实施例的基于识别乐器演奏音的演奏导引信息提供系统,包括：调音辅助装置，固定在乐器的一端,感知演奏乐器而发生的振动,并提取与振动数值对应的演奏音的信息,将所述演奏音的信息通过无线通信传送至用户终端；及服务器，与可在所述用户终端安装的演奏应用程序连动，执行关于演奏信息及结算信息的互动，并且，所述演奏应用程序在执行演奏界面后,从所述调音辅助装置接收演奏音,并比较所述演奏音与用户需要演奏的目标音，并且，根据比较结果在所述演奏界面上表示所述演奏音与目标音的一致度，并且，所述演奏界面包括通过所述用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机标识符。
发明的效果
根据本发明的基于识别乐器演奏音的演奏导引信息提供系统，通过调音辅助装置基于乐器的振动值而识别演奏音，因此，能够准确地识别。并且，在调音辅助装置基于振动值全部掌握对演奏音的信息后，向用户终端的应用程序传送，因此，应用程序的演算负荷较小，而能够最小化实时表示用户的演奏准确度所需的延迟时间(latency)。并且，对于弦乐器提供用于导引琴弓的动作或击打动作的标识符及对于管乐器提供用于导引呼吸的长度及拍子的标识符，从而，能够适用于各种乐器，而提高通用性。
附图说明
图1为根据本发明的一实施例的基于识别乐器演奏音的演奏导引信息提供系统的结构图；
图2为根据本发明的一实施例的调音辅助装置和用户终端的结构的框图；
图3a及图3b为根据本发明的一实施例的设置在用户终端的演奏应用程序的调音界面的一例；
图4a及图4b为根据本发明的一实施例的演奏应用程序的演奏界面的一例；
图5a至图5c为根据本发明的一实施例的演奏应用程序的提供演奏管乐器时导引的界面的一例；
图6a至图6d为根据本发明的一实施例的演奏应用程序的提供对于管乐器演奏的反馈的界面的一例；
图7为说明根据本发明的一实施例的基于识别乐器演奏音的演奏导引信息提供方法的顺序图。
具体实施方式
下面参照附图详细说明本发明的实施例，以便本发明的技术领域的普通技术人员容易实施。但，本发明可以各种不同的形态实施，并非限定于在此说明的实施例。并且，为了明确说明本发明，省却了与说明无关的部分，整篇说明书中类似的部分赋予了类似的附图符号。
整篇说明书中，记述某一个部分与其他部分"连接"时，其不仅包括"直接地连接"的情况，也包括在其中间隔着其他元件"电性地连接"的情况。并且，当记述某一个部分"包括"某一个构成要素时，只要未有特别反对的记载，其意味着非排除其他构成要素，而是还包括其他构成要素。
本说明书中，'部'包括通过硬件形成的单元(unit)、通过软件形成的单元、通过两种方式形成的单元。并且，一个单元通过两个以上的硬件形成也可，两个以上的单元通过一个硬件形成也可。并且,'～部'并非限定软件或硬件,'～部'可形成于可寻址的存储媒介，也可启动一个或其以上的处理器。因此,作为一例'～部'可包括软件构成要素、面向对象软件构成要素、构成要素类及任务构成要素等构成要素和程序、函数、属性、步骤、子程序、程序代码段、驱动器、固件、微代码、线路、数据、数据库、数据结构、表格、数组及变数。构成要素和'～部'提供的功能可由更小数量的构成要素及'～部'结合，或再分离为附加的构成要素和'～部'。并且，构成要素及'～部'也可启动设备或安全多媒体卡内的一个或其以上的CPU。
以下记述的"用户终端"可为通过网络与服务器或其他终端连接电脑或便携式终端设备。在此，电脑包括例如搭载浏览器(WEB Browser)的笔记本电脑、台式机(desktop)、笔记本电脑(laptop)等,便携式终端设备为例如具有携带性和移动性的无线通讯装置,可包括IMT(International Mobile Telecommunication)-2000、CDMA(Code DivisionMultiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、LTE(Long TermEvolution)通信终端、智能手机、平板电脑等所有种类的掌上型无线通讯装置。并且，"网络"可为局域网(Local Area Network；LAN)、广域网(Wide Area Network；WAN)或增值网(Value Added Network；VAN)等有线网络或移动通信网(mobile radio communicationnetwork)或卫星通信网等所有种类的无线通信网络。
以下，参照附图详细说明本发明的一实施例。
参照图1，根据本发明的一实施例的系统，包括：调音辅助装置100、用户终端200及服务器300。
调音辅助装置100为被固定在乐器的一端，感知从乐器发生的振动，识别与感知的振动对应的演奏音的成分的装置。此时，演奏音的成分可包括演奏的音的音阶信息、音名信息及音的长度信息中至少一个。调音辅助装置100将识别的演奏音的成分向用户终端200(即，移动装置)传送。
调音辅助装置100识别的振动还可感知乐器用户的移动或周边的噪音引起的振动。上述情况为非通过乐器演奏的，需判断为错误，因此，调音辅助装置100将感知的振动与临界值进行比较，并对于演奏音的范围之外的振动，可省略识别演奏音的成分的动作。由此，调音辅助装置100能够最小化在调音辅助装置100中消耗的电力。
用户终端200可安装有演奏应用程序。演奏应用程序包括调音功能和演奏游戏功能。在执行调音功能和演奏游戏功能时，演奏应用程序接收从调音辅助装置100接收的演奏音的成分，判断调音的准确度或演奏的准确度，并提供导引信息，以便用户准确地演奏。
服务器300与安装在用户终端200的应用程序进行通信，并向应用程序提供乐谱信息等升级信息，或分析使用应用程序的用户的使用图案，或如果为特定有偿服务时，提供关于结算的信息，以使经过结算过程后才能进行。
以下，参照图2详细说明根据本发明的一实施例的用于提供演奏导引信息的调音辅助装置100和用户终端200的动作。
安装有调音辅助装置100和演奏应用程序的用户终端200，可包括：存储有为提供基于识别乐器演奏音的演奏导引信息的程序(或应用程序)的存储器和执行上述程序的处理器。
在此，处理器根据在存储器存储的程序的进行而执行各种功能，调音辅助装置100和用户终端200的处理器中包括的根据各种功能的具体构成要素为如下：如果为调音辅助装置100，包括振动感知部110、演奏音检测部120及通信部130，如果为用户终端200，包括通信部130、调音部220、演奏游戏提供部230。
首先,详细说明调音辅助装置100。
振动感知部110由感知从乐器发生的振动的传感器部(未图示)构成。传感器部由压电(piezo)式的压电传感器(或压电元件)构成。
演奏音检测部120可包括感知特定音的开始的开始检测器及测定振动数而感知声音的音高(pitch)的音高检测部。
并且，根据一实施例，传感器部也可通过演奏音检测部120的控制，利用压电传感器输出已设定的音。例如，如果执行开启动作、关闭动作、与用户终端200的通信连接动作中的至少一个时，传感器部输出已设定音。此时，已设定音根据各个动作而不同。
演奏音检测部120基于从振动感知部110提供的振动的大小(或声音的音高)，识别与其对应的演奏音的成分。此时，演奏音检测部120为了最小化在调音辅助装置100消耗的电力，只识别大于或等于(或超过)临界值的演奏音的成分。
详细地，演奏音检测部120还可包括：将从传感器部提供的振动的大小与临界值进行比较的比较器(未图示)及基于比较器的比较结果识别与大于或等于(或超过)临界值的振动对应的演奏音的成分的控制器(controller)(未图示)。在此，临界值可为之前识别的演奏音的振动大小的平均值。或临界值可根据从乐器的可发生的最低振动大小及最高振动大小中的至少一个而决定。或者，临界值也可在调音辅助装置100的制造过程中已设定，或通过用户而设定。
例如，如果振动的大小大于或等于(或超过)临界值,比较器向控制器提供已设定的动作开始信号，而使得控制器动作。相反，如果振动的大小小于(或小于或等于)临界值,比较器不向控制器提供已设定的动作开始信号，而使得控制器不启动。
控制器控制调音辅助装置100的整体性的动作，可包括用于识别与振动对应的演奏音的成分的至少一个处理器(processor)(未图示)及/或微处理器(micro-processor,未图示)。在此，演奏音的成分包括演奏音的音阶信息、音名信息及音的长度信息中的至少一个。
控制器基于已存储的音阶信息、音名信息等，决定与振动的振动数匹配的演奏音的成分。
并且，除了上述的比较器及控制器之外，演奏音检测部120还可包括AD C(analog-digital converter)。
ADC根据从比较器发生的激活信号而被激活，并生成与振动对应的数字信号。并且，ADC与控制器连接而将生成的数字信号向控制器提供。
更详细地，如果振动的大小大于或等于(或超过)临界值,比较器向ADC提供激活信号。ADC即使在调音辅助装置100被开启(turn-on)的情况下也以非激活状态工作，而从比较器接收激活信号时转换为激活状态。在此，非激活状态可为从电源只接收最低电力的状态，根据实施例也可称为睡眠模式(sleep mode)、低电力模式或待机模式(standby mode)。
ADC向控制器提供与振动对应的数字信号后，可再次转换为非激活状态。
并且，虽然说明了ADC通过比较器转换为激活状态，但，并非限定于此。根据一实施例，比较器也可根据振动的大小与临界值的比较结果向ADC及控制器提供激活信号。此时，控制器可在调音辅助装置100被开启后以非激活状态工作，并通过激活信号转换为激活状态。在此，激活信号与上述的动作开始信号相同，也可为不同的信号。
通信部130可包括使得调音辅助装置100与用户终端200及其他装置进行通信的至少一个模块。例如，蓝牙模块、BLE(Bluetooth Low Energy)模块、NFC(near fieldcommunication)模块、WLAN(无线宽带)模块、无线个域网(Zigbee)模块、红外线(IrDA,infrared data association)模块、WFD(Wi-Fi Direct)模块,UWB(ultra wideband)模块、Ant+模块等，但并非限定于此。
以下，详细说明用户终端200的工作。
首先，用户终端200根据用户的输入执行演奏应用程序。演奏应用程序大致包括两种功能,即调音和演奏游戏功能。
用户终端200从用户接收关于进行调音的输入时，执行调音界面。并且，用户终端200从用户接收关于进行演奏的输入时,执行演奏界面。
通信部210从调音辅助装置100接收通过乐器演奏的演奏音。接收的演奏音根据演奏应用程序中执行的功能以不同的用途运用。
调音部220提供调音界面，并基于从通信部210接收的演奏音导引乐器的调音。
调音界面以如图3a及图3b的形态体现。更详细地，调音界面包括显示目前演奏的音与对象音的比较数据并向用户提供调音导引的调音导引区域410。例如，如果为弦乐器,如图3a所示，用户指定对应于在乐器的头部区域420表示的左侧的G的弦而选择对象音后,用手指拨动乐器的相应弦。调音界面从在乐器的一端固定的调音辅助装置100接收弹奏的弦的演奏音，并与对象音G进行比较。
如果演奏音稍微不同于对象音时,如图3a所示，在调音导引区域410显示红色标示与对象音的差异("-10"标示)。用户识别上述的差异，将拉紧弦的区域稍微更加拉紧后，再次拨动的方式调整弦时,如图3b所示，在调音导引区域410用绿色显示与目标音一致的识别标示。
演奏游戏提供部230提供演奏界面，并基于从通信部210接收的演奏音，向用户提供关于特定音乐的演奏的导引信息。
演奏游戏提供部230提供的演奏界面以如图4a所示的形态表示。更详细地，包括：乐谱标示区域、标识符510、演奏条520、导航条550。
乐谱标示区域表示特定音乐或乐曲的五线谱(即,5线)形态的乐谱，其表示音坐标、音阶符、音符、拍号等演奏所需的所有识别信息。
标识符510是告知演奏乐器的演奏工具的移动方向或呼吸时机的工具。标识符510可在演奏条内移动，但，也可移动至脱离演奏条的区域。
演奏条520是告知用户需在乐谱的五线谱上演奏的目标音的信息的工具。如果用户终端的画面较小，演奏条520以固定演奏条520的画面上的位置，乐谱的五线经过演奏条520的形态，告知演奏时机。或者,如果用户终端的画面较大，乐谱的五线被固定，演奏条520在乐谱的五线上移动的形态告知演奏时机。如图4a所示，演奏条520由垂直于乐谱的五线的方向生成。并且，演奏条520形成与各个音符的头部对应的宽幅及覆盖五线区域的高度。只是，并非限定于此，演奏条520的宽幅或大小等也可以不同的形态体现。并且，演奏条520可以透明的颜色表示，以便清楚地表示与乐谱上的目标音对应的音符。
并且，如果乐器为弦乐器，标识符510告知弦乐器的演奏工具以弦的位置为基准需要移动的方向，以符合音乐的拍子的形态而向乐谱的五线的上、下方向移动。即，如果为小提琴或大提琴，称为琴弓的演奏工具在弦上的上、下方向或左、右方向击打进行演奏,如果为其他(guitar)，用手指或拨片由上、下方向击打进行演奏，如果为小号等管乐器，通过演奏者的嘴调节呼吸的长度或口气的强弱而进行演奏，此时，标识符510可提供关于击打方向或呼吸的时机(或长度)的导引线。
参照图4b，图4b为在图4a的状态下经过既定的时间后音乐演奏状态的乐谱。此时，能够确认演奏条520和标识符510的位置根据五线谱的移动发生变化。标识符510只由上、下方向移动，演奏条520根据音乐的播放向右侧方向移动，而将标识符510的上、下移动和演奏条520的右侧移动进行综合时，标识符510在乐谱上由与正弦(sine)曲线530相同地轨迹移动。即，在正弦曲线530上曲线上升的方向告知要向上击打，下降的方向是告知要向下击打。
并且，如果乐器为弦乐器时，使用演奏工具需在乐器的中心部进行击打的同时，要在乐器的头部附近区域使用手指同时进行弦上运指的动作。标识符510和演奏条520用于导引在乐器的中心部的演奏动作。此时，如果按压在演奏界面的上端右侧表示的"手指序号"的切换按钮，在音符的头部提供需运指的乐器的区域的运指动作的导引信息。
更详细地，如果按压切换按钮，在音符的头部上显示用户需运指的弦的序号540。由此，用户确认为弦乐器演奏的所有导引信息，并将其运用于演奏。
导航条550在一个区域表示整体乐谱中演奏区间、预设定的区间及目前演奏的音节位置中的至少一个。即，导航条550在表示整体乐谱的演奏区间的同时，通过另外的位置标识符510(未图示)表示目前演奏的音节位置。位置标识符510是根据音乐的播放在导航条550上移动。并且，用户要在整体乐谱中只指定一部分区间演奏，也可指定特定区间，导航条550也可表示上述的特定区间的范围。
执行如上述的演奏界面时，在用户终端200与是否演奏乐器无关地播放相应的音乐，而演奏条520和标识符510在乐谱上面移动。
用户看到该界面后，演奏乐器。每次演奏时，固定在乐器的一端的调音辅助装置100通过乐器的振动检测演奏音，用户终端200从调音辅助装置100接收演奏音的信息。并且，将演奏音与目标音进行比较后，在演奏界面上表示一致度。例如，如果为图4b,与完美！(perfect！)或不佳(Bad)等文句一同表示另外的识别标示。识别标示可为目标音的音符的头部的颜色发生变化。或者,识别标示可在目标音的音符的头部附近显示既定时间后消失地设定。如上述地，用户目视由一个方向移动的乐谱的同时容易确认瞬间显示的识别标示，而能够一眼看到自己是否在准确地演奏。
并且,如果为管乐器,也可与弦乐器不同的方式提供导引信息。
更详细地，可提供呼吸导引模式和拍子导引模式。呼吸导引模式中通过标识符510告知演奏者的吸气和呼气时点。拍子导引模式中通过另外的识别标示在五线上告知拍子信息。
在演奏界面形成的标识符510的移动表示演奏管乐器的用户的呼吸的单位及长度。标识符510将从位于演奏条520内的一端的特定时点开始移动，随着演奏条520的移动向其他位置移动之后，回到最初的位置的移动表示为一次呼吸。例如，图5a中可将从4/4拍号附近的时点开始至音节转换的时点的标识符510的移动710规定为一次呼吸。
此时，画出抛物线而向五线的下方向下降的移动是指吸气，尖尖的向五线的上方向上升的移动是指呼气。参照图5a及图5b，每个音乐的呼吸时机可不同地规定，因此，该标识符510的移动可不同地设定。图5a是通过标识符510表示每个音节要呼吸,图5b表示2音节期间不吸气而连续地演奏后呼气。
并且，根据呼吸的长度，标识符510向上、下移动的区域的范围不同。观察管乐器的呼吸的种类，"运舌法"是指将舌头贴紧上颚切断气流后打开舌头贴向下侧，而以"突～"的声音发出至音结束，并再次将舌头贴紧上颚切断气流，而以"～兀！"的声音清晰地结束，以此发出声音的呼吸法。圆滑线是以长呼吸对于两个以上的音符持续地发出声音的呼吸法。
标识符510的移动可根据呼吸导引模式和拍子导引模式而不同。呼吸导引模式中标识符510的抛物线动作是指呼吸，但，拍子导引模式中标识符510的抛物线动作是指运舌法。图5a及图5b表示在呼吸导引模式中的动作,图5c表示在拍子导引模式中的动作。
并且,如果为管乐器，在拍子导引模式中,从调音辅助装置100接收的演奏音的长度和拍子与目标音的信息不同时，可在乐谱的音符附近的区域另外提供错误标示。例如，应演奏运舌法，但，以圆滑线演奏时,可提供如图6a的T形态的错误标示610。相反地，应以圆滑线演奏,但，以运舌法演奏时,将多个音符相互连接的以往的圆滑线标示620变换为不同的颜色而加亮。
并且，在乐谱上的V可表示1拍子。即，图6c中各个4分音符表示要以1拍子演奏。如果是2分音符要以VV表示,如果是有附点的4分音符，要以V\表示，3/4拍子的全音符要以VVV表示。只是，其只是一例，可以各种形态表示。
如果应以1拍子为基准演奏，但，实际演奏的拍子过快时，如图6d所示，提供形状的错误标示,如果实际演奏的拍子过慢时，可提供形状的错误标示640。
并且，演奏游戏提供部230还可在用户终端200结束一个乐曲的演奏时,提供表示演奏准确度、练习时间、目前为止演奏的乐曲的个数、演奏最高分数、朋友们的演奏时间、连接上述演奏应用程序的时间、各个日期的演奏时间中的至少一个的分析界面。
演奏准确度可综合演算将演奏音与目标音之间的一致度进行分析的结果，其可以将100％为最高分数的基准进行演算。并且，如果存在对于相同乐曲累积的以往的演奏准确度数据,可提供比较目前演奏准确度与以往的演奏准确度的数据,以便用户能够一眼确认练习实力是否有提高。
并且，对于每个演奏以演奏准确度等为基准赋予分数,其具有用户的其他乐友之间的数据共享功能,因此，用户还可确认其他乐友的演奏时间、获得分数现况等。
并且，可通过结算模块进行乐曲的购买、可进行演奏游戏的次数的购票等,其通过服务器300与应用程序的连动而进行。
并且，作为附加实施例，可通过麦克风识别演奏音，而非通过调音辅助装置100识别演奏音。此时，要在应用程序内进行声音识别->与声音对应的演奏音的信息检测过程。但，如果使用调音辅助装置100，从调音辅助装置100直接接收演奏音的信息，因此，无需执行使用麦克风时的过程。即，可减少应用程序的负荷，而提高演算速度,因此，能够实时地识别演奏音，并提供演奏音与目标音的一致度。
以下参照图7详细说明根据本发明的一实施例的基于识别乐器演奏音的演奏导引信息提供方法。
首先，调音辅助装置100与用户终端200和无线通信连接(S110)。无线通信可为蓝牙。
用户终端200在执行演奏应用程序的演奏界面的状态下，发生关于特定乐曲的用户终端200的输入时,播放相应乐曲的声音的同时显示乐谱(S120)。
用户可根据在演奏界面上显示的信息演奏乐器。
调音辅助装置100感知乐器的振动(S130),并检测与振动的振动值对应的演奏音(S140)。
并且，调音辅助装置100将演奏音信息传送至用户终端200(S150)。
用户终端200判断目标音与接收的演奏音之间的拍子及音成分是否相同(S160)。
并且，在乐谱上表示相同的程度，以表示用户是否在正确地演奏(S170)。
当一个乐曲的演奏结束时，还可计算演奏准确度，并提供给用户(S180)。
本发明的一实施例还可以在电脑上执行的程序模块等包括可通过电脑执行的命令语的记录媒介的形态体现。
电脑可读媒介为可通过电脑访问的任意的可用媒介，包括易失性及非易失性媒介、分离型及非分离型媒介。并且，电脑可解读媒介包括电脑存储媒介及通信媒介。
电脑存储媒介包括通过为存储电脑可解读命令语、数据结构、程序模块或其他数据等信息的任意的方法或技术体现的易失性及非易失性、分离型及非分离型媒介。通信媒介典型地包括电脑可解读命令语、数据结构、程序模块、或载波等调制的数据信号的其他数据,或包括其他传动机构、任意的信息传送媒介。
本发明的方法及系统与特定实施例关联地进行了说明，但，其构成要素或动作的一部分或全部可通过具有通用硬件功能结构的电脑系统体现。
上述的关于本发明的说明只是示例性的，本发明的技术领域的普通技术人员应当理解在不变更本发明的技术思想或必要特征的前提下可以其他详细的形态容易地变更实施。
因此，以上说明的实施例在所有方面只是示例性的，而非限定性的。例如，以单一型说明的各个构成要素可分散实施，相同地，以分散型说明构成要素也可以结合的形态实施。
本发明的范围通过权利要求书体现，而非通过上述详细的说明，权利要求范围的意义及范围、从均等概念导出的所有变更或变形的形态应当包含于本发明的范围。

Claims (20)

1.基于识别乐器演奏音的演奏导引信息提供方法，作为通过用户终端执行的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，包括如下步骤：
(a)执行演奏应用程序后,执行演奏界面；
(b)识别从用户终端的外部发生的演奏音；
(c)将所述演奏音与用户需要演奏的目标音进行比较；及
(d)根据比较结果，将所述演奏音与目标音的一致度显示在所述演奏界面上，
并且，所述演奏界面包括通过用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机的标识符。
2.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述(a)步骤包括如下步骤：
执行所述演奏应用程序后接收用户终端输入的演奏执行时，执行所述演奏界面，接收从所述用户终端输入的乐器调音的执行时，执行调音界面，
并且，所述调音界面接收通过所述用户终端选择的调音对象音后,比较所述演奏音与调音对象音，告知是否完成调音。
3.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述(b)步骤包括如下步骤：
通过所述用户终端的麦克风接收声音，并分析所述声音，识别乐器的演奏音。
4.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述(b)步骤包括如下步骤：
从固定在乐器的一部分的调音辅助装置接收所述乐器的演奏音的信息。
5.根据权利要求4所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述调音辅助装置感知弹奏乐器而发生的振动，提取与振动的大小对应的演奏音的信息，并将所述演奏音的信息通过无线通信传送至所述用户终端。
6.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述演奏条由垂直于所述乐谱的五线的方向形成，并且，以透明的颜色表示，以便能够显示所述乐谱上面的音符。
7.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述标识符用于告知弦乐器的演奏工具需以弦的位置为基准而移动的方向，其根据所述音乐的拍子向所述乐谱的五线的上、下方向移动。
8.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
如果所述乐器为弦乐器,所述演奏工具为琴弓或演奏者的手中的某一个，
如果所述乐器为管乐器,所述演奏工具为演奏者的嘴。
9.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述用户终端输入切换按钮时,所述演奏界面在所述乐谱上的音符的头部表示用户需要运指的弦的序号。
10.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述演奏界面包括导航条，该导航条在一个区域表示整体乐谱中的演奏区间、预设定区间及目前演奏的音节位置中的至少一个。
11.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述(d)步骤包括如下步骤：
利用所述目标音的音符的头部的颜色变化和设定成在所述目标音的音符的头部附近显示既定时间后消失的识别标示表示所述一致度。
12.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
如果所述乐器为管乐器，所述演奏界面的标识符的移动表示演奏管乐器的用户的呼吸的单位及长度。
13.根据权利要求12所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述标识符将从位于所述演奏条内的一端的特定时点开始根据所述演奏条的移动向其他位置移动后回到最初的位置的移动表示为一次呼吸。
14.根据权利要求13所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述标识符根据所述呼吸的长度向上、下移动的区域的范围不同。
15.根据权利要求14所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述一次呼吸为圆滑线时或运舌法时，所述标识符向不同的范围移动。
16.根据权利要求12所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，
所述(d)步骤包括如下步骤：
如果所述管乐器的演奏音的长度和拍子与所述目标音的信息不同，在所述乐谱的音符附近的区域提供另外的错误标示。
17.根据权利要求1所述的基于识别乐器演奏音的演奏导引信息提供方法，其特征在于，还包括如下步骤：
(e)：所述用户终端完成一个乐曲的演奏后,提供表示演奏准确度、练习时间、目前为止演奏的乐曲的个数、演奏最高分数、乐友的演奏时间、与所述演奏应用程序连接的时间、每个日期的演奏时间中的至少一个的分析界面。
18.一种基于识别乐器演奏音的演奏导引信息提供装置，其特征在于，包括：
存储器，存储执行基于识别乐器演奏音的演奏导引信息提供方法的程序；及
处理器，执行所述程序，
并且，所述处理器在通过所述程序的执行而执行演奏应用程序后，执行演奏界面，识别从用户终端的外部发生的演奏音，比较所述演奏音与用户需要演奏的目标音，并根据比较结果在所述演奏界面上表示所述演奏音与目标音的一致度，
所述演奏界面包括通过用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机的标识符。
19.一种基于识别乐器演奏音的演奏导引信息提供系统，其特征在于，包括：
调音辅助装置，固定在乐器的一端,感知演奏乐器而发生的振动,并提取与振动数值对应的演奏音的信息,将所述演奏音的信息通过无线通信传送至用户终端；及
服务器，与可在所述用户终端安装的演奏应用程序连动，执行关于演奏信息及结算信息的互动，
所述演奏应用程序在执行演奏界面后,从所述调音辅助装置接收演奏音,并比较所述演奏音与用户需要演奏的目标音，并且，根据比较结果在所述演奏界面上表示所述演奏音与目标音的一致度，
所述演奏界面包括通过所述用户终端选择的音乐的乐谱、在所述乐谱的五线上告知所述目标音的信息的演奏条及告知演奏乐器的演奏工具的移动方向或呼吸时机标识符。
20.存储有为执行权利要求1至17中的某一项的基于识别乐器演奏音的演奏导引信息提供方法的电脑程序的电脑可解读记录媒介。
CN201780071322.7A 2016-09-19 2017-09-19 基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介 Pending CN109983534A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160119551A KR101841033B1 (ko) 2016-09-19 2016-09-19 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체
KR10-2016-0119551 2016-09-19
PCT/KR2017/010262 WO2018052272A1 (ko) 2016-09-19 2017-09-19 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
CN109983534A true CN109983534A (zh) 2019-07-05

Family

ID=61619185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071322.7A Pending CN109983534A (zh) 2016-09-19 2017-09-19 基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介

Country Status (3)

Country Link
KR (1) KR101841033B1 (zh)
CN (1) CN109983534A (zh)
WO (1) WO2018052272A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065008B (zh) * 2018-05-28 2020-10-27 森兰信息科技（上海）有限公司 一种音乐演奏曲谱匹配方法、存储介质及智能乐器
CN109168119A (zh) * 2018-08-29 2019-01-08 郑州工程技术学院 一种声音检测电路系统
KR102140029B1 (ko) * 2018-10-19 2020-07-31 송경준 증강현실을 활용한 글래스 하프의 음색 시뮬레이션 및 학습 시스템
KR102269819B1 (ko) * 2019-04-25 2021-06-28 주식회사 엔터미디어 악기 연주 연습 장치
CN111028615B (zh) * 2019-11-29 2022-01-07 尤剑 智能化乐器演奏教学方法、系统及存储介质
CN112802439B (zh) * 2021-02-05 2024-04-12 腾讯科技（深圳）有限公司 一种演奏数据识别方法、装置、设备及存储介质
CN114822593B (zh) * 2022-06-29 2022-09-13 新缪斯(深圳)音乐科技产业发展有限公司 演奏数据识别方法及系统
KR102571326B1 (ko) * 2022-12-15 2023-08-30 안유림 타격 기반의 진동 인식을 통한 전자 악보 자동 넘김 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1542732A (zh) * 2003-02-28 2004-11-03 ������������ʽ���� 演奏练习装置以及演奏练习程序
KR20050123388A (ko) * 2004-06-25 2005-12-29 주식회사 팬택 이동 통신 단말기에서 악기 튜닝 방법
CN102568261A (zh) * 2011-12-28 2012-07-11 张智 乐器辅助学习机
KR20140065971A (ko) * 2012-11-22 2014-05-30 주식회사 지에스엘앤씨 기타 연주화면 제공방법
KR20140116616A (ko) * 2013-03-25 2014-10-06 임현정 음악교육을 위한 기록매체
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
KR20150048472A (ko) * 2013-10-28 2015-05-07 에스케이플래닛 주식회사 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
KR20160098881A (ko) * 2015-02-11 2016-08-19 주식회사 파라투스 악기 보조 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1542732A (zh) * 2003-02-28 2004-11-03 ������������ʽ���� 演奏练习装置以及演奏练习程序
KR20050123388A (ko) * 2004-06-25 2005-12-29 주식회사 팬택 이동 통신 단말기에서 악기 튜닝 방법
CN102568261A (zh) * 2011-12-28 2012-07-11 张智 乐器辅助学习机
KR20140065971A (ko) * 2012-11-22 2014-05-30 주식회사 지에스엘앤씨 기타 연주화면 제공방법
KR20140116616A (ko) * 2013-03-25 2014-10-06 임현정 음악교육을 위한 기록매체
CN104183171A (zh) * 2013-05-23 2014-12-03 杭州灵机科技有限公司 一种基于电子乐谱的乐器演奏水平精准评判的系统和方法
KR20150048472A (ko) * 2013-10-28 2015-05-07 에스케이플래닛 주식회사 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체
KR20160098881A (ko) * 2015-02-11 2016-08-19 주식회사 파라투스 악기 보조 시스템

Also Published As

Publication number Publication date
KR101841033B1 (ko) 2018-05-08
WO2018052272A1 (ko) 2018-03-22

Similar Documents

Publication Publication Date Title
CN109983534A (zh) 基于识别乐器演奏音的演奏导引信息提供系统、装置、方法及电脑可解读记录媒介
CN107978303B (zh) 智能钢琴的智能检测和反馈系统
US10922993B2 (en) Musical notation, system, and methods
US8017857B2 (en) Methods and apparatus for stringed controllers and/or instruments
JP4307193B2 (ja) プログラム、情報記憶媒体、及びゲームシステム
CN105243920A (zh) 键盘类乐器弹奏指导系统及教学方法
CN111052223B (zh) 播放控制方法、播放控制装置及记录介质
KR101931087B1 (ko) 사용자 허밍 멜로디 기반 멜로디 녹음을 제공하기 위한 방법 및 이를 위한 장치
WO2018010401A1 (zh) 一种投影式钢琴指引系统及控制方法
CN102831796A (zh) 激光标识键盘乐器示教系统和示教方法
KR20210070270A (ko) 정보 처리 장치
KR20120096880A (ko) 사용자가 자신의 음성에 기초하여 디지털 악기를 연주할 수 있도록 하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20140059989A (ko) 허밍을 이용한 악보 작성 방법과 시스템
CN102789712B (zh) 基于球形超声电机的激光标识乐器示教系统和示教方法
JP6443093B2 (ja) 信号処理装置、および信号処理システム
JP2013003205A (ja) 楽譜表示装置、楽譜表示プログラム及び楽譜
JP2017198922A (ja) カラオケ装置
CN206039957U (zh) 一种投影式钢琴指引系统
JP2005345555A (ja) 採点情報表示機能を有したカラオケシステム
JP2011209439A (ja) 楽器装着型演奏支援装置及びその制御方法
KR101496546B1 (ko) 햅틱 자극을 활용한 악기 교육 시스템 및 방법
JP6144592B2 (ja) 歌唱採点システム
KR20070105098A (ko) 음치 교정 장치
KR101694865B1 (ko) Rfid 태그 내장형 휴대용 인터페이스 기반 디지털 악기 시스템 및 그 구현 방법
KR20230088882A (ko) 음악기반 다중작업 훈련, 가창 훈련 및 악기변별 훈련을 이용한 인지 기능 훈련 및 검사 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705