CN107945780A - 一种基于计算机视觉的乐器演奏方法及装置 - Google Patents
一种基于计算机视觉的乐器演奏方法及装置 Download PDFInfo
- Publication number
- CN107945780A CN107945780A CN201711183042.3A CN201711183042A CN107945780A CN 107945780 A CN107945780 A CN 107945780A CN 201711183042 A CN201711183042 A CN 201711183042A CN 107945780 A CN107945780 A CN 107945780A
- Authority
- CN
- China
- Prior art keywords
- card
- card photo
- unobstructed
- photo
- musical instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
- G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
- G10H2220/131—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for abstract geometric visualisation of music, e.g. for interactive editing of musical parameters linked to abstract geometric figures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种基于计算机视觉的乐器演奏方法及装置，该方法包括：接收到拍摄的卡片照片后选择对应的音频；播放所述对应的音频。本发明通过一个摄像头模组加一个wifi联网模块和喇叭和若干卡片，可以实现各种打击乐器的演奏效果实现，使得演奏的设备成本变得更低，还可以通过对卡片不同区域遮挡达到播放不同音阶的效果。
Description
技术领域
本申请涉及通信技术、计算机技术领域，尤其是涉及一种基于计算机视觉的乐器演奏方法及装置。
背景技术
传统的乐器演奏，需要通过对物理的乐器进行针对性的控制，通过一定的物理震动产生不同的声音效果，由此来演奏出不同的音乐曲调。以“架子鼓”这种乐器为例，需要通过对不同的鼓面打击产生不同声音效果，产生演奏韵律。另一种是在触屏手机或者触屏平板电脑上开发的一种app，通过程序设计，用户在触摸屏的虚拟界面上进行点触交互，软件将点触区域对应的一个音频文件触发播放，产生演奏韵律。从实体的乐器演奏转变成虚拟的乐器演奏。架子鼓的问题是在于设备成本过高，体积过大，用户需要通过在实体架子鼓上演奏必需通过较高昂的设备成本才能实现演奏效果。以此类推各种打击乐器都可以在app内实现声音演奏，在手机app上模拟演奏不需要固定的乐器，大大降低了设备成本，但是还是需要一个有屏幕的具有计算能力的设备，例如手机或者平板电脑，成本还是过高。
本发明通过一个摄像头模组加一个wifi联网模块和喇叭和若干卡片，可以实现各种打击乐器的演奏效果实现，使得演奏的设备成本变得更低，还可以通过对卡片不同区域遮挡达到播放不同音阶的效果。
发明内容
本申请实施例提供一种基于计算机视觉的乐器演奏方法及装置。
本发明提供了一种基于计算机视觉的乐器演奏方法，该方法包括：
接收到拍摄的卡片照片后选择对应的音频；
播放所述对应的音频。
优选地，所述接收到拍摄的卡片照片后选择对应的音频包括：
服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端。
优选地，所述服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：
所述服务端接收设备端拍摄的无遮挡卡片照片；
所述服务端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
所述服务端选择与所述最高分对应的乐器模型识别库。
优选地，所述所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端包括：
所述服务端接收设备端拍摄的有遮挡卡片照片；
所述服务端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述服务端将所述最高分对应的音频发送到所述设备端。
优选地，所述播放所述对应的音频包括所述设备端收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
优选地，所述方法还包括：
设备端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频。
优选地，所述设备端接收到所述拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：
所述设备端接收设备端拍摄的无遮挡卡片照片；
所述设备端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
所述设备端选择与所述最高分对应的乐器模型识别库。
优选地，所述所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频包括：
所述设备端接收设备端拍摄的有遮挡卡片照片；
所述设备端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述设备端选择所述最高分对应的音频。
优选地，所述播放所述对应的音频包括所述设备端连接音频流并同步加载和播放。
优选地，所述无遮挡卡片照片为无遮挡带有完整乐器图像的卡片照片；所述有遮挡卡片照片为有遮挡带有完整乐器图像的卡片照片。
本发明还提供了一种基于计算机视觉的乐器演奏装置，该装置包括：选择模块和播放模块；
所述选择模块，用于接收到拍摄的卡片照片后选择对应的音频；
所述播放模块，用于播放所述对应的音频。
优选地，所述选择模块包括服务端，用于：
接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端。
优选地，所述服务端包括：
接收模块，用于接收设备端拍摄的无遮挡卡片照片；
比对模块，用于提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
其中所述选择模块选择与所述最高分对应的乐器模型识别库。
优选地，所述接收模块，还用于接收设备端拍摄的有遮挡卡片照片；
所述比对模块，还用于提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述服务端还包括发送模块，用于将所述最高分对应的音频发送到所述设备端。
优选地，所述播放模块，用于收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
优选地，所述选择模块还包括设备端，用于：
接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频。
优选地，所述设备端包括：
接收模块，用于接收设备端拍摄的无遮挡卡片照片；
比对模块，用于提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
其中所述选择模块选择与所述最高分对应的乐器模型识别库。
优选地，所述接收模块，还用于接收设备端拍摄的有遮挡卡片照片；
所述比对模块，还用于提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述选择模块还用于选择所述最高分对应的音频。
优选地，所述播放模块，用于连接音频流并同步加载和播放。
本发明通过一个摄像头模组加一个wifi联网模块和喇叭和若干卡片，可以实现各种打击乐器的演奏效果实现，使得演奏的设备成本变得更低，还可以通过对卡片不同区域遮挡达到播放不同音阶的效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明提供的一种基于计算机视觉的乐器演奏方法的流程图；
图2为本发明提供的一种基于计算机视觉的乐器演奏装置的结构示意图；
图3为本发明提供的一种基于计算机视觉的乐器演奏方法的原理框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本发明提供的一种基于计算机视觉的乐器演奏方法的流程图，该流程图包括：
步骤105，接收到拍摄的卡片照片后选择对应的音频。
当设备上的前置摄像头取景范围内出现无遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄所述无遮挡带有完整乐器图像的卡片得到所述无遮挡卡片照片并做处理后上传到所述服务端。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述服务端提取所述无遮挡卡片照片关键特征与卡片模型库比对，得到与多个近似卡片模型图像的类比结果，结果按照分数升序排列，得到所述无遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述无遮挡最高分是否高于阈值，若高于阈值，所述服务端选择无遮挡最高分对应的乐器模型识别库；若低于阈值，所述服务端再次提取所述无遮挡卡片照片关键特征与卡片模型库比对。当设备上的前置摄像头取景范围内出现有遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄有遮挡带有完整乐器图像的卡片得到所述有遮挡卡片照片并做处理后上传到所述服务端。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述服务端提取所述有遮挡卡片照片关键特征与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对，得到与多个近似区域遮挡的类比结果，结果按照分数升序排列，得到所述有遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述有遮挡最高分是否高于阈值，若高于阈值，所述服务端将有遮挡最高分对应的音频链接发送到所述设备端；若低于阈值，所述服务端再次提取所述有遮挡卡片照片关键特征与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对。其中，当服务端接收到无遮挡卡片照片和有遮挡卡片照片后进行识别，设备端会做重复图像过滤，对于同一个卡片的重复拍摄照片进行过滤；所述设备端通过wifi模块连接宽带网络将所述无遮挡卡片照片上传到所述服务端；对应的乐器模型识别库包括对应的乐器模型图像识别库和音频库。
步骤110，播放所述对应的音频。
所述设备端收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
所述卡片模型库，是由多种无遮挡的乐器卡片，通过计算机视觉技术训练出来的众多卡片模型。举例如无遮挡卡片通过摄像头拍摄得到无遮挡卡片照片，计算机通过对无遮挡卡片照片进行分析，将无遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住无遮挡卡片照片的特征类型，变成一个卡片模型。由此训练若干个卡片，形成多个卡片模型库。计算机能通过此卡片模型库认识并记录不同卡片。
所述乐器模型识别库,是由多种有遮挡的乐器卡片，通过计算机视觉技术训练出来的众多特征样本。举例如有遮挡卡片通过摄像头拍摄得到有遮挡卡片照片，计算机通过对有遮挡卡片照片进行分析，将有遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住有遮挡卡片照片的特征类型，变成一个特征样本。由此训练若干个卡片，形成乐器模型识别库。计算机能通过此乐器模型识别库认识并记录不同卡片。
摄像头通过拍摄无遮挡的乐器卡片得到无遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与卡片模型库内的不同卡片模型进行匹配，特征点相似度高到一定比例，则认为是识别到了模型库中的对应乐器卡片。通过对比照片内的特征点和卡片模型库内的卡片的特征点相似度，来给相似度打分，分数越高越接近卡片模型，分数越低越不像卡片模型，计算机会计算出无遮挡卡片照片和卡片模型库里的所有卡片模型的相似度得分，得到所述无遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
摄像头通过拍摄有遮挡乐器卡片得到有遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与选择的对应的乐器模型识别库内的有遮挡特征样本进行匹配，特征点相似度高到一定比例，则认为是识别到了乐器模型识别库中的有遮挡特征样本。通过对比照片内的特征点和乐器模型识别库内的有遮挡特征样本的特征点相似度，来给相似度打分，分数越高越接近有遮挡特征样本，分数越低越不像有遮挡特征样本，计算机会计算出有遮挡卡片照片和乐器模型识别库里的所有有遮挡特征样本的相似度得分，得到所述有遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
在具体应用本方法的过程中还可以采用另一种方式，当设备上的前置摄像头取景范围内出现无遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄所述无遮挡带有完整乐器图像的卡片得到所述无遮挡卡片照片并做处理。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述设备端提取所述无遮挡卡片照片关键特征与卡片模型库比对，得到与多个近似卡片模型图像的类比结果，结果按照分数升序排列，得到所述无遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述无遮挡最高分是否高于阈值，若高于阈值，所述设备端选择无遮挡最高分对应的乐器模型识别库；若低于阈值，所述设备端再次提取所述无遮挡卡片照片关键特征与卡片模型库比对。当设备上的前置摄像头取景范围内出现有遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄有遮挡带有完整乐器图像的卡片得到所述有遮挡卡片照片并做处理。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述设备端提取所述有遮挡卡片照片关键特征与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对，得到与多个近似区域遮挡的类比结果，结果按照分数升序排列，得到所述有遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述有遮挡最高分是否高于阈值，若高于阈值，所述设备端将有遮挡最高分对应的音频链接发送到所述设备端；若低于阈值，所述设备端再次提取所述有遮挡卡片照片关键特征与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对。其中，当设备端接收到无遮挡卡片照片和有遮挡卡片照片后进行识别，设备端会做重复图像过滤，对于同一个卡片的重复拍摄照片进行过滤；对应的乐器模型识别库包括对应的乐器模型图像识别库和音频库。
图2为本发明提供的一种基于计算机视觉的乐器演奏装置的结构示意图，该结构示意图包括选择模块205和播放模块210；
当设备上的前置摄像头取景范围内出现无遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄所述无遮挡带有完整乐器图像的卡片得到所述无遮挡卡片照片并做处理后上传到所述服务端。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述服务端提取所述无遮挡卡片照片关键特征通过比对模块与卡片模型库比对，得到与多个近似卡片模型图像的类比结果，结果按照分数升序排列，得到所述无遮挡卡片照片关键特征的最高分。可以根据该最高分通过选择模块来选择音频链接。优选地，判断所述无遮挡最高分是否高于阈值，若高于阈值，所述服务端通过选择模块选择无遮挡最高分对应的乐器模型识别库；若低于阈值，所述服务端再次提取所述无遮挡卡片照片关键特征通过比对模块与卡片模型库比对。当设备上的前置摄像头取景范围内出现有遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄有遮挡带有完整乐器图像的卡片得到所述有遮挡卡片照片并做处理后上传到所述服务端。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述服务端提取所述有遮挡卡片照片关键特征通过比对模块与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对，得到与多个近似区域遮挡的类比结果，结果按照分数升序排列，得到所述有遮挡卡片照片关键特征的最高分。可以根据该最高分通过选择模块来选择音频链接。优选地，判断所述有遮挡最高分是否高于阈值，若高于阈值，所述服务端将有遮挡最高分对应的音频链接通过发送模块发送到所述设备端；若低于阈值，所述服务端再次提取所述有遮挡卡片照片关键特征通过比对模块与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对。其中，当服务端通过接收模块接收到无遮挡卡片照片和有遮挡卡片照片后进行识别，设备端会做重复图像过滤，对于同一个卡片的重复拍摄照片进行过滤；所述设备端通过wifi模块连接宽带网络将所述无遮挡卡片照片上传到所述服务端；对应的乐器模型识别库包括对应的乐器模型图像识别库和音频库。所述设备端通过接收模块收到所述服务端发送的音频链接后连接音频流并同步加载，所述设备端通过所述播放模块播放音频。
所述卡片模型库，是由多种无遮挡的乐器卡片，通过计算机视觉技术训练出来的众多卡片模型。举例如无遮挡卡片通过摄像头拍摄得到无遮挡卡片照片，计算机通过对无遮挡卡片照片进行分析，将无遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住无遮挡卡片照片的特征类型，变成一个卡片模型。由此训练若干个卡片，形成多个卡片模型库。计算机能通过此卡片模型库认识并记录不同卡片。
所述乐器模型识别库,是由多种有遮挡的乐器卡片，通过计算机视觉技术训练出来的众多特征样本。举例如有遮挡卡片通过摄像头拍摄得到有遮挡卡片照片，计算机通过对有遮挡卡片照片进行分析，将有遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住有遮挡卡片照片的特征类型，变成一个特征样本。由此训练若干个卡片，形成乐器模型识别库。计算机能通过此乐器模型识别库认识并记录不同卡片。
摄像头通过拍摄无遮挡的乐器卡片得到无遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与卡片模型库内的不同卡片模型进行匹配，特征点相似度高到一定比例，则认为是识别到了模型库中的对应乐器卡片。通过对比照片内的特征点和卡片模型库内的卡片的特征点相似度，来给相似度打分，分数越高越接近卡片模型，分数越低越不像卡片模型，计算机会计算出无遮挡卡片照片和卡片模型库里的所有卡片模型的相似度得分，得到所述无遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
摄像头通过拍摄有遮挡乐器卡片得到有遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与选择的对应的乐器模型识别库内的有遮挡特征样本进行匹配，特征点相似度高到一定比例，则认为是识别到了乐器模型识别库中的有遮挡特征样本。通过对比照片内的特征点和乐器模型识别库内的有遮挡特征样本的特征点相似度，来给相似度打分，分数越高越接近有遮挡特征样本，分数越低越不像有遮挡特征样本，计算机会计算出有遮挡卡片照片和乐器模型识别库里的所有有遮挡特征样本的相似度得分，得到所述有遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
在具体应用本装置的过程中还可以采用另一种方式，当设备上的前置摄像头取景范围内出现无遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄所述无遮挡带有完整乐器图像的卡片得到所述无遮挡卡片照片并做处理。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述设备端提取所述无遮挡卡片照片关键特征通过比对模块与卡片模型库比对，得到与多个近似卡片模型图像的类比结果，结果按照分数升序排列，得到所述无遮挡卡片照片关键特征的最高分。可以根据该最高分通过选择模块来选择音频链接。优选地，判断所述无遮挡最高分是否高于阈值，若高于阈值，所述设备端通过选择模块选择无遮挡最高分对应的乐器模型识别库；若低于阈值，所述设备端再次提取所述无遮挡卡片照片关键特征通过比对模块与卡片模型库比对。当设备上的前置摄像头取景范围内出现有遮挡带有完整乐器图像的卡片，所述前置摄像头会以200ms/次的拍照频率拍摄有遮挡带有完整乐器图像的卡片得到所述有遮挡卡片照片并做处理。其中，所述处理包括压缩照片，过滤动态模糊照片等。所述设备端提取所述有遮挡卡片照片关键特征通过比对模块与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对，得到与多个近似区域遮挡的类比结果，结果按照分数升序排列，得到所述有遮挡卡片照片关键特征的最高分。可以根据该最高分通过选择模块来选择音频链接。优选地，判断所述有遮挡最高分是否高于阈值，若高于阈值，所述设备端将有遮挡最高分对应的音频链接通过发送模块发送到所述设备端；若低于阈值，所述设备端再次提取所述有遮挡卡片照片关键特征通过选择模块与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对。其中，当设备端通过接收模块接收到无遮挡卡片照片和有遮挡卡片照片后进行识别，设备端会做重复图像过滤，对于同一个卡片的重复拍摄照片进行过滤；对应的乐器模型识别库包括对应的乐器模型图像识别库和音频库。
需要说明的是，上述装置可以通过处理器和存储器实现，存储器存储需要实现的功能的程序，处理器运行该程序来实现对应的功能。
图3为本发明提供的一种基于计算机视觉的乐器演奏方法的原理框图。
在具体应用本发明的过程中，设备端前置摄像头以200ms/次的拍照频率自动拍摄无遮挡带有完整乐器图像的卡片，并压缩拍摄的照片，过滤动态模糊照片，过滤重复照片，得到无遮挡卡片照片并上传到服务端。所述服务端提取无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述最高分是否高于阈值，若高于阈值，所述服务端选择所述最高分对应的乐器模型识别库；若低于阈值，所述服务端再次提取所述无遮挡卡片照片关键特征与卡片模型库比对。所述设备端前置摄像头以200ms/次的拍照频率自动拍摄有遮挡带有完整乐器图像的卡片，并压缩拍摄的照片，过滤动态模糊照片，过滤重复照片，得到有遮挡卡片照片并上传到服务端。所述服务端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分。可以根据该最高分来选择音频链接。优选地，判断所述最高分是否高于阈值，若高于阈值，所述服务端将所述最高分对应的音频链接发送到所述设备端；若低于阈值，所述服务端再次提取所述有遮挡卡片照片关键特征与选择的所述对应的乐器模型识别库里面的有遮挡特征样本比对。所述设备端收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
所述卡片模型库，是由多种无遮挡的乐器卡片，通过计算机视觉技术训练出来的众多卡片模型。举例如无遮挡卡片通过摄像头拍摄得到无遮挡卡片照片，计算机通过对无遮挡卡片照片进行分析，将无遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住无遮挡卡片照片的特征类型，变成一个卡片模型。由此训练若干个卡片，形成多个卡片模型库。计算机能通过此卡片模型库认识并记录不同卡片。
所述乐器模型识别库,是由多种有遮挡的乐器卡片，通过计算机视觉技术训练出来的众多特征样本。举例如有遮挡卡片通过摄像头拍摄得到有遮挡卡片照片，计算机通过对有遮挡卡片照片进行分析，将有遮挡卡片照片的特征点进行提取和记录，通过多角度的照片特征点记录，计算机能记住有遮挡卡片照片的特征类型，变成一个特征样本。由此训练若干个卡片，形成乐器模型识别库。计算机能通过此乐器模型识别库认识并记录不同卡片。
摄像头通过拍摄无遮挡的乐器卡片得到无遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与卡片模型库内的不同卡片模型进行匹配，特征点相似度高到一定比例，则认为是识别到了模型库中的对应乐器卡片。通过对比照片内的特征点和卡片模型库内的卡片的特征点相似度，来给相似度打分，分数越高越接近卡片模型，分数越低越不像卡片模型，计算机会计算出无遮挡卡片照片和卡片模型库里的所有卡片模型的相似度得分，得到所述无遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
摄像头通过拍摄有遮挡乐器卡片得到有遮挡卡片照片，提取照片中的特征点，并将照片内的特征点进行分析，将特征点与选择的对应的乐器模型识别库内的有遮挡特征样本进行匹配，特征点相似度高到一定比例，则认为是识别到了乐器模型识别库中的有遮挡特征样本。通过对比照片内的特征点和乐器模型识别库内的有遮挡特征样本的特征点相似度，来给相似度打分，分数越高越接近有遮挡特征样本，分数越低越不像有遮挡特征样本，计算机会计算出有遮挡卡片照片和乐器模型识别库里的所有有遮挡特征样本的相似度得分，得到所述有遮挡卡片照片关键特征的最高分，所述最高分的匹配模型为最接近的识别结果。
在具体应用本发明的过程中，通过一个摄像头模组加一个wifi联网模块和喇叭和若干卡片，可以实现各种打击乐器的演奏效果实现，使得演奏的设备成本变得更低，还可以通过对卡片不同区域遮挡达到播放不同音阶的效果。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (19)
1.一种基于计算机视觉的乐器演奏方法，其特征在于，该方法包括：
接收到拍摄的卡片照片后选择对应的音频；
播放所述对应的音频。
2.根据权利要求1所述的基于计算机视觉的乐器演奏方法，其特征在于，所述接收到拍摄的卡片照片后选择对应的音频包括：
服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端。
3.根据权利要求2所述的基于计算机视觉的乐器演奏方法，其特征在于，所述服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：
所述服务端接收设备端拍摄的无遮挡卡片照片；
所述服务端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
所述服务端选择与所述最高分对应的乐器模型识别库。
4.根据权利要求2所述的基于计算机视觉的乐器演奏方法，其特征在于，所述所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端包括：
所述服务端接收设备端拍摄的有遮挡卡片照片；
所述服务端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述服务端将所述最高分对应的音频发送到所述设备端。
5.根据权利要求2-4任意一项所述的基于计算机视觉的乐器演奏方法，其特征在于，所述播放所述对应的音频包括所述设备端收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
6.根据权利要求1所述的基于计算机视觉的乐器演奏方法，其特征在于，所述方法还包括：
设备端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频。
7.根据权利要求6所述的基于计算机视觉的乐器演奏方法，其特征在于，所述设备端接收到所述拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：
所述设备端接收设备端拍摄的无遮挡卡片照片；
所述设备端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
所述设备端选择与所述最高分对应的乐器模型识别库。
8.根据权利要求6所述的基于计算机视觉的乐器演奏方法，其特征在于，所述所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频包括：
所述设备端接收设备端拍摄的有遮挡卡片照片；
所述设备端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述设备端选择所述最高分对应的音频。
9.根据权利要求6-8任意一项所述的基于计算机视觉的乐器演奏方法，其特征在于，所述播放所述对应的音频包括所述设备端连接音频流并同步加载和播放。
10.根据权利要求2或6所述的基于计算机视觉的乐器演奏方法，其特征在于，所述无遮挡卡片照片为无遮挡带有完整乐器图像的卡片照片；所述有遮挡卡片照片为有遮挡带有完整乐器图像的卡片照片。
11.一种基于计算机视觉的乐器演奏装置，其特征在于，该装置包括选择模块和播放模块；
所述选择模块，用于接收到拍摄的卡片照片后选择对应的音频；
所述播放模块，用于播放所述对应的音频。
12.根据权利要求11所述的基于计算机视觉的乐器演奏装置，其特征在于，所述选择模块包括服务端，用于：
接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端。
13.根据权利要求12所述的基于计算机视觉的乐器演奏装置，其特征在于，所述服务端包括：
接收模块，用于接收设备端拍摄的无遮挡卡片照片；
比对模块，用于提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
其中所述选择模块选择与所述最高分对应的乐器模型识别库。
14.根据权利要求12所述的基于计算机视觉的乐器演奏装置，其特征在于，所述接收模块，还用于接收设备端拍摄的有遮挡卡片照片；
所述比对模块，还用于提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述服务端还包括发送模块，用于将所述最高分对应的音频发送到所述设备端。
15.根据权利要求12-14任意一项所述的基于计算机视觉的乐器演奏装置，其特征在于，所述播放模块，用于收到所述服务端发送的音频链接后连接音频流并同步加载和播放。
16.根据权利要求11所述的基于计算机视觉的乐器演奏装置，其特征在于，所述选择模块还包括设备端，用于：
接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；
接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频。
17.根据权利要求16所述的基于计算机视觉的乐器演奏装置，其特征在于，所述设备端包括：
接收模块，用于接收设备端拍摄的无遮挡卡片照片；
比对模块，用于提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；
其中所述选择模块选择与所述最高分对应的乐器模型识别库。
18.根据权利要求17所述的基于计算机视觉的乐器演奏装置，其特征在于，所述接收模块，还用于接收设备端拍摄的有遮挡卡片照片；
所述比对模块，还用于提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；
所述选择模块还用于选择所述最高分对应的音频。
19.根据权利要求16-18任意一项所述的基于计算机视觉的乐器演奏装置，其特征在于，所述播放模块，用于连接音频流并同步加载和播放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183042.3A CN107945780A (zh) | 2017-11-23 | 2017-11-23 | 一种基于计算机视觉的乐器演奏方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711183042.3A CN107945780A (zh) | 2017-11-23 | 2017-11-23 | 一种基于计算机视觉的乐器演奏方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107945780A true CN107945780A (zh) | 2018-04-20 |
Family
ID=61930073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711183042.3A Pending CN107945780A (zh) | 2017-11-23 | 2017-11-23 | 一种基于计算机视觉的乐器演奏方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107945780A (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005099559A (ja) * | 2003-09-26 | 2005-04-14 | Roland Corp | 電子楽器 |
| US20070084332A1 (en) * | 2005-10-19 | 2007-04-19 | Blaszczyk Abbey C | Crib toy |
| CN101393697A (zh) * | 2008-10-27 | 2009-03-25 | 武汉大学 | 一种虚拟电子音乐教学设备及其操作信息输入方法 |
| US20120007884A1 (en) * | 2010-07-06 | 2012-01-12 | Samsung Electronics Co., Ltd. | Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal |
| CN202512877U (zh) * | 2012-03-08 | 2012-10-31 | 苏州市职业大学 | 一种用于乐谱识别及自动演奏的装置 |
| CN203311835U (zh) * | 2013-06-25 | 2013-11-27 | 安徽省科普产品工程研究中心有限责任公司 | 简易虚拟电子琴 |
| CN203355275U (zh) * | 2013-07-03 | 2013-12-25 | 郑海霞 | 一种读卡片式电子琴 |
| CN104078035A (zh) * | 2013-07-02 | 2014-10-01 | 深圳市腾讯计算机系统有限公司 | 一种演奏乐曲的方法及装置 |
| WO2015101908A1 (en) * | 2013-12-31 | 2015-07-09 | Tonara Ltd. | System and method for optical music recognition |
| CN105280170A (zh) * | 2015-10-10 | 2016-01-27 | 北京百度网讯科技有限公司 | 一种乐谱演奏的方法和装置 |
| CN105447499A (zh) * | 2015-10-23 | 2016-03-30 | 北京爱乐宝机器人科技有限公司 | 一种图书互动方法、装置和设备 |
| CN105453168A (zh) * | 2014-01-30 | 2016-03-30 | 施政 | 用物体进行学习、创作和演奏音乐的系统和方法 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
| CN106205576A (zh) * | 2016-08-31 | 2016-12-07 | 哈尔滨固泰电子有限责任公司 | 电子乐器 |
| CN106297755A (zh) * | 2016-09-28 | 2017-01-04 | 北京邮电大学 | 一种用于乐谱图像识别的电子设备及识别方法 |
| CN106782464A (zh) * | 2016-12-01 | 2017-05-31 | 北京银河润泰科技有限公司 | 键盘动作检测方法及装置 |
| CN107248407A (zh) * | 2017-06-30 | 2017-10-13 | 武汉理工大学 | 一种手势音乐演奏器 |
-
2017
- 2017-11-23 CN CN201711183042.3A patent/CN107945780A/zh active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005099559A (ja) * | 2003-09-26 | 2005-04-14 | Roland Corp | 電子楽器 |
| US20070084332A1 (en) * | 2005-10-19 | 2007-04-19 | Blaszczyk Abbey C | Crib toy |
| CN101393697A (zh) * | 2008-10-27 | 2009-03-25 | 武汉大学 | 一种虚拟电子音乐教学设备及其操作信息输入方法 |
| US20120007884A1 (en) * | 2010-07-06 | 2012-01-12 | Samsung Electronics Co., Ltd. | Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal |
| CN202512877U (zh) * | 2012-03-08 | 2012-10-31 | 苏州市职业大学 | 一种用于乐谱识别及自动演奏的装置 |
| CN203311835U (zh) * | 2013-06-25 | 2013-11-27 | 安徽省科普产品工程研究中心有限责任公司 | 简易虚拟电子琴 |
| CN104078035A (zh) * | 2013-07-02 | 2014-10-01 | 深圳市腾讯计算机系统有限公司 | 一种演奏乐曲的方法及装置 |
| CN203355275U (zh) * | 2013-07-03 | 2013-12-25 | 郑海霞 | 一种读卡片式电子琴 |
| WO2015101908A1 (en) * | 2013-12-31 | 2015-07-09 | Tonara Ltd. | System and method for optical music recognition |
| CN105453168A (zh) * | 2014-01-30 | 2016-03-30 | 施政 | 用物体进行学习、创作和演奏音乐的系统和方法 |
| CN105280170A (zh) * | 2015-10-10 | 2016-01-27 | 北京百度网讯科技有限公司 | 一种乐谱演奏的方法和装置 |
| CN105447499A (zh) * | 2015-10-23 | 2016-03-30 | 北京爱乐宝机器人科技有限公司 | 一种图书互动方法、装置和设备 |
| CN105825845A (zh) * | 2016-03-16 | 2016-08-03 | 湖南大学 | 一种播放乐器音乐的方法及系统 |
| CN106205576A (zh) * | 2016-08-31 | 2016-12-07 | 哈尔滨固泰电子有限责任公司 | 电子乐器 |
| CN106297755A (zh) * | 2016-09-28 | 2017-01-04 | 北京邮电大学 | 一种用于乐谱图像识别的电子设备及识别方法 |
| CN106782464A (zh) * | 2016-12-01 | 2017-05-31 | 北京银河润泰科技有限公司 | 键盘动作检测方法及装置 |
| CN107248407A (zh) * | 2017-06-30 | 2017-10-13 | 武汉理工大学 | 一种手势音乐演奏器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106463152A (zh) | 自动组织视频以适应显示时间 | |
| CN107566907A (zh) | 视频剪辑方法、装置、存储介质及终端 | |
| CN109413563A (zh) | 视频的音效处理方法及相关产品 | |
| CN107707828B (zh) | 一种视频处理方法及移动终端 | |
| CN105874780A (zh) | 对一组图像生成文本色彩的方法和装置 | |
| CN104284240B (zh) | 视频浏览方法及装置 | |
| CN105959749A (zh) | 一种智能终端、遥控器、推荐方法及系统 | |
| CN108777766B (zh) | 一种多人拍照方法、终端及存储介质 | |
| CN107766820A (zh) | 图像分类方法及装置 | |
| CN101314081B (zh) | 一种演讲背景匹配方法和装置 | |
| CN107193983A (zh) | 图像搜索方法及装置 | |
| CN106331504A (zh) | 拍摄方法及装置 | |
| CN106131475A (zh) | 一种视频处理方法、装置及终端 | |
| CN105159988A (zh) | 一种浏览照片的方法及装置 | |
| CN108985176A (zh) | 图像生成方法及装置 | |
| CN108898591A (zh) | 图像质量的评分方法及装置、电子设备、可读存储介质 | |
| CN103942275B (zh) | 一种视频识别方法与设备 | |
| CN107831989A (zh) | 一种应用程序参数调整方法及移动终端 | |
| CN103945140B (zh) | 视频字幕的生成方法及系统 | |
| CN108062760A (zh) | 视频编辑方法、装置及智能移动终端 | |
| CN113014801B (zh) | 录像方法、装置、电子设备及介质 | |
| CN112115282A (zh) | 基于搜索的问答方法、装置、设备及存储介质 | |
| CN105677731A (zh) | 显示图片预览图的方法、装置、终端及服务器 | |
| CN107948660A (zh) | 视频编码适配的方法及装置 | |
| CN106991641A (zh) | 植入图片的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180420 |
|
| WD01 | Invention patent application deemed withdrawn after publication |