CN111695499B - 一种琴键识别方法、装置、电子设备及存储介质 - Google Patents
一种琴键识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111695499B CN111695499B CN202010526307.0A CN202010526307A CN111695499B CN 111695499 B CN111695499 B CN 111695499B CN 202010526307 A CN202010526307 A CN 202010526307A CN 111695499 B CN111695499 B CN 111695499B
- Authority
- CN
- China
- Prior art keywords
- key
- keyboard
- black
- image
- black keys
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000003062 neural network model Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 17
- 238000003825 pressing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000000994 depressogenic effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000000881 depressing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明实施例公开一种琴键识别方法、装置、电子设备及存储介质，涉及音乐教育技术领域，能够便捷有效的进行琴键识别。所述方法包括：采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。本发明可用于音乐教育领域。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种琴键识别方法、装置、电子设备及存储介质。
背景技术
在钢琴教育领域中，为了监控用户弹奏是否准确、指法是否正确，常常需要对钢琴琴键进行检测。
目前传统钢琴琴键检测方案，很多是基于光电传感器和多路单片机技术，但该检测方案具有如下缺点：占用琴键空间，影响弹奏；结构固定不稳定，易产生噪声，干扰琴声；装置外置，影响美观；结构复杂；电路复杂，成本高等。
此外，还有一些钢琴琴键检测方案是在摄像头视野里绘制好固定的钢琴琴键位置，然后演奏者本人进行摄像头调整，确保钢琴琴键本身的位置跟摄像头视野里绘制的位置能一一对应上；或者在钢琴琴键上贴上对应的标签，通过调整摄像头视野中标签与钢琴琴键标签对齐的方式来实现琴键检测，或通过检测琴键上的标签来实现钢琴琴键检测。然而，这样不但会耗费演奏者宝贵的时间来进行摄像头调整，也会影响钢琴本身原有的美观。
对于如何便捷有效地进行琴键识别，相关领域尚无有效的解决方案。
发明内容
有鉴于此，本发明实施例提供一种琴键识别方法、装置、电子设备及存储介质，能够便捷有效地进行琴键识别。
第一方面，本发明实施例提供一种琴键识别方法，包括：采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。
可选的，所述采集目标乐器的第一键盘图像包括：通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。
可选的，所述根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓包括：根据所述第一键盘图像中相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音；根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓。
可选的，所述根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，所述方法还包括：通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
可选的，所述识别所述按下位置对应的琴键之后，所述方法还包括：根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估所述用户弹奏的准确性。
可选的，在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，所述方法还包括：获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
可选的，所述获取所述目标乐器的多幅第二键盘图像包括：通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
可选的，所述利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型包括：构建预设神经网络模型，所述神经网络模型中包括待确定的参数；将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。
第二方面，本发明的实施例还提供一种琴键识别装置，包括：图像采集单元，用于采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；第一确定单元，用于将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；第二确定单元，用于根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。
可选的，所述图像采集单元，具体用于通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。
可选的，所述第二确定单元包括：分组模块，用于根据所述第一键盘图像中相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音；确定模块，用于根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓。
可选的，所述装置还包括：检测单元，用于在根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；识别单元，用于根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
可选的，所述装置还包括评估单元，用于在识别所述按下位置对应的琴键之后，根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估所述用户弹奏的准确性。
可选的，所述装置还包括：图像获取单元，用于在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；模型训练单元，用于利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
可选的，所述图像获取单元包括：录制模块，用于通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；选择模块，用于从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
可选的，所述模型训练单元包括：构建模块，用于构建预设神经网络模型，所述神经网络模型中包括待确定的参数；输入模块，用于将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；参数确定模块，用于根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。
第三方面，本发明的实施例还提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行本发明的实施例提供的任一种琴键识别方法。
第四方面，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明的实施例提供的任一种琴键识别方法。
本发明的实施例提供的琴键识别方法、装置、电子设备及存储介质，能够采集目标乐器的第一键盘图像，将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓，并根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。这样，摄像头只需大体朝向乐器键盘，即可根据键盘中黑键的分布规律识别出八度音的范围及各个琴键的轮廓，无需摄像头对各个琴键进行对齐操作，也无需在琴键上粘贴和识别标签，从而能够便捷有效地进行琴键识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的实施例提供的琴键识别方法的一种流程图；
图2为本发明的实施例中目标乐器的第一键盘图像的琴键分布示意图；
图3为本发明的实施例提供的琴键识别装置的一种结构示意图；
图4为本发明的实施例提供的电子设备的一种结构示意图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
第一方面，本发明的实施例提供一种琴键识别方法，能够便捷有效地进行琴键识别。
如图1所示，本发明的实施例提供一种琴键识别方法，该方法可以包括：
S11，采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；
本步骤中可以通过图像采集装置(例如移动终端的摄像头等)采集目标乐器的第一键盘图像。其中，目标乐器可以为钢琴、电子琴、手风琴等任何具有黑键和白键类似钢琴键盘的乐器。第一键盘图像可以为目标乐器的一幅或多幅键盘照片。其中，每幅键盘照片上可以包括目标乐器的部分琴键或全部琴键。各幅键盘照片中覆盖的键盘位置可以相同，可以部分相同，也可以不同。
S12，将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；
本步骤中，图像识别模型可以是预先设置的深度学习模型，例如基于Enet的神经网络模型，该图像识别模型可以用于从第一键盘图像中识别出哪些像素代表黑色琴键，也即是将黑色琴键从非黑键图像形成的背景中分割出来，得到分割结果图，从而由该分割结果图得到各黑键的轮廓。
在第一键盘图像中，每个黑键可以对应着一些像素点的集合，这些像素点可以形成近似矩形的像素阵列。根据每个像素阵列的边缘上的像素点的坐标即可确定每个黑键的轮廓。可选的，在本发明的一个实施例中，为了计算方便，可以对每个黑键的轮廓进行近似，例如可以将黑键的多边形或不规则轮廓近似成矩形，可选的，该矩形可以根据摄像角度的不同呈现对应的视图变化。
S13，根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。
步骤S12中得到黑键的轮廓后，可以进一步确定相邻两个黑键的间距。可选的，在本发明的一个实施例中，间距例如可以表示为两个相邻黑键的轮廓中心点的距离，以便对黑键的间距进行更精确的刻画。
由于键盘中的黑键并不是均匀分布的，而是根据间距的变化规律分成多个键组，各键组对应着不同八度音。基于此，本发明的实施例提供的琴键识别方法可以根据黑键的轮廓以及相邻黑键的间距，确定第一键盘图像中的各个键组，从而可以确定每个八度音对应的琴键范围及每个八度音中各白键的轮廓。
本发明的实施例提供的琴键识别方法，能够采集目标乐器的第一键盘图像，将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓，并根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。这样，摄像头只需大体朝向乐器键盘，即可根据键盘中黑键的分布规律识别出八度音的范围及各个琴键的轮廓，无需摄像头对各个琴键进行对齐操作，也无需在琴键上粘贴和识别标签，从而能够便捷有效地进行琴键识别。
具体而言，在步骤S11中，采集目标乐器的第一键盘图像具体可以包括：通过设置在目标乐器上方的摄像头，采集目标乐器的键盘中预设区域的第一键盘图像，其中，摄像头的光轴与键盘所在平面成预设角度。
可选的，采集键盘图像的摄像头既可以是独立的摄像头设备，也可以是设置在手机等终端上的摄像头部件。根据实际的应用场景，可以将摄像头摆放在目标乐器上，并调整摄像头的放置角度，将摄像头的光轴向下倾斜，与键盘所在平面成预设角度。可选的，该预设角度例如可以为70°至90°。当预设角度为90°时，摄像头位于键盘正上方，采集的图像最接近键盘的真实形状，而随着预设角度的减小，摄像头的位置逐渐倾斜，得到的键盘图像也会随之发生变化，例如键盘的形状可能会在某个方向上被拉伸或压缩，但琴键之间的比例关系不变。需要说明的是，摄像头光轴与键盘所在平面之间的预设角度应尽量在合适的范围，保证第一键盘图像中的黑键不发生堆叠。
在本发明的实施例中，目标乐器的键盘可能会占据很大空间，例如钢琴有88个琴键，摄像头由于摆放位置和自身焦距的不同，采集键盘中的预设区域时，该预设区域既可以为键盘的全部区域，也可以为键盘的一部分区域，例如键盘中央附近的区域等。
根据摄像头的摆放位置和角度采集到目标乐器的第一键盘图像后，就可以在步骤S12中对该第一键盘图像进行识别，找出其中黑键的像素点的坐标。在本发明的实施例中，可以利用预先设置的图像识别模型对第一键盘图像中的黑键进行识别。将第一键盘图像输入图像识别模型后，图像识别模型可以输出第一键盘图像中黑键由哪些像素点组成，从而识别出第一键盘图像中的各个黑键的轮廓。
得到了第一键盘图像中的黑键的轮廓后，在步骤S13中可以根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。可选的，在本发明的一个实施例中，根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓可以包括：
根据所述第一键盘图像中相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音；
根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓。
举例而言，在本发明的一个实施例中，第一键盘图像的示意图可以如图2所示。图中以黑色矩形代表黑键，以白色矩形代表白键。由图2可以看出，两个距离较近的黑键K1、K2和三个距离较近的黑键L1、L2、L3之间会有一个较大的间隔。据此，可以对第一键盘图像中的黑键进行分组，将以K1开始，以L3结尾的黑键K1、K2、L1、L2、L3分为一组，从而得到多个黑键分组，其中每个分组中的五个黑键都属于同一个八度音。
可选的，对黑键分组时可以采取如下分组策略：假设任意三个相邻黑键分别为b1，b2，b3，若b1与b2距离大于d1且小于d2，则认为b1，b2为一小组，若b3与b2的距离也大于d1小于d2，则b1，b2，b3为一小组，若b1与b2距离大于d2，则b1单独为一小组，经此操作后第一键盘图像中的所有黑键可以被分为1个黑键一小组，两个黑键一小组或三个黑键一小组。然后再对各小组黑键分组，相邻的两黑键小组和三黑键小组被划分为一个大组，该大组中的五个黑键同为一个八度内的黑键。
由于已经通过图像识别模型识别出了各黑键的轮廓，而每个黑键都是设置在两个白键之间的，因此可以根据黑键的轮廓及相邻黑键之间的间距计算出每个黑键旁边的两个白键的轮廓。例如，如图2所示，对于三黑键小组的中间黑键(即L2)而言，其下方两个相邻白键之间的分界线大体位于黑键宽度的中点(即1/2位置)，如果黑键L2的左下端点的横坐标为x1和右下端点横坐标为x2，则可以得到黑键L2两旁的白键W1和W2的分界线的横坐标应为x1和x2的平均值(x1+x2)/2。
对于两黑键小组(K1K2)和三黑键小组(L1L2L3)中位于边缘的两个黑键(即K1、K2和L1、L3)而言，其下方两个相邻白键之间的分界线大体位于黑键宽度的靠近黑键小组内侧的1/3(而不是1/2)处，因此可以根据该比例关系确定黑键下方的相邻两个白键的分界线，具体计算过程此处不再赘述。通过上述方法即可以确定所有相邻白键之间的分界线，也就确定了所有白键的轮廓。这样，虽然在第一键盘图像中各个白键紧密相邻排列，很难直接用肉眼从图像中分辨清楚每个白键，但根据本发明的实施例提供的琴键识别方法，即可通过识别黑键的轮廓较精确地计算出各个白键的轮廓，从而有效分辨出每个白键。
上述实施例中，用于识别黑键的图像识别模型是预先设置的。在本发明的其他实施例中，为了有效识别第一键盘图像中的黑键，还可以利用大量的键盘图像进行模型训练。
具体而言，在本发明的一个实施例中，在步骤S12中将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，本发明的实施例提供的琴键识别方法还可以包括：
获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；
利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
可选的，获取所述目标乐器的多幅第二键盘图像具体可以包括：
通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；
从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
可选的，为了提高训练出的模型对黑键的识别准确性，在本发明的实施例中，可以对用于模型训练的第二键盘图像进行丰富和广泛的采集。例如，可以以多种距离和角度采集目标乐器的键盘图像，还可以将光线的明暗和光照方向作为参考因素，在不同的光照条件下分别采集目标乐器的第二键盘图像。
在采集第二键盘图像时，既可以拍摄一张一张的照片，也可以直接录制视频片段(例如10秒至40秒的视频片段)，然后从视频片段中选择清晰的图像帧，从而有效提高了第二键盘图像的获取效率。
举例而言，在本发明的一个实施例中，采集第二键盘图像的过程可以包括：
步骤一、把移动设备或则摄像头摆放在钢琴上方，摄像头斜向下正对着钢琴琴键，尽量保持钢琴中心正对摄像头中心。
步骤二、打开摄像头(移动设备前置摄像头)，点击开始录制视频按钮进行时长为15s-30s的录制。
步骤三、点击结束录制按钮结束当前视频录制。
步骤四、调整摄像头，使其向下偏移15度以内，重复步骤二至步骤三。
步骤五、调整摄像头，使其向上偏移15度以内，重复步骤二至步骤三。
步骤六、调整摄像头，使其向左偏移15度以内，重复步骤二至步骤三。
步骤七、调整摄像头，使其向右偏移15度以内，重复步骤二至步骤三。
步骤八、分别在步骤四到步骤七的时候调整环境光，重复步骤二至步骤三。
步骤九、关闭摄像头，结束数据采集。
采集完第二键盘图像后，进一步的，在利用第二键盘图像进行模型训练时，可以先设置一个带有未知参数的模型，将第二键盘图像输入该模型并从该模型输出标记的黑键轮廓。通过大量的有标记的训练确定模型中的未知参数，从而得到可以应用的图像识别模型。
具体的，在本发明的一个实施例中，利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型可以包括：
构建预设神经网络模型，所述神经网络模型中包括待确定的参数；可选的，该神经网络模型例如可以为基于Enet的模型。
将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；可选的，在该神经网络模型中可以将每幅第二键盘图像中的像素都进行图像分割处理，例如进行二值化处理，将高于预设像素阈值的像素确定为“1”(即识别目标)，将低于预设像素阈值的像素确定为“0”(即背景)，从而得到分割结果图，并根据分割结果图生成黑键轮廓。当然，由于此时模型中还带有未知的参数，因此得到黑键的轮廓中还带有这些未知参数。
根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。由于第二键盘图像中已经标注出了黑键的轮廓，因此可以利用该已知条件确定模型中的未知参数，从而得到该具体的图像识别模型，并进一步在步骤S12中利用该图像识别模型识别第一键盘图像中的黑键的轮廓。
进一步的，在步骤S13中根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，本发明的实施例提供的琴键识别方法还可以包括：
通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；
根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
也即是说，在得到目标乐器中的各个黑键和白键的轮廓以及各个八度音对应的琴键范围之后，可以捕捉用户手指的图像，并确定手指按下位置对应的琴键，从而迅速确定出该按下的琴键可能对应哪个音名。
可选的，在本发明的另一个实施例中，也可以使用具有深度信息的摄像头检测哪个琴键被按下，从而进一步提高琴键识别的准确性。
进一步的，在本发明的一个实施例中，识别所述按下位置对应的琴键之后，本发明的实施例提供的琴键识别方法还可以包括：根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估所述用户弹奏的准确性。例如，在本发明的一个实施例中，如果根据音高识别结果得出音高为do，而根据琴键识别方法确定相同时刻下用户手指按下位置对应的琴键也为do，则可以确定用户弹奏的是do。
举例而言，本发明的实施例提供的琴键识别方法可以用于用户的钢琴陪练。用户首先可以摆放好移动设备或外界摄像头，尽可能的保持摄像头中心与钢琴琴键中心在一条线上。用户可以打开钢琴琴键检测应用(移动设备)或开启摄像头(外界摄像头)，根据摄像头中的画面调整摄像头位置和角度。调整完毕，摄像头可以获取第一键盘图像并利用图像识别模型进行琴键识别，随后用户可以开始钢琴演奏，系统可以进一步对用户手指按键进行识别。
可选的，在本发明的另一个实施例中，摄像头也可以在演奏过程中捕获到钢琴琴键的图像数据，并将捕获图像数据输入图像识别模型，从而得出黑色琴键的轮廓(该轮廓可以以像素坐标的形式表示)，然后再根据黑色琴键的轮廓得出白色琴键的轮廓，并确定用户手指按下的琴键。
可选的，用户演奏结束后，还可以结合音高识别和琴键识别形成用户的演奏分析报告，供用户参考。
第二方面，本发明的实施例还提供一种琴键识别装置，能够便捷有效地进行琴键识别。
如图3所示，本发明的实施例提供的琴键识别装置可以包括：
图像采集单元31，用于采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；
第一确定单元32，用于将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；
第二确定单元33，用于根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。
本发明的实施例提供的琴键识别装置，能够采集目标乐器的第一键盘图像，将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓，并根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓。这样，摄像头只需大体朝向乐器键盘，即可根据键盘中黑键的分布规律识别出八度音的范围及各个琴键的轮廓，无需摄像头对各个琴键进行对齐操作，也无需在琴键上粘贴和识别标签，从而能够便捷有效地进行琴键识别。
可选的，图像采集单元31，具体可以用于通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。
可选的，第二确定单元33可以包括：
分组模块，用于根据所述第一键盘图像中相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音；
确定模块，用于根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓。
可选的，本发明的实施例提供的琴键识别装置还可以包括：
检测单元，用于在根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；
识别单元，用于根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
可选的，本发明的实施例提供的琴键识别装置还可以评估单元，用于在识别所述按下位置对应的琴键之后，根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估所述用户弹奏的准确性。
可选的，本发明的实施例提供的琴键识别装置还可以包括：
图像获取单元，用于在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；
模型训练单元，用于利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
可选的，所述图像获取单元可以包括：
录制模块，用于通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；
选择模块，用于从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
可选的，所述模型训练单元可以包括：
构建模块，用于构建预设神经网络模型，所述神经网络模型中包括待确定的参数；
输入模块，用于将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；
参数确定模块，用于根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。
第三方面，本发明的实施例还提供一种电子设备，能够便捷有效的进行琴键识别。
如图4所示，本发明的实施例提供的电子设备，可以包括：壳体51、处理器52、存储器53、电路板54和电源电路55，其中，电路板54安置在壳体51围成的空间内部，处理器52和存储器53设置在电路板54上；电源电路55，用于为上述电子设备的各个电路或器件供电；存储器53用于存储可执行程序代码；处理器52通过读取存储器53中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一实施例提供的琴键识别方法。
处理器52对上述步骤的具体执行过程以及处理器52通过运行可执行程序代码来进一步执行的步骤，可以参见前述实施例的描述，在此不再赘述。
上述电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
相应的，本发明的实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述实施例提供的任一种琴键识别方法，因此也能实现相应的技术效果，前文已经进行了详细说明，此处不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (16)
1.一种琴键识别方法，其特征在于，包括：
采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；
将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；
根据所述黑键的轮廓以及相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音，根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓；
其中，对黑键分组时采取如下分组策略：假设任意三个相邻黑键分别为b1，b2，b3，若b1与b2距离大于d1且小于d2，则b1，b2为一小组，若b3与b2的距离也大于d1小于d2，则b1，b2，b3为一小组，若b1与b2距离大于d2，则b1单独为一小组，则第一键盘图像中的所有黑键可以被分为1个黑键一小组，两个黑键一小组或三个黑键一小组；再对各小组黑键分组，相邻的两黑键小组和三黑键小组被划分为一个大组，该大组中的五个黑键同为一个八度音的黑键；根据黑键的轮廓及相邻黑键之间的间距计算出每个黑键旁边的两个白键的轮廓。
2.根据权利要求1所述的方法，其特征在于，所述采集目标乐器的第一键盘图像包括：
通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。
3.根据权利要求1所述的方法，其特征在于，所述根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，所述方法还包括：
通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；
根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
4.根据权利要求3所述的方法，其特征在于，所述识别所述按下位置对应的琴键之后，所述方法还包括：
根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估用户弹奏的准确性。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，所述方法还包括：
获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；
利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
6.根据权利要求5所述的方法，其特征在于，所述获取所述目标乐器的多幅第二键盘图像包括：
通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；
从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
7.根据权利要求5所述的方法，其特征在于，所述利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型包括：
构建预设神经网络模型，所述神经网络模型中包括待确定的参数；
将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；
根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。
8.一种琴键识别装置，其特征在于，包括：
图像采集单元，用于采集目标乐器的第一键盘图像，其中，所述目标乐器的键盘上设置有黑键和白键；
第一确定单元，用于将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓；
第二确定单元，用于根据所述黑键的轮廓以及相邻黑键的间距，对各黑键进行分组，每组黑键属于同一个八度音，根据所述黑键的分组情况以及组内相邻黑键的间距，确定每组黑键对应的各白键的轮廓；
其中，对黑键分组时采取如下分组策略：假设任意三个相邻黑键分别为b1，b2，b3，若b1与b2距离大于d1且小于d2，则b1，b2为一小组，若b3与b2的距离也大于d1小于d2，则b1，b2，b3为一小组，若b1与b2距离大于d2，则b1单独为一小组，则第一键盘图像中的所有黑键可以被分为1个黑键一小组，两个黑键一小组或三个黑键一小组；再对各小组黑键分组，相邻的两黑键小组和三黑键小组被划分为一个大组，该大组中的五个黑键同为一个八度音的黑键；根据黑键的轮廓及相邻黑键之间的间距计算出每个黑键旁边的两个白键的轮廓。
9.根据权利要求8所述的装置，其特征在于，所述图像采集单元，具体用于通过设置在所述目标乐器上方的摄像头，采集所述目标乐器的键盘中预设区域的第一键盘图像，其中，所述摄像头的光轴与所述键盘所在平面成预设角度。
10.根据权利要求8所述的装置，其特征在于，还包括：
检测单元，用于在根据所述黑键的轮廓以及相邻黑键的间距，确定所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓之后，通过摄像头检测用户手指在所述目标乐器的键盘上的按下位置；
识别单元，用于根据所述第一键盘图像中每个八度音对应的琴键范围及每个八度音中各白键的轮廓，识别所述按下位置对应的琴键。
11.根据权利要求10所述的装置，其特征在于，还包括评估单元，用于在识别所述按下位置对应的琴键之后，根据所述按下位置对应的琴键，以及按下所述琴键的时刻所对应的音高识别结果，评估用户弹奏的准确性。
12.根据权利要求8至11中任一项所述的装置，其特征在于，还包括：
图像获取单元，用于在所述将所述第一键盘图像输入预设的图像识别模型，以确定所述第一键盘图像中各黑键的轮廓之前，获取所述目标乐器的多幅第二键盘图像，其中，所述第二键盘图像中的黑键的轮廓被标注出；
模型训练单元，用于利用所述第二键盘图像进行深度学习模型训练，得到所述图像识别模型。
13.根据权利要求12所述的装置，其特征在于，所述图像获取单元包括：
录制模块，用于通过设置在所述目标乐器上方的摄像头，对所述目标乐器的键盘录制预设时长的视频片段，在视频录制过程中，所述摄像头在预设角度范围内偏转，以使所述摄像头的视野在所述目标乐器的键盘上移动；
选择模块，用于从所述视频片段中选择至少一部分图像帧作为所述第二键盘图像。
14.根据权利要求12所述的装置，其特征在于，所述模型训练单元包括：
构建模块，用于构建预设神经网络模型，所述神经网络模型中包括待确定的参数；
输入模块，用于将所述第二键盘图像输入所述预设神经网络模型，以便输出对所述第二键盘图像的分割结果图，所述分割结果图中黑键对应的像素点与非黑键对应的像素点的像素值不同；
参数确定模块，用于根据所述第二键盘图像的分割结果图以及所述第二键盘图像上标注的黑键的轮廓之间的对应关系，确定所述待确定的参数，以得到所述图像识别模型。
15.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1-7中任一项所述的琴键识别方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1-7中任一项所述的琴键识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526307.0A CN111695499B (zh) | 2020-06-09 | 2020-06-09 | 一种琴键识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010526307.0A CN111695499B (zh) | 2020-06-09 | 2020-06-09 | 一种琴键识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111695499A CN111695499A (zh) | 2020-09-22 |
| CN111695499B true CN111695499B (zh) | 2024-04-16 |
Family
ID=72480286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010526307.0A Active CN111695499B (zh) | 2020-06-09 | 2020-06-09 | 一种琴键识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111695499B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818981B (zh) * | 2021-01-15 | 2023-12-12 | 小叶子（北京）科技有限公司 | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 |
| CN112883804B (zh) * | 2021-01-21 | 2024-03-15 | 小叶子（北京）科技有限公司 | 一种乐器演奏手部动作的纠错方法、装置及电子设备 |
| CN114359314B (zh) * | 2022-03-18 | 2022-06-24 | 之江实验室 | 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140142794A (ko) * | 2013-06-04 | 2014-12-15 | 김부전 | 음악교습에 사용되는 건반장치 |
| KR101524279B1 (ko) * | 2014-03-21 | 2015-06-01 | 국민대학교산학협력단 | Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 |
| CA2885712A1 (en) * | 2015-03-20 | 2016-09-20 | claVision Inc. | Methods and systems for visual music transcription |
| CN107481583A (zh) * | 2017-09-05 | 2017-12-15 | 上海智凌信息技术有限公司 | 一种投影式钢琴指引系统及控制方法 |
| CN108229659A (zh) * | 2017-12-29 | 2018-06-29 | 陕西科技大学 | 基于深度学习的钢琴单键音识别方法 |
| WO2019087331A1 (ja) * | 2017-11-01 | 2019-05-09 | ヤマハ株式会社 | 基準位置検出装置および基準位置検出方法 |
-
2020
- 2020-06-09 CN CN202010526307.0A patent/CN111695499B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140142794A (ko) * | 2013-06-04 | 2014-12-15 | 김부전 | 음악교습에 사용되는 건반장치 |
| KR101524279B1 (ko) * | 2014-03-21 | 2015-06-01 | 국민대학교산학협력단 | Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 |
| CA2885712A1 (en) * | 2015-03-20 | 2016-09-20 | claVision Inc. | Methods and systems for visual music transcription |
| CN107481583A (zh) * | 2017-09-05 | 2017-12-15 | 上海智凌信息技术有限公司 | 一种投影式钢琴指引系统及控制方法 |
| WO2019087331A1 (ja) * | 2017-11-01 | 2019-05-09 | ヤマハ株式会社 | 基準位置検出装置および基準位置検出方法 |
| CN108229659A (zh) * | 2017-12-29 | 2018-06-29 | 陕西科技大学 | 基于深度学习的钢琴单键音识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111695499A (zh) | 2020-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111695499B (zh) | 一种琴键识别方法、装置、电子设备及存储介质 | |
| CN106874826A (zh) | 人脸关键点跟踪方法和装置 | |
| KR101524279B1 (ko) | Ｒｇｂ-ｄ 카메라를 이용한 피아노 교육 시스템 및 그 방법 | |
| Koepke et al. | Sight to sound: An end-to-end approach for visual piano transcription | |
| Vallet et al. | A multimodal approach to speaker diarization on TV talk-shows | |
| CN108566516A (zh) | 图像处理方法、装置、存储介质及移动终端 | |
| US20150254443A1 (en) | Method and system for enforced biometric authentication | |
| CN112883804B (zh) | 一种乐器演奏手部动作的纠错方法、装置及电子设备 | |
| CN110267116A (zh) | 视频生成方法、装置、电子设备和计算机可读介质 | |
| CN113674565B (zh) | 一种用于钢琴教学的教学系统及方法 | |
| CN111401238B (zh) | 一种视频中人物特写片段的检测方法及装置 | |
| CN106297755A (zh) | 一种用于乐谱图像识别的电子设备及识别方法 | |
| CN109886223A (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
| CN111414803A (zh) | 人脸识别方法、装置、电子设备 | |
| CN112818981B (zh) | 一种乐器演奏键位提示方法、装置、电子设备及存储介质 | |
| CN113286183B (zh) | 演奏过程与曲谱同步显示的方法、装置、设备及存储介质 | |
| KR20090111913A (ko) | 모션 검출 방법 및 장치 | |
| KR101840014B1 (ko) | 음악 매칭 댄싱 동작 인식 장치 및 매칭 방법 | |
| CN114677431A (zh) | 钢琴指法识别方法及计算机可读存储介质 | |
| CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 | |
| CN112800834A (zh) | 一种基于跪拜行为识别来定位炫彩射灯的方法及系统 | |
| CN101923852A (zh) | 即时辨识乐谱的方法与系统 | |
| JP6593928B2 (ja) | 情報処理装置及びプログラム | |
| CN113255470B (zh) | 基于手部姿态估计的多模态钢琴陪练系统及方法 | |
| Zaqout et al. | Augmented piano reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |