CN108073867A - 一种钢琴演奏的视频特征提取方法及系统 - Google Patents

一种钢琴演奏的视频特征提取方法及系统 Download PDF

Info

Publication number
CN108073867A
CN108073867A CN201611019710.4A CN201611019710A CN108073867A CN 108073867 A CN108073867 A CN 108073867A CN 201611019710 A CN201611019710 A CN 201611019710A CN 108073867 A CN108073867 A CN 108073867A
Authority
CN
China
Prior art keywords
key
piano
player
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611019710.4A
Other languages
English (en)
Inventor
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuwo Technology Co Ltd
Original Assignee
Beijing Kuwo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuwo Technology Co Ltd filed Critical Beijing Kuwo Technology Co Ltd
Priority to CN201611019710.4A priority Critical patent/CN108073867A/zh
Publication of CN108073867A publication Critical patent/CN108073867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种钢琴演奏的视频特征提取方法及系统，其中，钢琴演奏的视频特征提取方法包括以下步骤：利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。本发明能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。

Description

一种钢琴演奏的视频特征提取方法及系统
技术领域
本发明涉及钢琴演奏智能陪练技术领域，尤其涉及一种钢琴演奏的视频特征提取方法及系统。
背景技术
现有技术往往利用相机录制演奏者进行钢琴弹奏的视频，再针对录制的视频进行分析，以判断钢琴弹奏的水平。但目前还没有一种有效的钢琴演奏的视频特征提取方法。
发明内容
本发明的目的在于，解决现有技术中钢琴演奏的视频特征提取的技术问题。
为实现上述目的，一方面，本发明提供了一种钢琴演奏的视频特征提取方法，该方法包括以下步骤：利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。
优选地，视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。
优选地，演奏者的手指按键时的琴键位置通过以下步骤获取：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
优选地，琴键被按下时的保持的时长通过以下步骤获取：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
优选地，琴键被按下时的深度由深度相机参数获得。
另一方面，本发明提供了一种钢琴演奏的视频特征提取系统，该系统包括：第一获取模块、第二获取模块和处理模块；其中，第一获取模块用于利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；第二获取模块用于逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；处理模块用于根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。
优选地，第二获取模块具体用于：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
优选地，第二获取模块，具体用于：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
本发明利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的一种钢琴演奏的视频特征提取方法流程示意图；
图2为本发明实施例提供的一种钢琴演奏的视频特征提取系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种钢琴演奏的视频特征提取方法流程示意图。如图1所示，该方法包括步骤S101-S103:
在步骤S101，利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。
具体地，钢琴演奏的视频特征提取系统利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。其中，深度相机可以为TOF(Time of Fl ight)相机，TOF相机利用传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。其测量范围可达数米、精度小于2cm，每秒更新频率可达30-60fps。
在步骤S102，逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息。
具体地，钢琴演奏的视频特征提取系统逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长。
优选地，演奏者的手指按键时的琴键位置通过以下步骤获取：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
优选地，琴键被按下时的保持的时长通过以下步骤获取：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
需要说明的是，琴键被按下时的深度由所述深度相机计算获得。
在步骤S103，根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。
具体地，钢琴演奏的视频特征提取系统根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及速度的快慢中的一种或多种信息。
其中，音高是指音的高低，音的高低是由振动频率决定的，两者成正比关系：频率(即单位时间内振动次数多)高则音"高"，反之则"低"。音符的时值用来表达乐谱中各音符之间的相对持续时间：一个完全音符等于两个二分音符，等于四个四分音符，等于八个八分音符，等于十六个十六分音符，等于三十二个三十二分音符。按键力度是指弹奏的音的强弱程度，钢琴弹奏中对力度的层次控制十分重要。弹奏方式主要包括连奏、断奏和跳奏，断奏是一种每个音都是独立的弹奏方式，在第二个手指落下时第一个音手指是已经提起；连奏是一种音与音紧密相连的弹奏方式，连奏时第一个音手指按下后第二个音落下后才提起；跳奏时手指贴近琴键(有一种触摸感)，手指着力反弹，触键敏捷，手指离键迅速，声音集中透亮而富有弹性。音乐的速度一般用每分钟的拍数表示，如Grava表示壮板，对应的速度为每分钟40拍。
根据上述获取的视频特征文件与预先制作的标准视频特征文件进行分析，可以判断出钢琴演奏者的弹奏水平。
本发明实施例利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。。
相应地，本发明实施例提供了一种钢琴演奏的视频特征提取系统。该系统可以用于执行图1所示钢琴演奏的视频特征提取方法。
图2为本发明实施例提供的一种钢琴演奏的视频特征提取系统结构示意图。如图2所示，钢琴演奏的视频特征提取系统20包括第一获取模块21(例如，提取模块21)、第二获取模块22(例如，分析模块22)和处理模块23。
提取模块21用于利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。
分析模块22用于逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指按键时的琴键位置，以及该琴键被按下时的深度和保持的时长。
优选地，分析模块22具体用于：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
优选地，分析模块22具体用于：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
需要说明的是，琴键被按下时的深度由所述深度相机计算获得。
处理模块23用于根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。所述视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。
其中，音高是指音的高低，音的高低是由振动频率决定的，两者成正比关系：频率(即单位时间内振动次数多)高则音"高"，反之则"低"。音符的时值用来表达乐谱中各音符之间的相对持续时间：一个完全音符等于两个二分音符，等于四个四分音符，等于八个八分音符，等于十六个十六分音符，等于三十二个三十二分音符。按键力度是指弹奏的音的强弱程度，钢琴弹奏中对力度的层次控制十分重要。弹奏方式主要包括连奏、断奏和跳奏，断奏是一种每个音都是独立的弹奏方式，在第二个手指落下时第一个音手指是已经提起；连奏是一种音与音紧密相连的弹奏方式，连奏时第一个音手指按下后第二个音落下后才提起；跳奏时手指贴近琴键(有一种触摸感)，手指着力反弹，触键敏捷，手指离键迅速，声音集中透亮而富有弹性。音乐的速度一般用每分钟的拍数表示，如Grava表示壮板，对应的速度为每分钟40拍。
本发明实施例利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种钢琴演奏的视频特征提取方法，其特征在于，包括以下步骤：
利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；
逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；
根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。
2.根据权利要求1所述的方法，其特征在于：所述视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。
3.根据权利要求1所述的方法，其特征在于：所述演奏者的手指按键时的琴键位置通过以下步骤获取：
将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
4.根据权利要求1所述的方法，其特征在于：所述琴键被按下时的保持的时长通过以下步骤获取：
将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
5.根据权利要求1所述的方法，其特征在于：所述琴键被按下时的深度由所述深度相机计算获得。
6.一种钢琴演奏的视频特征提取系统，其特征在于，包括：
第一获取模块，用于利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；
第二获取模块，用于逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；
处理模块，用于根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。
7.根据权利要求6所述的系统，其特征在于：所述视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。
8.根据权利要求6所述的系统，其特征在于：所述第二获取模块，具体用于：
将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。
9.根据权利要求6所述的系统，其特征在于：所述第二获取模块，具体用于：
将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。
10.根据权利要求6所述的系统，其特征在于：所述琴键被按下时的深度由所述深度相机参数获得。
CN201611019710.4A 2016-11-18 2016-11-18 一种钢琴演奏的视频特征提取方法及系统 Pending CN108073867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611019710.4A CN108073867A (zh) 2016-11-18 2016-11-18 一种钢琴演奏的视频特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611019710.4A CN108073867A (zh) 2016-11-18 2016-11-18 一种钢琴演奏的视频特征提取方法及系统

Publications (1)

Publication Number Publication Date
CN108073867A true CN108073867A (zh) 2018-05-25

Family

ID=62160410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611019710.4A Pending CN108073867A (zh) 2016-11-18 2016-11-18 一种钢琴演奏的视频特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN108073867A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847206A (zh) * 2018-06-07 2018-11-20 深圳敦骏科技有限公司 一种智能钢琴弹奏方法、智能键盘及智能钢琴系统
CN109215441A (zh) * 2018-10-19 2019-01-15 深圳市微蓝智能科技有限公司 一种钢琴教学方法、装置及计算机存储介质
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN111976329A (zh) * 2020-08-31 2020-11-24 深圳市月白电子科技有限公司 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统
WO2022052940A1 (zh) * 2020-09-09 2022-03-17 桂林智神信息技术股份有限公司 基于音频识别被弹奏琴键的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130036897A1 (en) * 2007-02-20 2013-02-14 Ubisoft Entertainment S.A. Instrument game system and method
CN103377647A (zh) * 2012-04-24 2013-10-30 中国科学院声学研究所 一种基于音视频信息的自动音乐记谱方法及系统
CN205541849U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种具有评分和调音功能的智能钢琴系统
CN106128439A (zh) * 2016-08-03 2016-11-16 王警仪 一种钢琴智能演奏训练系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130036897A1 (en) * 2007-02-20 2013-02-14 Ubisoft Entertainment S.A. Instrument game system and method
CN103377647A (zh) * 2012-04-24 2013-10-30 中国科学院声学研究所 一种基于音视频信息的自动音乐记谱方法及系统
CN205541849U (zh) * 2016-04-14 2016-08-31 安徽克洛斯威智能乐器科技有限公司 一种具有评分和调音功能的智能钢琴系统
CN106128439A (zh) * 2016-08-03 2016-11-16 王警仪 一种钢琴智能演奏训练系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847206A (zh) * 2018-06-07 2018-11-20 深圳敦骏科技有限公司 一种智能钢琴弹奏方法、智能键盘及智能钢琴系统
CN108847206B (zh) * 2018-06-07 2021-07-30 深圳敦骏科技有限公司 一种智能钢琴弹奏方法、智能键盘及智能钢琴系统
CN109243248A (zh) * 2018-09-29 2019-01-18 南京华捷艾米软件科技有限公司 一种基于3d深度摄像模组的虚拟钢琴及其实现方法
CN109215441A (zh) * 2018-10-19 2019-01-15 深圳市微蓝智能科技有限公司 一种钢琴教学方法、装置及计算机存储介质
CN111976329A (zh) * 2020-08-31 2020-11-24 深圳市月白电子科技有限公司 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统
CN111976329B (zh) * 2020-08-31 2022-06-21 深圳市月白电子科技有限公司 一种乐器弹奏中的五线谱自动跟随方法及自动跟踪系统
WO2022052940A1 (zh) * 2020-09-09 2022-03-17 桂林智神信息技术股份有限公司 基于音频识别被弹奏琴键的方法及系统

Similar Documents

Publication Publication Date Title
CN108073867A (zh) 一种钢琴演奏的视频特征提取方法及系统
Castellano et al. Automated analysis of body movement in emotionally expressive piano performances
JP5851048B2 (ja) ジェスチャーベースのゲームのための休止および再開方式
CN108074440A (zh) 一种钢琴演奏的纠错方法及系统
US9472178B2 (en) Score-directed string retuning and gesture cueing in synthetic multi-string musical instrument
US20190220658A1 (en) Marking assist device, and marking assist method
CN104992712B (zh) 能识别音乐自动成谱的方法
CN104091589B (zh) 弓弦乐器弹奏指导装置及其控制方法
CN109344292B (zh) 赛事得分片段的生成方法、装置、服务器和存储介质
CN111888765B (zh) 多媒体文件的处理方法、装置、设备及介质
WO2018070286A1 (ja) 演奏制御方法および演奏制御装置
CN113674565B (zh) 一种用于钢琴教学的教学系统及方法
CN106935226A (zh) 具有评分功能的钢琴及其进行评分的方法
CN110347872A (zh) 视频封面图像提取方法及装置、存储介质及电子设备
CN104766044A (zh) 评估方法和评估设备
CN103680562B (zh) 音频文件的布点实现方法和装置
WO2022052941A1 (zh) 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统
CN108521612A (zh) 视频摘要的生成方法、装置、服务器及存储介质
CN108074556A (zh) 一种钢琴演奏的评价方法及系统
CN108829253B (zh) 一种模拟音乐指挥播放方法及装置
CN111695499B (zh) 一种琴键识别方法、装置、电子设备及存储介质
CN105513580A (zh) 基于辅助摄像头的键盘乐器弹奏音符识别系统
Perez-Carrillo Finger-string interaction analysis in guitar playing with optical motion capture
CN109410972B (zh) 生成音效参数的方法、装置及存储介质
CN113507630B (zh) 比赛视频的拆条方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180525