CN109493683B - 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 - Google Patents
一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 Download PDFInfo
- Publication number
- CN109493683B CN109493683B CN201811357902.5A CN201811357902A CN109493683B CN 109493683 B CN109493683 B CN 109493683B CN 201811357902 A CN201811357902 A CN 201811357902A CN 109493683 B CN109493683 B CN 109493683B
- Authority
- CN
- China
- Prior art keywords
- key
- image
- piano
- marked
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明公开了一种基于计算机视觉技术的辅助钢琴练习者指法检测方法,它包含如下步骤:一、利用传感器采集深度信息;二、钢琴键盘定位:利用可见光传感器和直线检测技术,来获取琴键的每一个位置,从而完成定位操作;三、手指定位;四、指法分析;本发明将可见光监控技术用于钢琴练习监督的过程中;将深度摄像机应用于钢琴学习中,判断练习者是否按下钢琴的键;还能实时检测练习者的琴键按下的准确度,分析指法水准。
Description
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于计算机视觉技术的辅助钢琴练习者指法检测方法。
背景技术
传统的钢琴学习方法,大多数由于师资力量有限,无法一对一对学生进行精细的指导,故会导致学生在练习的过程中存在一些缺陷,并且,在学生的自我练习过程中,因为缺乏老师的监督,也不利于提高学习速度。
发明内容
本发明的目的在于针对现有技术的缺陷和不足,提供一种基于计算机视觉技术的辅助钢琴练习者指法检测方法,通过深度传感器和可见光传感器来对钢琴练习者进行操作的检测,从而可以发现钢琴练习者在练习时候,指法存在的一些问题,从而减轻指导老师的负担。
为实现上述目的,本发明采用的技术方案是:它包含如下步骤:
一、利用传感器采集深度信息:在钢琴琴键正上方0.5m处设置深度传感器,通过深度传感器采集深度图像数据,用于检测练习者是否按下琴键;钢琴琴键正上方0.7m处设置可见光传感器,通过可见光传感器采集可见光信息,为后续的钢琴的琴键、手指定位以及指法分析提供数据支持;
二、钢琴键盘定位:利用可见光传感器和直线检测技术,来获取琴键的每一个位置,从而完成定位操作,具体包含如下步骤:
1、图像的灰度化:对原始图像Pi进行灰度化后,图像标记为Gi;
2、霍夫直线检测:由于每一个键盘上琴键的边界是直线,通过检测出直线,便可以获取到每一个钢琴上琴键的边缘部分;采用基于霍夫直线检测的方法来获取到图像的每一条直线;霍夫直线检测的原理如下:
在笛卡尔空间中,一条直线的表现形式是y=kx+b;其中,k和b分别表示斜率和截距;位于同一条直线上点都具有同样的斜率和截距,但是由于直线可能与X正轴垂直,斜率无法表示;故将直线换成极坐标系空间,则其表现形式是r=x cosθ+y sinθ,其中,(x,y)表示某一点的坐标位置,(r,θ)表示经过该点的直线到原点的距离,θ表示r与X正轴的夹角;则在极坐标系下,位于同一条直线上的点,都有一样的r和θ;
对于图像Gi来说,逐像素点进行遍历,将每一个像素点映射到极坐标系下,则其都会得到一组(r,θ);当所有坐标点都映射完毕后,会获得许多(r,θ)组,其中会有重复的,则基于重复频率最高的那两组(r,θ)可以确定笛卡尔坐标系下的直线方程;从而通过该方程,便可以在图像中获取到多组组线段,组线段既有横向线段也有纵向线段;横向线段用于表示钢琴键盘中黑色键的底部边缘以及白色键的底部边缘;纵向的线段用于表示所有琴键的竖直方向边缘;
3、获取每一个琴键的定位:由于可见光传感器是安装在钢琴的正上方,因此对于其采集到的图像信息来说,练习者右手的区域,则对应着采集到图像的左边区域,从右往左开始分析图像Gi上的线段和键盘定位,具体步骤如下:
a、检测黑色琴键:在钢琴的键盘中,由于存在两种颜色的琴键,黑色和白色,而黑色的琴键往往位于两个白色琴键之间,故其相对容易检测与定位;从图像Gi的最右侧开始逐线段分析:
(1)如果存在一条横向线段恰好位于两条竖直方向线段之间;
(2)该横向线段的两个端点与这两条竖直方向线段的顶部相交;
如果满足以上三个条件,则该横向线段与这两条纵向线段构成的区域,为黑色琴键的所在区域,记为H;
通过上述方法按顺序记录下每一个黑色琴键,分别标记为Hj,1≤j≤m,m为总的黑色琴键个数;
b、检测白色琴键:
(1)同样从图像Gi的最右侧区域开始分析,如果相邻的两条纵向线段长度不一,则较长的线段记为l1,较短的线段记为l2,且在l2中,其顶部有一条很短的横向线段,即黑色琴键的横向边缘与之相交,交点记为o1,同样还有另一条纵向线段l3与该横向线段相交,交点记为o2,o1与o2连线记为l4,则l2、l4、l3与l1依次连线构成的区域为白色琴键区域,记为B,
(2)如果相邻两条纵向线段长度基本一致,且长度小于图像Gi宽度的一半,分别记为l1和l2,且这两条纵向线段的顶部,均有一条横向线段与之相交,交点分别记为o1,o2,对于每一条横向线段,都分别另有一条纵向线段与该横向线段的某一部分相交,交点分别记为o3,o4,这两条纵向线段分别记为l3,l4,o1与o3连线记为l5,o2与o4连线记为l6,则线段l3、l5、l1相互连接与l4、l6、l1相互连接构成的区域,同样为白色琴键的区域,标记为B;
(4)通过上述方法按顺序记录下每一个白色琴键,分别标记为Bk,1≤k≤n,k为总的白色琴键个数;
(5)当完成所有黑色和白色琴键的检测后,按照标准的钢琴琴键分布和获取的琴键顺序,可将每一个琴键和其标准分布对应上,从而完成最终的钢琴的琴键定位操作;
三、手指定位,步骤如下:
1、绘制双手轮廓:在图像Gi中绘制双手的轮廓,获取到两个手部区域的大致轮廓曲线;
2、椭圆拟合,确定手掌背面中心:对上一步骤中获取到的轮廓曲线,进行一个椭圆的拟合;拟合后的椭圆中心即近似为手掌背面的中心,记为Zi,Zi中的i与Gi中的i对应;左手掌的背面中心记为右手掌的背面中心记为
3、检测手指:获取椭圆的短轴半径,记为ri,左、右手掌分别记为ri l、ri r;以左手掌为例,则以为圆心,半径为R=1.5*ri l的长度绘制一个圆;则该圆会与获取的手部轮廓曲线相交,分割出许多小的半椭圆轮廓;则每个小半椭圆轮廓,则对应着一个手指的轮廓;
四、指法分析,步骤如下:
1、获取每个手指的深度图像区域信息:对于深度传感器来说,若位于时刻i,则其采集到的图像标记为Di。由于深度传感器和可见光传感器采集到的图像尺寸大小都是一致的,故在图像Di和图像Gi中,手指和钢琴键盘的区域位置都是一样的;根据步骤三中获取的每一个手指的中心和其短轴半径,在对应采集到的深度图像中,裁剪出一个圆形区域,一共可以获取到10个圆形区域,分别代表10个手指,分别记为其中到表示左手5个手指,且按照从小拇指到大拇指的顺序,依次排列;到表示右手5个手指,且按照从大拇指到小拇指的顺序,依次排列;i表示时刻;
2、计算每个圆形区域的像素值距离总和,记为Ti s,1≤s≤10;
3、判断是否按键:如果手指按下钢琴的琴键的话,手指离深度传感器的距离也会发生微妙的变化,故按下琴键时刻,会获取到的圆形区域的像素值和之前比会发生一定的变化;由于深度传感器和可见光传感器是实时采集图像信息;对于每一个时刻,都获取对应时候的圆形区域;若当前时刻为j,将采集到的10个圆形区域的像素值记为满足公式则说明位于时刻j的时候,第s个手指按下琴键;
4、判断是否按错键:根据步骤二中的钢琴琴键的定位,以及步骤三中的手指的定位,判断出当前手指放在了琴键的哪一个位置上,以及这个位置代表的是钢琴的实际哪一个键;将乐谱提前录入计算机中,每当检测到练习者按下琴键,便会和已经录入计算机中的乐谱进行逐乐谱匹配判断,从而发现是否按错键,如果按错键,将这个错误相关信息记录下来,等乐曲弹奏完毕后,便可以获取到这份记录,然后,针对错误记录,进行详细指导与分析。
采用上述方案后,本发明所述的一种基于计算机视觉技术的辅助钢琴练习者指法检测方法,具有以下优点:
1、将可见光监控技术用于钢琴练习监督的过程中;
2、将深度摄像机应用于钢琴学习中,判断练习者是否按下钢琴的键;
3、实时检测练习者的琴键按下的准确度,分析指法水准。
附图说明
图1为本发明的整体流程图;
图2为钢琴键盘定位流程图;
图3为手指定位流程图;
图4为指法分析流程图。
具体实施方式
下面结合附图,对本发明作进一步的说明。
本具体实施方式采用的技术方案是:参看图1所示,它包含如下步骤:
一、利用传感器采集深度信息:在钢琴琴键正上方0.5m处设置深度传感器,通过深度传感器采集深度图像数据,用于检测练习者是否按下琴键;钢琴琴键正上方0.7m处设置可见光传感器,通过可见光传感器采集可见光信息,为后续的钢琴的琴键、手指定位以及指法分析提供数据支持;
二、钢琴键盘定位:利用可见光传感器和直线检测技术,来获取琴键的每一个位置,从而完成定位操作,参看图2所示,具体包含如下步骤:
1、图像的灰度化:对原始图像Pi进行灰度化后,图像标记为Gi;由于可见光传感器采集的图像是具有三通道的彩色图像,且有可能包含光照以及其他不定因素,会导致在检测直线的时候,出现干扰问题,而灰度图像则保留了原始图像的绝大部分信息,因此,可以很好地用来检测直线;
2、霍夫直线检测:由于每一个键盘上琴键的边界是直线,通过检测出直线,便可以获取到每一个钢琴上琴键的边缘部分;可采用基于霍夫直线检测的方法来获取到图像的每一条直线;霍夫直线检测的原理如下:
在笛卡尔空间中,一条直线的表现形式是y=kx+b;其中,k和b分别表示斜率和截距;位于同一条直线上点都具有同样的斜率和截距,但是由于直线可能与X正轴垂直,斜率无法表示;故将直线换成极坐标系空间,则其表现形式是r=x cosθ+y sinθ,其中,(x,y)表示某一点的坐标位置,(r,θ)表示经过该点的直线到原点的距离,θ表示r与X正轴的夹角;则在极坐标系下,位于同一条直线上的点,都有一样的r和θ;
对于图像Gi来说,逐像素点进行遍历,将每一个像素点映射到极坐标系下,则其都会得到一组(r,θ);当所有坐标点都映射完毕后,会获得许多(r,θ)组,其中会有重复的,则基于重复频率最高的那两组(r,θ)可以确定笛卡尔坐标系下的直线方程;从而通过该方程,便可以在图像中获取到多组组线段,组线段既有横向线段也有纵向线段;横向线段用于表示钢琴键盘中黑色键的底部边缘以及白色键的底部边缘;纵向的线段用于表示所有琴键的竖直方向边缘;
3、获取每一个琴键的定位:虽然在弹奏钢琴的时候,手会放在钢琴的键盘的上方,很容易遮挡部分区域,但是由于钢琴的每一个琴键很长,手不会把某一个琴键的所有边缘遮挡,故不会影响利用琴键边缘的直线来定位琴键;由于可见光传感器是安装在钢琴的正上方,因此对于其采集到的图像信息来说,练习者右手的区域,则对应着采集到图像的左边区域,从右往左开始分析图像Gi上的线段和键盘定位,具体步骤如下:
a、检测黑色琴键:在钢琴的键盘中,由于存在两种颜色的琴键,黑色和白色,而黑色的琴键往往位于两个白色琴键之间,故其相对容易检测与定位;从图像Gi的最右侧开始逐线段分析:
(1)如果存在一条横向线段恰好位于两条竖直方向线段之间;
(2)该横向线段的两个端点与这两条竖直方向线段的顶部相交;
如果满足以上三个条件,则该横向线段与这两条纵向线段构成的区域,为黑色琴键的所在区域,记为H;
通过上述方法按顺序记录下每一个黑色琴键,分别标记为Hj,1≤j≤m,m为总的黑色琴键个数;
b、检测白色琴键:
对于白色琴键来说,会存在一种现象,有些黑色琴键被相邻的两个白色琴键包裹着,因此,这两个琴键的形状,不是完全的矩形,因此,相对难以定位,而有的白色琴键,则没有包裹着黑色琴键,故形状很规则,因此,其具体检测步骤如下:
(1)同样从图像Gi的最右侧区域开始分析,如果相邻的两条纵向线段长度不一,则较长的线段记为l1,较短的线段记为l2,且在l2中,其顶部有一条很短的横向线段,即黑色琴键的横向边缘与之相交,交点记为o1,同样还有另一条纵向线段l3与该横向线段相交,交点记为o2,o1与o2连线记为l4,则l2、l4、l3与l1依次连线构成的区域为白色琴键区域,记为B,
(2)如果相邻两条纵向线段长度基本一致,且长度小于图像Gi宽度的一半,分别记为l1和l2,且这两条纵向线段的顶部,均有一条横向线段与之相交,交点分别记为o1,o2,对于每一条横向线段,都分别另有一条纵向线段与该横向线段的某一部分相交,交点分别记为o3,o4,这两条纵向线段分别记为l3,l4,o1与o3连线记为l5,o2与o4连线记为l6,则线段l3、l5、l1相互连接与l4、l6、l1相互连接构成的区域,同样为白色琴键的区域,标记为B;
(4)通过上述方法按顺序记录下每一个白色琴键,分别标记为Bk,1≤k≤n,k为总的白色琴键个数;
(5)当完成所有黑色和白色琴键的检测后,按照标准的钢琴琴键分布和获取的琴键顺序,可将每一个琴键和其标准分布对应上,从而完成最终的钢琴的琴键定位操作;
三、手指定位,参看图3所示,步骤如下:
1、绘制双手轮廓:在图像Gi中绘制双手的轮廓,获取到两个手部区域的大致轮廓曲线;
2、椭圆拟合,确定手掌背面中心:对上一步骤中获取到的轮廓曲线,进行一个椭圆的拟合;拟合后的椭圆中心即近似为手掌背面的中心,记为Zi,Zi中的i与Gi的中i对应;左手掌的背面中心记为右手掌的背面中心记为
3、检测手指:获取椭圆的短轴半径,记为ri,左、右手掌分别记为ri l、ri r;以左手掌为例,则以为圆心,半径为R=1.5*ri l的长度绘制一个圆;则该圆会与获取的手部轮廓曲线相交,分割出许多小的半椭圆轮廓;则每个小半椭圆轮廓,则对应着一个手指的轮廓;
四、指法分析,参看图4所示,步骤如下:
1、获取每个手指的深度图像区域信息:对于深度传感器来说,若位于时刻i,则其采集到的图像标记为Di;由于深度传感器和可见光传感器采集到的图像尺寸大小都是一致的,故在图像Di和图像Gi中,手指和钢琴键盘的区域位置都是一样的;根据步骤三中获取的每一个手指的中心和其短轴半径,在对应采集到的深度图像中,裁剪出一个圆形区域,一共可以获取到10个圆形区域,分别代表10个手指,分别记为其中到表示左手5个手指,且按照从小拇指到大拇指的顺序,依次排列;到表示右手5个手指,且按照从大拇指到小拇指的顺序,依次排列;i表示时刻;
2、计算每个圆形区域的像素值距离总和:在上述步骤中,已经获取到了10个圆形区域,代表双手的十个手指区域;对于深度传感器来说,在其采集到的图像中,每一个像素值与当前位置离深度传感器的距离有关,如果某一个像素点离深度传感器越远,则该像素点对应的像素值越小,继续统计每一个圆形区域内像素值总和记为Ti s,1≤s≤10;
3、判断是否按键:如果手指按下钢琴的琴键的话,手指离深度传感器的距离也会发生微妙的变化,故按下琴键时刻,会获取到的圆形区域的像素值和之前比会发生一定的变化;由于深度传感器和可见光传感器是实时采集图像信息;对于每一个时刻,都获取对应时候的圆形区域;若当前时刻为j,将采集到的10个圆形区域的像素值记为满足公式则说明位于时刻j的时候,第s个手指按下琴键;
4、判断是否按错键:根据步骤二中的钢琴琴键的定位,以及步骤三中的手指的定位,判断出当前手指放在了琴键的哪一个位置上,以及这个位置代表的是钢琴的实际哪一个键;将乐谱提前录入计算机中,每当检测到练习者按下琴键,便会和已经录入计算机中的乐谱进行逐乐谱匹配判断,从而发现是否按错键,如果按错键,将这个错误相关信息记录下来,等乐曲弹奏完毕后,便可以获取到这份记录,然后,针对错误记录,进行详细指导与分析。
以上所述,仅用以说明本发明的技术方案,而非限制本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换,只要不脱离本发明技术方案的精神和范围,均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.一种基于计算机视觉技术的辅助钢琴练习者指法检测方法,其特征在于它包含如下步骤:
一、利用传感器采集深度信息:在钢琴琴键正上方0.5m处设置深度传感器,通过深度传感器采集深度图像数据,用于检测练习者是否按下琴键;钢琴琴键正上方0.7m处设置可见光传感器,通过可见光传感器采集可见光信息,为后续的钢琴的琴键、手指定位以及指法分析提供数据支持;
二、钢琴键盘定位:利用可见光传感器和直线检测技术,来获取琴键的每一个位置,从而完成定位操作,具体包含如下步骤:
1、图像的灰度化:对原始图像Pi进行灰度化后,图像标记为Gi;
2、霍夫直线检测:由于每一个键盘上琴键的边界是直线,通过检测出直线,便可以获取到每一个钢琴上琴键的边缘部分;采用基于霍夫直线检测的方法来获取到图像的每一条直线;霍夫直线检测的原理如下:
在笛卡尔空间中,一条直线的表现形式是y=kx+b;其中,k和b分别表示斜率和截距;位于同一条直线上点都具有同样的斜率和截距,但是由于直线可能与X正轴垂直,斜率无法表示;故将直线换成极坐标系空间,则其表现形式是r=xcosθ+ysinθ,其中,(x,y)表示某一点的坐标位置,(r,θ)表示经过该点的直线到原点的距离,θ表示r与X正轴的夹角;则在极坐标系下,位于同一条直线上的点,都有一样的r和θ;
对于图像Gi来说,逐像素点进行遍历,将每一个像素点映射到极坐标系下,则其都会得到一组(r,θ);当所有坐标点都映射完毕后,会获得许多(r,θ)组,其中会有重复的,则基于重复频率最高的那两组(r,θ)可以确定笛卡尔坐标系下的直线方程;从而通过该方程,便可以在图像中获取到多组组线段,组线段既有横向线段也有纵向线段;横向线段用于表示钢琴键盘中黑色键的底部边缘以及白色键的底部边缘;纵向的线段用于表示所有琴键的竖直方向边缘;
3、获取每一个琴键的定位:由于可见光传感器是安装在钢琴的正上方,因此对于其采集到的图像信息来说,练习者右手的区域,则对应着采集到图像的左边区域,从右往左开始分析图像Gi上的线段和键盘定位;
三、手指定位,步骤如下:
1、绘制双手轮廓:在图像Gi中绘制双手的轮廓,获取到两个手部区域的大致轮廓曲线;
2、椭圆拟合,确定手掌背面中心:对上一步骤中获取到的轮廓曲线,进行一个椭圆的拟合;拟合后的椭圆中心即近似为手掌背面的中心,记为Zi,Zi中的i与Gi中的i对应;左手掌的背面中心记为右手掌的背面中心记为
3、检测手指:获取椭圆的短轴半径,记为ri,左、右手掌分别记为ri l、ri r;以为左手掌圆心,半径为的长度绘制一个圆;则该圆会与获取的手部轮廓曲线相交,分割出许多小的半椭圆轮廓;则每个小半椭圆轮廓,则对应着一个手指的轮廓;
4、记录手指区域信息:分别记录下每一个小半椭圆的中心和其短轴半径;
四、指法分析,步骤如下:
1、获取每个手指的深度图像区域信息:对于深度传感器来说,若位于时刻i,则其采集到的图像标记为Di;由于深度传感器和可见光传感器采集到的图像尺寸大小都是一致的,故在图像Di和图像Gi中,手指和钢琴键盘的区域位置都是一样的;根据步骤三中获取的每一个手指的中心和其短轴半径,在对应采集到的深度图像中,裁剪出一个圆形区域,一共可以获取到10个圆形区域,分别代表10个手指,分别记为其中到表示左手5个手指,且按照从小拇指到大拇指的顺序,依次排列;到表示右手5个手指,且按照从大拇指到小拇指的顺序,依次排列;i表示时刻;
2、计算每个圆形区域的像素值距离总和,记为Ti s,1≤s≤10;
3、判断是否按键:如果手指按下钢琴的琴键的话,手指离深度传感器的距离也会发生微妙的变化,故按下琴键时刻,会获取到的圆形区域的像素值和之前比会发生一定的变化;由于深度传感器和可见光传感器是实时采集图像信息;对于每一个时刻,都获取对应时候的圆形区域;若当前时刻为j,将采集到的10个圆形区域的像素值记为满足公式则说明位于时刻j的时候,第s个手指按下琴键;
4、判断是否按错键:根据步骤二中的钢琴琴键的定位,以及步骤三中的手指的定位,判断出当前手指放在了琴键的哪一个位置上,以及这个位置代表的是钢琴的实际哪一个键;将乐谱提前录入计算机中,每当检测到练习者按下琴键,便会和已经录入计算机中的乐谱进行逐乐谱匹配判断,从而发现是否按错键,如果按错键,将这个错误相关信息记录下来,等乐曲弹奏完毕后,便可以获取到这份记录,然后,针对错误记录,进行详细指导与分析。
2.根据权利要求1所述的一种基于计算机视觉技术的辅助钢琴练习者指法检测方法,其特征在于:步骤二中的获取每一个琴键的定位的方法包含如下步骤:
a、检测黑色琴键:在钢琴的键盘中,由于存在两种颜色的琴键,黑色和白色,而黑色的琴键往往位于两个白色琴键之间,故其相对容易检测与定位;从图像Gi的最右侧开始逐线段分析:
(1)如果存在一条横向线段恰好位于两条竖直方向线段之间;
(2)该横向线段的两个端点与这两条竖直方向线段的顶部相交;
如果满足以上三个条件,则该横向线段与这两条纵向线段构成的区域,为黑色琴键的所在区域,记为H;
通过上述方法按顺序记录下每一个黑色琴键,分别标记为Hj,1≤j≤m,m为总的黑色琴键个数;
b、检测白色琴键:
(1)同样从图像Gi的最右侧区域开始分析,如果相邻的两条纵向线段长度不一,则较长的线段记为l1,较短的线段记为l2,且在l2中,其顶部有一条短横向线段,即黑色琴键的横向边缘与之相交,交点记为o1,同样还有另一条纵向线段l3与该横向线段相交,交点记为o2,o1与o2连线记为l4,则l2、l4、l3与l1依次连线构成的区域为白色琴键区域,记为B,
(2)如果相邻两条纵向线段长度基本一致,且长度小于图像Gi宽度的一半,分别记为l1和l2,且这两条纵向线段的顶部,均有一条横向线段与之相交,交点分别记为o1,o2,对于每一条横向线段,都分别另有一条纵向线段与该横向线段的某一部分相交,交点分别记为o3,o4,这两条纵向线段分别记为l3,l4,o1与o3连线记为l5,o2与o4连线记为l6,则线段l3、l5、l1相互连接与l4、l6、l1相互连接构成的区域,同样为白色琴键的区域,标记为B;
(4)通过上述方法按顺序记录下每一个白色琴键,分别标记为Bk,1≤k≤n,k为总的白色琴键个数;
(5)当完成所有黑色和白色琴键的检测后,按照标准的钢琴琴键分布和获取的琴键顺序,可将每一个琴键和其标准分布对应上,从而完成最终的钢琴的琴键定位操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811357902.5A CN109493683B (zh) | 2018-11-15 | 2018-11-15 | 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811357902.5A CN109493683B (zh) | 2018-11-15 | 2018-11-15 | 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109493683A CN109493683A (zh) | 2019-03-19 |
CN109493683B true CN109493683B (zh) | 2021-06-01 |
Family
ID=65694904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811357902.5A Active CN109493683B (zh) | 2018-11-15 | 2018-11-15 | 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109493683B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022052941A1 (zh) * | 2020-09-09 | 2022-03-17 | 桂林智神信息技术股份有限公司 | 用于辅助钢琴教学的智能识别方法及系统、智能钢琴训练方法及系统 |
CN114359314B (zh) * | 2022-03-18 | 2022-06-24 | 之江实验室 | 面向仿人钢琴演奏机器人的实时视觉琴键检测与定位方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2205572Y (zh) * | 1994-06-13 | 1995-08-16 | 肖湘萍 | 指式快速输入键盘 |
JPH0934454A (ja) * | 1995-07-14 | 1997-02-07 | Kawai Musical Instr Mfg Co Ltd | 電子楽器 |
CN1502098A (zh) * | 2001-02-05 | 2004-06-02 | ��˹�ض���÷�� | 用于独立于键盘的触摸键入的系统和方法 |
GB2412003B (en) * | 2004-03-02 | 2006-10-11 | Jose Ngene | Musical instrument and support |
JP2006343519A (ja) * | 2005-06-08 | 2006-12-21 | Yamaha Corp | 同時に操作可能な演奏操作子の位置関係を計測する計測装置およびプログラム |
CN101301507A (zh) * | 2007-03-02 | 2008-11-12 | 丛繁滋 | 可用于全脑开发的大脑潜能激活系统及其使用方法 |
JP2010156991A (ja) * | 1999-04-13 | 2010-07-15 | Yamaha Corp | 鍵盤楽器 |
CN104036766A (zh) * | 2014-06-20 | 2014-09-10 | 北京趣乐科技有限公司 | 一种智能钢琴及系统 |
CN107464474A (zh) * | 2017-09-05 | 2017-12-12 | 上海智凌信息技术有限公司 | 一种钢琴弹奏指法的检测方法及装置 |
CN107978303A (zh) * | 2016-10-11 | 2018-05-01 | 森兰信息科技(上海)有限公司 | 智能钢琴的智能检测和反馈系统 |
CN109213313A (zh) * | 2017-07-08 | 2019-01-15 | 程梦梦 | 一种键盘感知和按键预测及反馈和输入的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005241877A (ja) * | 2004-02-25 | 2005-09-08 | Yamaha Corp | 運指指示装置およびプログラム |
-
2018
- 2018-11-15 CN CN201811357902.5A patent/CN109493683B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2205572Y (zh) * | 1994-06-13 | 1995-08-16 | 肖湘萍 | 指式快速输入键盘 |
JPH0934454A (ja) * | 1995-07-14 | 1997-02-07 | Kawai Musical Instr Mfg Co Ltd | 電子楽器 |
JP2010156991A (ja) * | 1999-04-13 | 2010-07-15 | Yamaha Corp | 鍵盤楽器 |
CN1502098A (zh) * | 2001-02-05 | 2004-06-02 | ��˹�ض���÷�� | 用于独立于键盘的触摸键入的系统和方法 |
GB2412003B (en) * | 2004-03-02 | 2006-10-11 | Jose Ngene | Musical instrument and support |
JP2006343519A (ja) * | 2005-06-08 | 2006-12-21 | Yamaha Corp | 同時に操作可能な演奏操作子の位置関係を計測する計測装置およびプログラム |
CN101301507A (zh) * | 2007-03-02 | 2008-11-12 | 丛繁滋 | 可用于全脑开发的大脑潜能激活系统及其使用方法 |
CN104036766A (zh) * | 2014-06-20 | 2014-09-10 | 北京趣乐科技有限公司 | 一种智能钢琴及系统 |
CN107978303A (zh) * | 2016-10-11 | 2018-05-01 | 森兰信息科技(上海)有限公司 | 智能钢琴的智能检测和反馈系统 |
CN109213313A (zh) * | 2017-07-08 | 2019-01-15 | 程梦梦 | 一种键盘感知和按键预测及反馈和输入的方法 |
CN107464474A (zh) * | 2017-09-05 | 2017-12-12 | 上海智凌信息技术有限公司 | 一种钢琴弹奏指法的检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109493683A (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR890002581B1 (ko) | 복잡한 패턴의 인식방법과 장치 | |
CN104063059B (zh) | 一种基于手指分割的实时手势识别方法 | |
CN104463101B (zh) | 用于文字性试题的答案识别方法及系统 | |
JP2641388B2 (ja) | 手書き文字認識システムにおけるライン・スペース及びベース・ラインの調整方法 | |
CN104182732B (zh) | 基于特征矩阵进行相似度匹配的手写汉字笔画确认方法 | |
CN106557764A (zh) | 一种基于二进制编码字符水尺和图像处理的水位识别方法 | |
CN104809446B (zh) | 基于校正手掌方向的掌纹感兴趣区域快速提取方法 | |
CN102704215B (zh) | 基于dst文件解析与机器视觉结合的绣布自动切割方法 | |
CN103488972B (zh) | 基于深度信息的指尖检测方法 | |
US9489561B2 (en) | Method and system for estimating fingerprint pose | |
CN109493683B (zh) | 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法 | |
CN101498592A (zh) | 指针式仪表的读数方法及装置 | |
CN103971102A (zh) | 基于手指轮廓和决策树的静态手势识别方法 | |
WO2022057103A1 (zh) | 一种基于深度学习的指针式仪表的自动读数的方法 | |
CN110223202B (zh) | 一种教学道具识别与评分的方法及系统 | |
CN108235115B (zh) | 一种歌曲视频中人声区域定位的方法及终端 | |
CN110909738A (zh) | 一种基于关键点检测的指针仪表自动读数方法 | |
CN106936964A (zh) | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 | |
CN112507758A (zh) | 答题卡字符串识别方法、装置、终端和计算机存储介质 | |
CN115184380A (zh) | 基于机器视觉的印刷电路板焊点异常检测方法 | |
CN102737534A (zh) | 一种实现无标记增强现实钢琴教学系统的方法 | |
CN112488047A (zh) | 一种钢琴指法智能识别方法 | |
CN115457556A (zh) | 一种核电厂圆盘指针式仪表读数方法 | |
CN109241975B (zh) | 一种基于字符中心点定位的车牌字符分割方法 | |
CN102156890B (zh) | 手写公式的笔画切分方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |