CN109711294A - 一种基于计算机视觉的辅助小提琴练习者弓法检测方法 - Google Patents

一种基于计算机视觉的辅助小提琴练习者弓法检测方法 Download PDF

Info

Publication number
CN109711294A
CN109711294A CN201811530887.XA CN201811530887A CN109711294A CN 109711294 A CN109711294 A CN 109711294A CN 201811530887 A CN201811530887 A CN 201811530887A CN 109711294 A CN109711294 A CN 109711294A
Authority
CN
China
Prior art keywords
bow
practitioner
image
violin
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811530887.XA
Other languages
English (en)
Inventor
邓宏平
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hieroglyph Technology Co Ltd
Original Assignee
Shenzhen Hieroglyph Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hieroglyph Technology Co Ltd filed Critical Shenzhen Hieroglyph Technology Co Ltd
Priority to CN201811530887.XA priority Critical patent/CN109711294A/zh
Publication of CN109711294A publication Critical patent/CN109711294A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

本发明公开了一种基于计算机视觉的辅助小提琴练习者弓法检测方法,在小提琴练习者右侧面1米的距离、距离地面高度0.5米处正对着小提琴练习者设置深度传感器,在练习者前方1米距离、距离地面高度0.5米处正对着练习者设置一个可见光相机,在练习者右侧面方1米的距离、距离地面高度0.5米处正对着练习者设置二个可见光相机,基于深度传感器和两个可见光相机对小提琴练习者的弓法进行检测,具体包括:可见光相机采集图像、检测弓与弦的接触点是否准确、检测运弓是否直、检测运弓是否稳、检测运弓是否平。本发明采用可检测在练习者在练习小提琴的过程中,弓法是否操作准确,从而帮助老师进行针对性的检测,判断练习者在练习的过程中是否出现错误。

Description

一种基于计算机视觉的辅助小提琴练习者弓法检测方法
技术领域
本发明涉及计算机视觉领域领域,特别是一种基于计算机视觉的辅助小提琴练习者弓法检测方法。
背景技术
传统的小提琴学习方法,都是一个老师指导多名学生的方式,很容易因为师资力量的欠缺,导致对学生学习过程中的细节缺陷无法发现。并且,在学生的自我练习过程中,因为缺乏老师的监督,也不利于提高学习速度。
发明内容
本发明的目的是要解决现有技术中存在的不足,提供一种基于计算机视觉的辅助小提琴练习者弓法检测方法。
为达到上述目的,本发明是按照以下技术方案实施的:
一种基于计算机视觉的辅助小提琴练习者弓法检测方法,在小提琴练习者右侧面1米的距离、距离地面高度0.5米处正对着小提琴练习者设置深度传感器,在练习者前方1米距离、距离地面高度0.5米处正对着练习者设置一个可见光相机,在练习者右侧面方1米的距离、距离地面高度0.5米处正对着练习者设置二个可见光相机,基于深度传感器和两个可见光相机对小提琴练习者的弓法进行检测,具体步骤如下:
S1、可见光相机采集图像:通过位于练习者前方和侧面的可见光相机采集小提琴练习者的图像;
S2、检测弓与弦的接触点是否准确:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓与弦的位置,然后分析出弓与弦接触点位置是否标准;
S3、检测运弓是否直:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓的位置,每隔100个时刻检测一次弓的位置,然后分析出在相邻时间内,弓的水平方向偏移量是否过大,从而判断运弓是否直;
S4、检测运弓是否稳:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓的位置,每隔100个时刻检测一次弓的位置,然后分析出在相邻时间内,弓的竖直方向的位置是否变化均匀以及位置量是否过大以及过小,从而判断运弓是否稳;
S5、检测运弓是否平:通过位于练习者右侧面的可见光相机采集的练习者的图像,检测出弓的位置,以及从位于练习者侧面的深度传感器检测出大臂位置,进而分析在运弓过程中,大臂与弓是否近似平行,从而判断运弓是否平。
进一步,所述步骤S2的具体步骤为:
S21、检测出弓的位置:
S211、图像灰度化:假设当前时刻为i,则位于练习者正前方的可见光相机采集到的图像标记为Pi,位于练习者右侧面的可见光相机采集到的图像标记为Qi;对其图像Pi进行灰度化操作,灰度化后的图像标记为Pi',待灰度化操作完成后,利用灰度化后的图像来检测正前方可见光相机采集到的图像中弓的实际位置;
S212、检测图像中直线:采用基于霍夫直线的方法来检测图像Pi中的直线;
S213、筛选出弓的位置:采用基于霍夫直线的方法在图像Pi'中检测到许多的线段,遍历检测到的多个线段,如果当前线段与水平向右的方向夹角大于60度,则将其保留下来,否则不满足夹角度数要求将其舍弃,继续检测下一条线段;待遍历完多个线段后,将获取若干个被保留的线段,则在保留的线段中,选取长度最长的线段,将其标记为弓,记为Gi,代表在图像Pi中检测到的弓位置;
S22、检测出弦的位置:采用基于霍夫直线的方法在图像Pi'中检测到许多的线段,遍历检测到的多个线段,将所有线段与水平向右方向的夹角度数在10度以内的线段保留,并将其标记为弦,并记为j表示当前线段的代号,1≤j≤4:在小提琴中,弦一共有四条,这四条都会被检测到,最上方的线段为最下方的线段为
S23、检测出弓与弦接触点位置:任意一条弦其和弓Gi相交的接触点标记为Vi j
S24、检测出小提琴指板和码子的位置:在步骤S22中,已经检测到弦的位置是在图像Pi′中近似于水平位置的线段,对于每一条水平方向的线段来说,其总是会有两条近似于竖直方向的且长短较短的线段和其相交,这两条线段则代表小提琴的指板和码子,其中位于左边一点的线段代表码子,右边一点线段是指板;对于弦来说,其左边交点记为右边的交点记为ri j
S25、判断接触点是否标准:如果当前接触点Vi j在指板和码子之间,即在点和ri j之间,则说明在当前时刻i时,练习者的弓与琴弦的接触位置是准确的;
进一步,所述步骤S3的具体步骤为:
在步骤S2的基础上,假设获取到了时刻为j时候的弓位置,Gj获取其中心点位置,记为Zj(xj,yj),上一次弓Gj-100中心点位置记为Zj-100(xj-100,yj-100);则相邻时刻弓中心点水平方向的偏移量的绝对值Tj=|xj-xj-100|;在整个练习期间,假设进行了m次检测,则会获取到m-1个偏移量值,分析这所有偏移量值大小范围,最大值记为Tmax,最小值记为Tmin,如果波动范围TE大于10,则说明波动较大,练习者弓拉的不近似于在一条直线轨迹上,则拉的不直;否则则说明拉弓相对标准,近似在一条直线上,TE=Tmax-Tmin
进一步,所述步骤S3的具体步骤为:
在步骤S2的基础上,假设在时刻为j时候的弓的中心点位置,记为Zj(xj,yj),上一次弓Gj-100中心点位置为Zj-100(xj-100,yj-100);则相邻时刻弓中心点竖直方向的偏移量的绝对值Hj=|yj-yj-100|;同样在整个练习期间,假设进行了m次检测,则会获取到m-1个偏移量值,分析这所有偏移量值大小范围,最大值记为Hmax,最小值记为Hmin;如果竖直方向的偏移量的波动范围HE小于20,则说明波动范围较小,故在整个练习期间,弓运动速度相对匀速;如果Hmin大于40,则说明在整个运弓期间,弓的运动速度都很快;如果Hmax大于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过快;如果Hmax小于20,则说明在整个运弓期间,弓的运动速度都很慢;如果Hmin小于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过慢;只有当Hmin大于20,且Hmax小于40,说明该练习者运动速度正好,且HE小于20,说明运弓比较匀速,只有满足这两个条件,才说明练习者运弓相对平稳。
进一步,所述步骤S5的具体步骤为:
S51、获取人体关键点:在某一时刻i,获取到练习者侧面的深度传感器采集到的图像Ni之后,调用人体关键点检测的微软程序获取两个关键点部位:右肩和右肘部;
S52、关键点连线:将右肩和右肘部的两个点用线段连接,并将该线段标记为Fi,则该线段表示在时刻i获取到的练习者大臂肢体部分;
S53、获取弓的位置:在时刻i,练习者侧面的可见光相机采集到的图像Qi,在经过灰度化后,标记为Q′i,依据步骤S2检测出此时图像Q′i中的弓,记为G′i
S54、判断是否平行:对于Fi获取其与水平向右方向的夹角,并记为对于G′i获取其与水平向右方向的夹角,并记为如果的大小误差在5度以内,则认为在时刻i,练习者的弓与大臂基本保持平行状态,则该时刻运弓满足“平”;每隔100个时刻,进行检测,判断该时刻下,练习者运弓是否“平”。
与现有技术相比,本发明采用可见光相机与深度传感器结合,通过其采集的图像信息,并结合计算机视觉技术的算法,来检测在练习者在练习小提琴的过程中,弓法是否操作准确,从而帮助老师进行针对性的检测,判断练习者在练习的过程中是否出现错误。
附图说明
图1为本发明的整体流程图。
图2为本发明的检测弓与弦接触点位置流程图。
图3为本发明的检测运弓是否稳局部流程图。
图4为本发明的检测运弓是否平局部流程图。
图5为本发明的深度传感器检测身体部位关键点图。
具体实施方式
下面结合具体实施例对本发明作进一步描述,在此发明的示意性实施例以及说明用来解释本发明,但并不作为对本发明的限定。
如图1所示,本实施例的一种基于计算机视觉的辅助小提琴练习者弓法检测方法,在小提琴练习者右侧面1米的距离、距离地面高度0.5米处正对着小提琴练习者设置深度传感器,在练习者前方1米距离、距离地面高度0.5米处正对着练习者设置一个可见光相机,在练习者右侧面方1米的距离、距离地面高度0.5米处正对着练习者设置二个可见光相机,基于深度传感器和两个可见光相机对小提琴练习者的弓法进行检测,具体步骤如下:
1、可见光相机采集图像
对于弓法检测的过程中,我们需要利用可见光相机来采集练习者的相关图像信息,然后对采集到的图像信息进行分析,从而判断练习者的弓法水准。假设当前时刻为i,则位于练习者正前方的可见光相机采集到的图像标记为Pi,位于练习者右侧面的可见光相机采集到的图像标记为Qi
2、检测弓与弦的接触点是否准确
在练习小提琴的过程中,弓与弦的接触点是否标准是非常重要的。如果接触位置不当,那么则无法演奏出动听的音乐。基于此,在本环节中,我们利用可见光相机采集到的图像信息,并结合一定的计算机视觉算法,来检测练习者在拉小提琴的过程中,弓与弦的接触位置是否比较规范,该环节流程图可如图2所示,具体实施细节如下:
A、检测出弓的位置
在此环节中,我们主要利用位于练习者前方可见光相机采集到的图像进行分析,具体来说本环节包含三个子步骤,具体操作细节如下:
(i)图像灰度化
对于步骤1中获取到的图像信息来说,其是具有三通道的彩色图像,其可能包含过多的亮度和噪声信息,因此,我们首先需要对其图像Pi进行灰度化操作,灰度化后的图像标记为Pi'。待灰度化操作完成后,我们利用灰度化后的图像来检测正前方可见光相机采集到的图像中弓的实际位置。
(ii)检测图像中直线
对于弓来说,其形状是一个具有一定长度的笔直物体,因此,我们可以利用检测直线的方法,来检测弓的位置。在这里我们采用基于霍夫直线的方法来检测图像中的直线,其原理如可如下所示:
在笛卡尔空间中,一条直线的表现形式是y=kx+b。其中,k和b分别表示斜率和截距。位于同一条直线上点都具有同样的斜率和截距,但是由于直线可能与X正轴垂直,斜率无法表示。故将直线换成极坐标系空间,则其表现形式是r=xcosθ+ysinθ,其中,(x,y)表示某一点的坐标位置,(r,θ)表示经过该点直线到原点的距离,θ表示r与X正轴的夹角。则在极坐标系下,位于同一条直线上的点,都有一样的r和θ。
对于图像Pi′来说,逐像素点进行遍历,将每一个像素点映射到极坐标系下,则其都会得到一组(r,θ)。当所有坐标点都映射完毕后,我们会获得许多(r,θ)组,其中会有重复的,则重复频率最高的那两组(r,θ),就可以两个基于笛卡尔坐标系下的直线方程。从而该方程,我们便可以在图像中获取到三组线段(代表弓和弦,其中一条线段是倾斜的,另外两条线段是竖直的)。具体实施,现有技术已经十分成熟,直接调用相应程序即可实现检测直线。
(iii)筛选出弓的位置
采用现有直线检测技术,我们可以在图像Pi′中,检测到许多的线段。由于小提琴的许多部分形状都是笔直形状(比如弦,指板和码子等),因此,我需要在检测到多个线段中,筛选出真正的弓的位置。由于在演奏小提琴的过程中,弓与水平方向是有一定的角度度数要求,且弓的长度也相对较长,故这里我们采用角度和长度并存的检测方式,来获取真正的弓,操作细节如下:
遍历我们检测到的多个线段,如果当前线段与水平向右的方向夹角大于60度,则将其保留下来,否则不满足夹角度数要求将其舍弃,继续检测下一条线段。待遍历完多个线段后,我们将获取若干个被保留的线段,则在保留的线段中,选取长度最长的线段,将其标记为弓,记为Gi,代表在图像Pi中检测到的弓位置。
B、检测出弦的位置
对于弦来说,其是位于琴板上的,同样形状属于笔直类型,故我们也可以使用检测直线的方式来检测出弦的位置。在步骤A-(ii)中,我们已经获取到许多当前采集到图像中的许多线段,其中,弦所代表的线段就在这些线段中。我们将所有线段与水平向右方向的夹角度数在10度以内的线段保留,并将其标记为弦,并记为j表示当前线段的代号,1≤j≤4。在小提琴中,弦一共有四条,因此,这四条都会被检测到,最上方的线段为最下方的线段为
C、检测出弓与弦接触点位置
一旦弓和弦进行接触,则说明在图像中,弓所代表的线段肯定会和弦所代表的线段相交,则相交的交点便是弓和弦的接触点位置。因此,在此步骤中,我们只需要检测出这交点位置即可。因为弓会和所有的线进行接触,我们只需获取到随便一条弦和弓接触的位置即可。以任意一条弦为例,其和弓Gi相交的接触点标记为Vi j
D、检测出小提琴指板和码子的位置
在步骤B中,我们已经检测到弦的位置,其是在图像Pi′中,近似于水平位置的线段,但是对于每一条水平方向的线段来说,其总是会有两条近似于竖直方向的且长短较短的线段和其相交。这两条线段则代表小提琴的指板和码子。其中位于左边一点的线段代表码子,右边一点线段是指板。对于弦来说,其左边交点记为右边的交点记为ri j
E、判断接触点是否标准
以随便一条弦为例,在步骤C中,我们已经获取到弓和弦的接触点Vi j,如果当前接触点Vi j在指板和码子之间,即在点和ri j之间,则说明在当前时刻i时,练习者的弓与琴弦的接触位置是准确的。
3、运弓是否直
在练习的过程中,判断拉弓的轨迹是不是近似在同一条直线上,是非常重要的,这也就是专业人员所讲的拉弓是否“直”。对于当前时刻i来说,根据步骤A的操作,我们检测出弓的位置Gi,接下来,我们需要每隔一段时间检测弓的位置并判断与之间检测到的弓的位置偏移情况,从而分析弓是否拉的“直”。
对于可见光相机来说,其每秒可以连续采集很多帧图像,如果对每帧都进行实时的分析,这是没有必要的。在连续的相邻的帧内,其间隔时间非常短,练习者的手部动作是无法做出很大的变化的。因此,在本专利中,规定每隔100个时刻(这里的时刻不是秒),进行一次检测,即如果当前时刻为i,则下一次检测的时刻是i+100,并依次类推。
假设我们获取到了时刻为j时候的弓位置,Gj获取其中心点位置(线段是有长度的,故可以获取其中点长度),记为Zj(xj,yj),上一次弓Gj-100中心点位置可记为Zj-100(xj-100,yj-100)。则相邻时刻弓中心点水平方向的偏移量的绝对值Tj可获取,其定义如公式(1)。在整个练习期间,如果我们进行了m次检测,则我们会获取到m-1个偏移量值。分析这所有偏移量值大小范围,最大值记为Tmax,最小值记为Tmin。如果波动范围TE大于10,则说明波动较大,练习者弓拉的不近似于在一条直线轨迹上,则拉的不直,否则则说明拉弓相对标准,近似在一条直线上,TE的定义可如公式(2)所示。
Tj=|xj-xj-100| (1)
TE=Tmax-Tmin (2)
4、运弓是否稳
在运弓的过程中,如果运弓不够平稳,即运弓一时快,一时慢,则会破坏小提琴演奏的琴杆,且在这种情况下,是无法演奏出悦耳动听的音乐,只有运动的幅度很一致,很平稳,不快额不慢,才能演凑出很美妙的音乐。基于此,我们以相邻时刻弓中心点竖直方向的坐标点变化的幅度来表示运弓是否平稳,该环节流程图可如图3所示,具体实施如下:
假设在时刻为j时候的弓的中心点位置,记为Zj(xj,yj),上一次弓Gj-100中心点位置为Zj-100(xj-100,yj-100)。则相邻时刻弓中心点竖直方向的偏移量的绝对值Hj可获取,其定义如公式(3)。同样在整个练习期间,如果我们进行了m次检测,则我们会获取到m-1个偏移量值。分析这所有偏移量值大小范围,最大值记为Hmax,最小值记为Hmin。由于我们每隔相等的时间进行一次检测,故偏移量的变化幅度便可以代替速度变化的幅度。
A、运弓是否匀速
如果竖直方向的偏移量的波动范围HE小于20,则说明波动范围较小,故在整个练习期间,弓运动速度相对匀速。
B、运弓速度是否过快
如果Hmin大于40,则说明在整个运弓期间,弓的运动速度都很快;如果Hmax大于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过快。
C、运弓速度是否过慢
如果Hmax小于20,则说明在整个运弓期间,弓的运动速度都很慢;如果Hmin小于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过慢。
故,只有当Hmin大于20,且Hmax小于40,说明该练习者运动速度正好,且HE小于20,说明运弓比较匀速,只有满足这两个条件,才说明练习者运弓相对平稳。
Hj=|yj-yj-100| (3)
5、运弓是否平
在运弓的过程中,其是否‘平’也是非常重要的。具体来说,大臂与弓是否平行。大臂的定义为肩部节点与手肘节点之间的部分。对于Kinect来说,其是微软开发的一款产品,因此,微软也提供了相应的接口程序用来检测人体的关键点。故在此环节中,我们通过Kenect来获取人体的节点并用来检测在整个练习期间,运弓是否平。该环节流程图可如图4所示,用Kinect检测身体部位的关键点示意图可如图5所示,具体执行如下:
A、获取人体关键点
在某一时刻i,我们获取到练习者侧面深度传感器(Kinect)采集到的图像Ni之后,调用人体关键点检测的微软程序,则程序可以显示出大约20个人体的关键点部位,这里我们只获取两个关键点部位:右肩和右肘部;
B、关键点连线
将右肩和右肘部的两个点用线段连接,并将该线段标记为Fi,则该线段可以表示在时刻i,我们获取到的练习者大臂肢体部分。
C、获取弓的位置
为了判断弓与大臂是否平行,则从正面的可见光相机采集到的图像中,很难判断。此时,我们需要位于练习者侧面的可见光相机来采集图像并检测出弓的位置。在时刻i,练习者侧面的可见光相机采集到的图像Qi,在经过灰度化后,标记为Q′i,则按照步骤2中的方法,我们可以检测出此时图像中的弓,记为G′i
D、判断是否平行
对于Fi来说,我们获取其与水平向右方向的夹角,并记为对于G′i来说,我们同样获取其与水平向右方向的夹角,并记为如果的大小误差在5度以内,则我们基本认为在时刻i,练习者的弓与大臂基本保持平行状态,则该时刻运弓满足“平”。我们同样每隔100个时刻,进行检测,判断该时刻下,练习者运弓是否“平”。
综述,基于上述步骤,即可检测在练习者在练习小提琴的过程中,弓法是否操作准确,从而帮助老师进行针对性的检测,判断练习者在练习的过程中是否出现错误。
本发明的技术方案不限于上述具体实施例的限制,凡是根据本发明的技术方案做出的技术变形,均落入本发明的保护范围之内。

Claims (5)

1.一种基于计算机视觉的辅助小提琴练习者弓法检测方法,其特征在于,在小提琴练习者右侧面1米的距离、距离地面高度0.5米处正对着小提琴练习者设置深度传感器,在练习者前方1米距离、距离地面高度0.5米处正对着练习者设置一个可见光相机,在练习者右侧面方1米的距离、距离地面高度0.5米处正对着练习者设置二个可见光相机,基于深度传感器和两个可见光相机对小提琴练习者的弓法进行检测,具体步骤如下:
S1、可见光相机采集图像:通过位于练习者前方和侧面的可见光相机采集小提琴练习者的图像;
S2、检测弓与弦的接触点是否准确:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓与弦的位置,然后分析出弓与弦接触点位置是否标准;
S3、检测运弓是否直:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓的位置,每隔100个时刻检测一次弓的位置,然后分析出在相邻时间内,弓的水平方向偏移量是否过大,从而判断运弓是否直;
S4、检测运弓是否稳:通过位于练习者前方的可见光相机采集的练习者的图像,检测出弓的位置,每隔100个时刻检测一次弓的位置,然后分析出在相邻时间内,弓的竖直方向的位置是否变化均匀以及位置量是否过大以及过小,从而判断运弓是否稳;
S5、检测运弓是否平:通过位于练习者右侧面的可见光相机采集的练习者的图像,检测出弓的位置,以及从位于练习者侧面的深度传感器检测出大臂位置,进而分析在运弓过程中,大臂与弓是否近似平行,从而判断运弓是否平。
2.根据权利要求1所述的基于计算机视觉的辅助小提琴练习者弓法检测方法,其特征在于:所述步骤S2的具体步骤为:
S21、检测出弓的位置:
S211、图像灰度化:假设当前时刻为i,则位于练习者正前方的可见光相机采集到的图像标记为Pi,位于练习者右侧面的可见光相机采集到的图像标记为Qi;对其图像Pi进行灰度化操作,灰度化后的图像标记为Pi',待灰度化操作完成后,利用灰度化后的图像来检测正前方可见光相机采集到的图像中弓的实际位置;
S212、检测图像中直线:采用基于霍夫直线的方法来检测图像Pi中的直线;
S213、筛选出弓的位置:采用基于霍夫直线的方法在图像Pi'中检测到许多的线段,遍历检测到的多个线段,如果当前线段与水平向右的方向夹角大于60度,则将其保留下来,否则不满足夹角度数要求将其舍弃,继续检测下一条线段;待遍历完多个线段后,将获取若干个被保留的线段,则在保留的线段中,选取长度最长的线段,将其标记为弓,记为Gi,代表在图像Pi中检测到的弓位置;
S22、检测出弦的位置:采用基于霍夫直线的方法在图像Pi'中检测到许多的线段,遍历检测到的多个线段,将所有线段与水平向右方向的夹角度数在10度以内的线段保留,并将其标记为弦,并记为j表示当前线段的代号,1≤j≤4:在小提琴中,弦一共有四条,这四条都会被检测到,最上方的线段为最下方的线段为
S23、检测出弓与弦接触点位置:任意一条弦其和弓Gi相交的接触点标记为Vi j
S24、检测出小提琴指板和码子的位置:在步骤S22中,已经检测到弦的位置是在图像Pi'中近似于水平位置的线段,对于每一条水平方向的线段来说,其总是会有两条近似于竖直方向的且长短较短的线段和其相交,这两条线段则代表小提琴的指板和码子,其中位于左边一点的线段代表码子,右边一点线段是指板;对于弦Xi j来说,其左边交点记为li j,右边的交点记为ri j
S25、判断接触点是否标准:如果当前接触点Vi j在指板和码子之间,即在点li j和ri j之间,则说明在当前时刻i时,练习者的弓与琴弦的接触位置是准确的。
3.根据权利要求2所述的基于计算机视觉的辅助小提琴练习者弓法检测方法,其特征在于:所述步骤S3的具体步骤为:
在步骤S2的基础上,假设获取到了时刻为j时候的弓位置,Gj获取其中心点位置,记为Zj(xj,yj),上一次弓Gj-100中心点位置记为Zj-100(xj-100,yj-100);则相邻时刻弓中心点水平方向的偏移量的绝对值Tj=|xj-xj-100|;在整个练习期间,假设进行了m次检测,则会获取到m-1个偏移量值,分析这所有偏移量值大小范围,最大值记为Tmax,最小值记为Tmin,如果波动范围TE大于10,则说明波动较大,练习者弓拉的不近似于在一条直线轨迹上,则拉的不直;否则则说明拉弓相对标准,近似在一条直线上,TE=Tmax-Tmin
4.根据权利要求3所述的基于计算机视觉的辅助小提琴练习者弓法检测方法,其特征在于:所述步骤S3的具体步骤为:
在步骤S2的基础上,假设在时刻为j时候的弓的中心点位置,记为Zj(xj,yj),上一次弓Gj-100中心点位置为Zj-100(xj-100,yj-100);则相邻时刻弓中心点竖直方向的偏移量的绝对值Hj=|yj-yj-100|;同样在整个练习期间,假设进行了m次检测,则会获取到m-1个偏移量值,分析这所有偏移量值大小范围,最大值记为Hmax,最小值记为Hmin;如果竖直方向的偏移量的波动范围HE小于20,则说明波动范围较小,故在整个练习期间,弓运动速度相对匀速;如果Hmin大于40,则说明在整个运弓期间,弓的运动速度都很快;如果Hmax大于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过快;如果Hmax小于20,则说明在整个运弓期间,弓的运动速度都很慢;如果Hmin小于40,则说明在运弓期间,存在某个时间段,练习者运弓速度过慢;只有当Hmin大于20,且Hmax小于40,说明该练习者运动速度正好,且HE小于20,说明运弓比较匀速,只有满足这两个条件,才说明练习者运弓相对平稳。
5.根据权利要求4所述的基于计算机视觉的辅助小提琴练习者弓法检测方法,其特征在于:所述步骤S5的具体步骤为:
S51、获取人体关键点:在某一时刻i,获取到练习者侧面的深度传感器采集到的图像Ni之后,调用人体关键点检测的微软程序获取两个关键点部位:右肩和右肘部;
S52、关键点连线:将右肩和右肘部的两个点用线段连接,并将该线段标记为Fi,则该线段表示在时刻i获取到的练习者大臂肢体部分;
S53、获取弓的位置:在时刻i,练习者侧面的可见光相机采集到的图像Qi,在经过灰度化后,标记为Qi',依据步骤S2检测出此时图像Qi'中的弓,记为Gi';
S54、判断是否平行:对于Fi获取其与水平向右方向的夹角,并记为对于Gi'获取其与水平向右方向的夹角,并记为θi 2;如果θi 1与θi 2的大小误差在5度以内,则认为在时刻i,练习者的弓与大臂基本保持平行状态,则该时刻运弓满足“平”;每隔100个时刻,进行检测,判断该时刻下,练习者运弓是否“平”。
CN201811530887.XA 2018-12-14 2018-12-14 一种基于计算机视觉的辅助小提琴练习者弓法检测方法 Pending CN109711294A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811530887.XA CN109711294A (zh) 2018-12-14 2018-12-14 一种基于计算机视觉的辅助小提琴练习者弓法检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811530887.XA CN109711294A (zh) 2018-12-14 2018-12-14 一种基于计算机视觉的辅助小提琴练习者弓法检测方法

Publications (1)

Publication Number Publication Date
CN109711294A true CN109711294A (zh) 2019-05-03

Family

ID=66256465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811530887.XA Pending CN109711294A (zh) 2018-12-14 2018-12-14 一种基于计算机视觉的辅助小提琴练习者弓法检测方法

Country Status (1)

Country Link
CN (1) CN109711294A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN105976800A (zh) * 2015-03-13 2016-09-28 三星电子株式会社 电子装置和在电子装置中识别弦乐器演奏的方法
CN106485984A (zh) * 2015-08-27 2017-03-08 中国移动通信集团公司 一种钢琴的智能教学方法和装置
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976800A (zh) * 2015-03-13 2016-09-28 三星电子株式会社 电子装置和在电子装置中识别弦乐器演奏的方法
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN106485984A (zh) * 2015-08-27 2017-03-08 中国移动通信集团公司 一种钢琴的智能教学方法和装置
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法

Similar Documents

Publication Publication Date Title
CN102324030B (zh) 一种基于图像块特征的目标跟踪方法及跟踪系统
CN108764257A (zh) 一种多视角的指针式仪表识别方法
CN105976800A (zh) 电子装置和在电子装置中识别弦乐器演奏的方法
CN102254159B (zh) 一种数显仪表判读方法
CN2807248Y (zh) 落球法液体粘滞系数测定仪
CN107490398A (zh) 一种仪表指针自动识别方法
CN109635695B (zh) 基于三元组卷积神经网络的行人再识别方法
CN111598175B (zh) 一种基于在线难例挖掘方式的检测器训练优化方法
CN106771589B (zh) 一种频谱分析实时瀑布图的实现方法
CN112908355B (zh) 一种师范生教学技能量化评价系统及其方法
KR20120064922A (ko) 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치
CN108209926A (zh) 基于深度图像的人体身高测量系统
CN110378232A (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN106295491A (zh) 车道直线检测方法及装置
CN110046659A (zh) 一种基于tld的长时间单目标跟踪方法
CN109190827A (zh) 一种垄沟布局对降雨产流的影响机理识别方法
CN112488047A (zh) 一种钢琴指法智能识别方法
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN110379253A (zh) 小提琴综合辅助学习的方法、装置、软件与系统
CN109711294A (zh) 一种基于计算机视觉的辅助小提琴练习者弓法检测方法
CN110288026A (zh) 一种基于度量关系图学习的图像分割方法及装置
CN109508714A (zh) 一种低成本多通道实时数字仪表盘视觉识别方法及系统
CN109493683A (zh) 一种基于计算机视觉技术的辅助钢琴练习者指法检测方法
CN111275043A (zh) 一种基于pcnn处理的纸质简谱电子化播放装置
CN106780615A (zh) 一种基于密集采样的投影标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190503

WD01 Invention patent application deemed withdrawn after publication