CN117746513B - 基于视频运动目标检测与融合的运动技术教学方法及系统 - Google Patents
基于视频运动目标检测与融合的运动技术教学方法及系统 Download PDFInfo
- Publication number
- CN117746513B CN117746513B CN202410182154.0A CN202410182154A CN117746513B CN 117746513 B CN117746513 B CN 117746513B CN 202410182154 A CN202410182154 A CN 202410182154A CN 117746513 B CN117746513 B CN 117746513B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- image sequence
- sequence
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000005516 engineering process Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 62
- 238000003708 edge detection Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000009432 framing Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 abstract description 29
- 230000037147 athletic performance Effects 0.000 abstract description 6
- 230000002194 synthesizing effect Effects 0.000 abstract description 4
- 230000000386 athletic effect Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000008092 positive effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 28
- 238000013461 design Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 4
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Abstract
本发明公开了一种基于视频运动目标检测与融合的运动技术教学方法及系统，本发明以定点采集的运动技术动作视频为对象，并通过对视频中运动目标的检测、配准和提取处理，以及对提取的运动目标进行合成，来将不同运动人员的视频进行融合，从而基于融合后的视频来进行技术动作比较；基于此，本发明无需人员穿戴监测设备，不会影响运动人员的运动表现，解决了传统技术使用受限的问题；另一方面，本发明将基于视频运动目标检测与融合技术应用于体育专业院校运动技术教学中，在教学方法上实现了现代信息技术与运动技术教学的深度融合，有助于学生在学习运动技术时，加深对技术要领的理解、加快对技术动作的掌握，对提升教师的教学效能具有积极作用。
Description
技术领域
本发明属于基于视频图像处理的视频融合技术领域，具体涉及一种基于视频运动目标检测与融合的运动技术教学方法及系统。
背景技术
促进学生尽快掌握并能熟练运用各项运动技术，形成正确而稳固的技术动力定型是体育专业运动技术教学所追求的重要目标；长期以来，教师通常凭借视觉记忆信息衡量技术动作，但因受到动作速度和人眼辨识的影响，主观的分析和判断已不能满足对学生精准指导要求；同时，体育运动项目技术动作多在高速情况下完成，在现实教学中难以慢速、可控制地呈现给学生，会导致学生难以获得正确的动作表象和清晰的认知结构；因此，提升体育专业运动技术教学质量的瓶颈问题仍有待解决。
近年来，基于加速计、陀螺仪等惯性测量技术和基于肌电图的可穿戴技术发展迅速，使得利用先进、科学的辅助系统来提高运动技术教学水平的技术得以实现，但是，前述技术存在以下不足：穿戴设备会影响运动表现，仅限于实验环境使用，且操作程序复杂，存在不适宜推广应用等局限问题；基于此，提供一种操作简单，应用性强，不干扰运动表现的基于视频运动目标检测与融合的运动技术教学方法，以便用于技术教学，已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种基于视频运动目标检测与融合的运动技术教学方法及系统，用以解决现有技术中所存在的会影响运动表现，仅限于实验环境使用，操作程序复杂，以及不适宜推广应用的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种基于视频运动目标检测与融合的运动技术教学方法，包括：
获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列；
利用所述第一图像序列，对所述第二图像序列进行配准处理，得到目标图像序列；
对所述目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，所述运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像；
利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；
将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学。
基于上述公开的内容，本发明先获取两个运动人员的运动视频，并对其进行分帧处理，得到两个运动人员对应的图像序列（即第一图像序列和第二图像序列）；而后，利用第一图像序列对第二图像序列进行配准处理，得到目标图像序列；接着，对目标图像序列中的各个目标图像进行运动目标检测，得到各个运动目标图像；最后，即可利用各个运动目标图像、第一图像序列以及目标图像序列，来生成两个运动视频融合后的视频。
通过上述设计，本发明以定点采集的运动技术动作视频为对象，并通过对视频中运动目标的检测、配准和提取处理，以及对提取的运动目标进行合成，来将不同运动人员的视频进行融合，从而基于融合后的视频来进行技术动作比较；基于此，一方面，本发明无需人员穿戴监测设备，操作简单，不会影响运动人员的运动表现，解决了传统技术使用受限的问题；另一方面，本发明将基于视频运动目标检测与融合技术应用于体育专业院校运动技术教学中，在课程设计和教学方法上实现了现代信息技术与运动技术教学的深度融合，有助于学生在学习运动技术时，加深对技术要领的理解、加快对技术动作的掌握，对提升教师的教学效能亦具有积极作用。
在一个可能的设计中，对所述目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，包括：
对于所述目标图像序列中的第n个目标图像，获取所述第n个目标图像中各个像素点的初始高斯分布模型，其中，任一像素点对应有若干初始高斯分布模型，且n的初始值为1；
从各个像素点的若干初始高斯分布模型中，确定出与各个像素点相匹配的至少一个初始高斯分布模型，以得到各个像素点的目标高斯分布模型；
更新各个像素点的目标高斯分布模型的第一模型参数，以及更新各个像素点的指定高斯分布模型的第二模型参数，以在模型参数更新后，得到各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，其中，任一像素点的指定高斯分布模型为该任一像素点的若干初始高斯分布模型中除去所述目标高斯分布模型之后的模型；
利用各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，生成各个像素点的背景模型；
利用各个像素点的背景模型，生成所述第n个目标图像的前景图像；
对所述前景图像进行边缘检测处理，得到边缘检测图像；
利用所述前景图像和所述边缘检测图像，生成所述第n个目标图像对应的运动目标图像；
将n自加1，并重新获取第n个目标图像中各个像素点的初始高斯分布模型，直至n等于N时，得到各个目标图像对应的运动目标图像，其中，N为目标图像的总数。
在一个可能的设计中，更新各个像素点的目标高斯分布模型的第一模型参数，以及更新各个像素点的指定高斯分布模型的第二模型参数，包括：
对于任一像素点，更新所述任一像素点的指定高斯分布模型的权重，以及按照如下公式（1）、公式（2）和公式（3），更新该任一像素点的目标高斯分布模型的权重、均值和方差；
（1）
（2）
（3）
上述公式（1），表示第i个目标高斯分布模型，在第/>时刻时的权重，/>表示更新后的权重，/>表示参数学习率，其中，i=1,2,...,d,且d表示所述任一像素点的目标高斯分布模型的总数；
上述公式（2）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的均值，/>表示更新后的均值，其中，/>表示更新系数，/>表示所述任一像素点的像素值，且/>；
上述公式（3）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的方差，/>表示更新后的方差；
相应的，利用各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，生成各个像素点的背景模型，则包括：
对于所述任一像素点，利用所述任一像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，并采用如下公式（4），确定出所述任一像素点的背景模型；
（4）
上述公式（4）中，表示所述任一像素点的背景模型，/>表示所述任一像素点的混合高斯模型中第k个高斯模型/>的协方差矩阵，/>表示第k个高斯模型的权重，其中，所述混合高斯模型包含有所述任一像素点的更新后的目标高斯分布模型和更新后的指定高斯分布模型，且/>表示混合高斯模型中的高斯模型的总数。
在一个可能的设计中，利用各个像素点的背景模型，生成所述第n个目标图像的前景图像，包括：
利用各个像素点的背景模型，生成所述第n个目标图像的背景图像；
将所述背景图像与所述第n个目标图像进行差分处理，得到差分图像；
对于所述差分图像中的第j个像素点，判断第j个像素点的像素值是否大于像素阈值；
若是，则将第j个像素点的像素值置为1，否则，则将第j个像素点的像素值置为0；
将j自加1，并重新判断第j个像素点的像素值是否大于像素阈值，直至j等于M时，得到所述第n个目标图像的前景图像，其中，j的初始值为1，且M为差分图像中的像素点总数。
在一个可能的设计中，对所述前景图像进行边缘检测处理，得到边缘检测图像，包括：
对所述前景图像进行开运算处理，得到去噪图像；
对所述去噪图像进行边缘检测处理，得到所述去噪图像中的各个轮廓区域；
从各个轮廓区域中，选取出面积最大的轮廓区域；
将面积最大的轮廓区域中的所有像素点的像素值重置为1，以及将所述去噪图像中的目标区域内的所有像素点的像素值重置为0，以在像素点全部重置完成后，得到所述边缘检测图像；
相应的，利用所述前景图像和所述边缘检测图像，生成所述第n个目标图像对应的运动目标图像，则包括：
获取模板图像，其中，模板图像的尺寸与所述第n个目标图像的尺寸相同；
利用所述去噪图像以及所述边缘检测图像，并按照如下公式（5），调整所述模板图像中各个像素点的像素值，以在像素值调整完成后，得到所述第n个目标图像对应的运动目标图像；
（5）
上述公式（5）中，表示所述模板图像中像素坐标为/>的像素点的像素值，/>表示所述去噪图像中像素坐标为/>的像素点的像素值，表示所述边缘检测图像中像素坐标为/>的像素点的像素值。
在一个可能的设计中，利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成第一运动视频与第二运动视频融合后的运动视频，包括：
将所述运动目标图像序列中的各个运动目标图像，与所述目标图像序列中的各个目标图像按照排列顺序依次进行图像与运算，以在图像与运算后，得到彩图序列，其中，所述彩图序列中的各个彩图仅含有所述运动人员；
将各个运动目标图像中的每个像素点按位取反处理，得到各个运动目标图像对应的目标掩模图像，并利用各个目标掩模图像组成掩模图像序列；
将所述第一图像序列中的各个第一图像，与所述掩模图像序列中的各个目标掩模图像按照排列顺序依次进行图像与运算，以得到第三图像序列；
将所述第三图像序列中的各个第三图像，与彩图序列中的各个彩图按照排列顺序依次进行图像或运算，以在图像或运算后，得到第一图像序列与第二图像序列合成后的融合图像序列；
利用所述融合图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频。
在一个可能的设计中，利用所述第一图像序列，对所述第二图像序列进行配准处理，得到目标图像序列，包括：
从第一图像序列中筛选出首张第一图像，以及从第二图像序列中，筛选出首张第二图像；
对首张第一图像和首张第二图像进行特征点检测处理，分别得到首张第一图像中的特征点以及首张第二图像中的特征点；
对所述首张第一图像中的特征点和所述首张第二图像中的特征点进行特征点匹配处理，得到若干匹配特征点对；
从若干匹配特征点对中筛选出内点特征对，并利用各内点特征对计算出单应性矩阵；
利用所述单应性矩阵，对所述第二图像序列进行配准处理，得到所述目标图像序列。
第二方面，提供了一种基于视频运动目标检测与融合的运动技术教学系统，包括：
图像分帧单元，用于获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列；
配准单元，用于利用第一图像序列，对第二图像序列进行配准处理，得到目标图像序列；
运动目标检测单元，用于对目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像；
视频融合单元，用于利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；
辅助教学单元，用于将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学。
第三方面，提供了一种基于视频运动目标检测与融合的运动技术教学装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述基于视频运动目标检测与融合的运动技术教学方法。
第四方面，提供了一种存储介质，存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述基于视频运动目标检测与融合的运动技术教学方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述基于视频运动目标检测与融合的运动技术教学方法。
第六方面，提供了一种辅助教学技术指导系统，该系统用于执行实施例第一方面中所述的基于视频运动目标检测与融合的运动技术教学方法，以获取融合后的运动视频，并对融合后的运动视频进行可视化展示；如此，教师和学生均可通过观看融合后的运动目标序列，对比发现技术动作差异以及不足之处，从而进行针对性训练。
有益效果：
（1）本发明以定点采集的运动技术动作视频为对象，并通过对视频中运动目标的检测、配准和提取处理，以及对提取的运动目标进行合成，来将不同运动人员的视频进行融合，从而基于融合后的视频来进行技术动作比较；基于此，一方面，本发明无需人员穿戴监测设备，操作简单，不会影响运动人员的运动表现，解决了传统技术使用受限的问题；另一方面，本发明将基于视频运动目标检测与融合技术应用于体育专业院校运动技术教学中，在课程设计和教学方法上实现了现代信息技术与运动技术教学的深度融合，有助于学生在学习运动技术时，加深对技术要领的理解、加快对技术动作的掌握，对提升教师的教学效能亦具有积极作用。
（2）本发明利用数字融合技术，来进行运动视频的融合，从而实现技术动作比较，其中，数字视频采集和反馈技术能够弥补人眼观察能力的不足，教师可通过任意速率播放甚至逐帧播放，仔细观察和了解学生技术动作的细节；其次，动作视频中关键参数的提取与反馈，使教师对学生表现的定量评价成为可能，有助于增强指导的针对性和客观性，减少甚至避免基于经验的传统教学方法带来的判断误差和教法分歧；第三，通过视频合成技术，教师可将目标学生技术动作与标准动作进行比较，以便找出差距，明确改进方向；第四，借助视频存储和分析功能，教师在课后亦可对学生进行线上指导，并掌握学生不同学习阶段的历史数据，客观评价学生对不同技术动作的熟练程度，并为学生学习的过程化评价提供依据。
附图说明
图1为本发明实施例提供的基于视频运动目标检测与融合的运动技术教学方法的步骤流程示意图；
图2为本发明实施例提供的内点特征对的连线图；
图3为本发明实施例提供的首张第二图像配准后的示意图；
图4为本发明实施例提供的运动检测对比示意图；
图5为本发明实施例提供的融合图像序列的示意图；
图6为本发明实施例提供的基于视频运动目标检测与融合的运动技术教学系统的功能单元结构示意图；
图7为本发明实施例提供的基于视频运动目标检测与融合的运动技术教学系统的系统架构图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1所示，本实施例所提供的基于视频运动目标检测与融合的运动技术教学方法，以定点采集的运动技术动作视频为对象，并通过对视频中运动目标的检测、配准和提取处理，以及对提取的运动目标进行合成，来将不同运动人员的视频进行融合，从而基于融合后的视频来进行技术动作比较；如此，相比于传统技术，本方法无需运动人员穿戴设备，操作简单，不会干扰运动人员的运动表现，因此，非常适用于在运动教学分析领域的大规模应用与推广；其中，举例本方法可以但不限于在视频融合端侧运行，可选的，举例视频融合端可以但不限于为个人电脑（personal computer，PC）、平板电脑或智能手机，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。
S1. 获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列；在本实施例中，举例可以采用普通数码摄像机来拍摄两个运动人员在进行体育运动时的视频（如采集学生和教师进行相同体育运动时的视频，教师则作为示范动作），从而得到第一运动视频和第二运动视频；而后，对第一运动视频和第二运动视频进行分帧处理，并对分帧处理得到的各个图像进行裁剪后，即可得到第一图像序列和第二图像序列；可选的，对分帧处理后的图像进行裁剪，则是将各个分帧处理后的图像裁剪为预设尺寸的图像，如裁剪为480×1280的图像；当然，裁剪的尺寸可根据实际使用而具体设定，在此不作具体限定；另外，第一图像序列和第二图像序列中的各个图像则是按照时序排序的，即相同排序处的图像的拍摄时间相同。
由于第一运动视频和第二运动视频是在不同视角下拍摄的视频，因此，要将视频中的运动目标放在一个背景下进行比较，需要先对图像进行配准，其中，配准过程如下述步骤S2所示。
S2. 利用所述第一图像序列，对所述第二图像序列进行配准处理，得到目标图像序列；在本实施例中，是利用单应变换方法，来将第二图像序列进行配准处理；其中，具体的配准过程可以但不限于如下述步骤S21～S25所示。
S21. 从第一图像序列中筛选出首张第一图像，以及从第二图像序列中，筛选出首张第二图像；在具体应用时，是利用两个图像序列中的首张图像，来计算出单应性矩阵，而后，利用单应性矩阵，来对第二图像序列进行图像配准；可选的，单应性矩阵的计算过程如下述步骤S22～S24所示。
S22. 对首张第一图像和首张第二图像进行特征点检测处理，分别得到首张第一图像中的特征点以及首张第二图像中的特征点；在具体实施时，举例可以但不限于采用SIFT算法，来分别检测出前述首张第一图像和首张第二图像中的特征点；其中，SIFT算法为特征点检测的常用算法，其原理不再赘述。
在得到前述两首张图像中的特征点后，即可进行点对的匹配，如下述步骤S23所示。
S23. 对所述首张第一图像中的特征点和所述首张第二图像中的特征点进行特征点匹配处理，得到若干匹配特征点对；在具体应用时，举例可以但不限于采用快速最邻近匹配算法进行前述两首张图像中的特征点匹配，从而得到匹配特征点对；在完成特征点的匹配后，还需要进行特征点对的筛选，以便基于筛选出的特征点对，来计算出单应性矩阵，其中，特征点对的筛选以及单应性矩阵的计算过程如下述步骤S24所示。
S24. 从若干匹配特征点对中筛选出内点特征对，并利用各内点特征对计算出单应性矩阵；在本实施例中，举例可以但不限于采用随机抽样一致算法（RANSAC）来删除匹配特征点对中的外点对，保留内点对（内点特征对）；当然，随机抽样一致算法为特征点对筛选的常用方法，其原理不再赘述；而在得到内点特征对后，即可利用内点特征对，来计算单应性矩阵；其中，计算过程如下述所示。
首先，利用选取的各个内点特征对的坐标，来组成矩阵L，其中，假设有s个内点特征对，可利用各个内点特征对来构建出对应的第一向量和第二向量，，，前述式中，/>依次表示第b个内点特征对对应的第一向量和第二向量，/>表示第b个内点特征对中一个特征点的像素横坐标和纵坐标。/>表示第b个内点特征对中另一个特征点的像素横坐标和纵坐标，T表示转置运算，b=1,2,...,s。
可选的，利用前述各个内点特征对来构建出第一向量和第二向量，来构建出矩阵L。
（6）
上述公式（6）中，L表示矩阵，表示第s个内点特征对的第一向量，/>表示第s个内点特征对中另一个特征点的像素横坐标和纵坐标。
在构建出矩阵L后，计算，得到9×9的矩阵D，然后对其进行奇异值分解，计算出矩阵D的最小特征值对应的特征向量/>；其中，特征向量e则是单应性矩阵H按序排列的9个元素，即单应性矩阵为：
。
基于前述步骤S24，即可计算出单应性矩阵；而后，则可利用单应性矩阵，来对第二图像序列中的各个第二图像进行配准处理；其中，配准过程如下述步骤S25所示。
S25. 利用所述单应性矩阵，对所述第二图像序列进行配准处理，得到所述目标图像序列；在具体实施时，举例可以但不限于将各个第二图像乘以单应性矩阵，从而得到各个第二图像对应的目标图像，以最终组成目标图像序列。
基于前述步骤S21～S25，来完成第二图像序列的图像配准后，即可进行运动目标检测处理，其中，运动目标检测处理过程如下述步骤S3所示。
S3. 对所述目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，所述运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像；在本实施例中，是使用混合高斯建模算法来提取出目标图像序列中各个目标图像内的运动目标，然后再进行阈值处理和开运算，以消除孤立区域，生成去噪图像序列；同时，检测运动目标的边缘，标记面积最大的轮廓，剔除无关运动物体；再对轮廓内的像素点进行全白填充，生成边缘检测图像序列；最后，利用边缘检测图像序列和去噪图像序列，即可生成掩码图像序列，也就是仅含有第二视频中的运动人员的运动目标图像序列；其中，前述过程可以但不限于如下述步骤S31～S38所示。
S31.对于所述目标图像序列中的第n个目标图像，获取所述第n个目标图像中各个像素点的初始高斯分布模型，其中，任一像素点对应有若干初始高斯分布模型，且n的初始值为1；在本实施例中，可预先为第n个图像中的每个像素点构建出K个初始高斯分布模型，在得出第n个目标图像中各个像素点对应的初始高斯分布模型后，则可进行模型匹配，如下述步骤S32所示。
S32. 从各个像素点的若干初始高斯分布模型中，确定出与各个像素点相匹配的至少一个初始高斯分布模型，以得到各个像素点的目标高斯分布模型；在本实施例中，对于任一像素点，可基于该任一像素点的像素值，与其对应K个初始高斯分布模型的均值，来判断该像素点是否与初始高斯分布模型匹配；其中，若该任一像素点的像素值，与任一初始高斯分布模型的均值之间的距离处于在2.5倍标准差内（该任一初始高斯分布模型的标准差），那么，则判定该任一像素点与前述任一初始高斯分布模型相匹配，可认定为背景点；当然，该任一像素点与其余初始高斯分布模型的匹配过程，与前述举例相同，于此不再赘述。
在完成各个像素点与其对应的K个初始高斯分布模型的匹配后，即可进行模型参数的更新，其中，更新过程如下述步骤S33所示。
S33. 更新各个像素点的目标高斯分布模型的第一模型参数，以及更新各个像素点的指定高斯分布模型的第二模型参数，以在模型参数更新后，得到各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，其中，任一像素点的指定高斯分布模型为该任一像素点的若干初始高斯分布模型中除去所述目标高斯分布模型之后的模型；在本实施例中，以任一像素点为例，来阐述前述模型更新过程，如下述所示。
在本实施例中，对于任一像素点，更新所述任一像素点的指定高斯分布模型的权重，以及按照如下公式（1）、公式（2）和公式（3），更新该任一像素点的目标高斯分布模型的权重、均值和方差；如此，相当于是更新所有初始高斯分布模型的权重，并额外更新匹配成功的初始高斯分布模型（即目标高斯分布模型）的均值和方差。
其中，目标高斯分布模型的权重更新公式和指定高斯分布模型（即未匹配成功的初始高斯分布模型）的权重更新公式相同，下述以目标高斯分布模型为例，来具体阐述。
（1）
（2）
（3）
上述公式（1），表示第i个目标高斯分布模型，在第/>时刻时的权重，/>表示更新后的权重，/>表示参数学习率，其中，i=1,2,...,d,且d表示所述任一像素点的目标高斯分布模型的总数；在本实施例中，/>实质是第n-1个目标图像中目标像素点的第i个目标高斯分布模型的权重，且目标像素点为第n-1个目标图像中与前述任一像素点位置相同的像素点；同时，当t为1时，/>为初始值（即第n个目标图像为第t时刻的图像，而第n-1个目标图像则是第t-1时刻时的图像，因此，当t为1时，/>为初始值）。
上述公式（2）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的均值，/>表示更新后的均值，其中，/>表示更新系数，/>表示所述任一像素点的像素值，且/>；同理，/>则是第n-1个目标图像中目标像素点的第i个目标高斯分布模型的均值；当然，当t为1时，/>为初始值。
上述公式（3）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的方差，/>表示更新后的方差；在本实施例中，/>则表示第n-1个目标图像中目标像素点的第i个目标高斯分布模型的方差；当然，当t为1时，/>也为初始值。
由此通过前述阐述，对于任一像素点，相当于是用当前帧的前一帧目标图像中该任一像素点的目标高斯分布模型的模型参数，来更新当前帧中该任一像素点的目标高斯分布模型的模型参数；同理，对于指定目标高斯模型的权重更新也是如此，其原理不再赘述。
在完成前述各个像素点的各个指定高斯分布模型和目标高斯分布模型的参数更新后，即可利用更新后的模型，来生成各个像素点的背景模型；如下述步骤S34所示。
S34. 利用各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，生成各个像素点的背景模型；在本实施例中，还是以前述任一像素点为例，来具体阐述背景模型的生成过程，如下述所示。
即对于所述任一像素点，利用所述任一像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，并采用如下公式（4），确定出所述任一像素点的背景模型。
（4）
上述公式（4）中，表示所述任一像素点的背景模型，/>表示所述任一像素点的混合高斯模型中第k个高斯模型/>的协方差矩阵，表示第k个高斯模型的权重，其中，所述混合高斯模型包含有所述任一像素点的更新后的目标高斯分布模型和更新后的指定高斯分布模型，且/>表示混合高斯模型中的高斯模型的总数（实质为该任一像素点对应初始高斯分布模型的总数）。
由此，基于前述公式（4），即可确定出第n个目标图像中各个像素点的背景模型；而后，即可利用各个像素点的背景模型，来生成第n个目标图像的前景图像；其中，前景图像的生成过程可以但不限于如下述步骤S35所示。
S35. 利用各个像素点的背景模型，生成所述第n个目标图像的前景图像；在本实施例中，则是先利用各个像素点的背景模型，来生成背景图像，然后利用背景图像和第n个目标图像，来生成前景图像；可选的，前述过程可以但不限于如下述步骤S35a～S35e所示。
S35a.利用各个像素点的背景模型，生成所述第n个目标图像的背景图像；在具体实施时，可计算出各个背景模型的权值除以标准差的值，然后按照计算出的值进行降序排列，即将权重最大，标准差小的模型排列在前；然后，选取前B个作为背景。
在得到背景图像后，即可将其与第n个目标图像进行差分处理，然后再进行阈值处理，以在阈值处理后，得到前景图像；其中，差分处理过程如下述步骤S35b所示。
S35b. 将所述背景图像与所述第n个目标图像进行差分处理，得到差分图像；在本实施例中，差分处理则是背景图像与第n个目标图像中对应位置处的像素点的像素值相减处理；而在得到差分图像后，即可进行阈值处理，以得到前景图像；其中，阈值处理过程如下述步骤S35c～S35e所示。
S35c. 对于所述差分图像中的第j个像素点，判断第j个像素点的像素值是否大于像素阈值；在具体实施时，举例像素阈值可以但不限于为254；当然，其可根据实际使用而具体设定，在此不限定于前述举例；同时，对比差分图像中各个像素点的像素值与像素阈值之间的大小，即可完成像素重置；其中，像素重置过程如下述步骤S35d所示。
S35d. 若是，则将所述第j个像素点的像素值置为1，否则，则将所述第j个像素点的像素值置为0；在本实施例中，相当于是将第j个像素点进行二值化处理；而后，以前述方法来循环二值化差分图像中的其余像素点，即可在循环结束后，得到前景图像；其中，循环过程如下述步骤S35e所示。
S35e. 将j自加1，并重新判断第j个像素点的像素值是否大于像素阈值，直至j等于M时，得到所述第n个目标图像的前景图像，其中，j的初始值为1，且M为差分图像中的像素点总数。
通过前述步骤S35a～S35e，即可生成第n个目标图像的前景图像，而后，对前景图像进行边缘检测，即可得到边缘检测图像；其中，边缘检测过程如下述步骤S36所示。
S36. 对所述前景图像进行边缘检测处理，得到边缘检测图像；在本实施例中，举例可以但不限于采用如下步骤S36a～S36d，来生成边缘检测图像。
S36a. 对所述前景图像进行开运算处理，得到去噪图像；在本实施例中，使用形态学开运算对图像进行去噪，为图像去噪领域的常用技术，其原理不再赘述。
在完成前景图像的去噪后，则可对其进行边缘检测处理，如下述步骤S36b所示。
S36b. 对所述去噪图像进行边缘检测处理，得到所述去噪图像中的各个轮廓区域；在具体应用时，可利用边缘检测算法来进行边缘检测，得到去噪图像中的各个轮廓区域；而在得到去噪图像中的各个轮廓区域后，即可选取出面积最大的轮廓区域，然后将其内部的像素点的像素值置为1，以及将该去噪图像中剩余的像素点的像素值置为0，从而在像素重置后，得到边缘检测图像；其中，像素重复过程如下述步骤S36c和步骤S36d所示。
S36c. 从各个轮廓区域中，选取出面积最大的轮廓区域。
S36d. 将面积最大的轮廓区域中的所有像素点的像素值重置为1，以及将所述去噪图像中的目标区域内的所有像素点的像素值重置为0，以在像素点全部重置完成后，得到所述边缘检测图像。
由此通过前述步骤S36a～S36d，即可生成第n个目标图像对应的边缘检测图像（实质为一二值化图像）；而后，即可利用前景图像和边缘检测图像，来生成仅含有第二运动视频中运动人员的掩码图像（即运动目标图像）；其中，掩码图像的生成过程如下述步骤S37所示。
S37. 利用所述前景图像和所述边缘检测图像，生成所述第n个目标图像对应的运动目标图像；在具体应用时，可以但不限于先获取一模板图像（该模板图像的尺寸与所述第n个目标图像的尺寸相同）；然后，利用所述去噪图像以及所述边缘检测图像，并按照如下公式（5），调整所述模板图像中各个像素点的像素值，以在像素值调整完成后，得到所述第n个目标图像对应的运动目标图像。
（5）
上述公式（5）中，表示所述模板图像中像素坐标为/>的像素点的像素值，/>表示所述去噪图像中像素坐标为/>的像素点的像素值，表示所述边缘检测图像中像素坐标为/>的像素点的像素值。
基于前述公式（5），即可得到第n个目标图像对应的运动目标图像；而后，以相同方法，来进行其余各个目标图像的运动目标检测，即可得到运动目标图像序列；其中，循环处理过程如下述步骤S38所示。
S38. 将n自加1，并重新获取第n个目标图像中各个像素点的初始高斯分布模型，直至n等于N时，得到各个目标图像对应的运动目标图像，其中，N为目标图像的总数；在本实施例中，相当于就是循环执行前述步骤S31～S38，直至将目标图像序列中的所有目标图像均处理完毕时，即可得到运动目标图像序列，
由此通过前述步骤S31～S38，即可完成目标图像序列中所有目标图像的运动目标检测，得到仅含有第二运动视频中运动人员的掩码图像序列；而后，即可结合前述第一图像序列以及配准后的第二图像序列，来生成融合后的视频；其中，视频融合过程如下述步骤S4所示。
S4. 利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；在本实施例中，举例可以但不限于采用如下步骤S41～S45，来进行视频融合处理。
S41. 将所述运动目标图像序列中的各个运动目标图像，与所述目标图像序列中的各个目标图像按照排列顺序依次进行图像与运算，以在图像与运算后，得到彩图序列，其中，所述彩图序列中的各个彩图仅含有所述运动人员；在具体应用时，彩图序列可采用如下公式（7）表示。
（7）
上述公式（7）中，表示彩图序列中按时序排列的第t帧彩图中像素坐标（x，y）处的像素点的像素值，/>表示目标图像序列中第t帧目标图像内的像素坐标（x，y）处的像素点的像素值，/>表示运动目标图像序列中第t帧运动目标图像内的像素坐标（x，y）处的像素点的像素值。
如此通过前述步骤S41，即可将第二运动视频中的运动人员，从原视频中提取出来，从而得到仅含有该运动人员的一系列彩图；而后，则可对各个运动目标图像进行取反处理，从而得到掩码图像序列；其中，掩码图像序列的生成过程如下述步骤S42所示。
S42. 将各个运动目标图像中的每个像素点按位取反处理，得到各个运动目标图像对应的目标掩模图像，并利用各个目标掩模图像组成掩模图像序列；在本实施例中，按位取反处理则是将像素值从1变为0，或从0变为1，即像素点的像素值为1，则取反变为0；像素点的像素值为0，则取反变为1。
在得到掩模图像序列后，则可将其与第一图像序列进行图像与运算，以便将第一图像中的运动人员所在区域的像素点置为0，从而得到第三图像序列；其中，第三图像序列的生成过程如下述步骤S43所示。
S43. 将所述第一图像序列中的各个第一图像，与所述掩模图像序列中的各个目标掩模图像按照排列顺序依次进行图像与运算，以得到第三图像序列。
在得到第三图像序列后，即可将其与彩色图像序列进行图像或运算，从而得到第一图像序列与第二图像序列合成后的融合图像序列，如下述步骤S44所示。
S44. 将所述第三图像序列中的各个第三图像，与彩图序列中的各个彩图按照排列顺序依次进行图像或运算，以在图像或运算后，得到第一图像序列与第二图像序列合成后的融合图像序列；在本实施例中，融合图像序列可采用如下公式（8）表示。
（8）
上述公式（8）中，表示融合图像序列中按时序排列的第t帧融合图像中像素坐标（x，y）处的像素点的像素值，/>表示第三图像序列中第t帧第三图像内的像素坐标（x，y）处的像素点的像素值。
在得到融合图像序列后，即可利用该序列，来生成融合后的视频；如下述步骤S45所示。
S45. 利用所述融合图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；在本实施例中，在得到融合图像序列后，举例还可将其进行均值滤波处理，以实现图像边缘的平滑；而后，将平滑后的融合图像进行逐帧播放，即可得到融合后的视频。
在得到融合后的视频后，即可对其进行可视化展示，其展示过程如下述步骤S5所示。
S5. 将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学；通过上述设计，教师和学生均可通过观看融合后的运动视频，对比发现技术动作差异以及不足之处，从而基于该融合后的视频，辅助进行针对性训练。
由此通过前述步骤S1～S5所详细描述的基于视频运动目标检测与融合的运动技术教学方法，本发明以定点采集的运动技术动作视频为对象，并通过对视频中运动目标的检测、配准和提取处理，以及对提取的运动目标进行合成，来将不同运动人员的视频进行融合，从而基于融合后的视频来进行技术动作比较；如此，相比于传统技术，本发明无需运动人员穿戴设备，操作简单，不会干扰运动人员的运动表现，因此，非常适用于在运动教学分析领域的大规模应用与推广。
在一个可能的设计中，参见图2～图5所示，本实施例第二方面提供实施例第一方面中所述的基于视频运动目标检测与融合的运动技术教学方法的仿真实例。
其中，先检测两个序列的第一帧图像的SIFT特征点，并进行匹配，去除错误匹配点，保留内点对；其中，内点对（即内点特征对）的连线图可参见图2所示；然后，以所有内点对的坐标生成矩阵L，用奇异值分解算法求解的最小特征值的特征向量，以此得到的九个数值，从而得到单应性矩阵H。
而后，以前述计算出的单应性矩阵对第二图像序列中的各个第二图像进行配准，即可得到配准后的第二图像序列；其中，第二图像序列中首张第二图像配准后的示意图可参见图3所示。
在完成图像配准后，即可进行运动目标检测，其中，对混合高斯背景建模生成的掩码序列进行中值滤波和开运算时均选择5×5的结构元素，据实验测试选择像素阈值为254，且检测前景图像中像素点为1的所有连通区域的轮廓，并计算其面积，经过比较保留最大连通区域，其余部分判定为冗余信息进行剔除；其中，运动检测对比示意图参见图4所示，图4中的（a）图表示配准后的第33帧的第二图像，图4中的（b）图表示传统方法（如混合高斯建模法）所提取出的运动目标图像（即掩码图像）；图4中的（c）图表示本实施例所提供方法所得到的运动目标图像；基于图4可看出，本实施例所提供的方法不仅可以较好的检测出视频中的运动物体，还能剔除无关信息，保留运动人员的运动信息，良好的掩码信息有助于后续视频帧的合成。
通过结合混合高斯背景建模法和最大连通区域的算法得到较好的掩码序列后，以此序列对第一图像序列和配准后第二图像序列进行一系列的逻辑处理，即可获取合成的序列图像，结果如图5所示，其中，图5中的（1）-（5）依次为第一图像序列中第33帧、第92帧、第135帧、第149帧和第205帧的第一图像，图5中的（6）-（10）依次为第二图像序列中第33帧、第92帧、第135帧、第149帧和第205帧的第二图像；图5中的（11）-（15）依次为融合后的第33帧、第92帧、第135帧、第149帧和第205帧的图像；从图5中可以看出，融合后的图像非常清晰，可以很好的比较两位运动员的动作，有利于教练和运动员在比赛完结后仔细分析比赛过程，矫正不足，取长补短；最后。将所有的融合图像，按照时间顺序合成视频（融合参数可以但不限设置为：帧率为20帧/秒，图像大小为480×1280，），即可得到融合后的视频。
如图6所示，本实施例第三方面提供了一种实现实施例第一方面中所述的基于视频运动目标检测与融合的运动技术教学方法的硬件系统，包括：
图像分帧单元，用于获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列。
配准单元，用于利用第一图像序列，对第二图像序列进行配准处理，得到目标图像序列。
运动目标检测单元，用于对目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像。
视频融合单元，用于利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；
辅助教学单元，用于将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学。
本实施例提供的系统的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
在一个具体的实时方式中，下述提供前述基于视频运动目标检测与融合的运动技术教学系统的实体系统架构示意图，其可以但不限于包括：数码摄像机、计算机和显示器。
参见图7所示，所述数码摄像机用于捕获图像和视频流，得到第一运动视频（即图7中的学生动作视频）和第二运动视频（教师示范动作视频），并将第一运动视频和第二运动视频发送至计算机。
计算机，用于利用实施例第一方面中所述的基于视频运动目标检测与融合的运动技术教学方法，来对两运动视频进行运动目标检测与融合，得到融合后的运动视频。
计算机，还用于将融合后的运动视频发送至显示器，利用显示器进行可视化展示，以完成学生体育动作的技术对比动作分析。
如图8所示，本实施例第四方面提供了一种基于视频运动目标检测与融合的运动技术教学装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于视频运动目标检测与融合的运动技术教学方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（random accessmemory，RAM）、只读存储器（Read Only Memory ，ROM）、闪存（Flash Memory）、先进先出存储器（First Input First Output，FIFO）和/或先进后出存储器（First In Last Out，FILO）等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机（reduced instruction setcomputer,RISC）微处理器、X86等架构处理器或集成嵌入式神经网络处理器（neural-network processing units，NPU）的处理器；所述收发器可以但不限于为无线保真（WIFI）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种存储包含有实施例第一方面所述的基于视频运动目标检测与融合的运动技术教学方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例第一方面所述的基于视频运动目标检测与融合的运动技术教学方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第六方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于视频运动目标检测与融合的运动技术教学方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于视频运动目标检测与融合的运动技术教学方法，其特征在于，包括：
获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列；
利用所述第一图像序列，对所述第二图像序列进行配准处理，得到目标图像序列；
对所述目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，所述运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像；
利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；
将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学；
利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成第一运动视频与第二运动视频融合后的运动视频，包括：
将所述运动目标图像序列中的各个运动目标图像，与所述目标图像序列中的各个目标图像按照排列顺序依次进行图像与运算，以在图像与运算后，得到彩图序列，其中，所述彩图序列中的各个彩图仅含有所述运动人员；
将各个运动目标图像中的每个像素点按位取反处理，得到各个运动目标图像对应的目标掩模图像，并利用各个目标掩模图像组成掩模图像序列；
将所述第一图像序列中的各个第一图像，与所述掩模图像序列中的各个目标掩模图像按照排列顺序依次进行图像与运算，以得到第三图像序列；
将所述第三图像序列中的各个第三图像，与彩图序列中的各个彩图按照排列顺序依次进行图像或运算，以在图像或运算后，得到第一图像序列与第二图像序列合成后的融合图像序列；
利用所述融合图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频。
2.根据权利要求1所述的方法，其特征在于，对所述目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，包括：
对于所述目标图像序列中的第n个目标图像，获取所述第n个目标图像中各个像素点的初始高斯分布模型，其中，任一像素点对应有若干初始高斯分布模型，且n的初始值为1；
从各个像素点的若干初始高斯分布模型中，确定出与各个像素点相匹配的至少一个初始高斯分布模型，以得到各个像素点的目标高斯分布模型；
更新各个像素点的目标高斯分布模型的第一模型参数，以及更新各个像素点的指定高斯分布模型的第二模型参数，以在模型参数更新后，得到各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，其中，任一像素点的指定高斯分布模型为该任一像素点的若干初始高斯分布模型中除去所述目标高斯分布模型之后的模型；
利用各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，生成各个像素点的背景模型；
利用各个像素点的背景模型，生成所述第n个目标图像的前景图像；
对所述前景图像进行边缘检测处理，得到边缘检测图像；
利用所述前景图像和所述边缘检测图像，生成所述第n个目标图像对应的运动目标图像；
将n自加1，并重新获取第n个目标图像中各个像素点的初始高斯分布模型，直至n等于N时，得到各个目标图像对应的运动目标图像，其中，N为目标图像的总数。
3.根据权利要求2所述的方法，其特征在于，更新各个像素点的目标高斯分布模型的第一模型参数，以及更新各个像素点的指定高斯分布模型的第二模型参数，包括：
对于任一像素点，更新所述任一像素点的指定高斯分布模型的权重，以及按照如下公式（1）、公式（2）和公式（3），更新该任一像素点的目标高斯分布模型的权重、均值和方差；
（1）
（2）
（3）
上述公式（1），表示第i个目标高斯分布模型，在第/>时刻时的权重，/>表示更新后的权重，/>表示参数学习率，其中，i=1,2,...,d,且d表示所述任一像素点的目标高斯分布模型的总数；
上述公式（2）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的均值，/>表示更新后的均值，其中，/>表示更新系数，/>表示所述任一像素点的像素值，且/>；
上述公式（3）中，表示第i个目标高斯分布模型，在第/>时刻时对应分布数据的方差，/>表示更新后的方差；
相应的，利用各个像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，生成各个像素点的背景模型，则包括：
对于所述任一像素点，利用所述任一像素点对应更新后的目标高斯分布模型和更新后的指定高斯分布模型，并采用如下公式（4），确定出所述任一像素点的背景模型；
（4）
上述公式（4）中，表示所述任一像素点的背景模型，/>表示所述任一像素点的混合高斯模型中第k个高斯模型/>的协方差矩阵，/>表示第k个高斯模型的权重，其中，所述混合高斯模型包含有所述任一像素点的更新后的目标高斯分布模型和更新后的指定高斯分布模型，且/>表示混合高斯模型中的高斯模型的总数。
4.根据权利要求2所述的方法，其特征在于，利用各个像素点的背景模型，生成所述第n个目标图像的前景图像，包括：
利用各个像素点的背景模型，生成所述第n个目标图像的背景图像；
将所述背景图像与所述第n个目标图像进行差分处理，得到差分图像；
对于所述差分图像中的第j个像素点，判断第j个像素点的像素值是否大于像素阈值；
若是，则将第j个像素点的像素值置为1，否则，则将第j个像素点的像素值置为0；
将j自加1，并重新判断第j个像素点的像素值是否大于像素阈值，直至j等于M时，得到所述第n个目标图像的前景图像，其中，j的初始值为1，且M为差分图像中的像素点总数。
5.根据权利要求2所述的方法，其特征在于，对所述前景图像进行边缘检测处理，得到边缘检测图像，包括：
对所述前景图像进行开运算处理，得到去噪图像；
对所述去噪图像进行边缘检测处理，得到所述去噪图像中的各个轮廓区域；
从各个轮廓区域中，选取出面积最大的轮廓区域；
将面积最大的轮廓区域中的所有像素点的像素值重置为1，以及将所述去噪图像中的目标区域内的所有像素点的像素值重置为0，以在像素点全部重置完成后，得到所述边缘检测图像；
相应的，利用所述前景图像和所述边缘检测图像，生成所述第n个目标图像对应的运动目标图像，则包括：
获取模板图像，其中，模板图像的尺寸与所述第n个目标图像的尺寸相同；
利用所述去噪图像以及所述边缘检测图像，并按照如下公式（5），调整所述模板图像中各个像素点的像素值，以在像素值调整完成后，得到所述第n个目标图像对应的运动目标图像；
（5）
上述公式（5）中，表示所述模板图像中像素坐标为/>的像素点的像素值，/>表示所述去噪图像中像素坐标为/>的像素点的像素值，/>表示所述边缘检测图像中像素坐标为/>的像素点的像素值。
6.根据权利要求1所述的方法，其特征在于，利用所述第一图像序列，对所述第二图像序列进行配准处理，得到目标图像序列，包括：
从第一图像序列中筛选出首张第一图像，以及从第二图像序列中，筛选出首张第二图像；
对首张第一图像和首张第二图像进行特征点检测处理，分别得到首张第一图像中的特征点以及首张第二图像中的特征点；
对所述首张第一图像中的特征点和所述首张第二图像中的特征点进行特征点匹配处理，得到若干匹配特征点对；
从若干匹配特征点对中筛选出内点特征对，并利用各内点特征对计算出单应性矩阵；
利用所述单应性矩阵，对所述第二图像序列进行配准处理，得到所述目标图像序列。
7.一种基于视频运动目标检测与融合的运动技术教学系统，其特征在于，包括：
图像分帧单元，用于获取第一运动视频和第二运动视频，并对所述第一运动视频和所述第二运动视频进行分帧处理，以得到第一图像序列和第二图像序列；
配准单元，用于利用第一图像序列，对第二图像序列进行配准处理，得到目标图像序列；
运动目标检测单元，用于对目标图像序列中的各个目标图像进行运动目标检测处理，得到各个目标图像对应的运动目标图像，并利用各个运动目标图像，组成运动目标图像序列，其中，运动目标图像序列中的任一运动目标图像为仅含所述第二运动视频中的运动人员的掩码图像；
视频融合单元，用于利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频；
辅助教学单元，用于将所述第一运动视频与所述第二运动视频融合后的运动视频进行可视化展示，以使教学人员依据融合后的运动视频进行运动技术辅助教学；
利用所述运动目标图像序列、所述目标图像序列以及所述第一图像序列，生成第一运动视频与第二运动视频融合后的运动视频，包括：
将所述运动目标图像序列中的各个运动目标图像，与所述目标图像序列中的各个目标图像按照排列顺序依次进行图像与运算，以在图像与运算后，得到彩图序列，其中，所述彩图序列中的各个彩图仅含有所述运动人员；
将各个运动目标图像中的每个像素点按位取反处理，得到各个运动目标图像对应的目标掩模图像，并利用各个目标掩模图像组成掩模图像序列；
将所述第一图像序列中的各个第一图像，与所述掩模图像序列中的各个目标掩模图像按照排列顺序依次进行图像与运算，以得到第三图像序列；
将所述第三图像序列中的各个第三图像，与彩图序列中的各个彩图按照排列顺序依次进行图像或运算，以在图像或运算后，得到第一图像序列与第二图像序列合成后的融合图像序列；
利用所述融合图像序列，生成所述第一运动视频与所述第二运动视频融合后的运动视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182154.0A CN117746513B (zh) | 2024-02-19 | 2024-02-19 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410182154.0A CN117746513B (zh) | 2024-02-19 | 2024-02-19 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117746513A CN117746513A (zh) | 2024-03-22 |
| CN117746513B true CN117746513B (zh) | 2024-04-30 |
Family
ID=90277928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410182154.0A Active CN117746513B (zh) | 2024-02-19 | 2024-02-19 | 基于视频运动目标检测与融合的运动技术教学方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746513B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469089A (zh) * | 2014-12-23 | 2015-03-25 | 山东建筑大学 | 一种多媒体互动教学系统及教学方法 |
| CN106023258A (zh) * | 2016-05-26 | 2016-10-12 | 南京工程学院 | 改进的自适应高斯混合模型运动目标检测方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| CN108205797A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN112422946A (zh) * | 2020-11-30 | 2021-02-26 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
| CN112587903A (zh) * | 2020-11-30 | 2021-04-02 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的短跑运动员起跑训练方法及系统 |
| CN113269700A (zh) * | 2021-04-29 | 2021-08-17 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN114842397A (zh) * | 2022-05-19 | 2022-08-02 | 华南农业大学 | 一种基于异常检测的实时老人跌倒检测方法 |
| CN115519801A (zh) * | 2022-09-30 | 2022-12-27 | 成都体育学院 | 一种乒乓球拍胶面的清洁更换装置 |
| CN115883988A (zh) * | 2023-02-17 | 2023-03-31 | 南昌航天广信科技有限责任公司 | 视频图像拼接方法、系统、电子设备及存储介质 |
| CN116844084A (zh) * | 2023-06-21 | 2023-10-03 | 汕头大学 | 一种融合区块链的体育运动动作分析与纠正方法及系统 |
| CN117496409A (zh) * | 2023-11-15 | 2024-02-02 | 广东新裕信息科技有限公司 | 一种基于多视角三维人体重建的细粒度舞蹈动作评分方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019201227A1 (de) * | 2019-01-31 | 2020-08-06 | Siemens Healthcare Gmbh | Bildgebendes Gerät und Verfahren zum Erzeugen eines bewegungskompensierten Bildes oder Videos, Computerprogrammprodukt und computerlesbares Speichermedium |
-
2024
- 2024-02-19 CN CN202410182154.0A patent/CN117746513B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104469089A (zh) * | 2014-12-23 | 2015-03-25 | 山东建筑大学 | 一种多媒体互动教学系统及教学方法 |
| CN106023258A (zh) * | 2016-05-26 | 2016-10-12 | 南京工程学院 | 改进的自适应高斯混合模型运动目标检测方法 |
| CN108205797A (zh) * | 2016-12-16 | 2018-06-26 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| CN112017216A (zh) * | 2020-08-06 | 2020-12-01 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN112587903A (zh) * | 2020-11-30 | 2021-04-02 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的短跑运动员起跑训练方法及系统 |
| CN112422946A (zh) * | 2020-11-30 | 2021-02-26 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
| CN113269700A (zh) * | 2021-04-29 | 2021-08-17 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、电子设备及存储介质 |
| CN114842397A (zh) * | 2022-05-19 | 2022-08-02 | 华南农业大学 | 一种基于异常检测的实时老人跌倒检测方法 |
| CN115519801A (zh) * | 2022-09-30 | 2022-12-27 | 成都体育学院 | 一种乒乓球拍胶面的清洁更换装置 |
| CN115883988A (zh) * | 2023-02-17 | 2023-03-31 | 南昌航天广信科技有限责任公司 | 视频图像拼接方法、系统、电子设备及存储介质 |
| CN116844084A (zh) * | 2023-06-21 | 2023-10-03 | 汕头大学 | 一种融合区块链的体育运动动作分析与纠正方法及系统 |
| CN117496409A (zh) * | 2023-11-15 | 2024-02-02 | 广东新裕信息科技有限公司 | 一种基于多视角三维人体重建的细粒度舞蹈动作评分方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Multi-Sensor Fusion System for Moving Object Detection and Tracking in Urban Driving Environments;Hyunggi Cho等;《2014 IEEE International Conference on Robotics & Automation (ICRA)》;20141231;1836-1843 * |
| 基于动作捕捉的舞蹈视频动作识别技术研究;晏国良;《赤峰学院学报（自然科学版）》;20220930;第38卷(第9期);48-52 * |
| 探析视频融合技术在运动技能学习中的应用;唐夏琳;《广州体育学院学报》;20100930;第30卷(第5期);69-72 * |
| 融合动作捕捉技术的体育微课教学设计与实验研究;韩丽等;《辽宁师范大学学报（自然科学版）》;20170630;第40卷(第2期);199-206 * |
| 运动视频图像处理技术在高校田径教学中的应用研究;王政委;《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》;20230915(第09期);H134-442 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117746513A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105426827B (zh) | 活体验证方法、装置和系统 | |
| CN111368788B (zh) | 图像识别模型的训练方法、装置及电子设备 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| WO2019210555A1 (zh) | 一种基于深度神经网络的人数统计方法及装置、存储介质 | |
| CN108122234A (zh) | 卷积神经网络训练及视频处理方法、装置和电子设备 | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN110738116B (zh) | 活体检测方法及装置和电子设备 | |
| CN108805016A (zh) | 一种头肩区域检测方法及装置 | |
| CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
| CN111652175A (zh) | 应用于机器人辅助手术视频分析的实时手术工具检测方法 | |
| CN111368768A (zh) | 一种基于人体关键点的员工手势指引检测方法 | |
| CN102567734A (zh) | 基于比值的视网膜细小血管分割方法 | |
| WO2024060978A1 (zh) | 关键点检测模型训练及虚拟角色驱动的方法和装置 | |
| CN109035147A (zh) | 图像处理方法及装置、电子装置、存储介质和计算机设备 | |
| CN108009568A (zh) | 一种基于wgan模型的行人检测方法 | |
| CN114550027A (zh) | 基于视觉的运动视频精细分析方法和装置 | |
| CN112699832B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN117746513B (zh) | 基于视频运动目标检测与融合的运动技术教学方法及系统 | |
| Liu et al. | Key algorithm for human motion recognition in virtual reality video sequences based on hidden markov model | |
| CN116740618A (zh) | 一种运动视频动作评估方法、系统、计算机设备及介质 | |
| Faujdar et al. | Human Pose Estimation using Artificial Intelligence with Virtual Gym Tracker | |
| CN115937923A (zh) | 一种可实现学生专注度检测的线上教学平台 | |
| CN109359522A (zh) | 一种小样本皮肤图像分类方法 | |
| CN113033305A (zh) | 活体检测方法、装置、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |