CN113591548A - 靶环识别方法及系统 - Google Patents

靶环识别方法及系统 Download PDF

Info

Publication number
CN113591548A
CN113591548A CN202110666520.6A CN202110666520A CN113591548A CN 113591548 A CN113591548 A CN 113591548A CN 202110666520 A CN202110666520 A CN 202110666520A CN 113591548 A CN113591548 A CN 113591548A
Authority
CN
China
Prior art keywords
arrow
target
point
carrying
target ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110666520.6A
Other languages
English (en)
Other versions
CN113591548B (zh
Inventor
韩民
秦倩
李洪文
万军
刘士胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leling Friendship Sports Equipment Co ltd
Shandong University
Original Assignee
Leling Friendship Sports Equipment Co ltd
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leling Friendship Sports Equipment Co ltd, Shandong University filed Critical Leling Friendship Sports Equipment Co ltd
Priority to CN202110666520.6A priority Critical patent/CN113591548B/zh
Publication of CN113591548A publication Critical patent/CN113591548A/zh
Application granted granted Critical
Publication of CN113591548B publication Critical patent/CN113591548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种靶环识别方法及系统,属于计算机视觉技术领域,利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;对目标箭支进行检测定位,确定箭着点坐标;结合靶环拟合线和箭着点坐标,确定环数。本发明将深度学习与图像处理结合起来,有效的提升了报靶效率并且提高了射箭比赛的直观性和可观赏性;克服人工报靶存在的耗时长,实时性差,安全性低等问题,提高了射箭项目的可观赏性以及效率。

Description

靶环识别方法及系统
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于图像处理和深度学习网络的射箭靶环识别方法及系统。
背景技术
在射箭比赛以及日常训练中,报靶是其中的重要环节,传统的报靶方式,由人工肉眼观察靶环并进行报靶,该方式存在耗费时间长,安全性差,成本高,实时性差等缺点。射箭自动报靶系统能有效克服人工报靶的缺点,并且还能提高射箭项目的可观赏性。随着数字图像处理技术的不断发展,射箭自动报靶系统逐渐成为业内研究和开发的重点方向。
目前,对射箭自动报靶的研究,主要有如下几种类型:(1)基于电路的自动计算射箭环数的箭靶装置,该装置零件较多,安装复杂,成本较高。(2)基于电磁波的自动识别弓箭即时报靶系统,该系统精度较高,但是容易受到干扰。(3)超声传感器自动报靶系统,该系统精度高且对环境要求低,但是对传感器的要求高,其识别精度主要依赖高质量的声波传感器,成本很高,不易于推广。
使用平面图像扫描技术进行靶环检测的方法,如射箭计分系统,其利用图像分析计分,即利用摄像头拍摄箭靶,该方法对靶纸的印刷也有要求。例如必须额外印刷四个黑色正方形校准图标,该系统需要特别印刷的靶纸,且不适合复杂多变的环境。
计算机深度学习技术,利用大量的数据能够自动学习反映数据差别的特征。目前,通过卷积神经网络(CNN)构建的图像处理系统能够有效的减小过拟合、对大像素数图像内容能很好的识别,在融合GPU加速技术后,使得神经网络在实际中能够更好的拟合训练数据,更快更准确的识别大部分的图片。比起传统的算法,深度学习技术和图像处理技术相结合,不仅能够提高图像识别的准确率,提高运行效率,减少人力成本。
发明内容
本发明的目的在于提供一种结合深度学习与图像处理、提高了报靶效率的基于图像处理和深度学习的射箭靶环识别方法及系统,以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的,本发明采取了如下技术方案:
一方面,本发明提供一种靶环识别方法,包括:
利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
对目标箭支进行检测定位,确定箭着点坐标;
结合靶环拟合线和箭着点坐标,确定环数。
优选的,训练所述判别模型包括:
按照固定频率截取箭靶的视频帧并进行图像预处理,截取箭靶关键区域,得到正向靶面图;
将正向靶面图进行扩充,按照箭支的数量对每张图进行不同的标记;
使用Keras框架搭建VGG16网络,整个网络都使用了同样大小的卷积核尺寸和最大池化尺寸,图片中箭支的数量为网络的输出结果,对网络进行迭代优化训练,得到最终训练好的判别模型。
优选的,利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片,包括:
将当前图片输入训练好的判别模型,获取当前图片中箭支的数量,与利用训练好的判别模型获取的上一张图片的箭支数量作差,如果结果为1,则表示当前图片中有新增箭支,保存图像;否则,当前图片无新增箭支,舍掉该图像。
优选的,得到正向靶面图包括:从箭靶视频流中每隔一定时间截取一张图片得到待筛选图像,对该图像进行灰度变换,并将图片二值化;进行膨胀和腐蚀操作,去除干扰信息;进行轮廓检测,找到最大的轮廓,获得四个角点的坐标;对四个顶点坐标按照左、上、右、下的顺序进行排序,使其与变换后图像的坐标一一对应,计算变换矩阵,进行透视变换,得到正向的靶面图。
优选的,确定靶环拟合线包括:按照颜色范围对目标图片的靶环进行颜色分割,对分割出来的结果,依次进行轮廓检测,找到轮廓最大和最小的轮廓,进行椭圆拟合,获得靶环环线的中心点坐标和长短轴的长度。
优选的,确定箭着点坐标包括:将保存的相邻两张图像进行灰度处理以及二值化,利用差分法,获得差图像,将差图像进行膨胀和腐蚀处理,去除干扰信息,进行轮廓检测,找到没有父级的轮廓,进行矩形拟合,根据矩形的长宽比例以及轮廓面积,确定目标箭支;根据箭支的运动规律以及视频采集设备的位置,可知轮廓中纵坐标最大的点即为箭着点的粗略位置。
优选的,按照靶环的环数大小顺序,依次判断箭着点是在靶环环线内还是在靶环环线外,确定该箭着点的环数:箭着点的粗略位置坐标为(x,y)、靶环的中心点坐标为(x0,y0)、半长轴为a、半短轴为b、拍摄的靶环的倾斜角度为θ,计算Δ:
Figure BDA0003117026210000031
当Δ<1时,箭着点在环线内部,反之,在环线外部。
优选的,如果0.6<Δ<1.4,即箭着点位于靠近该箭着点的椭圆的面积的0.6倍和1.4倍之间的区域,则取以箭着点位置为中心的正方形区域作为感兴趣区域;
将感兴趣区域进行灰度处理并进行中值滤波,利用概率霍夫变换检测箭支的线段;
比较线段下方终点距离环心的距离,离环心更近的一点为箭着点的实际位置;
根据获得的箭着点的实际位置坐标,将箭着点与箭靶中心点相连,检测中间是否有轮廓,若存在轮廓,则箭着点在该环线外,如果没有,则该箭着点在环线内部。
第二方面,本发明提供一种靶环识别系统,包括:
筛选模块,用于利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
第一计算模块,用于结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
第二计算模块,用于对图片中的目标箭支进行检测定位,确定箭着点位置;
确定模块,用于结合靶环拟合线和箭着点位置,确定环数。
第三方面,本发明提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行如上所述的靶环识别方法的指令。
第四方面,本发明提供一种电子设备,包括如上所述的非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。
本发明有益效果:将深度学习与图像处理结合起来,有效的提升了报靶效率并且提高了射箭比赛的直观性和可观赏性;克服人工报靶存在的耗时长,实时性差,安全性低等问题,提高了射箭项目的可观赏性以及效率。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的靶环识别方法流程图。
图2为本发明实施例所述的确定有无新增箭支的流程图。
图3为本发明实施例所述的训练判别模型的神经网络的结构图。
图4为本发明实施例所述的射箭环数精检测的流程图。
具体实施方式
下面详细叙述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明,下面结合附图以具体实施例对本发明作进一步解释说明,且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解,附图只是实施例的示意图,附图中的部件并不一定是实施本发明所必须的。
实施例1
本发明实施例1提供一种靶环识别系统,该系统包括:
筛选模块,用于利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
第一计算模块,用于结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
第二计算模块,用于对图片中的目标箭支进行检测定位,确定箭着点位置;
确定模块,用于结合靶环拟合线和箭着点位置,确定环数。
在本实施例1中,利用上述的系统可实现射箭靶环识别的方法,包括:
利用筛选模块,基于训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
利用第一计算模块,结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
利用第二计算模块,对目标箭支进行检测定位,确定箭着点坐标;
利用确定模块,结合靶环拟合线和箭着点坐标,确定环数。
本实施例1中,训练所述判别模型包括:
按照固定频率截取箭靶的视频帧并进行图像预处理,截取箭靶关键区域,得到正向靶面图;
将正向靶面图进行扩充,按照箭支的数量对每张图进行不同的标记;
使用Keras框架搭建VGG16网络,整个网络都使用了同样大小的卷积核尺寸和最大池化尺寸,图片中箭支的数量为网络的输出结果,对网络进行迭代优化训练,得到最终训练好的判别模型。
利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片,包括:
将当前图片输入训练好的判别模型,获取当前图片中箭支的数量,与利用训练好的判别模型获取的上一张图片的箭支数量作差,如果结果为1,则表示当前图片中有新增箭支,保存图像;否则,当前图片无新增箭支,舍掉该图像。
得到正向靶面图包括:从箭靶视频流中每隔一定时间截取一张图片得到待筛选图像,对该图像进行灰度变换,并将图片二值化;进行膨胀和腐蚀操作,去除干扰信息;进行轮廓检测,找到最大的轮廓,获得四个角点的坐标;对四个顶点坐标按照左、上、右、下的顺序进行排序,使其与变换后图像的坐标一一对应,计算变换矩阵,进行透视变换,得到正向的靶面图。
确定靶环拟合线包括:按照颜色范围对目标图片的靶环进行颜色分割,对分割出来的结果,依次进行轮廓检测,找到轮廓最大和最小的轮廓,进行椭圆拟合,获得靶环环线的中心点坐标和长短轴的长度。
确定箭着点坐标包括:将保存的相邻两张图像进行灰度处理以及二值化,利用差分法,获得差图像,将差图像进行膨胀和腐蚀处理,去除干扰信息,进行轮廓检测,找到没有父级的轮廓,进行矩形拟合,根据矩形的长宽比例以及轮廓面积,确定目标箭支;根据箭支的运动规律以及视频采集设备的位置,可知轮廓中纵坐标最大的点即为箭着点的粗略位置。
按照靶环的环数大小顺序,依次判断箭着点是在靶环环线内还是在靶环环线外,确定该箭着点的环数:箭着点的粗略位置坐标为(x,y)、靶环的中心点坐标为(x0,y0)、半长轴为a、半短轴为b、拍摄的靶环的倾斜角度为θ,计算Δ:
Figure BDA0003117026210000081
当Δ<1时,箭着点在环线内部,反之,在环线外部。
如果0.6<Δ<1.4,则取以箭着点位置为中心的正方形区域作为感兴趣区域;
将感兴趣区域进行灰度处理并进行中值滤波,利用概率霍夫变换检测箭支的线段;
比较线段下方终点距离环心的距离,离环心更近的一点为箭着点的实际位置;
根据获得的箭着点的实际位置坐标,将箭着点与箭靶中心点相连,检测中间是否有轮廓,若存在轮廓,则箭着点在该环线外,如果没有,则该箭着点在环线内部。
实施例2
为了克服人工报靶存在的耗时长,实时性差,安全性低等问题,并提高射箭项目的可观赏性以及效率,本实施例2中,将深度学习和图像处理技术相结合,提出一种基于图像处理和深度学习的射箭自动报靶方法。具体包括如下步骤:按照固定频率截取视频帧并进行图像预处理,截取箭靶关键区域;利用训练好的神经网络模型筛选出有新增箭支的图片;根据颜色分割及椭圆拟合获得靶环拟合线;目标箭支检测定位,获取箭着点;粗检测环数判别;精检测环数。
其中,采用差分法,获得只包含箭支的图像,再经过形态学转换,寻找轮廓,利用矩形拟合,根据轮廓的长宽比以及面积得到箭支的轮廓;通过观察箭支的轮廓的运动规律和视频采集设备的安装位置,即可获得如下规律:箭着点的粗略位置与箭支轮廓中纵坐标最大的点相吻合。
按照环数从小到大,将靶环拟合线依次与的箭着点坐标进行位置判断,获得环数粗检测结果。
如果箭着点与环线切近,则开启精检测,首先,以箭着点为中心,选取50像素*50像素大小的正方形作为感兴趣区域。判断该区域内是否存在箭着点与中心点连线相交的弧线。在粗检测的基础上更新环数结果。
本实施例2中,如图1所示,所述的基于图像处理和深度学习的射箭自动报靶方法,包括视频关键帧提取、环线检测、目标箭支检测、射箭环数粗检测、射箭环数精检测五个关键部分,详细步骤如下:
(1)视频关键帧提取
(1.1)按照固定频率截取视频帧并进行图像预处理,自动截取箭靶关键区域;
如图2所示,从视频流中每隔4秒截取一张图片得到待筛选图像,对该图像进行图像预处理,第一步,进行灰度变换,并将图片二值化;第二步,进行膨胀和腐蚀操作,去除干扰信息;第三步,进行轮廓检测,找到最大的轮廓,获得四个角点的坐标;第四步,对四个顶点坐标按照左、上、右、下的顺序进行排序,使其与变换后图像的坐标一一对应,计算变换矩阵,进行透视变换,得到正向的靶面图。
(1.2)将(1.1)步骤获得的靶面图,送入训练好的神经网络模型(训练好的判别模型)中进行判断。
本实施例2中,所采用的神经网络模型的训练过程为:
第一步,制作数据集,将采集的图片经过步骤(1.1)的处理得到正向靶面图,通过翻转、改变亮度、改变对比度等方法,将图像扩充到2800张,每类400张,共有7类(分别为没有箭支的、有一支箭支的、有两支箭支的、有三支箭支的、有四支箭支的、有五支箭支的、有六支箭支的),进行标记,没有箭支的标记为0,有1支箭的标记为1,依次类推。根据1:9的比例,即测试集280张,训练集2520张,制作成为h5格式的数据集。
实际应用中,上述图片的分类并不受上述7类的限制,本领域技术人员可根据实际情况具体设置类别,如,也可设置为8类(分别为没有箭支的、有一支箭支的、有两支箭支的、有三支箭支的、有四支箭支的、有五支箭支的、有六支箭支的、有七支箭支的)或9类(分别为没有箭支的、有一支箭支的、有两支箭支的、有三支箭支的、有四支箭支的、有五支箭支的、有六支箭支的、有七支箭支的、有八支箭支的),或者其他更多的类别。
第二步,训练网络模型,本实施例2中,所采用的网络结构是在vgg16网络的基础上修改而成的,其网络结构如图3所示,整个网络都使用了同样大小的卷积核尺寸(3x3)和最大池化尺寸(2x2)。
本实施例2中,使用Keras框架搭建的VGG16网络,网络的输出结果即为图片中箭支的数量,设置批次大小为16,使用Adam优化器,学习率为0.01,经过100轮的迭代,得到最终的模型,经过测试,该模型的准确率最高可达到99%。
(1.3)利用训练好的神经网络模型筛选出有新增箭支的图片,根据步骤(1.2)中网络输出的结果,与上一张图片获得的结果做差,如果结果为1,则表示当前图片中有新增箭支,保存图像;如果结果不为1,则表示无新增箭支,舍掉该图像。
(2)环线检测
箭靶上一共有11个环线,从外到内依次为1-11号环;除去第11号环,其余的环线之间的距离相等。
第一步,对目标图片上的黄色、红色、蓝色、黑色圆环进行颜色分割,其中黄色圆环颜色范围是(0,120,120)~(100,255,255),红色圆环区域颜色范围是(0,0,150)~(100,100,255),蓝色圆环区域颜色范围是(100,0,0)~(255,150,120),黑色圆环区域颜色范围是(0,0,0)~(100,150,120)。
第二步,对分割出来的结果,依次进行轮廓检测,找到轮廓最大和最小的轮廓,进行椭圆拟合,可获得3号、5号、7号、9号环线的中心点坐标和长短轴的长度。
第三步,根据3号环线计算出1号和2号环线,根据3号和5号环线计算出4号环线,依次类推,计算出剩余环线。
(3)目标箭支检测定位,获取箭着点
第一步,将保存的相邻两张图像进行灰度处理以及二值化,第二步,利用差分法,获得差图像,第三步,将差图像进行膨胀和腐蚀处理,去除干扰信息,第四步,进行轮廓检测,找到没有父级的轮廓,进行矩形拟合,根据矩形的长宽比例以及轮廓面积,确定目标箭支。根据箭支的运动规律以及视频采集设备的位置,可知轮廓中纵坐标最大的点即为箭着点的粗略位置。
(4)射箭环数粗检测
按照环数大小,依次判断箭着点是否在环线内,设步骤(3)中获得的箭着点坐标为(x,y)、椭圆的中心点(x0,y0)、半长轴a、半短轴b、拍摄的靶环的倾斜角度θ,即判定一个点是否在倾斜的椭圆内部,计算计算Δ:
Figure BDA0003117026210000121
当Δ<1时,箭着点在环线内部,反之,在环线外部。
判定椭圆内外后,再判定是否需要精检测即感兴趣区域检测。根据第一步计算出来的Δ的大小来判断是否需要开启精检测。
如果0.6<Δ<1.4,即箭着点位于原椭圆(靠近该箭着点的椭圆,因为图像拍摄设备的拍摄角度问题,因此,靶环可能为椭圆)的面积的0.6倍和1.4倍中间的区域,此时粗检测的结果可能存在误差因此开启精检测进一步确认环数判定结果。
(5)射箭环数精检测
(1.1)感兴趣区域提取;以箭着点粗略位置为中心,取50像素*50像素的正方形区域作为感兴趣区域。
(1.2)确定箭着点精确位置;将感兴趣区域进行灰度处理并进行中值滤波,利用概率霍夫变换检测箭支的线段。比较线段下方终点距离环心的距离,离环心更近的一点为箭着点。
(1.3)判定环数;
判定箭着点与环线的相对位置,即在环线内部、在环线外部、在环线上。根据步骤(1.2)中获得的箭着点实际坐标(x1,y1),将箭着点与箭靶中心点相连,检测中间是否有轮廓,若存在轮廓,则说明箭支在该环线外,如果没有则在环线内部。根据粗检测的结果可知道离箭着点最近的是几号环线,以此来判断最终结果。
实施例3
本发明实施例3提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质包括用于执行靶环识别方法的指令,该方法包括:
利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
对目标箭支进行检测定位,确定箭着点坐标;
结合靶环拟合线和箭着点坐标,确定环数。
实施例4
本发明实施例4提供一种电子设备,该电子设备包括一种非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器。所述非暂态计算机可读存储介质包括用于执行执行靶环识别方法的指令,该方法包括:
利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
对目标箭支进行检测定位,确定箭着点坐标;
结合靶环拟合线和箭着点坐标,确定环数。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本发明公开的技术方案的基础上,本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种靶环识别方法,其特征在于,包括:
利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
对目标箭支进行检测定位,确定箭着点坐标;
结合靶环拟合线和箭着点坐标,确定环数。
2.根据权利要求1所述的靶环识别方法,其特征在于,训练所述判别模型包括:
按照固定频率截取箭靶的视频帧并进行图像预处理,截取箭靶关键区域,得到正向靶面图;
将正向靶面图进行扩充,按照箭支的数量对每张图进行不同的标记;
使用Keras框架搭建VGG16网络,整个网络都使用了同样大小的卷积核尺寸和最大池化尺寸,图片中箭支的数量为网络的输出结果,对网络进行迭代优化训练,得到最终训练好的判别模型。
3.根据权利要求2所述的靶环识别方法,其特征在于,利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片,包括:
将当前图片输入训练好的判别模型,获取当前图片中箭支的数量,与利用训练好的判别模型获取的上一张图片的箭支数量作差,如果结果为1,则表示当前图片中有新增箭支,保存图像;否则,当前图片无新增箭支,舍掉该图像。
4.根据权利要求2所述的靶环识别方法,其特征在于,得到正向靶面图包括:从箭靶视频流中每隔一定时间截取一张图片得到待筛选图像,对该图像进行灰度变换,并将图片二值化;进行膨胀和腐蚀操作,去除干扰信息;进行轮廓检测,找到最大的轮廓,获得四个角点的坐标;对四个顶点坐标按照左、上、右、下的顺序进行排序,使其与变换后图像的坐标一一对应,计算变换矩阵,进行透视变换,得到正向的靶面图。
5.根据权利要求1所述的靶环识别方法,其特征在于,确定靶环拟合线包括:按照颜色范围对目标图片的靶环进行颜色分割,对分割出来的结果,依次进行轮廓检测,找到轮廓最大和最小的轮廓,进行椭圆拟合,获得靶环环线的中心点坐标和长短轴的长度。
6.根据权利要求1所述的靶环识别方法,其特征在于,确定箭着点坐标包括:将保存的相邻两张图像进行灰度处理以及二值化,利用差分法,获得差图像,将差图像进行膨胀和腐蚀处理,去除干扰信息,进行轮廓检测,找到没有父级的轮廓,进行矩形拟合,根据矩形的长宽比例以及轮廓面积,确定目标箭支;根据箭支的运动规律以及视频采集设备的位置,可知轮廓中纵坐标最大的点即为箭着点的粗略位置。
7.根据权利要求1所述的靶环识别方法,其特征在于,按照靶环的环数大小顺序,依次判断箭着点是在靶环环线内还是在靶环环线外,确定该箭着点的环数:箭着点的粗略位置坐标为(x,y)、靶环的中心点坐标为(x0,y0)、半长轴为a、半短轴为b、拍摄的靶环的倾斜角度为θ,计算Δ:
Figure FDA0003117026200000021
当Δ<1时,箭着点在环线内部,反之,在环线外部。
8.根据权利要求7所述的靶环识别方法,其特征在于:
如果0.6<Δ<1.4,则取以箭着点位置为中心的正方形区域作为感兴趣区域;
将感兴趣区域进行灰度处理并进行中值滤波,利用概率霍夫变换检测箭支的线段;
比较线段下方终点距离环心的距离,离环心更近的一点为箭着点的实际位置;
根据获得的箭着点的实际位置坐标,将箭着点与箭靶中心点相连,检测中间是否有轮廓,若存在轮廓,则箭着点在该环线外,如果没有,则该箭着点在环线内部。
9.一种靶环识别系统,其特征在于,包括:
筛选模块,用于利用训练好的判别模型,筛选出箭靶视频帧中有新增箭支的图片;其中,所述训练好的判别模型由训练集训练得到,所述训练集包括多张箭靶的图片以及标注箭靶的图片上有箭支的标签;
第一计算模块,用于结合颜色分割和椭圆拟合,确定有新增箭支的图片的靶环拟合线;
第二计算模块,用于对图片中的目标箭支进行检测定位,确定箭着点位置;
确定模块,用于结合靶环拟合线和箭着点位置,确定环数。
10.一种电子设备,其特征在于,包括非暂态计算机可读存储介质;以及能够执行所述非暂态计算机可读存储介质的所述指令的一个或多个处理器;所述非暂态计算机可读存储介质包括用于执行如权利要求1-8任一项所述的靶环识别方法的指令。
CN202110666520.6A 2021-06-16 2021-06-16 靶环识别方法及系统 Active CN113591548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110666520.6A CN113591548B (zh) 2021-06-16 2021-06-16 靶环识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110666520.6A CN113591548B (zh) 2021-06-16 2021-06-16 靶环识别方法及系统

Publications (2)

Publication Number Publication Date
CN113591548A true CN113591548A (zh) 2021-11-02
CN113591548B CN113591548B (zh) 2023-09-29

Family

ID=78243753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110666520.6A Active CN113591548B (zh) 2021-06-16 2021-06-16 靶环识别方法及系统

Country Status (1)

Country Link
CN (1) CN113591548B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239795A (zh) * 2022-09-23 2022-10-25 山东工程职业技术大学 射箭靶环命中位置记环检测方法、检测装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077440A (ko) * 2016-12-29 2018-07-09 김하영 양궁 훈련 기록 기구
CN108805210A (zh) * 2018-06-14 2018-11-13 深圳深知未来智能有限公司 一种基于深度学习的弹孔识别方法
CN109948630A (zh) * 2019-03-19 2019-06-28 深圳初影科技有限公司 靶纸图像的识别方法、装置、系统和存储介质
CN109990662A (zh) * 2019-04-23 2019-07-09 西人马帝言(北京)科技有限公司 自动报靶方法、装置、设备及计算机可读存储介质
CN112308916A (zh) * 2020-09-21 2021-02-02 广东电网有限责任公司广州供电局 一种基于图像靶标的目标位姿识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180077440A (ko) * 2016-12-29 2018-07-09 김하영 양궁 훈련 기록 기구
CN108805210A (zh) * 2018-06-14 2018-11-13 深圳深知未来智能有限公司 一种基于深度学习的弹孔识别方法
CN109948630A (zh) * 2019-03-19 2019-06-28 深圳初影科技有限公司 靶纸图像的识别方法、装置、系统和存储介质
CN109990662A (zh) * 2019-04-23 2019-07-09 西人马帝言(北京)科技有限公司 自动报靶方法、装置、设备及计算机可读存储介质
CN112308916A (zh) * 2020-09-21 2021-02-02 广东电网有限责任公司广州供电局 一种基于图像靶标的目标位姿识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林忠 等: "基于机器视觉技术的射击训练系统研究与设计", 福建电脑, vol. 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239795A (zh) * 2022-09-23 2022-10-25 山东工程职业技术大学 射箭靶环命中位置记环检测方法、检测装置及电子设备
CN115239795B (zh) * 2022-09-23 2022-12-30 山东工程职业技术大学 射箭靶环命中位置记环检测方法、检测装置及电子设备

Also Published As

Publication number Publication date
CN113591548B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN110992329B (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN111474184B (zh) 基于工业机器视觉的aoi字符缺陷检测方法和装置
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN107657639A (zh) 一种快速定位目标的方法和装置
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN110751154A (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
CN114596500A (zh) 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN108022245B (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN115546170B (zh) 一种基于激光测距的风机叶片缺陷定位方法及系统
CN114049624A (zh) 一种基于机器视觉的船舶舱室智能检测方法及系统
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN107463939B (zh) 一种图像关键直线检测方法
CN114882204A (zh) 船名自动识别方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN113591548B (zh) 靶环识别方法及系统
CN110508510A (zh) 一种塑料泵缺陷检测方法、装置及系统
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN113284185A (zh) 用于遥感目标检测的旋转目标检测方法
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN116883630A (zh) 一种复杂光照环境的增强现实三维注册方法
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant