CN108269265A - 基于深度学习的台球击球位置测定方法及其装置 - Google Patents

基于深度学习的台球击球位置测定方法及其装置 Download PDF

Info

Publication number
CN108269265A
CN108269265A CN201711461733.5A CN201711461733A CN108269265A CN 108269265 A CN108269265 A CN 108269265A CN 201711461733 A CN201711461733 A CN 201711461733A CN 108269265 A CN108269265 A CN 108269265A
Authority
CN
China
Prior art keywords
image
billiard ball
sphere
ball
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711461733.5A
Other languages
English (en)
Other versions
CN108269265B (zh
Inventor
崔金刚
周盛宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Institute of Research on the Structure of Matter of CAS
Original Assignee
Fujian Institute of Research on the Structure of Matter of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Institute of Research on the Structure of Matter of CAS filed Critical Fujian Institute of Research on the Structure of Matter of CAS
Priority to CN201711461733.5A priority Critical patent/CN108269265B/zh
Publication of CN108269265A publication Critical patent/CN108269265A/zh
Application granted granted Critical
Publication of CN108269265B publication Critical patent/CN108269265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63D—BOWLING GAMES, e.g. SKITTLES, BOCCE OR BOWLS; INSTALLATIONS THEREFOR; BAGATELLE OR SIMILAR GAMES; BILLIARDS
    • A63D15/00—Billiards, e.g. carom billiards or pocket billiards; Billiard tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的台球击球位置测定方法及其装置，该方法通过抓取视频流中台球桌面图像，利用深度神经网络提取图像中台球的特征，即可确定母球和目标球的击打位置，通过击打位置可以实现所有目标球的击打。

Description

基于深度学习的台球击球位置测定方法及其装置
技术领域
本发明涉及一种基于深度学习的台球击球位置测定方法及其装置，属于体育类机器人领域。
背景技术
台球是一项在国际上广泛流行的高雅室内体育运动，台球由比赛人员用球杆在台上击球，并结合比赛人员对击球点的计算，由最终比赛双方的得分确定比赛胜负。台球形式多样，主要有中式八球、俄式落袋台球、英式落袋台球、开伦台球、美式落袋台球和斯诺克台球，其中斯诺克最为普遍，已成为一项比赛项目。随着中国台球选手在国内外的台球比赛中取得越来越好的成绩，使中国的台球关注度迅速提高。
现有机器人以工业用途为主，用于在各类流水线上对工件进行单一化的组装抓取等操作。近几年，随着机器人的发展，体育类机器人正在兴起。体育类机器人能按照比赛规则模拟人类体育运动，完成比赛，供人类观看，具有一定的娱乐性。现有的体育类机器人有：网球机器人、射门机器人、乒乓机器人、击剑机器人和拳击机器人等。
而台球机器人所处的工作环境相对工业化机器人或其他体育机器人更复杂，比如所处为动态化环境、光照快速变化、背景干扰等。现有工业机器人需要精确定位的定位器会受到上述因素的干扰，而无法实现精确定位。同时上述现有机器人均不具有针对台球所特有的计算击球角度、速度和击球点的能力。无法作为台球机器人的替代使用。同时国内用于台球比赛的机器人甚少，例如CN201410722315.7中公开的《一种斯诺克台球机器人》、CN201710588809.4《一种中式八球比赛中台球运球专用机器人》均提供了台球机器人的硬件结构，并未对如何提高台球机器人击球准确率，提供有效的解决方法。
发明内容
根据本发明的一个方面，提供了一种基于深度学习的台球击球位置测定方法，该方法从图像数据中提取色彩、纹理特征，并且无需人工干预，即可实现对台球击球位置的准确定位，从而提高台球机器人每次击球时，目标球与母球的相撞几率，避免无法通过母球击打目标球情况的出现。同时该方法具有较强的鲁棒性和实时性。
基于深度学习的台球击球位置测定方法，包括以下步骤：
步骤S100：获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
步骤S200：对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入训练深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，
如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；
步骤S300：分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。
优选地，步骤S200中还包括以下步骤：
步骤S210：对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；
步骤S220：依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；
步骤S230：对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。
优选地，步骤S300包括以下步骤：
步骤S310：采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；
步骤S320：使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；
步骤S330：对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。
优选地，训练深度神经网络按以下步骤进行训练：
步骤S410：采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；
步骤S420：以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。
优选地，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。
优选地，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。
优选地，实时图像由微软kinect深度摄像头获取。
优选地，边界框通过非极大值抑制方法得到。
本发明的另一方面还提供了一种基于深度学习的台球击球位置测定装置，其特征在于，包括：
图像处理模块，用于获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
深度学习模块，用于对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，
如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；
质心模块，用于分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。
优选地，深度学习模块包括：
均值模块，用于对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；
HSV模块，用于依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；
切割模块，用于对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。
优选地，质心模块包括：
桌面分割模块，用于采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；
桌面提取模块，用于使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；
球体提取模块，用于对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。
优选地，深度学习模块还包括：
样本模块，用于采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；
训练模块，用于以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。
优选地，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。
优选地，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。
优选地，边界框通过非极大值抑制方法得到。
本发明能产生的有益效果包括：
1)本发明所提供的基于深度学习的台球击球位置测定方法，采用了单检测器(Single-Shot Detector，SSD)模型，通过卷积神经网络(Convolutional Neural Network,CNN)来进行网络初始化。此模型采用非极大值抑制技术删除冗余且置信度小的边界框，将高度重叠的边界框整合成一个，节省了大量的资源，极大地提高了执行效率；
2)本发明所提供的基于深度学习的台球击球位置测定方法，从RGB图像中学习和提取特征，具有较强的鲁棒性和实时性。
3)本发明所提供的基于深度学习的台球击球位置测定装置，能够控制机器人实现各个角度击球，能完成比赛选手在台球比赛中所做的各种动作，适应性强，准确率高。
附图说明
图1为本发明实施例的基于深度学习的台球击球位置测定方法流程示意图；
图2为本发明实施例的基于深度学习的台球击球位置测定装置。
具体实施方式
下面结合实施例详述本发明，但本发明并不局限于这些实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
参见图1，本发明提供的基于深度学习的台球击球位置测定方法，包括以下步骤：
步骤S100：获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
步骤S200：对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，
如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；
步骤S300：分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。
本发明提高的方法通过深度学习神经网络，实现对实时获取的台球桌面信息进行提取和处理，从而对所得图像中所含其他图像进行筛选，能准确筛选出待击打母球和目标球在图像中的定位，从而避免了击打其他球体造成无法得分的问题。优选的，所用深度学习神经网络为卷积神经网络的单检测器模型。
优选的，边界框通过非极大值抑制方法得到。采用该方法得到的边界框数量仅为一个，减少了后续处理的工作量，提高计算效率。同时准确度较高，能有效避免其他冗余数据对结果的干扰。
优选的，步骤S200中还包括以下步骤：
步骤S210：对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；
步骤S220：依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；
步骤S230：对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。
按此方法进行处理，能提高对球体目标提取的准确性，避免其他类似球体进入目标球体的分割范围，从而干扰比赛结果。
优选的，步骤S300包括以下步骤：
步骤S310：采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；
步骤S320：使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；
步骤S330：对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。
按此处理，能提高对实时图像中所含球体的准确识别，提高该方法的鲁棒性。
优选的，实时图像由微软kinect深度摄像头获取。该深度摄像头配合训练深度神经网络可以实现目标运动跟踪、三维信息提取、人机交互等。
优选的，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。
优选的，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。按此设置，能准确的从实时图像中提取得到台球球体，避免其他球体对结果的干扰，提高结果准确性。
优选的，训练深度神经网络按以下步骤进行训练：
步骤S410：采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；
步骤S420：以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。
该方法训练后所得深度学习神经网络能优化整个深度神经网络的参数，提高训练效率和识别精度。该方法可以在进行识别前进行，对视频流图像进行预处理方法为以能使其输入深度学习神经网络为准。例如可以参照前述的方法对图像进行预处理。
参见图2，本发明的另一方面还提供了一种基于深度学习的台球击球位置测定装置，包括：
图像处理模块100，用于获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
深度学习模块200，用于对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，
如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；
质心模块300，用于分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。
优选的，深度学习模块包括：
均值模块，用于对RGB图像进行均值中心化处理，得到满足训练深度神经网络输入尺寸要求的输入图像；
HSV模块，用于依序对输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出HSV图像中的球体图像；
切割模块，用于对球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将填充图像输入深度学习神经网络。
优选地，质心模块包括：
桌面分割模块，用于采用局部峰值边缘对实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取台球桌面内沿边缘的像素点；
桌面提取模块，用于使用色彩分割和图像膨胀算法检测台球桌面区域，通过曲线拟合得到完整的台球桌面边缘；
球体提取模块，用于对台球桌面区域进行坐标网格化，并通过训练深度神经网络得到实时图像中球体的轮廓，并根据台球桌面网格坐标确定母球和目标球的质心坐标。
优选地，深度学习模块还包括：
样本模块，用于采集台球桌面比赛的视频流图像，对视频流图像进行预处理得到训练样本集；
训练模块，用于以训练样本集为训练样本，通过反向传播算法进行监督学习，对深度神经网络进行迭代训练。
优选地，置信度的最小概率阈值为0.2；的边界框为边长等于台球直径的正方形。
优选地，RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在实时图像中移动来提取。
优选地，边界框通过非极大值抑制方法得到。
以上，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (10)

1.一种基于深度学习的台球击球位置测定方法，其特征在于，包括以下步骤：
步骤S100：获取台球桌面实时图像，处理所述实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
步骤S200：对所述RGB图像进行预处理，识别出所述RGB图像中的球体图像，将所识别出的球体图像输入训练深度神经网络，获取所述RGB图像中所含所有台球图像的置信度，并逐一判断各所述台球图像的置信度是否高于阈值，
如果所述台球图像的置信度高于阈值，则对该所述台球图像绘制边界框并对所述边界框中图像添加标签进行分类为母球或目标球，如果所述台球图像的置信度低于阈值，则舍弃所述台球图像；
步骤S300：分别计算所述实时图像中母球与目标球的质心坐标，并计算所述母球与所述目标球质心在所述台球桌上的距离，以连接所述母球与所述目标球的质心连线为击打方向，并以所述母球的质心为击打点，进行击打。
2.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述步骤S200中还包括以下步骤：
步骤S210：对所述RGB图像进行均值中心化处理，得到满足所述训练深度神经网络输入尺寸要求的输入图像；
步骤S220：依序对所述输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出所述HSV图像中的所述球体图像；
步骤S230：对所述球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将所述填充图像输入所述深度学习神经网络。
3.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述步骤S300包括以下步骤：
步骤S310：采用局部峰值边缘对所述实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取所述台球桌面内沿边缘的像素点；
步骤S320：使用色彩分割和图像膨胀算法检测所述台球桌面区域，通过曲线拟合得到完整的所述台球桌面边缘；
步骤S330：对所述台球桌面区域进行坐标网格化，并通过所述训练深度神经网络得到所述实时图像中球体的轮廓，并根据所述台球桌面网格坐标确定所述母球和所述目标球的质心坐标；
优选的，所述训练深度神经网络按以下步骤进行训练：
步骤S410：采集台球桌面比赛的视频流图像，对所述视频流图像进行预处理得到训练样本集；
步骤S420：以所述训练样本集为训练样本，通过反向传播算法进行监督学习，对所述深度神经网络进行迭代训练；
优选的，所述置信度的最小概率阈值为0.2；所述的边界框为边长等于所述台球直径的正方形；
优选的，所述RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在所述实时图像中移动来提取。
4.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述实时图像由微软kinect深度摄像头获取。
5.根据权利要求1所述的基于深度学习的台球击球位置测定方法，其特征在于，所述边界框通过非极大值抑制方法得到。
6.一种基于深度学习的台球击球位置测定装置，其特征在于，包括：
图像处理模块，用于获取台球桌面实时图像，处理实时图像得到包含台球纹理信息、颜色信息和球体三维信息的RGB图像；
深度学习模块，用于对RGB图像进行预处理，识别出RGB图像中的球体图像，将所识别出的球体图像输入深度神经网络，获取RGB图像中所含所有台球图像的置信度，并逐一判断各台球图像的置信度是否高于阈值，
如果台球图像的置信度高于阈值，则对该台球图像绘制边界框并对边界框中图像添加标签进行分类为母球或目标球，如果台球图像的置信度低于阈值，则舍弃台球图像；
质心模块，用于分别计算实时图像中母球与目标球的质心坐标，并计算母球与目标球质心在台球桌上的距离，以连接母球与目标球的质心连线为击打方向，并以母球的质心为击打点，进行击打。
7.根据权利要求6所述的基于深度学习的台球击球位置测定装置，其特征在于，所述深度学习模块包括：
均值模块，用于对所述RGB图像进行均值中心化处理，得到满足所述训练深度神经网络输入尺寸要求的输入图像；
HSV模块，用于依序对所述输入图像进行高斯模糊和降低图像高频噪音，之后再转换为HSV色彩空间，得到HSV图像，使用在HSV颜色空间中定义的球体颜色边界二进制掩码，或者球体编号，识别出所述HSV图像中的所述球体图像；
切割模块，用于对所述球体图像中的球体图形进行彩色分割后，采用图像膨胀处理算法填充切割后遗留下的斑点，得到填充图像，将所述填充图像输入所述深度学习神经网络。
8.根据权利要求6所述的基于深度学习的台球击球位置测定装置，其特征在于，所述质心模块包括：
桌面分割模块，用于采用局部峰值边缘对所述实时图像进行台球桌面自动分割，采用可平滑高斯分布滤波器提取所述台球桌面内沿边缘的像素点；
桌面提取模块，用于使用色彩分割和图像膨胀算法检测所述台球桌面区域，通过曲线拟合得到完整的所述台球桌面边缘；
球体提取模块，用于对所述台球桌面区域进行坐标网格化，并通过所述训练深度神经网络得到所述实时图像中球体的轮廓，并根据所述台球桌面网格坐标确定所述母球和所述目标球的质心坐标。
9.根据权利要求6所述的基于深度学习的台球击球位置测定装置，其特征在于，所述深度学习模块还包括：
样本模块，用于采集台球桌面比赛的视频流图像，对所述视频流图像进行预处理得到训练样本集；
训练模块，用于以所述训练样本集为训练样本，通过反向传播算法进行监督学习，对所述深度神经网络进行迭代训练。
10.根据权利要求6所述的基于深度学习的台球击球位置测定装置，其特征在于，所述置信度的最小概率阈值为0.2；所述的边界框为边长等于所述台球直径的正方形；
优选的，所述RGB图像中的台球纹理信息、颜色信息和球体三维信息由设定卷积核在所述实时图像中移动来提取；
优选的，所述边界框通过非极大值抑制方法得到。
CN201711461733.5A 2017-12-28 2017-12-28 基于深度学习的台球击球位置测定方法及其装置 Active CN108269265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711461733.5A CN108269265B (zh) 2017-12-28 2017-12-28 基于深度学习的台球击球位置测定方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711461733.5A CN108269265B (zh) 2017-12-28 2017-12-28 基于深度学习的台球击球位置测定方法及其装置

Publications (2)

Publication Number Publication Date
CN108269265A true CN108269265A (zh) 2018-07-10
CN108269265B CN108269265B (zh) 2020-10-27

Family

ID=62772644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711461733.5A Active CN108269265B (zh) 2017-12-28 2017-12-28 基于深度学习的台球击球位置测定方法及其装置

Country Status (1)

Country Link
CN (1) CN108269265B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717931A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测系统及其方法
CN111507318A (zh) * 2020-07-01 2020-08-07 口碑(上海)信息技术有限公司 基于图像识别的离店检测方法及装置
CN114470717A (zh) * 2022-02-21 2022-05-13 华拓智造机械设备（天津）有限公司 一种用于桌球类运动中击球位置的精确检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN101681433A (zh) * 2007-03-26 2010-03-24 汤姆森特许公司 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
CN103143158A (zh) * 2013-03-09 2013-06-12 北京工业大学 一种提高斯诺克台球击中率的方法
CN104117202A (zh) * 2014-07-02 2014-10-29 乔冰 投影式台球击球智能辅助系统和方法
CN104208870A (zh) * 2014-07-02 2014-12-17 乔冰 基于投影式台球系统的投影和图像采集的坐标匹配方法
CN104954750A (zh) * 2015-06-18 2015-09-30 北京共创普惠科技有限公司 用于台球系统的数据处理方法和装置
CN105879371A (zh) * 2016-04-29 2016-08-24 乐视控股（北京）有限公司 一种台球运动轨迹实时投影方法、装置及设备
CN107466246A (zh) * 2016-08-25 2017-12-12 深圳英麦吉科技有限公司 台球击球辅助方法、台球击球辅助系统及便携式电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681433A (zh) * 2007-03-26 2010-03-24 汤姆森特许公司 通过彩色图像分割和形状分析检测足球视频中感兴趣对象的方法和装置
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN103143158A (zh) * 2013-03-09 2013-06-12 北京工业大学 一种提高斯诺克台球击中率的方法
CN104117202A (zh) * 2014-07-02 2014-10-29 乔冰 投影式台球击球智能辅助系统和方法
CN104208870A (zh) * 2014-07-02 2014-12-17 乔冰 基于投影式台球系统的投影和图像采集的坐标匹配方法
CN104954750A (zh) * 2015-06-18 2015-09-30 北京共创普惠科技有限公司 用于台球系统的数据处理方法和装置
CN105879371A (zh) * 2016-04-29 2016-08-24 乐视控股（北京）有限公司 一种台球运动轨迹实时投影方法、装置及设备
CN107466246A (zh) * 2016-08-25 2017-12-12 深圳英麦吉科技有限公司 台球击球辅助方法、台球击球辅助系统及便携式电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEN W, WU L, TU L.: ""A curve fitting based image segmentation method"", 《PROCEEDINGS OF THE 2009 INTERNATIONAL ASSOCIATION OF COMPUTER SCIENCE AND INFORMATION TECHNOLOGY - SPRING CONFERENCE. SINGAPORE: IEEE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717931A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测系统及其方法
CN110717931B (zh) * 2019-09-16 2022-06-28 北京理工大学 一种羽毛球发球时击球点的高度检测系统及其方法
CN111507318A (zh) * 2020-07-01 2020-08-07 口碑(上海)信息技术有限公司 基于图像识别的离店检测方法及装置
CN114470717A (zh) * 2022-02-21 2022-05-13 华拓智造机械设备（天津）有限公司 一种用于桌球类运动中击球位置的精确检测方法

Also Published As

Publication number Publication date
CN108269265B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
WO2021129064A9 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN111444890A (zh) 一种基于机器学习的体育数据分析系统和方法
JP5960240B2 (ja) 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法
CN112154482B (zh) 球类运动影像分析装置及球类运动影像分析方法
US20140078141A1 (en) Pose tracking pipeline
KR101428922B1 (ko) 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법
CN108269265A (zh) 基于深度学习的台球击球位置测定方法及其装置
US11568617B2 (en) Full body virtual reality utilizing computer vision from a single camera and associated systems and methods
US11798318B2 (en) Detection of kinetic events and mechanical variables from uncalibrated video
CN103310193B (zh) 一种记录体操视频中运动员重要技术动作时刻的方法
Moshayedi et al. Kinect based virtual referee for table tennis game: TTV (Table Tennis Var System)
CN107329564B (zh) 基于手势智能感知和人机协同机制的人机猜拳方法
He et al. Mathematical modeling and simulation of table tennis trajectory based on digital video image processing
CN113808167A (zh) 一种基于视频数据的排球运动轨迹提取方法
CN109464798B (zh) 一种传感数据驱动的斯诺克辅助练习方法
TWI635887B (zh) 用於計算使用者的高爾夫擊球的資訊的感測裝置及利用其的感測方法
Cheng et al. 3D global and multi-view local features combination based qualitative action recognition for volleyball game analysis
US20210322852A1 (en) Determining trajectory of a ball from two-dimensional media-content using computer vision
Najeeb et al. A survey on object detection and tracking in soccer videos
Pai et al. Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine.
Huang et al. Analysis Technology of Tennis Sports Match Based on Data Mining and Image Feature Retrieval
US11908161B2 (en) Method and electronic device for generating AR content based on intent and interaction of multiple-objects
Zhou Computational Analysis of Table Tennis Games from Real-Time Videos Using Deep Learning
TWI822380B (zh) 球體追蹤系統及方法
CN115845349A (zh) 基于深度学习技术进行运动目标检测的球类运动项目通用训练方法及辅助裁判系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant