CN107729295A - 一种羽毛球的实时落点预判方法、平台及设备 - Google Patents

一种羽毛球的实时落点预判方法、平台及设备 Download PDF

Info

Publication number
CN107729295A
CN107729295A CN201710977083.3A CN201710977083A CN107729295A CN 107729295 A CN107729295 A CN 107729295A CN 201710977083 A CN201710977083 A CN 201710977083A CN 107729295 A CN107729295 A CN 107729295A
Authority
CN
China
Prior art keywords
shuttlecock
coordinate
image
real
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710977083.3A
Other languages
English (en)
Other versions
CN107729295B (zh
Inventor
黄彦玮
廖廷波
薛泓
张学习
陈玮
陈锦涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710977083.3A priority Critical patent/CN107729295B/zh
Publication of CN107729295A publication Critical patent/CN107729295A/zh
Application granted granted Critical
Publication of CN107729295B publication Critical patent/CN107729295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0017—Training appliances or apparatus for special sports for badminton
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/40—Stationarily-arranged devices for projecting balls or other bodies
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/04—Badminton
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/14—Geo-tagging, e.g. for correlating route or track location data with specific information related to that specific location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种羽毛球的实时落点预判方法，应用于羽毛球机器人，羽毛球机器人包括相机；实时落点预判方法包括：通过相机实时获取羽毛球的彩色图像和深度图像；根据彩色图像和深度图像，计算羽毛球在相机坐标系中的第一坐标；利用第一坐标和位姿坐标，计算羽毛球在世界坐标系中的第二坐标；其中，位姿坐标为预先获取到的羽毛球机器人在世界坐标系中的位姿坐标；利用第二坐标和羽毛球的空气动力学模型，计算羽毛球在世界坐标系中的落点坐标。在本发明中，通过在羽毛球机器人本体上安装相机，提高了羽毛球机器人对环境的适应能力。相应的，本发明还公开了一种羽毛球的实时落点预判平台与设备，同样具有以上有益效果。

Description

一种羽毛球的实时落点预判方法、平台及设备
技术领域
本发明涉及图像处理领域，特别涉及一种羽毛球的实时落点预判方法、平台及设备。
背景技术
随着科学技术的发展，羽毛球机器人可以代替羽毛球陪练教练完成许多陪练过程，所以羽毛球机器人技术越来越受到人们的重视和关注，而对于羽毛球运动轨迹的预判，成为衡量羽毛球机器人性能的一个重要参考指标，但是在现有技术当中，羽毛球机器人的视觉判断系统仍然需要场外摄像设备，来获取羽毛球的运动信息，进而驱动羽毛球机器人完成对羽毛球的回击动作。显然通过场外摄像设备获取羽毛球的运动信息时，需要占用大部分的运动场地，而且此种方法使得羽毛球机器人对运动场地的环境适应性较差，使得羽毛球机器人的应用范围受到了局限，所以，怎样更好的提高羽毛球机器人对各种环境的适应能力，是本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种羽毛球的实时落点预判方法、平台及设备，以提高羽毛球机器人对各种环境的适应能力。其具体方案如下：
一种羽毛球的实时落点预判方法，应用于羽毛球机器人，所述羽毛球机器人包括相机；所述实时落点预判方法包括：
通过所述相机实时获取羽毛球的彩色图像和深度图像；
根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标；
利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标；其中，所述位姿坐标为预先获取到的所述羽毛球机器人在所述世界坐标系中的位姿坐标；
利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标。
优选的，所述根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标的过程，包括：
根据所述彩色图像，实时重建所述羽毛球当前运动的背景图片；
对所述彩色图像和所述背景图片进行背景差分处理，得到所述羽毛球的羽毛球图像；
对所述羽毛球图像进行图像形态学处理，得到所述羽毛球在所述相机坐标系中的位置坐标；
根据所述位置坐标，在所述深度图像中查找对应于所述位置坐标的深度坐标；
根据所述位置坐标与所述深度坐标，得到所述第一坐标。
优选的，所述实时重建所述羽毛球当前运动的背景图片的过程，包括：
利用混合高斯模型实时重建所述背景图片。
优选的，所述对所述羽毛球图像进行图像形态学处理，得到所述羽毛球的位置坐标的过程，包括：
利用漫水填充算法对所述羽毛球图像进行处理，得到所述羽毛球的位置坐标。
优选的，所述根据所述位置坐标，在所述深度图像中查找对应于所述位置坐标的深度坐标的过程，包括：
根据所述位置坐标，利用kcf算法在所述深度图像中查找对应于所述位置坐标的深度坐标。
优选的，所述对所述羽毛球图像进行图像形态学处理，得到所述羽毛球在所述相机坐标系中的位置坐标的过程之前，还包括：
对所述羽毛球图像进行滤波处理。
优选的，所述利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标的过程，包括：
利用旋转平移矩阵对第一坐标和位姿坐标进行计算，得到第二坐标。
优选的，所述利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标的过程，包括：
利用第二坐标和所述羽毛球的空气动力学模型，建立计算所述落点坐标的回归曲线；
根据所述回归曲线，得到所述落点坐标。
优选的，所述根据所述回归曲线，得到所述落点坐标的过程之前，还包括：
利用卡尔曼滤波算法对所述回归曲线进行修正。
相应的，本发明还公开了一种羽毛球的实时落点预判平台，应用于羽毛球机器人，所述羽毛球机器人包括相机，所述处理平台包括：
图像获取模块，用于通过所述相机实时获取羽毛球的彩色图像和深度图像；
第一坐标计算模块，用于根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标；
第二坐标计算模块，用于利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标；其中，所述位姿坐标为预先获取到的所述羽毛球机器人在所述世界坐标系中的位姿坐标；
落点坐标计算模块，用于利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标。
相应的，本发明还公开了一种羽毛球的实时落点预判设备，应用于羽毛球机器人，所述羽毛球机器人包括相机，所述处理设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如前述公开的羽毛球的实时落点预判方法的步骤。
在本发明中，一种羽毛球的实时落点预判方法，应用于羽毛球机器人，羽毛球机器人包括相机；实时落点预判方法包括：通过相机实时获取羽毛球的彩色图像和深度图像；根据彩色图像和深度图像，计算羽毛球在相机坐标系中的第一坐标；利用第一坐标和位姿坐标，计算羽毛球在世界坐标系中的第二坐标；其中，位姿坐标为预先获取到的羽毛球机器人在世界坐标系中的位姿坐标；利用第二坐标和羽毛球的空气动力学模型，计算羽毛球在世界坐标系中的落点坐标。
可见，在本发明中将相机安装在羽毛球机器人本体上，解决了现有技术当中，摄像设备安装在场外时，需要占用很多场地的问题。而且，本发明提供的羽毛球实时落点预判方法，实时的获取羽毛球的深度图像和彩色图像，可以计算得到羽毛球在相机坐标系中的坐标，也即第一坐标；然后，利用第一坐标和预先获取的羽毛球机器人在世界坐标系中的坐标，可以得到羽毛球在世界坐标系中的坐标，也即第二坐标，从而将羽毛球在相机坐标系中的坐标转换到了世界坐标系当中，进而可以为羽毛球机器人提供羽毛球的运动轨迹参数；同时利用羽毛球的深度信息可以提高羽毛球在光照较弱的条件下，仍然可以较好地实现对于羽毛球的动态跟踪，从而提高了羽毛球机器人对环境的适应能力；再者，在本发明中使用空气动力学模型能够很好地模拟羽毛球运动的轨迹，可以为羽毛球机器人的运动提供更精确的参数，从而提高了羽毛球机器人对各种环境的适应能力，进而提高羽毛球机器人的性能。相应的，本发明公开的一种羽毛球的实时落点预判平台与设备，同样具有以上有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例一公开的一种羽毛球的实时落点预判方法流程图；
图2为本发明实施例二公开的一种羽毛球的实时落点预判方法流程图；
图3为本发明实施例二中一个标准的羽毛球场地的示意图；
图4为本发明实施例二中羽毛球机器人以及世界坐标系的示意图；
图5为本发明实施例二中羽毛球机器人平移后的世界坐标系和相机坐标系的示意图；
图6为本发明实施例公开的一种羽毛球的实时落点预判平台结构图；
图7为本发明实施例公开的一种羽毛球的实时落点预判设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例一公开了一种羽毛球的实时落点预判方法，如图1所示，该实时落点预判方法，包括：
步骤S11：通过相机实时获取羽毛球的彩色图像和深度图像；
步骤S12：根据彩色图像和深度图像，计算羽毛球在相机坐标系中的第一坐标；
在本实施例中，是将获取羽毛球彩色图像和深度图像的相机安装在羽毛球机器人本体上，相比于现有技术中将摄像机安装在羽毛球的场外，本发明中的方法不需要占用过多的场地，提高了羽毛球机器人对环境的适应能力。
在本实施例中，为了得到羽毛球在世界坐标系中的位置坐标，首先是通过kinect2.0获取羽毛球的彩色图像和深度图像，可以理解的是，在彩色图像中包含羽毛球的二维坐标信息，在深度图像中含有羽毛球的深度信息。所以，在本发明中首先是计算彩色图像中羽毛球的二维坐标信息，然后再根据羽毛球的二维坐标信息，利用相机标定算法以及计算机图形学算法在相应的深度图像中去寻找与羽毛球图像对应的深度信息，进而得到羽毛球在相机坐标系中的三维坐标，也即羽毛球在相机坐标系中的第一坐标。在本发明中，因为利用了相机的红外深度传感技术，所以，可以保证羽毛球机器人在光照较弱的条件下，仍然可以获取到羽毛球的运动信息，进而提高羽毛球机器人的动态视觉跟踪效果。
而且，在本实施例中，为了提高羽毛球的成像质量，是对获取到的羽毛球彩色图像进行了预处理，比如，在彩色图像中选取目标区域，减少系统的计算量，之后再对羽毛球图像进行形态学处理，去除图片中的噪声，需要说明的是，此处对图像进行预处理的方法不作限定，一切以达到实际应用为目的。
步骤S13：利用第一坐标和位姿坐标，计算羽毛球在世界坐标系中的第二坐标；其中，位姿坐标为预先获取到的羽毛球机器人在世界坐标系中的位姿坐标；
可以理解的是，为了减少羽毛球机器人中视觉系统的占地面积，在本发明中，是将获取羽毛球的相机安装到了羽毛球机器人的本体上，所以为了得到羽毛球在世界坐标系中的坐标，可以利用羽毛球在相机坐标系中的坐标，以及羽毛球机器人在世界坐标系中的位姿坐标，计算得到羽毛球在世界坐标系中的坐标，从而，将羽毛球在相机坐标系中的坐标转换到了世界坐标系中。
步骤S14：利用第二坐标和羽毛球的空气动力学模型，计算羽毛球在世界坐标系中的落点坐标。
在本实施例中，通过上述步骤获取到了羽毛球在世界坐标系中的三维坐标，也即第二坐标，再通过羽毛球的空气动力学模型建立羽毛球运动的运动学模型，在该模型中，将多个坐标点代入羽毛球抛物线轨迹模型可以计算得到羽毛球的速度矢量，进而由速度矢量得到羽毛球的落点坐标。
可见，在本发明中将相机安装在羽毛球机器人本体上，解决了现有技术当中，摄像设备安装在场外时，需要占用很多场地的问题。而且，本发明提供的羽毛球实时落点预判方法，实时的获取羽毛球的深度图像和彩色图像，可以计算得到羽毛球在相机坐标系中的坐标，也即第一坐标；然后，利用第一坐标和预先获取的羽毛球机器人在世界坐标系中的坐标，可以得到羽毛球在世界坐标系中的坐标，也即第二坐标，从而将羽毛球在相机坐标系中的坐标转换到了世界坐标系当中，进而可以为羽毛球机器人提供羽毛球的运动轨迹参数；同时利用羽毛球的深度信息可以提高羽毛球在光照较弱的条件下，仍然可以较好地实现对于羽毛球的动态跟踪，从而提高了羽毛球机器人对环境的适应能力；再者，在本发明中使用空气动力学模型能够很好地模拟羽毛球运动的轨迹，可以为羽毛球机器人的运动提供更精确的参数，从而提高了羽毛球机器人对各种环境的适应能力，进而提高羽毛球机器人的性能。
本发明实施例二公开了一种具体的羽毛球实时落点预判方法，如图2所示，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S21：通过相机实时获取羽毛球的彩色图像和深度图像。
在本实施例中，步骤S21可参考实施例一公开的内容，此处不再赘述。需要说明的是，步骤S22至S26是针对实施例一步骤S12作的一个具体的限定。
步骤S22：根据彩色图像，实时重建羽毛球当前运动的背景图片。
可以理解的是，在本实施例中，首先是根据彩色图像，重建出羽毛球在运动过程中的背景图片，此处对于实时重建羽毛球背景的方法，不作限定。在本实施例中，是通过混合高斯模型实时重建出羽毛球的背景图片。
步骤S23：对彩色图像和背景图片进行背景差分处理，得到羽毛球的羽毛球图像。
步骤S24：对羽毛球图像进行图像形态学处理，得到羽毛球在相机坐标系中的位置坐标。
可以理解的是，将彩色图像和背景图片进行背景差分，可以得到羽毛球图像，具体的，在本实施例中，是将羽毛球的当前运动帧与当前背景帧进行背景差分，可以得到不含背景图像的羽毛球的图像，然后再将羽毛球的图像进行图像形态学处理，将羽毛球拟合为一个质点，最后得到羽毛球在当前运动帧中的二维质点坐标，也即，羽毛球在相机坐标系中的位置坐标。
具体的，在本实施例中是利用漫水填充算法对羽毛球图像进行处理，得到羽毛球的位置坐标。
可以理解的是，通过漫水填充算法对羽毛球图像进行处理，可以得到成像质量更好的羽毛球图像，进而可以得到更加精确的羽毛球的位置坐标。需要说明的是，此处对羽毛球图像进行预处理的方法及参数不作限定，一切以达到实际应用为目的。
步骤S25：根据位置坐标，在深度图像中查找对应于位置坐标的深度坐标。
步骤S26：根据位置坐标与深度坐标，得到第一坐标。
可以理解的是，通过上述步骤计算得到了羽毛球在彩色图像中的位置坐标，然后根据该位置坐标在羽毛球的深度图像中查找对应于该位置坐标的深度坐标，进而得到羽毛球在相机坐标系中的坐标，也即第一坐标。
具体的，在本实施例中是根据位置坐标，利用kcf算法在深度图像中查找对应于位置坐标的深度坐标。
可以理解的是，通过kcf算法(kernel correlation filter，核相关滤波算法)实现了羽毛球的动态背景跟踪，可以更好地得到羽毛球的运动轨迹，而且也提高了系统的运行速度。而且，在本实施例中利用相机的红外感应技术，可以保证羽毛球的光照较弱的条件下，仍能实现较好的动态视觉效果。
进一步的，对羽毛球图像进行图像形态学处理，得到羽毛球在相机坐标系中的位置坐标的过程之前，还包括：对羽毛球图像进行滤波处理。
可以理解的是，在利用kcf对在对羽毛球的图像进行处理之前，还可以对羽毛球的图像进行滤波处理，得到成像质量更好的羽毛球图像，从而可以使得在相应的深度图像中更好的对羽毛球的图像进行跟踪。
步骤S27：利用第一坐标和位姿坐标，计算羽毛球在世界坐标系中的第二坐标；其中，位姿坐标为预先获取到的羽毛球机器人在世界坐标系中的位姿坐标。
在本实施例中，是利用旋转平移矩阵对第一坐标和位姿坐标进行计算，得到第二坐标。
具体的，如3所示，是一个标准的羽毛球场地的示意图，羽毛球机器人将识别羽毛球场边缘网柱作为标记物，以羽毛球场的一边缘角为原点建立世界坐标系OXYZ，在识别的过程中利用标杆的特殊长宽比，从而可以获得标杆底端端点相对于相机坐标系的坐标，进而可以求解得到羽毛球机器人相对于羽毛球场的三维坐标(x0,y0,z0)。需要说明的是，在实际应用当中，对于羽毛球场的标记物以及识别的参数不进行限定，一切以达到实际应用为目的。
如图4所示，是本发明中的羽毛球机器人的世界坐标系示意图，在本实施例中是将kinect相机安装于羽毛球机器人的底盘中心处，并以该点(x0,y0,z0)为原点建立相机坐标系{0X1Y1Z1}和羽毛球机器人的世界坐标系{0X2Y2Z2}，如图5所示，是平移后的世界坐标系{0XYZ}和相机坐标系{0X1Y1Z1}。
具体的，在本实施例中，相机坐标系到机器人坐标系之间的旋转平移矩阵Rk2r为：
其中，α为相机的俯仰角。
机器人坐标系到世界坐标系之间的旋转平移矩阵Rr2w为：
其中，β为羽毛球机器人本体相对于羽毛球场的旋转角，(x0,y0,z0)为羽毛球机器人在世界坐标系中的初始位置。
综上，可以得到相机坐标系到世界坐标系之间的旋转平移矩阵Rk2w为：
Rk2w＝Rk2rRr2w；
其中，Rk2r为相机坐标系到羽毛球机器人坐标系之间的旋转平移矩阵，Rr2w为羽毛球机器人坐标系到世界坐标系之间的旋转平移矩阵。
可以理解的是，将参数x0，y0，α，β代入旋转平移矩阵Rk2w，即可将每一帧中的羽毛球在相机坐标系中的点(xk,yk,zk)表示在世界坐标系中，从而得到羽毛球在世界坐标系中的坐标(xw,yw,zw)。
显然，通过本发明中的空间坐标转换方法，即可以将羽毛球在相机坐标系中的坐标转换到世界坐标系中，所以在本发明中将相机固定到羽毛球机器人本体上，有效减少了羽毛球机器人视觉系统的占地面积，提高了羽毛球机器人的应用范围。
需要说明的是，步骤S28与步骤S29是对上一实施例中的步骤S14作的一个具体的限定，其它步骤与上一实施例大体相同，相同部分可参见上一实施例相关部分，在此不再赘述。
步骤S28：利用第二坐标和羽毛球的空气动力学模型，建立计算落点坐标的回归曲线。
步骤S29：根据回归曲线，得到落点坐标。
在本实施例中，通过羽毛球在世界坐标系中的坐标以及空气动力学模型，可以计算得到羽毛球的运动的抛物线运动轨迹，将多个第二坐标代入羽毛球轨迹模型即可求解得到羽毛球在某一时间点的速度矢量，进而可以求得羽毛球的落点坐标。
具体的，在本实施例中根据回归曲线，得到落点坐标的过程之前，还包括：
利用卡尔曼滤波算法对回归曲线进行修正。
可以理解的是，在对羽毛球的彩色图像进行处理的过程中，以及计算羽毛球质点时，会产生一系列的累积误差；而且彩色图像与深度图像在进行匹配的过程中，会产生像素点匹配误差，或者是在获取三维坐标点时因为彩色图像中的信息和深度图像中的信息，不在同一平面内，所以，不可避免的会产生系统误差，所以，在本实施例中，利用卡尔曼滤波算法来对回归曲线中的噪音进行抑制，当羽毛球在空中运动时，通过不断修正运动轨迹来提高系统预判的准确性，利用该方法可以使羽毛球机器人能够准确运动到羽毛球的击球点，进而提高羽毛球的预判性能。同时，也可以为羽毛球机器人提供更为准确的运动参数。
相应的，本发明还公开了一种羽毛球实时落点预判平台，如图6所示，该平台包括：
图像获取模块31，用于通过相机实时获取羽毛球的彩色图像和深度图像；
第一坐标计算模块32，用于根据彩色图像和深度图像，计算羽毛球在相机坐标系中的第一坐标；
第二坐标计算模块33，用于利用第一坐标和位姿坐标，计算羽毛球在世界坐标系中的第二坐标；其中，位姿坐标为预先获取到的羽毛球机器人在世界坐标系中的位姿坐标；
落点坐标计算模块34，用于利用第二坐标和羽毛球的空气动力学模型，计算羽毛球在世界坐标系中的落点坐标。
优选的，第一坐标计算模块32，包括：
背景重建单元，用于根据彩色图像，实时重建羽毛球当前运动的背景图片；
背景差分单元，用于对彩色图像和背景图片进行背景差分处理，得到羽毛球的羽毛球图像；
形态学处理单元，用于对羽毛球图像进行图像形态学处理，得到羽毛球在相机坐标系中的位置坐标；
深度坐标查找单元，用于根据位置坐标，在深度图像中查找对应于位置坐标的深度坐标；
第一坐标获取单元，用于根据位置坐标与深度坐标，得到第一坐标。
优选的，背景重建单元，包括：
背景重建子单元，用于利用混合高斯模型实时重建背景图片。
优选的，形态学处理单元，包括：
形态学处理子单元，用于利用漫水填充算法对羽毛球图像进行处理，得到羽毛球的位置坐标。
优选的，深度坐标查找单元，包括：
深度坐标查找子单元，用于根据位置坐标，利用kcf算法在深度图像中查找对应于位置坐标的深度坐标。
优选的，该羽毛球的实时落点预判平台，还包括：
图像滤波单元，用于对羽毛球图像进行图像形态学处理，得到羽毛球在相机坐标系中的位置坐标的过程之前，对羽毛球图像进行滤波处理。
优选的，第二坐标计算模块33，包括：
第二坐标计算单元，用于利用旋转平移矩阵对第一坐标和位姿坐标进行计算，得到第二坐标。
优选的，落点坐标计算模块34，包括：
回归曲线建立单元，用于利用第二坐标和羽毛球的空气动力学模型，建立计算落点坐标的回归曲线；
落点坐标计算单元，用于根据回归曲线，得到落点坐标。
优选的，该羽毛球的实时落点预判方法，还包括：
回归曲线修正单元，用于根据回归曲线，得到落点坐标的过程之前，利用卡尔曼滤波算法对回归曲线进行修正。
相应的，本发明还公开了一种羽毛球的实时落点预判设备，如图7所示，应用于羽毛球机器人，羽毛球机器人包括相机，处理设备包括：
存储器41，用于存储计算机程序；
处理器42，用于执行计算机程序时实现如前述公开的羽毛球的实时落点预判方法的步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种羽毛球的实时落点预判方法、平台及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种羽毛球的实时落点预判方法，其特征在于，应用于羽毛球机器人，所述羽毛球机器人包括相机；所述实时落点预判方法包括：
通过所述相机实时获取羽毛球的彩色图像和深度图像；
根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标；
利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标；其中，所述位姿坐标为预先获取到的所述羽毛球机器人在所述世界坐标系中的位姿坐标；
利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标。
2.根据权利要求1所述的方法，其特征在于，所述根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标的过程，包括：
根据所述彩色图像，实时重建所述羽毛球当前运动的背景图片；
对所述彩色图像和所述背景图片进行背景差分处理，得到所述羽毛球的羽毛球图像；
对所述羽毛球图像进行图像形态学处理，得到所述羽毛球在所述相机坐标系中的位置坐标；
根据所述位置坐标，在所述深度图像中查找对应于所述位置坐标的深度坐标；
根据所述位置坐标与所述深度坐标，得到所述第一坐标。
3.根据权利要求2所述的方法，其特征在于，所述实时重建所述羽毛球当前运动的背景图片的过程，包括：
利用混合高斯模型实时重建所述背景图片。
4.根据权利要求2所述的方法，其特征在于，所述对所述羽毛球图像进行图像形态学处理，得到所述羽毛球的位置坐标的过程，包括：
利用漫水填充算法对所述羽毛球图像进行处理，得到所述羽毛球的位置坐标。
5.根据权利要求2所述的方法，其特征在于，所述根据所述位置坐标，在所述深度图像中查找对应于所述位置坐标的深度坐标的过程，包括：
根据所述位置坐标，利用kcf算法在所述深度图像中查找对应于所述位置坐标的深度坐标。
6.根据权利要求2所述的方法，其特征在于，所述对所述羽毛球图像进行图像形态学处理，得到所述羽毛球在所述相机坐标系中的位置坐标的过程之前，还包括：
对所述羽毛球图像进行滤波处理。
7.根据权利要求1所述的方法，其特征在于，所述利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标的过程，包括：
利用旋转平移矩阵对第一坐标和位姿坐标进行计算，得到第二坐标。
8.根据权利要求1所述的方法，其特征在于，所述利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标的过程，包括：
利用第二坐标和所述羽毛球的空气动力学模型，建立计算所述落点坐标的回归曲线；
根据所述回归曲线，得到所述落点坐标。
9.根据权利要求8所述的方法，其特征在于，所述根据所述回归曲线，得到所述落点坐标的过程之前，还包括：
利用卡尔曼滤波算法对所述回归曲线进行修正。
10.一种羽毛球的实时落点预判平台，其特征在于，应用于羽毛球机器人，所述羽毛球机器人包括相机，所述处理平台包括：
图像获取模块，用于通过所述相机实时获取羽毛球的彩色图像和深度图像；
第一坐标计算模块，用于根据所述彩色图像和所述深度图像，计算所述羽毛球在相机坐标系中的第一坐标；
第二坐标计算模块，用于利用第一坐标和位姿坐标，计算所述羽毛球在世界坐标系中的第二坐标；其中，所述位姿坐标为预先获取到的所述羽毛球机器人在所述世界坐标系中的位姿坐标；
落点坐标计算模块，用于利用第二坐标和所述羽毛球的空气动力学模型，计算所述羽毛球在所述世界坐标系中的落点坐标。
11.一种羽毛球的实时落点预判设备，其特征在于，应用于羽毛球机器人，所述羽毛球机器人包括相机，所述处理设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述的羽毛球的实时落点预判方法的步骤。
CN201710977083.3A 2017-10-19 2017-10-19 一种羽毛球的实时落点预判方法、平台及设备 Active CN107729295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710977083.3A CN107729295B (zh) 2017-10-19 2017-10-19 一种羽毛球的实时落点预判方法、平台及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710977083.3A CN107729295B (zh) 2017-10-19 2017-10-19 一种羽毛球的实时落点预判方法、平台及设备

Publications (2)

Publication Number Publication Date
CN107729295A true CN107729295A (zh) 2018-02-23
CN107729295B CN107729295B (zh) 2021-07-06

Family

ID=61212090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710977083.3A Active CN107729295B (zh) 2017-10-19 2017-10-19 一种羽毛球的实时落点预判方法、平台及设备

Country Status (1)

Country Link
CN (1) CN107729295B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108465218A (zh) * 2018-04-07 2018-08-31 华北理工大学 乒乓球落点分析系统
CN108654043A (zh) * 2018-06-26 2018-10-16 华北理工大学 羽毛球发球训练声控辅助装置
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
CN109684919A (zh) * 2018-11-15 2019-04-26 重庆邮电大学 一种基于机器视觉的羽毛球发球违例判别方法
CN110433471A (zh) * 2019-08-13 2019-11-12 宋雅伟 一种羽毛球运动轨迹监测分析系统及方法
CN110548274A (zh) * 2019-09-25 2019-12-10 中科新松有限公司 乒乓球机器人的发球控制方法
CN110711373A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测系统及其方法
CN111369629A (zh) * 2019-12-27 2020-07-03 浙江万里学院 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
WO2021042374A1 (zh) * 2019-09-06 2021-03-11 罗伯特·博世有限公司 用于工业机器人的三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
CN112494915A (zh) * 2020-12-14 2021-03-16 清华大学深圳国际研究生院 一种羽毛球机器人及其系统和控制方法
CN112734834A (zh) * 2020-12-14 2021-04-30 清华大学深圳国际研究生院 一种羽毛球空间坐标检测方法及系统
CN114005072A (zh) * 2021-11-12 2022-02-01 中国石油大学(华东) 一种用于羽毛球运动的智能辅助裁判方法及系统
CN114390963A (zh) * 2019-09-06 2022-04-22 罗伯特·博世有限公司 用于工业机器人的标定方法及装置、三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102114337A (zh) * 2011-03-11 2011-07-06 深圳市桑达实业股份有限公司 羽毛球/网球落点判断显示装置及方法
CN104874164A (zh) * 2015-05-06 2015-09-02 芜湖林一电子科技有限公司 一种视觉跟踪羽毛球陪练机器人
CN105477845A (zh) * 2015-06-17 2016-04-13 电子科技大学 羽毛球运动轨迹预测方法及系统
CN105513074A (zh) * 2015-06-17 2016-04-20 电子科技大学 一种羽毛球机器人相机标定方法
KR20170100090A (ko) * 2016-02-24 2017-09-04 중앙대학교 산학협력단 2d 카메라 기반 운동선수 이동거리 산출 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102114337A (zh) * 2011-03-11 2011-07-06 深圳市桑达实业股份有限公司 羽毛球/网球落点判断显示装置及方法
CN104874164A (zh) * 2015-05-06 2015-09-02 芜湖林一电子科技有限公司 一种视觉跟踪羽毛球陪练机器人
CN105477845A (zh) * 2015-06-17 2016-04-13 电子科技大学 羽毛球运动轨迹预测方法及系统
CN105513074A (zh) * 2015-06-17 2016-04-20 电子科技大学 一种羽毛球机器人相机标定方法
KR20170100090A (ko) * 2016-02-24 2017-09-04 중앙대학교 산학협력단 2d 카메라 기반 운동선수 이동거리 산출 장치 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
安学成: "基于自然路标的室内机器人双目视觉绝对定位方法研究", 《中国优秀硕士学位论文全文数据库》 *
常运: "羽毛球机器人的目标检测与BEZIER曲线路径规划", 《信息科技辑》 *
杜浩东: "基于立体视觉的运动目标轨迹测量的研究", 《信息科技辑》 *
钟泽宇，周海婷，古炜豪，邹修国: "A基于Kinect传感器的机械手自主抓取技术研究", 《仪表技术与传感器》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108465218A (zh) * 2018-04-07 2018-08-31 华北理工大学 乒乓球落点分析系统
CN109087328A (zh) * 2018-05-31 2018-12-25 湖北工业大学 基于计算机视觉的羽毛球落点位置预测方法
CN108654043A (zh) * 2018-06-26 2018-10-16 华北理工大学 羽毛球发球训练声控辅助装置
CN108654043B (zh) * 2018-06-26 2023-06-13 华北理工大学 羽毛球发球训练声控辅助装置
CN109684919B (zh) * 2018-11-15 2021-08-17 重庆邮电大学 一种基于机器视觉的羽毛球发球违例判别方法
CN109684919A (zh) * 2018-11-15 2019-04-26 重庆邮电大学 一种基于机器视觉的羽毛球发球违例判别方法
CN110433471A (zh) * 2019-08-13 2019-11-12 宋雅伟 一种羽毛球运动轨迹监测分析系统及方法
WO2021042374A1 (zh) * 2019-09-06 2021-03-11 罗伯特·博世有限公司 用于工业机器人的三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
CN114390963A (zh) * 2019-09-06 2022-04-22 罗伯特·博世有限公司 用于工业机器人的标定方法及装置、三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
TWI832002B (zh) * 2019-09-06 2024-02-11 德商羅伯特 博世有限公司 用於工業機器人的三維環境建模方法及設備、電腦儲存媒體以及工業機器人操作平台
CN110711373B (zh) * 2019-09-16 2021-01-05 北京理工大学 一种基于图像处理的羽毛球发球时击球点的高度检测方法
CN110711373A (zh) * 2019-09-16 2020-01-21 北京理工大学 一种羽毛球发球时击球点的高度检测系统及其方法
CN110548274A (zh) * 2019-09-25 2019-12-10 中科新松有限公司 乒乓球机器人的发球控制方法
CN111369629A (zh) * 2019-12-27 2020-07-03 浙江万里学院 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
CN111369629B (zh) * 2019-12-27 2024-05-24 浙江万里学院 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
CN112494915A (zh) * 2020-12-14 2021-03-16 清华大学深圳国际研究生院 一种羽毛球机器人及其系统和控制方法
CN112734834A (zh) * 2020-12-14 2021-04-30 清华大学深圳国际研究生院 一种羽毛球空间坐标检测方法及系统
CN112734834B (zh) * 2020-12-14 2023-07-07 清华大学深圳国际研究生院 一种羽毛球空间坐标检测方法及系统
CN114005072A (zh) * 2021-11-12 2022-02-01 中国石油大学(华东) 一种用于羽毛球运动的智能辅助裁判方法及系统

Also Published As

Publication number Publication date
CN107729295B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN107729295A (zh) 一种羽毛球的实时落点预判方法、平台及设备
CN104504694B (zh) 一种获取运动球体三维信息的方法
CN108537876A (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN111754552A (zh) 一种基于深度学习的多摄像头协同目标跟踪方法
CN106204718A (zh) 一种基于单个Kinect的简易高效三维人体重建方法
US20110249865A1 (en) Apparatus, method and computer-readable medium providing marker-less motion capture of human
CN105844663A (zh) 一种自适应orb目标跟踪方法
Pirchheim et al. Homography-based planar mapping and tracking for mobile phones
CN109460267A (zh) 移动机器人离线地图保存与实时重定位方法
CN102648032B (zh) 虚拟目标跟踪
CN106599770A (zh) 一种基于体感动作识别及抠像的滑雪场景显示方法
CN109758756B (zh) 基于3d相机的体操视频分析方法及系统
CN104424650B (zh) 一种光学式人体运动捕捉中手臂信息补偿方法
CN114004883B (zh) 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质
Lovanshi et al. Human pose estimation: benchmarking deep learning-based methods
Petit et al. Augmenting markerless complex 3D objects by combining geometrical and color edge information
Ning Design and research of motion video image analysis system in sports training
Moshayedi et al. Kinect based virtual referee for table tennis game: TTV (Table Tennis Var System)
Ko et al. CNN and bi-LSTM based 3D golf swing analysis by frontal swing sequence images
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
Tian et al. High-speed tiny tennis ball detection based on deep convolutional neural networks
Zhang et al. A robust visual odometry based on RGB-D camera in dynamic indoor environments
Geebelen et al. Real-time hand tracking with a colored glove
CN112494915B (zh) 一种羽毛球机器人及其系统和控制方法
Tornow et al. A multi-agent mobile robot system with environment perception and HMI capabilities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant