CN113041578B - 一种基于形态特征和单目测量的机器人自主捡球方法 - Google Patents
一种基于形态特征和单目测量的机器人自主捡球方法 Download PDFInfo
- Publication number
- CN113041578B CN113041578B CN202110205841.6A CN202110205841A CN113041578B CN 113041578 B CN113041578 B CN 113041578B CN 202110205841 A CN202110205841 A CN 202110205841A CN 113041578 B CN113041578 B CN 113041578B
- Authority
- CN
- China
- Prior art keywords
- badminton
- court
- color image
- target
- trapezoidal distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 title claims abstract description 20
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000009466 transformation Effects 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 238000011176 pooling Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 210000003746 feather Anatomy 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 18
- 238000004590 computer program Methods 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B47/00—Devices for handling or treating balls, e.g. for holding or carrying balls
- A63B47/02—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting
- A63B47/021—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting for picking-up automatically, e.g. by apparatus moving over the playing surface
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B47/00—Devices for handling or treating balls, e.g. for holding or carrying balls
- A63B47/02—Devices for handling or treating balls, e.g. for holding or carrying balls for picking-up or collecting
- A63B47/025—Installations continuously collecting balls from the playing areas, e.g. by gravity, with conveyor belts
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Physical Education & Sports Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于形态特征和单目测量的机器人自主捡球方法，包括：采集羽毛球和球场彩色图像信息，得到羽毛球及球场彩色图像信息；对得到的羽毛球及球场彩色图像信息进行数据处理，获得映射关系；利用搭建和训练好的特征提取网络寻找得到目标羽毛球质心的像素点位置，根据获得的映射关系得到目标羽毛球的位置信息；获取目标羽毛球和机器人的实际相对位置，完成机器人的运动路径规划；控制机器人完成对羽毛球的拾取操作。本发明充分考虑了羽毛球的特征和单目摄像头的局限和特点，设计了单目摄像头的测距方法和适用于羽毛球的卷积神经网络，实现了机器人对于目标羽毛球的自动识别和拾取，提升了羽毛球的拾取效率和自动化性能。
Description
技术领域
本发明属于图像处理和深度学习技术领域，具体涉及一种基于形态特征和单目测量的机器人自主捡球方法。
背景技术
随着现代人对身体健康的重视，羽毛球成为越来越多人选择的运动方式，同时我国又是羽毛球强国，存在大量的羽毛球专业运动员。在专业的羽毛球训练中，大量掉落在地上的羽毛球需要浪费大量的人力进行拾取，浪费时间的同时，更导致腰椎的损伤，减少了职业寿命，对于普通人的锻炼目的更是适得其反。
目前针对羽毛球的拾取主要是依靠人力，即使有一些拾取工具，仍然需要人参与，不能在训练间隙得到良好的休息，不但浪费人力时间，而且会影响训练效果，更重要的是，由于人工拾取强度较大，所以长期的捡球会增加腰椎负担，影响身体健康。
发明内容
发明目的：为了克服现有技术中存在的不足，提供一种基于形态特征和单目测量的机器人自主捡球方法，其通过设计自主捡球机器人，无需人力参与即可以自动拾取识别球场上的羽毛球，通过单目摄像头的距离测量和卷积神经网络的羽毛球特征提取，使得羽毛球识别拾取机器人自动运行到目标羽毛球所在位置，创新性的使用单目摄像头测量羽毛球的位置信息，搭建了用于羽毛球识别的卷积神经网路并且设计了一种针对多个羽毛球的路径规划方法，具有识别精准，拾取效率高的特点，对准确快速寻找羽毛球、提高羽毛球拾取效率、降低人工的拾取强度具有重大意义。
技术方案：为实现上述目的，本发明提供一种基于形态特征和单目测量的机器人自主捡球方法，包括如下步骤：
S1：通过机器人采集存在梯形畸变羽毛球和球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息；
S2：对得到的羽毛球及球场彩色图像信息进行数据处理，通过设计一种针对无测距功能的单目摄像头的目标物体位置信息测量方法获得存在梯形畸变羽毛球和球场彩色图像与实际位置距离的映射关系；
S3：利用搭建和训练好的特征提取网络寻找得到目标羽毛球质心的像素点位置，根据步骤S2获得的映射关系得到目标羽毛球的位置信息；
S4：根据目标羽毛球的位置信息，获取目标羽毛球和机器人的实际相对位置，完成机器人的运动路径规划；
S5：上位机根据机器人的运动路径规划结果，控制机器人运动至目标羽毛球位置，并完成机器人对羽毛球的拾取操作。
进一步地，所述步骤S1中机器人通过单目摄像头采集存在梯形畸变羽毛球和球场彩色图像信息。
进一步地，所述步骤S2中数据处理的具体方法为：
A1：对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行预处理，得到存在梯形畸变的羽毛球及球场彩色图像信息中的羽毛球场边缘信息；
A2：对步骤A1获取的羽毛球场边缘信息进行处理，通过透视变换矫正采集得到的存在梯形畸变的羽毛球及球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息和羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
进一步地，所述步骤A1中预处理的方法为：
B1：对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行灰度变换，得到并保存存在梯形畸变的羽毛球及球场灰度图像；
B2：使用高斯滤波器对存在梯形畸变的羽毛球及球场灰度图像进行滤波，消除图像数字化时所混入的噪声，简化图像所带的信息，得到滤波处理后的存在梯形畸变的羽毛球及球场灰度图像；
B3：用模板掩码计算滤波处理后的存在梯形畸变的羽毛球及球场灰度图像的灰度的梯度的幅值和方向，并进行非极大值抑制，得到存在梯形畸变的羽毛球及球场灰度边缘图像。
所述步骤B1包括：
根据以下公式，对所述采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行灰度变换处理，得到存在梯形畸变的羽毛球及球场灰度图像：
gray_c(ig，jg)＝cR×R(ig，jg)+cG×G(ig，jg)+cB×B(ig，jg)
其中，gray_c(ig，jg)为存在梯形畸变的羽毛球及球场灰度图像中第ig行和第jg列的像素点灰度值，cR、cG和cB分别为存在梯形畸变的羽毛球及球场彩色图像中各像素点的红色、绿色及蓝色三色的权值，并且取值cR＝0.299、cG＝0.587和cB＝0.144，R(ig，jg)、G(ig，jg)和B(ig，jg)分别为存在梯形畸变的羽毛球及球场灰度图像中第ig行和第jg列像素点的红色、绿色及蓝色分量值。
所述步骤B2包括：
高斯滤波器的原理为根据待滤波的像素点及其邻域点的灰度值按照高斯公式生成的参数规则进行加权平均，这样可以有效滤去存在梯形畸变的羽毛球及球场灰度图像中叠加的高频噪声。二维高斯公式如下：
其中，G0(xg，yg)为距离待滤波的像素点xg行，yg列的像素点的加权平均权值，A为加权比例系数，ux,uy分别表示待滤波的像素点位于存在梯形畸变的羽毛球及球场灰度图像的第ux行和第uy列像素点，σ为存在梯形畸变的羽毛球及球场灰度图像的标准方差。经过高斯滤波器后，得到了滤波处理后的存在梯形畸变的羽毛球及球场灰度图像。
所述步骤B3包括：
根据以下模板掩码计算所述滤波处理后的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘。
其中Sx为x方向上的模板掩码，用于检测y方向的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘，Sy为y方向上的模板掩码，用于检测x方向的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘，Ks表示邻域标记矩阵，[ie，je]表示待计算像素点位于存在梯形畸变的羽毛球及球场灰度图像的第ie行，第je列像素点，
表示待计算像素点相邻的八个像素点在存在梯形畸变的羽毛球及球场灰度图像中的灰度值。
根据以上两个模板掩码，可以计算出存在梯形畸变的羽毛球及球场灰度图像的梯度幅值及相应的方向：
Gx＝Sx*Ks
Gy＝Sy*Ks
其中，Gx，Gy分别为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中x，y方向上的梯度幅值。G为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中的梯度幅值，θG为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中的梯度方向。
此时根据以下公式对得到的存在梯形畸变的羽毛球及球场灰度图像的梯度幅值及相应的方向进行非极大值抑制：
Gp＝(1-tan(θp))×positon1+tanθp×positlon2
其中Gp表示非极大值抑制的参考梯度幅值，positon1，positon2分别表示与θp相邻的两个角度为
的参考梯度。若G＞Gp，认为待测像素点是一个在存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘像素点。由此得到存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘。
进一步地，所述步骤A2的具体方法为：
C1：对存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘进行直线检测，得到存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标；
C2：根据存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标，对存在梯形畸变的羽毛球及球场彩色图像进行投影变换，得到正投影形式下的羽毛球及球场彩色图像信息；
C3：根据正投影形式下的羽毛球及球场彩色图像信息，通过实验得到羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
所述步骤C1中包括：
根据以下公式，一条直线可表示为：
r＝xpcosθl+ypsinθl
其中，r为极坐标系下直线上的点距极点的最小距离。θl为极坐标系下直线上的点与极轴的夹角，xp，yp表示直线上的点x方向和y方向的坐标。
对于存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘上的每一个像素点(xi，yi)，在以r，θl为参数的平面内做映射，根据累加原理：
An(r，θl)＝An-1(r，θl)+L
其中，An(r，θl)，An-1(r，θl)分别表示存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘上的累积到第n个像素点，第n-1个像素点时每一个映射在以r，θl为参数的平面内经过点(r，θl)的次数。当An(r，θl)大于阈值30，认为检测到一条直线，此时通过逆映射得到直线函数为：
由此检测存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘，得到存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标。
所述步骤C2中包括：
由存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标，根据以下公式：
x1＝a31
y1＝a32
x2＝a11+a31-a13*x2
y2＝a12+a32-a13*y2
x3＝a11+a21+a31-a13*x3-a23*x3
y3＝a12+a22+a32-a13*y3-a23*y3
x4＝a21+a31-a23*x4
y4＝a22+a32-a23*y4
a33＝1
其中，
和，
分别表示存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标。
为投影变换参数，其中
为投影变换的线性变换参数，a31和a32为投影变换的平移变换参数，a12和a13为投影变换的透视变换参数。
根据以上投影变换参数，投影变换的计算公式为：
其中，u和v表示待变换像素点在存在梯形畸变的羽毛球及球场彩色图像中的像素点，坐标xt和yt分别表示待变换像素点经过投影变换后在正投影形式下的羽毛球及球场彩色图像中的像素点坐标。x′t，y′t，z′t为投影变换的中间计算结果，表示未归一化状态下待变换像素点经过投影变换后在正投影形式下的羽毛球及球场彩色图像中的像素点坐标。由此得到正投影形式下的羽毛球及球场彩色图像信息。
所述步骤C3中包括：
由于根据步骤C2所得到的目标羽毛球的在正投影形式下的羽毛球及球场彩色图像中的位置信息是在正投影形式得到的，在正投影的形势下，正投影形式下的羽毛球及球场彩色图像中的任意一点与摄像头的距离和像素点个数呈线性关系，这提供了一种使用单目摄像头测距的方式，具体的实际大小计算公式如下：
xactual＝x**kpx+xcamera
yactual＝y**kpy+ycamera
其中，xactual和yactual表示在以摄像头位置为坐标原点，实际距离为轴的坐标系下，目标羽毛球在所述坐标系中的坐标，kpx和kpy分别表示在x方向和y方向上单位长度映射在正投影形式下的羽毛球及球场彩色图像中的像素点个数。xcamera和ycamera表示摄像头位置和正投影形式下的羽毛球及球场彩色图像中左上角点的实际位置在x方向和y方向的距离。x*和y*表示正投影形式下的羽毛球及球场彩色图像中待计算的像素点的像素点坐标。由于正投影形式下的羽毛球及球场彩色图像存在梯形畸变羽毛球及球场彩色图像上的点是一一对应的，因此通过单目摄像头得到了存在梯形畸变羽毛球及球场彩色图像中任意一点和羽毛球识别拾取机器人的实际距离，从而得到了羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
进一步地，所述步骤S3具体包括如下过程：
D1：对正投影形式下的羽毛球及球场彩色图像进行打标签操作，得到打好标签的数据集，并记为羽毛球源数据集；
D2：搭建适用于羽毛球的多特征卷积神经网络，并确定网络结构，选择网络优化器并使用羽毛球源数据集与特征数据集对多特征卷积神经网络进行训练，得到训练好的适用于多特征卷积神经网络模型；
D3：根据羽毛球及球场彩色图像与实际位置距离的映射关系，使用训练好的多特征卷积神经网络模型对羽毛球及球场彩色图像进行预测，得到目标羽毛球的位置信息。
进一步地，所述步骤D1中打标签操作的过程为：
用标签名badminton来对应正投影形式下的羽毛球及球场彩色图像中羽毛球所在的位置，在正投影形式下的羽毛球及球场彩色图像中羽毛球位置画出羽毛球候选框并打上标签，打上标签，将打上标签后的数据集记为羽毛球源数据集，源数据集的数据结构如下式所示：
[num xb yb wb hb]
其中，num为0，对应羽毛球源数据集集中唯一的目标badminton，xb，yb，分别对应羽毛球源数据集中羽毛球候选框的左上角顶点在正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wb，hb分别对应羽毛球源数据集中羽毛球候选框的宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数。
进一步地，所述步骤D2包括：
E1：搭建由三部分适用于羽毛球的多特征卷积神经网络的第一部分，第一部分对正投影形式下的羽毛球及球场彩色图像输入五个卷积层和四个池化层，得到正投影形式下的羽毛球及球场彩色图像的中间张量；
E2：搭建由三部分适用于羽毛球的多特征卷积神经网络的第二部分和第三部分，第二部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量一方面输入五个卷积层和两个池化层，得到正投影形式下的羽毛球及球场彩色图像的大羽毛球的输出张量，第三部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量输入一个上采样层和一个卷积层，得到正投影形式下的羽毛球及球场彩色图像的小羽毛球的输出张量；
E3：羽毛球源数据集按照8:1:1的比例划分为训练集,验证集和测试集，在训练的过程中，将羽毛球源数据集的每个数据作为一个训练单元，损失函数使用交叉熵损失函数，采用Adam优化器进行学习优化，对网络进行充分训练，得到训练好的适用于羽毛球的多特征卷积神经网络。
所述步骤E1的主要目的是提取正投影形式下的羽毛球及球场彩色图像的全局特征，该步骤中的卷积层都选用了16个3*3的卷积核，卷积层的输出尺寸计算公式如下列公式所示：
Do＝Kc
其中，Wi和Hi分别表示卷积输入的羽毛球张量的x和y方向上的尺寸，Wo和Ho分别表示卷积输出的羽毛球张量的x和y方向上的尺寸，Kc为卷积核的个数，Fc为3，表示卷积核的大小，Sc为卷积步长，表示每次卷积核移动的尺寸，Pc为卷积边界填充尺寸，使得输入的羽毛球张量的尺寸为Sc的倍数，不产生重复卷积。在本方法中，采用Kc＝3，Sc＝1，Pc＝0，提取羽毛球特征。
该步骤中池化层均为最大池化层，池化层的目的是使得输出的羽毛球张量变为需要的尺寸池化层能够使池化层的尺寸计算公式如下：
其中，Zp为池化输出的羽毛球张量的尺寸，Wp为池化输入的羽毛球张量的尺寸，Fp为池化内核的大小，Sp为池化步长，表示每次池化内核移动的尺寸。本方法中，Fp＝3，Sp＝1，突出羽毛球特征。经过此步骤，得到正投影形式下的羽毛球及球场彩色图像的中间张量其尺寸为26*26*256。
所述步骤E2对正投影形式下的羽毛球及球场彩色图像的中间张量输入两个不同结构的网络，分别用于预测正投影形式下的羽毛球及球场彩色图像中的大羽毛球和小羽毛球，其中，大羽毛球通过将所述正投影形式下的羽毛球及球场彩色图像的中间张量输入由一个由3*3的卷积核，步长为1，填充数量为1的卷积层和采用2*2大小的矩形窗口进行滑动，步长为2的池化层组成的网络，最终得到的大尺寸预测结果为13*13*255的羽毛球张量。
对于小羽毛球，将正投影形式下的羽毛球及球场彩色图像的中间张量输入一个上采样层，上采样层的输出计算公式为：
Ou＝Su(Iu-1)+2Pu+Ku
其中，Ou表示上采样输出的羽毛球张量的尺寸，Su为上采样步长，表示每次上采样内核移动的尺寸，Iu为上采样输入的羽毛球张量的尺寸，Pu为上采样边界填充尺寸，使得输入的羽毛球张量的尺寸为Su的倍数，Ku为上采样内核的大小。通过上采样层，得到一个尺寸为13*13*255的羽毛球张量，与尺寸为26*26*256的正投影形式下的羽毛球及球场彩色图像的中间张量进行拼接，再输入由一个由两个3*3的卷积核，步长为1，填充数量为1的卷积层组成的网络，输出一个尺寸为26*26*255的羽毛球张量。
进一步地，所述步骤D3包括：
对步骤E3中练好的适用于羽毛球的多特征卷积神经网络得到的羽毛球张量进行处理，，对于输出的一个尺寸为26*26*255的羽毛球张量。该向量表示将原图像分为26*26个目标区域，对于每个目标区域生成三个不同尺度的目标，该目标由一个大小为85的向量组成，其中向量的前五列分别表示正投影形式下的羽毛球及球场彩色图像的羽毛球预测候选框的左上角顶点在所述正投影形式下的羽毛球及球场彩色图像中的像素点坐标，宽度和高度在所述正投影形式下的羽毛球及球场彩色图像中所占的像素点个数，以及候选框内存在羽毛球的概率，第六列为1表示预测结果为badminton，后80列均为0，由此，得到目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的像素点坐标为：
其中，m10和m01分别表示目标羽毛球的中心点在正投影形式下的羽毛球及球场彩色图像中的x和y方向的像素点的坐标，xr，yr分别对应正投影形式下的羽毛球及球场彩色图像中羽毛球目标候选框的左上角顶点在正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wr，hr分别对应正投影形式下的羽毛球及球场彩色图像中目标羽毛球候选框的宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数；经过此计算，得到了目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的位置信息。
进一步地，所述步骤S4包括：
F1：根据正投影形式下的羽毛球及球场彩色图像大小和像素点在真实羽毛球及球场中的实际大小得到目标羽毛球在实际羽毛球场中的位置信息；
F2：根据目标羽毛球在实际羽毛球场中的位置信息，规划出羽毛球拾取路线。
所述步骤F1中包括：
根据得到的羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系和得到的目标羽毛球的在正投影形式下的羽毛球及球场彩色图像中的位置信息，计算得到目标羽毛球在实际羽毛球场中的位置信息，计算公式如下：
xaatual＝m10*kpx+xcamera
yactual＝m01*kpy+ycamera
该公式中m10和m01是目标羽毛球的中心点在正投影形式下的羽毛球及球场彩色图像中的x和y方向的像素点的坐标，实际上隐藏了投影变换复杂的计算过程。由此通过单目摄像头得到了目标羽毛球和羽毛球识别拾取机器人的实际距离，从而得到目标羽毛球在实际羽毛球场中的位置信息。
所述步骤F2中包括：
对于正投影形式下的羽毛球及球场彩色图像中的多个目标羽毛球，通过步骤F1可得到每一个目标羽毛球在实际羽毛球场中的位置信息，对所述位置信息的y方向的距离进行快速排序，排序方法如下：
sort(start，end)＝sort(start，point-1)+sort(point+1，end)
其中，sort为快速排序函数，start表示需排序的目标羽毛球在实际羽毛球场中的位置信息组成的数组的第一个值，end表示需排序的目标羽毛球在实际羽毛球场中的位置信息组成的数组的最后一个值，point为分离点，表示当前待排序的目标羽毛球在实际羽毛球场中的位置信息，经过此操作，小于point的目标羽毛球在实际羽毛球场中的位置信息将在数组中移至point后方，由此小于point的目标羽毛球在实际羽毛球场中的位置信息将在数组中移至point前方，得到一个按目标羽毛球在实际羽毛球场中的位置信息的y方向的距离升序排序的矩阵：
其中，[0 0]表示起始时羽毛球识别拾取机器人在以摄像头位置为坐标原点，实际距离为轴的坐标系下的位置，[xaiyai](ai＝1，2，...，n)为经过排序后，目标羽毛球在实际羽毛球场中的位置信息的y方向的距离大小为第ai个的目标羽毛球在实际羽毛球场中的位置信息。得到矩阵后，羽毛球识别拾取机器人每次移动的路径为：
xmove＝xai+1-xai
ymove＝yai+1-yai
其中，xmove和ymove分别表示每次羽毛球识别拾取机器人在x方向和y方向上移动的距离，xai+1，yai+1和xai，yai分别表示目标羽毛球在实际羽毛球场中的位置信息的y方向的距离大小为第ai+1个和第ai个的目标羽毛球在实际羽毛球场中的位置信息。
进一步地，所述步骤S4和S5包括：
由步骤S3得到每次羽毛球识别拾取机器人在x方向和y方向上移动的距离后，控制羽毛球识别拾取机器人移动至指定位置，所属机器人可由串口发送指定速度运动，由于串口难以发送浮点型变量，因此速度计算转换公式为：
其中，v为羽毛球识别拾取机器人的实际移动速度，vh和vl是两位十六进制数，分别表示串口中速度的低八位和高八位。int表示十六进制转化为十进制，即串口通过将速度放大一千倍变为整型传播，传输结束后再缩小一千倍得到实际值。
根据速度计算定义公式：
其中，tx和ty表示串口发送给羽毛球识别拾取机器人x方向和y方向速度的时间，vx和vy分别表示串口发送给羽毛球识别拾取机器人的人x方向和y方向的速度。通过控制时间的不同，羽毛球识别拾取机器人依次移动到每一个目标羽毛球在实际羽毛球场中的位置，实现拾取。
有益效果：本发明与现有技术相比，针对球场内大量落球无人拾取或依靠人力拾取的问题，设计出一款羽毛球识别拾取机器人，其充分考虑羽毛球的特征和单目摄像头的局限和特点，设计了单目摄像头的测距方法和适用于羽毛球的卷积神经网络，利用羽毛球的识别和单目摄像头的测距方法实现了机器人对于目标羽毛球的自动识别和拾取，提升了羽毛球的拾取效率和自动化性能，解决了目前拾取羽毛球主要依靠人力，捡球浪费时间，效率低，且对人体造成损伤等问题，并且具有移植到其他体育领域的可能性，可应用于球类体育项目的教学训练，应用前景广泛。
附图说明
图1为本发明方法的流程示意图；
图2为羽毛球识别拾取机器人的实物图；
图3为通过单目摄像头采集的存在梯形畸变的羽毛球及球场彩色图像信息示意图；
图4为经投影变换后正投影形式下的羽毛球及球场彩色图像示意图；
图5为目标羽毛球的识别结果图1；
图6为目标羽毛球的识别结果图2；
图7为羽毛球识别拾取机器人在路径规划完成后拾取羽毛球的操作图1；
图8为羽毛球识别拾取机器人在路径规划完成后拾取羽毛球的操作图2。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本实施例中将设计好的基于形态特征和位置信息单目测量的自主捡球机器人应用于羽毛球场，用于实现对于羽毛球场地上掉落羽毛球的自动识别和拾取，图2为自主捡球机器人的实务图，参照图1，提供一种基于形态特征和单目测量的机器人自主捡球方法，包括如下步骤：
步骤1：设计一种针对无测距功能的单目摄像头的目标物体位置信息测量方法，通过羽毛球识别拾取机器人所装备的单目摄像头得到的存在梯形畸变羽毛球及球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息，由此可得到羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
步骤2：对正投影形式下的羽毛球及球场彩色图像信息进行处理，将正投影形式下的羽毛球及球场彩色图像信息作为输入层输入对羽毛球进行优化的特征提取网络，获取球场中羽毛球的形态特征，通过步骤1获取的映射关系得到目标羽毛球的位置信息。
步骤3：根据目标羽毛球的位置信息，获取目标羽毛球和羽毛球识别拾取机器人的实际相对位置，完成羽毛球识别拾取机器人的运动路径规划。
步骤4：上位机根据羽毛球识别拾取机器人的运动路径规划结果，控制羽毛球识别拾取机器人运动至目标羽毛球位置，并完成羽毛球识别拾取机器人对羽毛球的拾取操作。
在本发明实施例中，步骤1包括：
步骤1.1：采集并保存通过羽毛球识别拾取机器人所装备的单目摄像头得到的存在梯形畸变羽毛球及球场彩色图像信息，对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行预处理，得到存在梯形畸变的羽毛球及球场彩色图像信息中的羽毛球场边缘信息。
步骤1.2：对存在梯形畸变的羽毛球及球场彩色图像信息中的羽毛球场边缘信息进行处理，通过透视变换矫正采集得到的存在梯形畸变的羽毛球及球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息和羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
在本发明实施例中，步骤1.1包括：
步骤1.1.1：对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行灰度变换，得到并保存存在梯形畸变的羽毛球及球场灰度图像；
步骤1.1.2：使用高斯滤波器对存在梯形畸变的羽毛球及球场灰度图像进行滤波，消除图像数字化时所混入的噪声，简化图像所带的信息，得到滤波处理后的存在梯形畸变的羽毛球及球场灰度图像；
步骤1.1.3：用模板掩码计算滤波处理后的存在梯形畸变的羽毛球及球场灰度图像的灰度的梯度的幅值和方向，并进行非极大值抑制，得到存在梯形畸变的羽毛球及球场灰度边缘图像。
步骤1.1.1包括：
根据以下公式，对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行灰度变换处理，得到存在梯形畸变的羽毛球及球场灰度图像：
gray_c(ig，jg)＝cR×R(ig，jg)+cG×G(ig，jg)+cB×B(ig，jg)
其中，gray_c(ig，jg)为存在梯形畸变的羽毛球及球场灰度图像中第ig行和第ig列的像素点灰度值，cR、cG和cB分别为存在梯形畸变的羽毛球及球场彩色图像中各像素点的红色、绿色及蓝色三色的权值，并且取值cR＝0.299、cG＝0.587和cB＝0.144，R(ig，jg)、G(ig，jg)和B(ig，jg)分别为存在梯形畸变的羽毛球及球场灰度图像中第ig行和第jg列像素点的红色、绿色及蓝色分量值。
步骤1.1.2包括：
高斯滤波器的原理为根据待滤波的像素点及其邻域点的灰度值按照高斯公式生成的参数规则进行加权平均，这样可以有效滤去存在梯形畸变的羽毛球及球场灰度图像中叠加的高频噪声。二维高斯公式如下：
其中，G0(xg，yg)为距离待滤波的像素点xg行，yg列的像素点的加权平均权值，A为加权比例系数，ux,uy分别表示待滤波的像素点位于存在梯形畸变的羽毛球及球场灰度图像的第ux行和第uy列像素点，σ为存在梯形畸变的羽毛球及球场灰度图像的标准方差。经过高斯滤波器后，得到了滤波处理后的存在梯形畸变的羽毛球及球场灰度图像。
在本发明实施例中，步骤1.1.3包括：
根据以下模板掩码计算所述滤波处理后的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘。
其中Sx为x方向上的模板掩码，用于检测y方向的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘，Sy为y方向上的模板掩码，用于检测x方向的存在梯形畸变的羽毛球及球场灰度图像的羽毛球场边缘，Ks表示邻域标记矩阵，[ie，je]表示待计算像素点位于存在梯形畸变的羽毛球及球场灰度图像的第ie行，第je列像素点，
表示待计算像素点相邻的八个像素点在存在梯形畸变的羽毛球及球场灰度图像中的灰度值。
根据以上两个模板掩码，可以计算出存在梯形畸变的羽毛球及球场灰度图像的梯度幅值及相应的方向：
Gx＝Sx*Ks
Gy＝Sy*Ks
其中，Gx，Gy分别为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中x，y方向上的梯度幅值。G为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中的梯度幅值，θG为待计算像素点在存在梯形畸变的羽毛球及球场灰度图像中的梯度方向。
此时根据以下公式对得到的存在梯形畸变的羽毛球及球场灰度图像的梯度幅值及相应的方向进行非极大值抑制：
Gp＝(1-tan(θp))×positon1+tanθp×position2
其中Gp表示非极大值抑制的参考梯度幅值，positon1，positon2分别表示与θp相邻的两个角度为
的参考梯度。若G＞Gp，认为待测像素点是一个在存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘像素点。由此得到存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘。
图3和图4分别是本发明实施例提供的通过单目摄像头采集的存在梯形畸变的羽毛球及球场彩色图像信息和经投影变换后正投影形式下的羽毛球及球场彩色图像，包括以下步骤：
步骤1.2，包括：
步骤1.2.1：对所述存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘进行直线检测，得到存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标。
步骤1.2.2：根据存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标，对所述存在梯形畸变的羽毛球及球场彩色图像进行投影变换，得到正投影形式下的羽毛球及球场彩色图像信息。
步骤1.2.3：根据正投影形式下的羽毛球及球场彩色图像信息，通过实验得到羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
根据以下公式，一条直线可表示为：
r＝xpcosθl+ypsinθl
其中，r为极坐标系下直线上的点距极点的最小距离，θl为极坐标系下直线上的点与极轴的夹角，xp，yp表示直线上的点x方向和y方向的坐标。
对于存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘上的每一个像素点(xi，yi)，在以r，θl为参数的平面内做映射，根据累加原理：
An(r，θl)＝An-1(rrθl)+1
其中，An(r，θl)，An-1(r，θl)分别表示存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘上的累积到第n个像素点，第n-1个像素点时每一个映射在以r，θl为参数的平面内经过点(r，θl)的次数。当An(r，θl)大于阈值30，认为检测到一条直线，此时通过逆映射得到直线函数为：
由此检测存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘，得到存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标。
在本发明实施例中，步骤1.2.2，包括：
由存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标，根据以下公式：
x1＝a31
y1＝a32
x2＝a11+a31-a13*x2
y2＝a12+a32-a13*y2
x3＝a11+a21+a31-a13*x3-a23*x3
y3＝a12+a22+a32-a13*y3-a23*y3
x4＝a21+a31-a23*x4
y4＝a22+a32-a23*y4
a33＝1
其中，
和，
分别表示所述存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘四个角点的像素点坐标。
根据以上投影变换参数，投影变换的计算公式为：
其中，u和v表示待变换像素点在存在梯形畸变的羽毛球及球场彩色图像中的像素点，坐标xt和yt分别表示待变换像素点经过投影变换后在正投影形式下的羽毛球及球场彩色图像中的像素点坐标。x′t，y′t，z′t为投影变换的中间计算结果，表示未归一化状态下待变换像素点经过投影变换后在正投影形式下的羽毛球及球场彩色图像中的像素点坐标。由此得到正投影形式下的羽毛球及球场彩色图像信息。
在本发明实施例中，步骤1.2.3，包括：
由于根据步骤1.2.2所得到的目标羽毛球的在正投影形式下的羽毛球及球场彩色图像中的位置信息是在正投影形式得到的，在正投影的形势下，正投影形式下的羽毛球及球场彩色图像中的任意一点与摄像头的距离和像素点个数呈线性关系，这提供了一种使用单目摄像头测距的方式，具体的实际大小计算公式如下：
xactual＝x**kpx+xcamera
yactual＝y**kpy+ycamera
其中，xactual和tactual表示在以摄像头位置为坐标原点，实际距离为轴的坐标系下，目标羽毛球在坐标系中的坐标，kpx和kpy分别表示在x方向和y方向上单位长度映射在正投影形式下的羽毛球及球场彩色图像中的像素点个数。xcamera和ycamera表示摄像头位置和正投影形式下的羽毛球及球场彩色图像中左上角点的实际位置在x方向和y方向的距离。x*和y*表示正投影形式下的羽毛球及球场彩色图像中待计算的像素点的像素点坐标。由于正投影形式下的羽毛球及球场彩色图像存在梯形畸变羽毛球及球场彩色图像上的点是一一对应的，因此通过单目摄像头得到了存在梯形畸变羽毛球及球场彩色图像中任意一点和羽毛球识别拾取机器人的实际距离，从而得到了羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系。
图5，图6是本发明实施例提供的目标羽毛球的识别结果，包括以下步骤：
在本发明实施例中，步骤2包括：
步骤2.1：对正投影形式下的羽毛球及球场彩色图像进行打标签操作，得到打好标签的数据集，并记为羽毛球源数据集。
步骤2.2：搭建适用于羽毛球的多特征卷积神经网络，并确定网络结构。选择网络优化器并使用源数据集与特征数据集对多特征卷积神经网络进行训练，得到训练好的适用于多特征卷积神经网络模型。
步骤2.3：使用所述训练好的适用于多特征卷积神经网络模型对所述正投影形式下的羽毛球及球场彩色图像进行预测，得到目标羽毛球的位置信息。
在本发明实施例中，步骤2.1包括：
用标签名badminton来对应正投影形式下的羽毛球及球场彩色图像中羽毛球所在的位置，在正投影形式下的羽毛球及球场彩色图像中羽毛球位置画出羽毛球候选框并打上标签，打上标签，将打上标签后的数据集记为羽毛球源数据集，源数据集的数据结构如下式所示：
[num xb yt wb hb]
其中，num为0，对应羽毛球源数据集集中唯一的目标badminton，xb，yb分别对应所述羽毛球源数据集中羽毛球候选框的左上角顶点在所述正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wb，hb分别对应所述羽毛球源数据集中羽毛球候选框的宽度和高度在所述正投影形式下的羽毛球及球场彩色图像中所占的像素点个数。
在本发明实施例中，步骤2.2包括：
步骤2.2.1：搭建由三部分适用于羽毛球的多特征卷积神经网络的第一部分，第一部分对正投影形式下的羽毛球及球场彩色图像输入五个卷积层和四个池化层操作，得到正投影形式下的羽毛球及球场彩色图像的中间张量。
步骤2.2.2：搭建由三部分适用于羽毛球的多特征卷积神经网络的第二部分和第三部分，第二部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量一方面输入五个卷积层和两个池化层，得到正投影形式下的羽毛球及球场彩色图像的大羽毛球的输出张量。第三部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量输入一个上采样层和一个卷积层，得到正投影形式下的羽毛球及球场彩色图像的小羽毛球的输出张量。
步骤2.2.3：羽毛球源数据集按照8:1:1的比例划分为训练集,验证集和测试集，在训练的过程中，将羽毛球源数据集的每个数据作为一个训练单元，损失函数使用交叉熵损失函数，采用Adam优化器进行学习优化，对网络进行充分训练，得到训练好的适用于羽毛球的多特征卷积神经网络；
在本发明实施例中，步骤2.2.1包括：
在此步骤中，主要目的是提取正投影形式下的羽毛球及球场彩色图像的全局特征，该步骤中的卷积层都选用了16个3*3的卷积核，卷积层的输出尺寸计算公式如下列公式所示：
Do＝Kc
其中，Wi和Hi分别表示卷积输入的羽毛球张量的x和y方向上的尺寸，Wo和Ho分别表示卷积输出的羽毛球张量的x和y方向上的尺寸，Kc为卷积核的个数，Fc为3，表示卷积核的大小，Sc为卷积步长，表示每次卷积核移动的尺寸，Pc为卷积边界填充尺寸，使得输入的羽毛球张量的尺寸为Sc的倍数，不产生重复卷积。
该步骤中池化层均为最大池化层，池化层的目的是使得输出的羽毛球张量变为需要的尺寸池化层能够使池化层的尺寸计算公式如下：
其中，Zp为池化输出的羽毛球张量的尺寸，Wp为池化输入的羽毛球张量的尺寸，Fp为池化内核的大小，Sp为池化步长，表示每次池化内核移动的尺寸。经过步骤2.2.1，得到正投影形式下的羽毛球及球场彩色图像的中间张量其尺寸为26*26*256。
在本发明实施例中，步骤2.2.2包括：
对正投影形式下的羽毛球及球场彩色图像的中间张量输入两个不同结构的网络，分别用于预测正投影形式下的羽毛球及球场彩色图像中的大羽毛球和小羽毛球，其中，大羽毛球通过将所述正投影形式下的羽毛球及球场彩色图像的中间张量输入由一个由3*3的卷积核，步长为1，填充数量为1的卷积层和采用2*2大小的矩形窗口进行滑动，步长为2的池化层组成的网络，最终得到的大尺寸预测结果为13*13*255的羽毛球张量。
对于小羽毛球，将正投影形式下的羽毛球及球场彩色图像的中间张量输入一个上采样层，上采样层的输出计算公式为：
Ou＝Su(Iu-1)+2Pu+Ku
其中，Ou表示上采样输出的羽毛球张量的尺寸，Su为上采样步长，表示每次上采样内核移动的尺寸，Iu为上采样输入的羽毛球张量的尺寸，Pu为上采样边界填充尺寸，使得输入的羽毛球张量的尺寸为Su的倍数，Ku为上采样内核的大小，通过上采样层，得到一个尺寸为13*13*255的羽毛球张量，与尺寸为26*26*256的正投影形式下的羽毛球及球场彩色图像的中间张量进行拼接，再输入由一个由两个3*3的卷积核，步长为1，填充数量为1的卷积层组成的网络，输出一个尺寸为26*26*255的羽毛球张量。
在本发明实施例中，步骤2.3包括：
对步骤2.2.2中的尺寸为26*26*255的羽毛球张量和尺寸为13*13*255的羽毛球张量进行处理，255中是由3个长度为85的向量组成的，其中向量的前五列分别表示正投影形式下的羽毛球及球场彩色图像的羽毛球预测候选框的左上角顶点在所述正投影形式下的羽毛球及球场彩色图像中的像素点坐标，宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数，以及候选框内存在羽毛球的概率，第六列为1表示预测结果为badminton后80列均为0。由此，可得到目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的像素点坐标为：
其中，m10和m01分别表示目标羽毛球的中心点在正投影形式下的羽毛球及球场彩色图像中的x和y方向的像素点的坐标，xr，yr分别对应正投影形式下的羽毛球及球场彩色图像中羽毛球目标候选框的左上角顶点在所述正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wr，hr分别对应正投影形式下的羽毛球及球场彩色图像中目标羽毛球候选框的宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数。经过此计算，得到了目标羽毛球的在正投影形式下的羽毛球及球场彩色图像中的位置信息。
图7、图8是本发明实施例提供的羽毛球识别拾取机器人在路径规划完成后拾取羽毛球的操作图，包括以下步骤：
在本发明实施例中，步骤3包括：
步骤3.1：根据正投影形式下的羽毛球及球场彩色图像大小和像素点在真实羽毛球及球场中的实际大小得到目标羽毛球在实际羽毛球场中的位置信息。
步骤3.2：根据目标羽毛球在实际羽毛球场中的位置信息，规划出合理的羽毛球拾取路线。
在本发明实施例中，步骤3.1包括：
根据所述步骤1得到的羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系和所述步骤2得到的目标羽毛球的在正投影形式下的羽毛球及球场彩色图像中的位置信息，计算得到目标羽毛球在实际羽毛球场中的位置信息，计算公式如下：
xactual＝m10*kpx+xcamera
yactual＝m01*kpy+ycamera
该公式中m10和m01是目标羽毛球的中心点在正投影形式下的羽毛球及球场彩色图像中的x和y方向的像素点的坐标，实际上隐藏了投影变换复杂的计算过程。由此通过单目摄像头得到了目标羽毛球和羽毛球识别拾取机器人的实际距离，从而得到目标羽毛球在实际羽毛球场中的位置信息。
在本发明实施例中，步骤3.2包括：
对于正投影形式下的羽毛球及球场彩色图像中的多个目标羽毛球，通过步骤3.1可得到每一个目标羽毛球在实际羽毛球场中的位置信息，对所述位置信息的y方向的距离进行快速排序，排序方法如下：
sort(start，end)＝sort(start，point-1)+sort(point+1，end)
其中，sort为快速排序函数，start表示需排序的目标羽毛球在实际羽毛球场中的位置信息组成的数组的第一个值，end表示需排序的目标羽毛球在实际羽毛球场中的位置信息组成的数组的最后一个值，point为分离点，表示当前待排序的目标羽毛球在实际羽毛球场中的位置信息，经过此操作，小于point的目标羽毛球在实际羽毛球场中的位置信息将在数组中移至point后方，由此小于point的目标羽毛球在实际羽毛球场中的位置信息将在数组中移至point前方，得到一个按目标羽毛球在实际羽毛球场中的位置信息的y方向的距离升序排序的矩阵：
其中，[0 0]表示起始时羽毛球识别拾取机器人在以摄像头位置为坐标原点，实际距离为轴的坐标系下的位置，[xai yai](ai＝1，2，...，n)为经过排序后，目标羽毛球在实际羽毛球场中的位置信息的y方向的距离大小为第ai个的目标羽毛球在实际羽毛球场中的位置信息。得到所述矩阵后，羽毛球识别拾取机器人每次移动的路径为：
xmove＝xai+1-xai
ymove＝yai+1-yai
其中，xmove和ymove分别表示每次羽毛球识别拾取机器人在x方向和y方向上移动的距离，xai+1，yai+1和xai，yai分别表示目标羽毛球在实际羽毛球场中的位置信息的y方向的距离大小为第ai+1个和第ai个的目标羽毛球在实际羽毛球场中的位置信息。
在本发明实施例中，步骤4包括：
由步骤4得到每次羽毛球识别拾取机器人在x方向和y方向上移动的距离后，控制羽毛球识别拾取机器人移动至指定位置，所属机器人可由串口发送指定速度运动，由于串口难以发送浮点型变量，因此速度计算转换公式为：
其中，v为羽毛球识别拾取机器人的实际移动速度，vh和vl是两位十六进制数，分别表示串口中速度的低八位和高八位。int表示十六进制转化为十进制，即串口通过将速度放大一千倍变为整型传播，传输结束后再缩小一千倍得到实际值。
根据速度计算定义公式：
其中，tx和ty表示串口发送给羽毛球识别拾取机器人x方向和y方向速度的时间，vx和vy分别表示串口发送给羽毛球识别拾取机器人的人x方向和y方向的速度，通过控制时间的不同，羽毛球识别拾取机器人依次移动到每一个目标羽毛球在实际羽毛球场中的位置，实现拾取。
基于上述方案，本发明由单目摄像头(即单目结构光系统)采集羽毛球场和羽毛球的图像信息；经过预处理制成数据集，并划分数据单元，提取统计学特征；构建多特征卷积神经网络，使用采集到的数据训练网络，使用得到的网络模型对目标羽毛球位置进行获取，自主识别拾取羽毛球。
实例说明：在羽毛球识别拾取机器人确定在起始位置后，通过卷积神经网络获得目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的像素点位置为(200,300)，通过羽毛球及球场的实际位置距离和存在梯形畸变羽毛球及球场彩色图像信息的映射关系，得到实际目标羽毛球距离所述羽毛球识别拾取机器人x方向700cm，y方向540cm，则控制羽毛球识别拾取机器人以x方向0.5m/s的速度和y方向0.5m/s的速度分别运动1.4s和1.08s，运动到指定位置后实现拾取。
本实施例还提供一种基于形态特征和位置信息单目测量的机器人自主捡球系统，该系统包括网络接口、存储器和处理器；其中，网络接口，用于在与其他外部网元之间进行收发信息过程中，实现信号的接收和发送；存储器，用于存储能够在所述处理器上运行的计算机程序指令；处理器，用于在运行计算机程序指令时，执行上述共识方法的步骤。
本实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机程序，在处理器执行所述计算机程序时可实现以上所描述的方法。所述计算机可读介质可以被认为是有形的且非暂时性的。非暂时性有形计算机可读介质的非限制性示例包括非易失性存储器电路(例如闪存电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)等。计算机程序包括存储在至少一个非暂时性有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
通过上述技术方案的实施，验证了本发明方法存在诸多优点，具体为：(1)提供了一种针对无测距功能的单目摄像头的目标物体位置信息测量方法，实现了低成本的图像距离测量。(2)提供了针对羽毛球的数据集的制作方法以及多特征卷积神经网络的搭建方法，实现了不同姿态下的羽毛球的识别。(3)提供了一种基于针对多个羽毛球的路径规划方法。(4)能有效的提高羽毛球拾取的自动化程度，节省了人力。
Claims (9)
1.一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：包括如下步骤：
S1：通过机器人采集存在梯形畸变的羽毛球和球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息；
S2：对得到的羽毛球及球场彩色图像信息进行数据处理，通过设计一种针对无测距功能的单目摄像头的目标物体位置信息测量方法获得存在梯形畸变羽毛球和球场彩色图像与实际位置距离的映射关系；
S3：利用搭建和训练好的特征提取网络寻找得到目标羽毛球质心的像素点位置，根据步骤S2获得的映射关系得到目标羽毛球的位置信息；
S4：根据目标羽毛球的位置信息，获取目标羽毛球和机器人的实际相对位置，完成机器人的运动路径规划；
S5：上位机根据机器人的运动路径规划结果，控制机器人运动至目标羽毛球位置，并完成机器人对羽毛球的拾取操作；
所述步骤S3具体包括如下过程：
D1：对正投影形式下的羽毛球及球场彩色图像进行打标签操作，得到打好标签的数据集，并记为羽毛球源数据集；
D2：搭建适用于羽毛球的多特征卷积神经网络，并确定网络结构，选择网络优化器并使用羽毛球源数据集与特征数据集对多特征卷积神经网络进行训练，得到训练好的适用于多特征卷积神经网络模型；
D3：根据羽毛球及球场彩色图像与实际位置距离的映射关系，使用训练好的多特征卷积神经网络模型对羽毛球及球场彩色图像进行预测，得到目标羽毛球的位置信息。
2.根据权利要求1所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤S1中机器人通过单目摄像头采集存在梯形畸变的羽毛球和球场彩色图像信息。
3.根据权利要求1所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤S2中数据处理的具体方法为：
A1：对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行预处理，得到存在梯形畸变的羽毛球及球场彩色图像信息中的羽毛球场边缘信息；
A2：对步骤A1获取的羽毛球场边缘信息进行处理，通过透视变换矫正采集得到的存在梯形畸变的羽毛球及球场彩色图像信息，得到正投影形式下的羽毛球及球场彩色图像信息和羽毛球及球场的实际位置距离和存在梯形畸变的羽毛球及球场彩色图像信息的映射关系。
4.根据权利要求3所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤A1中预处理的方法为：
B1：对采集得到的存在梯形畸变的羽毛球及球场彩色图像信息进行灰度变换，得到并保存存在梯形畸变的羽毛球及球场灰度图像；
B2：使用高斯滤波器对存在梯形畸变的羽毛球及球场灰度图像进行滤波，消除图像数字化时所混入的噪声，简化图像所带的信息，得到滤波处理后的存在梯形畸变的羽毛球及球场灰度图像；
B3：用模板掩码计算滤波处理后的存在梯形畸变的羽毛球及球场灰度图像的灰度的梯度的幅值和方向，并进行非极大值抑制，得到存在梯形畸变的羽毛球及球场灰度边缘图像。
5.根据权利要求3所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤A2的具体方法为：
C1：对存在梯形畸变的羽毛球及球场灰度图像中的羽毛球场边缘进行直线检测，得到存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标；
C2：根据存在梯形畸变的羽毛球及球场彩色图像中的羽毛球场边缘的角点像素点坐标，对存在梯形畸变的羽毛球及球场彩色图像进行投影变换，得到正投影形式下的羽毛球及球场彩色图像信息；
C3：根据正投影形式下的羽毛球及球场彩色图像信息，通过实验得到羽毛球及球场的实际位置距离和存在梯形畸变的羽毛球及球场彩色图像信息的映射关系。
6.根据权利要求1所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤D1中打标签操作的过程为：
用标签名badminton来对应正投影形式下的羽毛球及球场彩色图像中羽毛球所在的位置，在正投影形式下的羽毛球及球场彩色图像中羽毛球位置画出羽毛球候选框并打上标签，打上标签，将打上标签后的数据集记为羽毛球源数据集，源数据集的数据结构如下式所示：
[num xb yb wb hb]
其中，num为0，对应羽毛球源数据集集中唯一的目标badminton，xb，yb，分别对应羽毛球源数据集中羽毛球候选框的左上角顶点在正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wb，hb分别对应羽毛球源数据集中羽毛球候选框的宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数。
7.根据权利要求1所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤D2包括：
E1：搭建由三部分适用于羽毛球的多特征卷积神经网络的第一部分，第一部分对正投影形式下的羽毛球及球场彩色图像输入五个卷积层和四个池化层，得到正投影形式下的羽毛球及球场彩色图像的中间张量；
E2：搭建由三部分适用于羽毛球的多特征卷积神经网络的第二部分和第三部分，第二部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量一方面输入五个卷积层和两个池化层，得到正投影形式下的羽毛球及球场彩色图像的大羽毛球的输出张量，第三部分对得到正投影形式下的羽毛球及球场彩色图像的中间张量输入一个上采样层和一个卷积层，得到正投影形式下的羽毛球及球场彩色图像的小羽毛球的输出张量；
E3：羽毛球源数据集按照8:1:1的比例划分为训练集，验证集和测试集，在训练的过程中，将羽毛球源数据集的每个数据作为一个训练单元，损失函数使用交叉熵损失函数，采用Adam优化器进行学习优化，对网络进行充分训练，得到训练好的适用于羽毛球的多特征卷积神经网络。
8.根据权利要求7所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤D3包括：
对步骤E3中练好的适用于羽毛球的多特征卷积神经网络得到的羽毛球张量进行处理，其中向量的前五列分别表示正投影形式下的羽毛球及球场彩色图像的羽毛球预测候选框的左上角顶点在所述正投影形式下的羽毛球及球场彩色图像中的像素点坐标，宽度和高度在所述正投影形式下的羽毛球及球场彩色图像中所占的像素点个数，以及候选框内存在羽毛球的概率，第六列为1表示预测结果为badminton，后80个维度为0，由此，得到目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的像素点坐标为：
其中，m10和m01分别表示目标羽毛球的中心点在正投影形式下的羽毛球及球场彩色图像中的x和y方向的像素点的坐标，xr，yr分别对应正投影形式下的羽毛球及球场彩色图像中羽毛球目标候选框的左上角顶点在正投影形式下的羽毛球及球场彩色图像中的像素点坐标，wr，hr分别对应正投影形式下的羽毛球及球场彩色图像中目标羽毛球候选框的宽度和高度在正投影形式下的羽毛球及球场彩色图像中所占的像素点个数；经过此计算，得到了目标羽毛球在正投影形式下的羽毛球及球场彩色图像中的位置信息。
9.根据权利要求1所述的一种基于形态特征和单目测量的机器人自主捡球方法，其特征在于：所述步骤S4包括：
F1：根据正投影形式下的羽毛球及球场彩色图像大小和像素点在真实羽毛球及球场中的实际大小得到目标羽毛球在实际羽毛球场中的位置信息；
F2：根据目标羽毛球在实际羽毛球场中的位置信息，规划出羽毛球拾取路线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205841.6A CN113041578B (zh) | 2021-02-24 | 2021-02-24 | 一种基于形态特征和单目测量的机器人自主捡球方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110205841.6A CN113041578B (zh) | 2021-02-24 | 2021-02-24 | 一种基于形态特征和单目测量的机器人自主捡球方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113041578A CN113041578A (zh) | 2021-06-29 |
| CN113041578B true CN113041578B (zh) | 2022-02-11 |
Family
ID=76508986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110205841.6A Active CN113041578B (zh) | 2021-02-24 | 2021-02-24 | 一种基于形态特征和单目测量的机器人自主捡球方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113041578B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114522410B (zh) * | 2022-02-14 | 2023-04-25 | 复旦大学 | 一种羽毛球过网高度检测方法 |
| CN117689717B (zh) * | 2024-02-01 | 2024-05-28 | 青岛科技大学 | 用于机器人拾取的地面羽毛球位姿检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
| CN106422223A (zh) * | 2016-08-31 | 2017-02-22 | 成都市和平科技有限责任公司 | 一种智能球形物体回收机器人系统及方法 |
| CN106584488A (zh) * | 2015-10-20 | 2017-04-26 | 沈阳新松机器人自动化股份有限公司 | 一种捡球机器人及其运动控制系统 |
| CN108182706A (zh) * | 2017-12-08 | 2018-06-19 | 重庆广睿达科技有限公司 | 一种焚烧物的监控方法及系统 |
| CN108579030A (zh) * | 2018-04-09 | 2018-09-28 | 宁波乔克兄弟三维科技有限公司 | 一种基于视觉的机器人拾球方法 |
| CN109954254A (zh) * | 2019-03-19 | 2019-07-02 | 武汉理工大学 | 基于全向来福轮的羽毛球场智能捡球机器人 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PT103807A (pt) * | 2007-08-13 | 2009-01-13 | Univ Do Minho | Sistema de recolha de bolas de golf totalmente autónomo ou remotamente operado |
-
2021
- 2021-02-24 CN CN202110205841.6A patent/CN113041578B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103487034A (zh) * | 2013-09-26 | 2014-01-01 | 北京航空航天大学 | 一种基于立式标靶的车载单目摄像头测距测高方法 |
| CN106584488A (zh) * | 2015-10-20 | 2017-04-26 | 沈阳新松机器人自动化股份有限公司 | 一种捡球机器人及其运动控制系统 |
| CN106422223A (zh) * | 2016-08-31 | 2017-02-22 | 成都市和平科技有限责任公司 | 一种智能球形物体回收机器人系统及方法 |
| CN108182706A (zh) * | 2017-12-08 | 2018-06-19 | 重庆广睿达科技有限公司 | 一种焚烧物的监控方法及系统 |
| CN108579030A (zh) * | 2018-04-09 | 2018-09-28 | 宁波乔克兄弟三维科技有限公司 | 一种基于视觉的机器人拾球方法 |
| CN109954254A (zh) * | 2019-03-19 | 2019-07-02 | 武汉理工大学 | 基于全向来福轮的羽毛球场智能捡球机器人 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113041578A (zh) | 2021-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027547B (zh) | 一种针对二维图像中的多尺度多形态目标的自动检测方法 | |
| CN109903312B (zh) | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 | |
| CN108364280B (zh) | 结构裂缝自动化描绘及宽度精准测量方法与设备 | |
| CN113041578B (zh) | 一种基于形态特征和单目测量的机器人自主捡球方法 | |
| CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
| CN111401361B (zh) | 一种端到端的轻量级深度车牌识别方法 | |
| CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
| CN110120042B (zh) | 一种基于slic超像素和自动阈值分割的农作物图像病虫害区域提取方法 | |
| CN103345644B (zh) | 在线训练的目标检测方法及装置 | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| CN110807496B (zh) | 一种密集目标检测方法 | |
| CN111626284B (zh) | 一种手写字体去除的方法、装置、电子设备和存储介质 | |
| CN104063711B (zh) | 一种基于K‑means方法的走廊消失点快速检测算法 | |
| CN103077529A (zh) | 基于图像扫描的植物叶片特征分析系统 | |
| CN112669348B (zh) | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 | |
| CN110223349A (zh) | 一种采摘点定位方法 | |
| CN105513066B (zh) | 一种基于种子点选取与超像素融合的通用物体检测方法 | |
| CN105574527A (zh) | 一种基于局部特征学习的快速物体检测方法 | |
| CN107292936B (zh) | 一种汉字字体矢量化方法 | |
| CN109708658B (zh) | 一种基于卷积神经网络的视觉里程计方法 | |
| CN102074017B (zh) | 一种杠铃中心点检测及跟踪的方法和装置 | |
| CN108052886A (zh) | 一种小麦条锈病菌夏孢子自动统计计数方法 | |
| CN114565675A (zh) | 一种在视觉slam前端去除动态特征点的方法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| CN107862326A (zh) | 一种基于全卷积神经网络的成熟苹果识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230626 Address after: 210000 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu 699-1 Patentee after: NANJING SANWAN IOT TECHNOLOGY CO.,LTD. Address before: No. 1 Wenyuan Road, Qixia District, Nanjing City, Jiangsu Province Patentee before: NANJING NORMAL University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240322 Address after: No. 308 Zhengchuang Road, Zhengyu Town, Haimen District, Nantong City, Jiangsu Province, 226000 Patentee after: Jiangsu Zhenghai Intelligent Equipment Co.,Ltd. Country or region after: China Address before: 210000 Xuanwu Road, Xuanwu District, Nanjing, Jiangsu 699-1 Patentee before: NANJING SANWAN IOT TECHNOLOGY CO.,LTD. Country or region before: China |