CN110648362A - 一种双目立体视觉的羽毛球定位识别与姿态计算方法 - Google Patents

Abstract

本发明公开了一种双目立体视觉的羽毛球定位识别与姿态计算方法，包括，采集羽毛球的不同姿态的图像作为样本数据集；构建基于Faster‑RCNN算法的深度神经网络；基于样本数据集对所述所述深度神经网络进行训练，得到Faster‑RCNN的训练模型；利用Faster‑RCNN训练模型识别羽毛球并确定羽毛球在图像中的位置；利用双目立体视觉对识别出的羽毛球进行三维重建，确定羽毛球的空间位置；采用Canny算子对羽毛球图像进行二值化、滤波处理，提取清晰边缘，计算羽毛球实时姿态角，具有定位精确，特征点匹配精确，姿态角计算准确的特点。

Description

一种双目立体视觉的羽毛球定位识别与姿态计算方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种双目立体视觉的羽毛球定位识别与姿态计算方法。

背景技术

近年来，伴随着全民健身活动的开展，羽毛球这项老少皆宜的运动也受到了诸多国人的青睐。在羽毛球练习尤其是集训过程中，会有大量羽毛球随机散落在地面，传统的依靠人工拾取的方法，不仅消耗大量人力，而且效率低下；将自动化手段应用于羽毛球领域已有相关研究。然而在羽毛球自动拾取领域，目前尚处于空白状态。采用智能化方式实现羽毛球全自动获取，能极大降低人力资源消耗，提高集训效率，具有重要应用价值。

羽毛球自动拾取需要解决识别、位置计算和姿态估计等问题。对目标的精确识别是进行自动抓取的前提，与足球、羽毛球不同，羽毛球外形轮廓在一直变化，白颜色较背景差异较小，传统的基于轮廓、颜色的方法难以对其准确辨识。

空间定位是抓取的另一个必要条件，要控制智能体自动拾取羽毛球，必须告知其羽毛球的空间坐标位置。位置信息通常可以通过三种方式获取：基于雷达的方式，基于激光的方式以及基于视觉的方式。作为典型的非接触式的方案，超声传感器具有具有良好的实时性与测量精度高等优势。但是超声测距结果易受目标物体表面尺寸以及材料特性的影响，并且其测量量程相对较短；虽然具有高精度测量效果，但是激光测距设备成本高，而且难以对运动目标进行距离估计。相比前面两种机制，机器视觉具有更大的视场范围，操作上只需要即时图像信息，即可对视场内的目标进行距离估计，与目标的运动方式无关。

精确的姿态估计可以为后续羽毛球路径预测和计算跟踪提供良好的基础。

发明内容

鉴于此，本发明提供一种双目立体视觉的羽毛球定位识别与姿态方法，具有定位精确，特征点匹配精确，姿态角计算准确的特点。

本发明通过以下技术方案实现：

一种双目立体视觉的羽毛球定位识别与姿态计算方法，包括如下步骤：

S1）：采集羽毛球的不同姿态的图像作为样本数据集；

S2）：构建基于Faster-RCNN算法的深度神经网络，所述Faster-RCNN算法包括候选框提取模块和检测模块；

S3）：基于样本数据集对所述所述深度神经网络进行训练，得到Faster-RCNN的训练模型，所述Faster-RCNN训练模型包括卷积层、区域生成网络、兴趣区域池化层和分类器，所述卷积层提取图像的特征映射，所述区域生成网络生成候选区域，所述兴趣区域池化层收集输入的特征映射和候选集，提取候选特征映射，所述分类器，利用候选特征映射计算候选集的类别，同时再次边框回归获得识别目标的精确位置；

S4）：利用Faster-RCNN训练模型识别羽毛球并确定羽毛球在图像中的位置；

S5）：利用双目立体视觉对识别出的羽毛球进行三维重建，确定羽毛球的空间位置；

S6）：采用Canny算子对步骤S5）中的羽毛球图像进行二值化、滤波处理，提取清晰边缘，计算羽毛球实时姿态角；

步骤S5）中，所述双目立体视觉对羽毛球进行三维重建包括如下步骤：

P1）：将世界坐标系进行旋转与平移得到双目相机坐标系坐标；

P2）：根据三角化变换计算羽毛球图像对应的物理坐标；

P3）：基于物理尺寸与像素单位的映射关系，利用最小二乘法获取羽毛球在图像中的像素坐标；

步骤S6)中姿态角的计算方法包括如下步骤:

T1）：从提取的羽毛球边缘上任取三个点，构建标记圆；

T2）：从所述标记圆上任取三个不同的点构成三个不同的空间向量；

T3）：任取两个空间向量进行叉乘，得到标记圆的法向量；

T4）：计算法向量在水平面的投影与水平轴的夹角，即为羽毛球的姿态角。

本发明公开了一种双目立体视觉的羽毛球定位识别与姿态计算的方法，采用Faster-RCNN深度学习网络进行羽毛球的目标检测和识别、双目立体视觉空间定位和Canny算子的空间向量投影的空间定位及姿态估计算法，有效解决了目标识别，同时大幅度提高定位精度和羽毛球的姿态角度，为羽毛球自动拾取提供了必要数据接口，具有定位精确，特征点匹配精确，姿态角计算准确的特点。

附图说明

图1 是双目立体视觉的羽毛球定位识别与姿态计算的流程图。

图2是Faster-RCNN目标识别结果。

图3是双目视觉硬件系统。

图4是羽毛球空间定位的结果图。

图5是Candy算子与区域滤波的边缘提取图。

图6是羽毛球边缘提取后在边缘处任取三个点的示意图。

图7是标记圆环空间向量投影的示意图。

其中：

1. 双目立体摄像头，2. 双目视觉硬件系统。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种双目立体视觉的羽毛球定位识别与姿态计算方法，包括如下步骤：

S1）：采集羽毛球的不同姿态的图像作为样本数据集；

S2）：构建基于Faster-RCNN算法的深度神经网络，所述Faster-RCNN算法包括候选框提取模块和检测模块；

S3）：基于样本数据集对所述所述深度神经网络进行训练，得到Faster-RCNN的训练模型，所述Faster-RCNN训练模型包括卷积层、区域生成网络、兴趣区域池化层和分类器，所述卷积层提取图像的特征映射，所述区域生成网络生成候选区域，所述兴趣区域池化层收集输入的特征映射和候选集，提取候选特征映射，所述分类器，利用候选特征映射计算候选集的类别，同时再次边框回归获得识别目标的精确位置；

S4）：利用Faster-RCNN训练模型识别羽毛球并确定羽毛球在图像中的位置；

S5）：利用双目立体视觉对识别出的羽毛球进行三维重建，确定羽毛球的空间位置；

S6）：采用Canny算子对步骤S5）中的羽毛球图像进行二值化、滤波处理，提取清晰边缘，计算羽毛球实时姿态角；

所述Faster-RCNN深度神经网络具有生成速度快，识别率高的优势。Faster-RCNN抛弃了传统的滑动窗口，创造性地采用卷积网络自行产生建议框，并且和目标检测网络共享卷积网络，使得建议框数目从原有的约2000个减少为300个，且建议框的质量也有本质的提高，极大提升检测框的生成速度。

所述卷积层，为CNN网络目标检测方法，Faster –RCNN首先使用一组基础的卷积池化层提取图像的特征映射，所述特征映射被共享用于后续区域生成层和全连接层；

所述区域生成网络通过softmax()函数判断候选框是否合适，再利用边框回归修正候选框从而获得精确的候选集；

所述兴趣区域池化层，该层收集输入的特征映射和候选集，综合这些信息后提取候选特征映射，送入后续全连接层判定目标类别。

采用150张现场采集的羽毛球样本，所述羽毛球样本中包括不同光照条件、不同折损情况以及不同品牌羽毛球，将所述羽毛球样本输入Faster-RCNN深度学习神经网络进行训练，整个训练过程耗时40分钟，利用训练结果对目标进行识别，如图2所示为羽毛球目标识别结果，Faster-RCNN深度学习神经网络对图像中单目标、多目标均可实现快速、准确识别，识别过程时间消耗为1.2-1.5s。在近距离条件下，对于部分被遮挡目标，网络仍具有良好的识别效果，这主要是因为在训练过程中引入了部分遮挡样本，卷积层能较好获取目标部分区域特征，为了提高识别准确率，在实际过程中会移动摄像头，避免遮挡情形。

步骤S5）中，所述双目立体视觉对羽毛球进行三维重建包括如下步骤：

P1）：将世界坐标系进行旋转与平移得到双目相机坐标系坐标；

P2）：根据三角化变换计算羽毛球图像对应的物理坐标；

P3）：基于物理尺寸与像素单位的映射关系，利用最小二乘法获取羽毛球在图像中的像素坐标；

双目空间定位的基本原理是基于图像像素坐标、摄像机坐标以及世界坐标的相互转换关系，首先将世界坐标系坐标(X,Y,Z)进行旋转与平移操作得到摄像机坐标系坐标(Xc,Yc,Zc)；然后根据三角化变换计算其对应的图像物理坐标(u,v)，最后基于物理尺寸与像素单位的映射关系获取其像素坐标。

上述过程可以通过如下数学表达式描述：

世界坐标系（X,Y,Z）与图像物理坐标(u,v)之间的转换如公式（1）所示：

(1)

其中，

f _x —等效焦距

f _y —等效焦距

s—倾斜因子

(x ₀ ,y ₀ )—光心坐标

R—旋转矩阵

T—平移矩阵

令，

得到：

(2)

最后使用最小二乘法求解、和，得到图像物理坐标(u,v)与世界坐标系坐标(X,Y,Z)

之间的关系，即可实现对目标的空间定位。

如图3所示，双目视觉硬件系统2，采用Manifold设备，Manifold拥有PC独立显卡级别的绘图能力，支持DirectX、OpenGL ，并且Manifold搭载了Ubuntu操作系统，可便捷安装运行Linux软件，支持CUDA、OpenCV及ROS等，可实现复杂的图像处理，所述Manifold设备上含有双目立体摄像头1。

所述双目立体摄像头1使用三轴陀螺仪辅助安装，使左右摄像头尽量处于同一水平面，从而更接近汇聚基线模型，从理论上减小测量误差。此外，软件采用了重标定技术，利用第一次标定结果对图像进行矫正，对矫正后图像进行重标定，并采用该次结果进行空间定位，以降低误差干扰，有效提高标定结果精度。

所述双目立体摄像头1，物理焦距8mm，单帧像素分辨率为800*600，首先对双目摄像头进行标定，确定其内外参数。其中，内参数主要包括光心坐标，等效焦距，畸变系数；外参数包括两个摄像头之间的旋转、平移矩阵。本实验采用张正友标定法，其中棋盘格规格为8*7，单个方格尺寸为100*100mm。

摄像头内参数标定结果为：

左摄像头的光心坐标为（430，315），f _x =5769.6，f _y =5769.6；

右摄像头的光心坐标为（428，319），f _x =5769.6，f _y =5769.6。

摄像头外参数标定结果为：

其中，R为旋转矩阵，T为右摄像头相对于左摄像头的空间平移矩阵。

如图4所示，利用上述标定结果对羽毛球进行空间定位，图4中选取羽毛球在空间中的六个点，双目立体摄像头对选取的六个点进行空间定位计算，图中的纵轴代表羽毛球的空间位置，横轴代表选取的空间位置中羽毛球的点数，方形代表羽毛球空间位置的真实值，圆形代表空间位置的测量值，图(a)是羽毛球空间位置的真实值和测量值在x轴上的分解量的关系图；图(b)是羽毛球空间位置的真实值和测量值在y轴上的分解量的关系图；图(c)是羽毛球空间位置的真实值和测量值在z轴上的分解量的关系图；图(d)是羽毛球空间位置的真实值和测量值的关系图；可知羽毛球空间中的六个点在x轴和z轴方向上的羽毛球空间位置的测量值和真实值近似重合，在y轴上羽毛球空间位置的测量值在真实值两侧均匀分布，x轴、y轴和z轴三个空间方向上合并后，得到的六个点的空间位置的测量值和真实值也近似重合，具有良好的定位精度。

步骤S6)中姿态角的计算方法包括如下步骤:

T1）：从提取的羽毛球边缘上任取三个点，构建标记圆；

T2）：从所述标记圆上任取三个不同的点构成三个不同的空间向量；

T3）：任取两个空间向量进行叉乘，得到标记圆的法向量；

T4）：计算法向量在水平面的投影与水平轴的夹角，即为羽毛球的姿态角。

如图5-7所示，Canndy算子边缘提取后羽毛球的边缘图，Canny算子使用两种不同的阈值分别检测强边缘和弱边缘，并且当弱边缘和强边缘相连时，才将弱边缘包含在输出图像中，并且，Canny方法不容易受噪声干扰，能够检测到真正的弱边缘，从图可知提取羽毛球边缘保持良好。图5中的（c）图为采用Canny算子边缘提取后的羽毛球轮廓图，（d）是进行Canny算子边缘滤波后的羽毛球轮廓图，图6中是在提取的羽毛球轮廓图边缘处任取三个点的示意图。

如图7所示，依据图6中选取的三个点，在羽毛球边缘处构建标记圆，在标记圆上选取三个不同的点组成三个空间向量P ₁ 、P ₂ 、P ₃ ；

在所述三个不同的空间向量中，任取两个空间向量，计算所述标记圆的法向量；

计算法向量在平面与轴向投影的夹角；其中，e为x轴向单位向量。所述夹紧为羽毛球的姿态角，所述姿态角的计算方法，精度较高，实测羽毛球的姿态角为90°时，计算的姿态角为87.8°，误差为2.4%，实测羽毛球的姿态角为 63°时，计算的姿态角为59.3°，误差为5.8%，实测羽毛球的姿态角为12.5°时，计算的姿态角为 9.4°，误差为2.4%，姿态角的计算精度相对较高。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (3)

1.一种双目立体视觉的羽毛球定位识别与姿态计算方法，其特征在于，包括如下步骤：

S1）：采集羽毛球的不同姿态的图像作为样本数据集；

S2）：构建基于Faster-RCNN算法的深度神经网络，所述Faster-RCNN算法包括候选框提取模块和检测模块；

S3）：基于样本数据集对所述所述深度神经网络进行训练，得到Faster-RCNN的训练模型，所述Faster-RCNN训练模型包括卷积层、区域生成网络、兴趣区域池化层和分类器，所述卷积层提取图像的特征映射，所述区域生成网络生成候选区域，所述兴趣区域池化层收集输入的特征映射和候选集，提取候选特征映射，所述分类器，利用候选特征映射计算候选集的类别，同时再次边框回归获得识别目标的精确位置；

S4）：利用Faster-RCNN训练模型识别羽毛球并确定羽毛球在图像中的位置；

S5）：利用双目立体视觉对识别出的羽毛球进行三维重建，确定羽毛球的空间位置；

S6）：采用Canny算子对步骤S5）中的羽毛球图像进行二值化、滤波处理，提取清晰边缘，计算羽毛球实时姿态角。

2.根据权利要求1所述的双目立体视觉的羽毛球定位识别与姿态计算方法，其特征在于：步骤S5）中，所述双目立体视觉对羽毛球进行三维重建包括如下步骤：

P1）：将世界坐标系进行旋转与平移得到双目相机坐标系坐标；

P2）：根据三角化变换计算羽毛球图像对应的物理坐标；

P3）：基于物理尺寸与像素单位的映射关系，利用最小二乘法获取羽毛球在图像中的像素坐标。

3.根据权利要求1所述的双目立体视觉的羽毛球定位识别与姿态计算方法，其特征在于：步骤S6)中姿态角的计算方法包括如下步骤:

T1）：从提取的羽毛球边缘上任取三个点，构建标记圆；

T2）：从所述标记圆上任取三个不同的点构成三个不同的空间向量；

T3）：任取两个空间向量进行叉乘，得到标记圆的法向量；

T4）：计算法向量在水平面的投影与水平轴的夹角，即为羽毛球的姿态角。

Images