CN109871794A - 一种基于深度学习的网球发球机发球方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的网球发球机发球方法，1)网球训练前，运动员在摄像头的正前方拍照,图像采集装置获得人脸图像信息并储存在其内部；2)运动员开始训练，摄像头首先在视野范围内进行图像采集及人脸捕捉，找到与预先拍摄图像匹配的人脸图像，进行锁定；3)随着运动员的走动，图像采集装置会从摄像头的视频流中提取一系列图像帧，对图像帧进行预处理，并用于神经网络的深度学习建模，实现运动员的实时动态跟踪，然后根据人脸特征点位置转动发射口；4)网球发球机发出提醒信号，从发球口弹射出适应运动员位置的网球。本发明通过该发球方法能够实现对运动员进行定位，并能射出适应运动员位置的网球，提高了发球的精度。

Description

一种基于深度学习的网球发球机发球方法

技术领域

本发明涉及网球发球机的技术领域，尤其涉及的是一种基于深度学习的网球发球机发球方法。

背景技术

网球是一种有氧户外运动，现代都市人成天忙于工作、学习和生活，大多数的时间在室内中度过，需要到室外进行一些户外运动，网球就是最好的选择之一。加强网球练习是学习网球基础技术极为重要的一个步骤。而在很多网球初学教学过程中，很多还是通过他人手动给球的方式送球，极大浪费人力。针对这个问题，市面上衍生出了各种各样的网球发球机，但是这些网球发球机一般都是固定一个或者几个发球路线，并不能很好地满足训练者在球场各个位置的接球练习，并且其发球精度也不高。

发明内容

本发明针对现有技术的问题，在此提供一种基于深度学习的网球发球机发球方法。

本发明的技术方案如下：

一种基于深度学习的网球发球机发球方法，其特征在于，包括如下步骤：

1)预先在网球发球机的发球口上方设置一个摄像头，并在摄像头中装有图像采集装置；网球训练前，运动员在摄像头的正前方拍照,图像采集装置获得人脸图像信息并储存在其内部；

2)运动员开始训练，摄像头首先在视野范围内进行图像采集及人脸捕捉，找到与预先拍摄图像匹配的人脸图像，进行锁定；

3)随着运动员的走动，图像采集装置会从摄像头的视频流中提取一系列图像帧，对图像帧进行预处理，并用于神经网络的深度学习建模，通过模型输出的动态人脸特征点位置，实现运动员的实时动态跟踪；当运动员到达目标地点停止走动时，安装在摄像头中的角度计算装置根据第一帧图像得到的人脸特征点位置及最后一帧图像得到的人脸特征点位置计算出发球机发射口所需移动的角度，并通过安装的调节控制装置转动发射口，使其指向运动员移动后的位置；

4)当发球机发球口完成转向动作后，网球发球机发出提醒信号，从发球口弹射出适应运动员位置的网球。

所述一种基于深度学习的网球发球机发球方法，其特征在于，所述步骤3)具体包括：

3.1)网球训练过程中，图像采集装置从摄像头视频流中提取一系列图像帧，通过数据分析与处理装置进行预处理：包括人脸图像筛选、图像数据均衡化、图像数据归一化及图像数据增强，并得到一系列表征图像信息的特征向量组，通过内置的聚类算法模型对这些特征向量组进行处理，聚类相似的人脸信息，并把这些聚类信息与表征图像信息的特征向量组作为训练数据，输入连接的深度学习装置，进行神经网络的建模；

3.2)深度学习装置中内置四个卷积神经网络模型，分别对应人脸左眼、右眼、鼻子、嘴巴特征点位置的动态识别；所述的卷积神经网络模型架构如下：

3.2.1)依次采用两个步长为1，大小为3X3的卷积核，对输入的特征向量组进行卷积得到对应特征图一；

3.2.2)使用2X2最大池对特征图一进行下采样，得到对应特征图二；

3.2.3)依次采用两个步长为1，大小为3X3的卷积核对特征图二进行卷积，得到对应特征图三；

3.2.4)使用2X2最大池对特征图三进行下采样，得到对应特征图四；

3.2.5)依次使用四个步长为1，大小为3X3的卷积核，对特征图四进行卷积，得到特征图五；

3.2.6)使用2X2最大池对特征图五进行下采样，得到对应特征图六；

3.2.7)依次使用四个步长为1，大小为3X3的卷积核，对特征图六进行卷积，得到特征图七；

3.2.8)使用2X2最大池对特征图七进行下采样，得到对应特征图八；

3.2.9)依次使用四个步长为1，大小为3X3的卷积核，对特征图八进行卷积，得到特征图九；

3.2.10)使用2X2最大池对特征图九进行下采样，得到对应特征图十；

3.2.11)把特征图十的特征信息输入全连接层，并衔接一个dropout层；

3.2.12)将全连接层输出的结果采用softmax损失函数计算模型误差，并将误差的梯度反向传播，实现卷积神经网络模型训练更新的目的；

3.2.13)使用四个卷积神经网络模型得到的对应四组人脸特征点位置，将其组合实现人脸的动态定位，并输出对应时刻的人脸位置信息；

3.3)把一系列图像帧中对应的人脸位置信息实时存储在安装的角度计算装置中，当运动员停止移动时，比较最后一帧图像得到的人脸位置信息及第一帧图像得到的人脸位置信息，计算出网球发球口所需移动的角度，并通过调节控制装置控制该发球口进行转向移动。

本发明的有益效果是：

1)运动员开始训练，摄像头根据预存在图像采集装置内的人脸图像锁定运动员，使得后续整个网球训练过程具有针对性和专一性。

2)摄像头根据人脸特征点位置调整发球口，极好地满足运动员在球场各个位置的接球练习，同时提高了网球发球机的发球精度。

3)应用该方法的网球发球机能够有效替代教练，降低人力成本，提高经济价值。

附图说明

图1是本发明结构原理框图；

图2是本发明网球发球机整体示意图；

图3是本发明摄像头与发球口组合机构的示意图；

图4是本发明深度学习装置的卷积神经网络模型架构图；

图中：1-滚轮，2-支撑箱体，3-发球口，4-摄像头，5-透明窗口，6-网球收纳处，7-发球机本体，8-移动扶手，9-图像采集装置，10-发球提醒装置，11-数据分析与处理装置，12-深度学习装置，13-角度计算装置，14-调节控制装置。

具体实施方式

以下结合附图和具体实施例来进一步说明本发明的技术方案。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

如图1、图2以及图3所示，网球训练前，运动员在摄像头4的正前方拍照,图像采集装置9获得人脸图像信息并储存在其内部。运动员开始训练，摄像头4首先在视野范围内进行图像采集及人脸捕捉，找到与预先拍摄图像匹配的人脸图像，进行锁定。

网球训练过程中，图像采集装置9从摄像头4视频流中提取一系列图像帧，通过数据分析与处理装置11进行预处理：人脸图像筛选、图像数据均衡化、图像数据归一化、图像数据增强，并得到一系列表征图像信息的特征向量组，通过内置的聚类算法模型对这些特征向量组进行处理，聚类相似的人脸信息，并把这些聚类信息与表征图像信息的特征向量组作为训练数据，输入连接的深度学习装置12，进行神经网络的建模。

深度学习装置12中内置四个卷积神经网络模型，分别对应人脸左眼、右眼、鼻子、嘴巴特征点位置的动态识别。如图4所示，所述的卷积神经网络模型架构如下：

a)依次采用两个步长为1，大小为3X3的卷积核，对输入的特征向量组进行卷积得到对应特征图一；

b)使用2X2最大池对特征图1进行下采样，得到对应特征图二；

c)依次采用两个步长为1，大小为3X3的卷积核对特征图二进行卷积，得到对应特征图三；

d)使用2X2最大池对特征图三进行下采样，得到对应特征图四；

e)依次使用四个步长为1，大小为3X3的卷积核，对特征图四进行卷积，得到特征图五；

f)使用2X2最大池对特征图五进行下采样，得到对应特征图六；

g)依次使用四个步长为1，大小为3X3的卷积核，对特征图六进行卷积，得到特征图七；

h)使用2X2最大池对特征图七进行下采样，得到对应特征图八；

i)依次使用四个步长为1，大小为3X3的卷积核，对特征图八进行卷积，得到特征图九；

j)使用2X2最大池对特征图九进行下采样，得到对应特征图十；

k)把特征图十的特征信息依次输入两个全连接层，并进行dropout处理；

l)将全连接层输出的结果采用softmax损失函数计算模型误差，并将误差的梯度反向传播，更新模型；

m)使用4个卷积神经网络模型得到的对应4组人脸特征点位置，将其组合实现人脸的动态定位，并输出对应时刻的人脸位置信息。

把一系列图像帧中对应的人脸位置信息实时存储在安装的角度计算装置13中，当运动员停止移动时，比较最后一帧图像得到的人脸位置信息及第一帧图像得到的人脸位置信息，计算出网球发球口3所需移动的角度，并通过调节控制装置14控制该发球口进行转向移动。

当发球机发球口完成转向动作后，网球发球机的发球提醒装置10发出提醒信号，从发球口弹射出适应运动员位置的网球。

以上所述的,仅为本发明的较佳实施例而已,不能限定本发明实施的范围,凡是依本发明申请专利范围所作的均等变化与装饰,皆应仍属于本发明涵盖的范围内。

Claims (2)

1.一种基于深度学习的网球发球机发球方法，其特征在于，包括如下步骤：

1)预先在网球发球机的发球口上方设置一个摄像头，并在摄像头中装有图像采集装置；网球训练前，运动员在摄像头的正前方拍照,图像采集装置获得人脸图像信息并储存在其内部；

2)运动员开始训练，摄像头首先在视野范围内进行图像采集及人脸捕捉，找到与预先拍摄图像匹配的人脸图像，进行锁定；

3)随着运动员的走动，图像采集装置会从摄像头的视频流中提取一系列图像帧，对图像帧进行预处理，并用于神经网络的深度学习建模，通过模型输出的动态人脸特征点位置，实现运动员的实时动态跟踪；当运动员到达目标地点停止走动时，安装在摄像头中的角度计算装置根据第一帧图像得到的人脸特征点位置及最后一帧图像得到的人脸特征点位置计算出发球机发射口所需移动的角度，并通过安装的调节控制装置转动发射口，使其指向运动员移动后的位置；

4)当发球机发球口完成转向动作后，网球发球机发出提醒信号，从发球口弹射出适应运动员位置的网球。

2.根据权利要求1所述一种基于深度学习的网球发球机发球方法，其特征在于，所述步骤3)具体包括：

3.1)网球训练过程中，图像采集装置从摄像头视频流中提取一系列图像帧，通过数据分析与处理装置进行预处理：包括人脸图像筛选、图像数据均衡化、图像数据归一化及图像数据增强，并得到一系列表征图像信息的特征向量组，通过内置的聚类算法模型对这些特征向量组进行处理，聚类相似的人脸信息，并把这些聚类信息与表征图像信息的特征向量组作为训练数据，输入连接的深度学习装置，进行神经网络的建模；

3.2)深度学习装置中内置四个卷积神经网络模型，分别对应人脸左眼、右眼、鼻子、嘴巴特征点位置的动态识别；所述的卷积神经网络模型架构如下：

3.2.1)依次采用两个步长为1，大小为3X3的卷积核，对输入的特征向量组进行卷积得到对应特征图一；

3.2.2)使用2X2最大池对特征图一进行下采样，得到对应特征图二；

3.2.3)依次采用两个步长为1，大小为3X3的卷积核对特征图二进行卷积，得到对应特征图三；

3.2.4)使用2X2最大池对特征图三进行下采样，得到对应特征图四；

3.2.5)依次使用四个步长为1，大小为3X3的卷积核，对特征图四进行卷积，得到特征图五；

3.2.6)使用2X2最大池对特征图五进行下采样，得到对应特征图六；

3.2.7)依次使用四个步长为1，大小为3X3的卷积核，对特征图六进行卷积，得到特征图七；

3.2.8)使用2X2最大池对特征图七进行下采样，得到对应特征图八；

3.2.9)依次使用四个步长为1，大小为3X3的卷积核，对特征图八进行卷积，得到特征图九；

3.2.10)使用2X2最大池对特征图九进行下采样，得到对应特征图十；

3.2.11)把特征图十的特征信息输入全连接层，并衔接一个dropout层；

3.2.12)将全连接层输出的结果采用softmax损失函数计算模型误差，并将误差的梯度反向传播，实现卷积神经网络模型训练更新的目的；

3.2.13)使用四个卷积神经网络模型得到的对应四组人脸特征点位置，将其组合实现人脸的动态定位，并输出对应时刻的人脸位置信息；

3.3)把一系列图像帧中对应的人脸位置信息实时存储在安装的角度计算装置中，当运动员停止移动时，比较最后一帧图像得到的人脸位置信息及第一帧图像得到的人脸位置信息，计算出网球发球口所需移动的角度，并通过调节控制装置控制该发球口进行转向移动。