CN116310290B - 一种用于游泳触摸板反馈时间修正的方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种用于游泳触摸板反馈时间修正的方法。该方法通过对指尖区域与触摸板相切时，触摸板接触区域的灰度图像进行分析。根据梯度方向图像得到每个像素点的梯度方向分布特征，进而获得邻域梯度混乱度特征。根据邻域灰度差异与邻域梯度混乱度特征获得每个像素点的邻域复杂特征，根据邻域复杂特征与灰度值种类获得每个像素点的邻域灰度复杂度特征；获得灰度图像进行K为1和K为2的K‑means聚类的聚类效果，根据聚类效果获得优选K值，进而获得仅包含指尖区域的图像用于反馈时间修正。本发明通过准确区分指尖区域与水珠区域，通过仅包含指尖区域的图像进行反馈时间修正，提高监测结果的准确性。

Description

一种用于游泳触摸板反馈时间修正的方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种用于游泳触摸板反馈时间修正的方法。

背景技术

游泳触摸板是安装在各个泳道末端的一种用来计时的装置。运动员通过向触摸板施加压力来停止计时，从而根除了人为计时的误差。这些触摸板对运动员的身体接触会有反应，但却完全不会受到波浪冲击力的影响。由于在不断使用过程中，触摸板可能会因为各种原因导致装置出现问题，进而对运动员的触摸没有反馈，或者反馈较慢，因此在游泳过程中还需要通过机器视觉原理对触摸板的反馈时间进行修正。

现有技术中，通过将待测物体的图像采集时间与待测物体的反馈时间进行对比，分析时间差异来判断触摸板是否出现老化失灵，进而对反馈时间进行修正。但是在运动员触摸游泳触摸板时，指尖会携带水珠，使用高速摄影机获取运动员触摸游泳触摸板的图像时，由于运动员高速运动以及高速摄影机自身原因，在现有技术中，对采集到的图像进行分析时，容易将仅包含指尖区域的图像与在透视作用下与包含指尖信息的水珠区域划分为同一区域，使得获取到的图像拍摄时间与运动员实际触摸游泳触摸板的时间产生误差，进而造成反馈时间修正结果不准确。

发明内容

为了解决现有技术中，容易将仅包含指尖区域的图像与在透视作用下包含指尖信息的水珠区域划分为同一区域，从而造成对触摸板反馈时间修正不准确的技术问题，本发明的目的在于提供一种用于游泳触摸板反馈时间修正的方法，所采用的技术方案具体如下：

本发明提供了一种用于游泳触摸板反馈时间修正的方法，所述方法包括：

获取指尖区域与触摸板相切时，触摸板接触区域的灰度图像；

获取所述灰度图像的梯度方向图像，根据所述梯度方向图像中每个像素点在预设第一尺寸邻域内的邻域梯度方向差异的分布获取每个像素点的梯度方向分布特征，根据每个像素点在预设第一尺寸邻域内的所有所述梯度方向分布特征获取每个像素点的邻域梯度混乱度特征；

获取以每个像素点为中心的预设第二尺寸邻域内的灰度值种类，根据所述预设第二尺寸邻域内每个像素点的梯度混乱度特征和邻域灰度差异获得对应像素点的邻域复杂特征；根据每个像素点的所述预设第二尺寸邻域内像素点的所述邻域复杂特征和所述灰度值种类获得每个像素点的邻域灰度复杂度特征；

对所述灰度图像进行K-means聚类分析，分别获取K为1和2时的聚类效果；所述聚类效果根据每个聚类簇中每个像素点的所述邻域梯度混乱度特征和所述邻域灰度复杂度特征获得，根据聚类效果获取优选值，根据所述优选值的大小确定优选K值，根据确定的所述优选K值获得仅包含指尖区域的图像；

获取所述仅包含指尖区域的图像对应的采集时间，对触摸板的反馈时间进行修正。

进一步地，所述触摸板接触区域的灰度图像的获取方法包括：

获取初始灰度图像，使用预先训练好的语义分割网络获取指尖区域和触摸板区域，在所述初始灰度图像中，以所述触摸板区域与所述指尖区域最接近的一条直线作为参考直线；

当所述参考直线与所述指尖区域相切时，以指尖区域为中心根据预设截取尺寸对所述初始灰度图像进行截取，获得所述触摸板接触区域的灰度图像。

进一步地，所述邻域梯度方向差异的获取方法包括：

利用索贝尔算子获取梯度方向图像，根据以每个像素点为中心的预设第一尺寸邻域内邻域像素点与中心像素点的梯度差异的平均值获得每个像素点的所述邻域梯度方向差异。

进一步地，所述梯度方向分布特征的获取方法包括：

判断每个像素点的第一尺寸邻域中的每个邻域梯度方向差异与预设阈值的差异，当邻域梯度方向差异与预设阈值的差值大于等于0时，则将邻域梯度方向差异对应位置标注为0，当邻域梯度方向差异与预设阈值的差值小于0时，则将邻域梯度方向差异对应位置标注为1；

根据旋转不变性获取每个像素点标注后的第一尺寸邻域的lbp值作为所述每个像素点的梯度方向分布特征。

进一步地，所述邻域梯度混乱度特征的获取方法包括：

获得以每个像素点为中心的预设第一尺寸邻域内邻域像素点的梯度方向分布特征的平均值与中心像素点的梯度方向分布特征的乘积，将所述乘积进行负相关映射并归一化，获得对应像素点的邻域梯度混乱度特征。

进一步地，所述邻域灰度复杂度特征的获取方法包括：

获取每个像素点的预设第二尺寸邻域的灰度直方图，利用DBSCAN算法对所述灰度直方图中的灰度值进行聚类，获得灰度值种类；

以每个像素点与其周围八邻域像素点灰度值的差值绝对值的平均值作为对应像素点的所述邻域灰度差异；

将每个像素点的所述邻域灰度差异与所述邻域梯度混乱度特征的乘积，作为每个像素点的邻域复杂特征；

将每个像素点的预设第二尺寸邻域内的所有像素点的邻域复杂特征累加后与所述灰度值种类相乘，获得所述邻域灰度复杂度特征。

进一步地，所述聚类效果的获取方法包括：

获得K为1时聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值，将所述平均值进行负相关映射并归一化获得当前聚类簇数的聚类效果；

获得K为2时两个聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值的差异，将所述差异进行归一化获得当前聚类簇数的聚类效果。

进一步地，所述优选值的获取方法包括：

将K为1时的聚类效果记为第一聚类效果，K为2时的聚类效果记为第二聚类效果；将所述第一聚类效果与预设第一权重相乘，获得第一效果调整值；将所述第二聚类效果与预设第二权重相乘获得第二效果调整值；

以所述第一效果调整值与所述第二效果调整值的差值作为所述优选值。

进一步地，所述根据确定的所述优选K值获得仅包含指尖区域的图像的获取方法包括：

若所述优选值小于预设判断阈值，则所述优选K值为2；

若所述优选值大于等于预设判断阈值，则所述优选K值为1；

将所述优选K值为1时对应的所述灰度图像作为仅包含指尖区域的图像。

进一步地，所述监测结果的获取方法包括：

获取仅包含指尖区域的图像对应的采集时间，获取触摸板的反馈时间，根据所述采集时间与所述反馈时间的差异对触摸板的反馈时间进行修正，获得修正反馈时间。

本发明具有如下有益效果：

本发明首先获取指尖区域与触摸板相切时，触摸板接触区域的灰度图像，减少无关信息的干扰。

进一步提取每个像素点的邻域梯度混乱度特征和邻域灰度复杂度特征；邻域梯度混乱度特征根据像素点的梯度方向分布特征获得，梯度方向分布特征根据梯度方向差异获得，即梯度方向分布特征表示了当前像素点所在邻域内的梯度方向分布情况，邻域梯度混乱度特征表示了当前像素点所在邻域内的梯度混乱程度；

邻域灰度复杂度特征根据当前像素点的邻域复杂特征和当前像素点所在邻域内的灰度值种类获得；邻域复杂特征表示了当前像素点周围的梯度混乱程度和灰度值变化程度，即邻域灰度复杂度特征表示了当前像素点所在邻域内的灰度复杂程度。

邻域梯度混乱度特征与邻域灰度复杂度特征为后续的聚类效果提供参考，利用K-means聚类分别获取K为1时和K为2时的聚类效果，聚类效果表明了当前聚类簇数是否合适，即若K为1合适则说明当前图像仅包含指尖区域，若K为2合适则说明当前图像包含水珠区域。聚类效果为后续根据优选值确定优选K值提供参考；通过优选K值判断当前图像中是否包含水珠区域，进一步获取仅包含指尖区域的图像，获取仅包含指尖区域的图像对应的采集时间，对触摸板进行反馈时间修正，获得更加准确的修正结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种用于游泳触摸板反馈时间修正的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种用于游泳触摸板反馈时间修正的方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种用于游泳触摸板反馈时间修正的方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种用于游泳触摸板反馈时间修正的方法流程图，该方法包括：

步骤S1：获取指尖区域与触摸板相切时，触摸板接触区域的灰度图像。

在本发明实施例中，采用两个高速摄影机对运动员触摸游泳触摸板时的情形进行拍摄，一个高速摄影机垂直触摸板从上向下进行拍摄，用于确定运动员是否触摸到触摸板；另一高速摄影机斜向下45°对触摸板进行拍摄，用于获取运动员触摸游泳触摸板的具体位置，两个高速摄影机的拍摄频率保持一致并且在拍摄过程中全程保持同步，需要说明的是，具体装置安排以及摄影机视角范围等部署，实施者可根据具体实际情况进行调整。

获取垂直拍摄的高速摄影机拍摄到的运动员触摸游泳触摸板时的初始图像，对初始图像进行灰度化处理，需要说明的是，对图像进行灰度化处理为本领域技术人员熟知的技术手段，具体灰度化处理如加权法，平均值法等，在此不作限定。

因为获取图像的目的在于在后续过程中，根据图像采集时间和触摸反馈时间做对比，实现反馈时间修正。为了消除视角的影响，准确获得手指接触到触摸板时的图像，需要获取指尖区域与触摸板相切时，触摸板接触区域的灰度图像。

优选地，由于当运动员手指指尖触摸游泳触摸板时，可视为手指指尖与游泳触摸板是相切的关系，所以要获取此时触摸板接触区域的灰度图像；考虑到初始灰度图像中包含水面、运动员手臂等无关背景信息，为了方便后续对指尖区域与触摸板相切时，触摸板接触区域的灰度图像进行分析，所以使用语义分割网络获取指尖区域与触摸板区域，本实施例中语义分割网络使用U-net神经网络，网络输入为初始灰度图像，网络输出为指尖区域与触摸板区域的图像；打标签方式为所求区域标记为1，其他区域标记为0，网络损失函数使用交叉熵损失函数。

根据触摸板特征可知，在高速摄影机垂直向下拍摄时，触摸板可以看作直线，所以使用边缘检测，获取触摸板区域与指尖区域最接近的一条直线作为参考直线，该直线即为触摸板在高速摄影机垂直拍摄角度下的对应直线，当指尖区域与该直线相切时，便需要判断此时是否存在指尖区域携带水珠，进而导致在进行语义分割时将仅包含指尖区域的图像与在透视作用下包含指尖信息的水珠区域划分为同一区域，故以指尖区域为中心根据预设截取尺寸对初始灰度图像进行截取，本发明中预设截取尺寸为指尖区域尺寸的三倍，截取尺寸实施者可根据具体实际情况进行调整。需要说明的是，边缘检测为本领域技术人员熟知的技术手段，在此不作赘述。

至此，获得了触摸板接触区域的灰度图像，可进一步对灰度图像进行分析。

步骤S2：获取灰度图像的梯度方向图像，根据梯度方向图像中每个像素点在预设第一尺寸邻域内的邻域梯度方向差异的分布获取每个像素点的梯度方向分布特征，根据每个像素点在预设第一尺寸邻域内的所有梯度方向分布特征获取每个像素点的邻域梯度混乱度特征。

根据手指指尖的特征分析可知，运动员手指指尖上的纹理分布较为明确，即指尖处的梯度方向信息较为规律，而指尖水珠区域，由于水珠是由指尖高速运动而携带产生的，具有不稳定性，并且因为水珠的映射，导致水珠区域中呈现更为扭曲的纹理信息，即指尖水珠区域的梯度方向分布较为混乱，故可以根据图像中像素点的梯度方向分布特征来获取每个像素点的邻域梯度混乱度特征。

优选地，本发明实施例中利用索贝尔算子获取灰度图像的梯度方向图像，为了使中心像素点的梯度方向差异更明显，所以将每个像素点与以该像素点为中心的预设第一尺寸邻域内邻域像素点的梯度方向差异的平均值作为该中心像素点的邻域梯度方向差异。

进一步地，将邻域梯度方向差异与预设阈值做差，差值大于等于0时，将该邻域梯度方向差异所对应的位置标注为0，差值小于等于0时，将该邻域梯度方向差异所对应的位置标注为1；利用lbp局部二值模式算法，根据旋转不变性获取每个像素点的lbp值，lbp值作为每个像素点的梯度方向分布特征，lbp值越小，则表示当前像素点的梯度方向差异与周围像素点梯度方向差异的差异越大。

进一步地，为了表示当前像素点的梯度方向差异与周围像素点梯度方向差异的差异较大不是因为当前像素点特殊，而是因为当前像素点周围像素点的梯度方向分布混乱造成的，故求出以每个像素点为中心的周围八邻域像素点的梯度方向分布特征的平均值，该平均值可作为判定中心像素点梯度方向分布是否混乱的可信度；将所求的平均值与中心像素点的梯度方向分布特征相乘，将所得乘积进行负相关映射并归一化，获得每个像素点的邻域梯度混乱度特征。

当邻域梯度混乱度特征越大，则说明当前像素点所在邻域内的梯度混乱程度越大，即该像素点越可能处于水珠区域；当邻域梯度混乱度特征越小，则说明当前像素点所在邻域内的梯度混乱程度越小，即该像素点越可能处于仅包含指尖的区域。需要说明的是，索贝尔算子和lbp局部二值模式算法为本领域技术人员熟知的技术手段，在此不作赘述；本发明实施例中预设的第一尺寸邻域大小为3×3，预设阈值为15°，具体大小可根据具体实施场景进行调整，在此不作限定。在本发明实施例中，像素点的邻域梯度混乱度特征的具体表达式为：

其中，Q为邻域梯度混乱度特征，lbp为中心像素点的梯度方向分布特征，为中 心像素点周围八邻域中第i个像素点的梯度方向分布特征，∑为求和符号，为以自然 常数e为底的指数函数。需要说明的是，在本发明其他实施例中也可选用其他基础数学运算 实现负相关映射并归一化，此类操作为本领域技术人员熟知的技术手段，在此不做赘述。

步骤S3：获取以每个像素点为中心的预设第二尺寸邻域内的灰度值种类，根据预设第二尺寸邻域内每个像素点的梯度混乱度特征和邻域灰度差异获得对应像素点的邻域复杂特征；根据每个像素点的预设第二尺寸邻域内像素点的邻域复杂特征和灰度值种类获得每个像素点的邻域灰度复杂度特征。

由于水珠区域不仅包含运动员手指指尖信息，还包含触摸板游泳池的背景区域信息，故也可以据此来区别水珠区域与仅包含指尖的区域，即像素点所在的区域包含的信息越多，则灰度值种类就越多，像素点灰度值差异越大，梯度混乱程度越大，所以像素点的邻域灰度复杂度也就越大。

优选地，本发明一个实施例中获取邻域灰度复杂度特征的方法包括：

获取以每个像素点为中心的第二尺寸邻域灰度图像的灰度直方图，利用DBSCAN算法对获得的灰度直方图中的灰度值进行聚类，聚类结果即为当前第二尺寸邻域中的灰度值种类。

每个像素点的邻域灰度差异表示当前像素点与周围八邻域像素点的灰度值差异，为了使所求的灰度值差异更明显，所以将当前像素点与其周围八邻域像素点的灰度值的差值绝对值的平均值作为当前像素点的邻域灰度差异；根据步骤S2获取每个像素点的邻域梯度混乱度特征，将每个像素点的邻域灰度差异与邻域梯度混乱度特征相乘作为对应像素点的邻域复杂特征。

将第二尺寸邻域中所有像素点的邻域复杂特征累加求和后与灰度值种类进行相乘，所得的结果作为邻域中心像素点的邻域灰度复杂度特征，当邻域灰度复杂度特征越大，则说明当前像素点所在邻域内的灰度复杂程度越大，即该像素点越可能处于水珠区域；当邻域灰度复杂度特征越小，则说明当前像素点所在邻域内的灰度复杂程度越小，即该像素点越可能处于仅包含指尖的区域。本发明实施例中预设第二尺寸邻域大小为7×7，具体大小可根据具体实施场景进行调整，在此不作限定。需要说明的是，DBSCAN算法为本领域技术人员熟知的技术手段，在此不作赘述。在本发明实施例中，像素点的邻域灰度复杂度特征的具体表达式为：

其中，W为邻域灰度复杂度特征，k为灰度值种类，∑为求和符号，为第l个像素点 的邻域灰度差异，为第l个像素点的邻域梯度混乱度特征。

步骤S4：对灰度图像进行K-means聚类分析，分别获取K为1和2时的聚类效果；聚类效果根据每个聚类簇中每个像素点的邻域梯度混乱度特征和邻域灰度复杂度特征获得，根据聚类效果获取优选值，根据优选值的大小确定优选K值，根据确定的优选K值获得仅包含指尖区域的图像。

本发明利用K-means聚类算法分析步骤S1中获取到的触摸板接触区域的灰度图像，将聚类簇数K设置为1和2，分别获取K为1和K为2时的聚类效果。若K为1时的聚类效果更好，则说明此时图像中仅包含指尖区域；若K为2时的聚类效果更好，则说明此时图像中既包含指尖区域，又包含水珠区域，即聚类效果表示了图像在当前K值下的聚类结果是否合适，聚类效果也为后续根据优选值确定优选K值提供了参考；需要说明的是，K-means聚类算法为本领域技术人员熟知的技术手段，在此不作赘述。

优选地，本发明一个实施例中聚类效果的获取方法包括：

当K为1时，获得聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值，将求得的平均值进行负相关映射并归一化获得K为1时的聚类效果，当像素点的邻域梯度混乱度特征与邻域灰度复杂度特征越小，则所得的聚类效果的值越大，表示当前聚类簇数为1时的聚类效果越好，说明此时图像中存在水珠区域的可能性越小。在本发明实施例中，K为1时的聚类效果表达式为：

其中，P为K为1时的聚类效果，∑为求和符号，c为触摸板接触区域的灰度图像内聚 类簇中像素点的数量，为触摸板接触区域的灰度图像内第m个像素点的邻域灰度复杂度 特征，为触摸板接触区域的灰度图像内第m个像素点的邻域梯度混乱度特征，为以 自然常数e为底的指数函数。

当K为2时，分别求出两个聚类簇中的像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值，获得两个平均值的差异，对求得的差异进行归一化操作，获得K为2时的聚类效果，当两个聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值的差异越大，则所得的聚类效果的值越大，表示当前聚类簇数为2时的聚类效果越好，说明此时图像中存在水珠区域的可能性越大。在本发明实施例中，K为2时的聚类效果表达式为：

其中，为K为2时触摸板接触区域的灰度图像的聚类效果，∑为求和符号，a为触 摸板接触区域的灰度图像内聚类结果中其中一个聚类簇中的像素点数量，为触摸板接 触区域的灰度图像内当前聚类簇中第n个像素点的邻域灰度复杂度特征，为触摸板接触 区域的灰度图像内当前聚类簇中第n个像素点的邻域梯度混乱度特征；b为触摸板接触区域 的灰度图像内聚类结果中另一聚类簇中的像素点数量，为触摸板接触区域的灰度图像 内当前聚类簇中第u个像素点的邻域灰度复杂度特征，为触摸板接触区域的灰度图像内 当前聚类簇中第u个像素点的邻域梯度混乱度特征，为归一化函数。需要说明的是， 归一化操作为本领域技术人员熟知的技术手段，归一化操作可以选择线性归一化或者标准 归一化等，具体方法在此不作限定。

为了确定优选K值，进一步根据优选K值获得仅包含指尖区域的图像，首先需要根据聚类效果获取优选值。优选地，本发明一个实施例中获取优选值的方法包括：

将K为1时的聚类效果记为第一聚类效果，K为2时的聚类效果记为第二聚类效果，将第一聚类效果与预设第一权重相乘的值记为第一效果调整值，第二聚类效果与预设第二权重相乘的值记为第二效果调整值，第一效果调整值减去第二效果调整值所得的结果即为优选值。本发明实施例中预设第一权重为0.6，预设第二权重为0.4，具体大小可根据具体实施场景进行调整，在此不作限定。在本发明实施例中，获取优选值的表达式为：

其中，R为优选值，为预设第一权重，为第一聚类效果，为预设第二权重，为第 二聚类效果。

进一步地，比较优选值与预设判断阈值的大小来判断优选K值，根据优选K值获取仅包含指尖区域的图像。当优选值大于等于预设判断阈值时，此时优选K值为1，说明当前触摸板接触区域的图像为仅包含指尖区域的图像；当优选值小于预设判断阈值时，此时优选K值为2，说明当前触摸板接触区域的图像中包含水珠区域，则需要继续分析当前图像的下一张图像，直至获取的图像为仅包含指尖区域的图像。本发明实施例中预设判断阈值为0，具体大小可根据具体实施场景进行调整，在此不作限定。

步骤S5：获取仅包含指尖区域的图像对应的采集时间，对触摸板进行反馈时间修正。

获取步骤S4中获得的仅包含指尖区域的图像的采集时间，获取触摸板的反馈时间，将获取的仅包含指尖区域的图像的采集时间与触摸板的反馈时间进行比较，当时间差异大于高速摄影机拍摄的间隔时间时，说明触摸板对应位置出现了老化失灵，则将反馈时间减去所述时间差异，获得修正反馈时间。

综上所述，本发明实施例通过对指尖区域与触摸板相切时，触摸板接触区域的灰度图像进行分析，根据每个像素点与周围八邻域像素点的梯度差异的平均值获得该中心像素点的邻域梯度方向差异；进一步地，将利用lbp算法根据每个像素点周围八邻域像素点的邻域梯度方向差异获取的lbp值作为该中心像素点的梯度方向分布特征；进一步地，根据每个像素点周围八邻域像素点的梯度方向分布特征的平均值与该中心像素点的梯度方向分布特征相乘，获得该中心像素点的邻域梯度混乱度特征。对以每个像素点为中心的7×7邻域的灰度图像的灰度直方图进行DBSCAN聚类，获得灰度值种类，根据每个像素点与周围八邻域像素点灰度值的差值绝对值的平均值作为该中心像素点的邻域灰度差异，根据每个像素点的邻域灰度差异与邻域梯度混乱度特征获得每个像素点的邻域复杂特征；进一步地，将7×7邻域的灰度值种类与该7×7邻域中所有像素点的邻域复杂特征总和的乘积作为中心像素点的邻域灰度复杂度特征。对灰度图像分别进行K为1和K为2的K-means聚类，根据邻域梯度混乱度特征和邻域灰度复杂度特征获得聚类效果，根据聚类效果获得的优选值判断当前图像中是否包含水珠区域，若包含水珠区域，则需要继续分析当前图像的下一张图像直至图像中不包含水珠区域，若不包含水珠区域，则说明当前图像仅包含指尖区域，获取仅包含指尖区域的图像的采集时间，与触摸板反馈时间进行比较，进行反馈时间修正，获得监测结果。本发明根据图像处理技术，对高速摄影机拍摄的图像进行进一步的分析，获取到仅包含指尖区域的图像，提高了监测结果的准确性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述方法包括：

获取指尖区域与触摸板相切时，触摸板接触区域的灰度图像；

获取所述灰度图像的梯度方向图像，根据所述梯度方向图像中每个像素点在预设第一尺寸邻域内的邻域梯度方向差异的分布获取每个像素点的梯度方向分布特征，根据每个像素点在预设第一尺寸邻域内的所有所述梯度方向分布特征获取每个像素点的邻域梯度混乱度特征；

获取以每个像素点为中心的预设第二尺寸邻域内的灰度值种类，根据所述预设第二尺寸邻域内每个像素点的梯度混乱度特征和邻域灰度差异获得对应像素点的邻域复杂特征；根据每个像素点的所述预设第二尺寸邻域内像素点的所述邻域复杂特征和所述灰度值种类获得每个像素点的邻域灰度复杂度特征；

对所述灰度图像进行K-means聚类分析，分别获取K为1和2时的聚类效果；所述聚类效果根据每个聚类簇中每个像素点的所述邻域梯度混乱度特征和所述邻域灰度复杂度特征获得，根据聚类效果获取优选值，根据所述优选值的大小确定优选K值，根据确定的所述优选K值获得仅包含指尖区域的图像；

获取所述仅包含指尖区域的图像对应的采集时间，对触摸板的反馈时间进行修正。

2.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述触摸板接触区域的灰度图像的获取方法包括：

获取初始灰度图像，使用预先训练好的语义分割网络获取指尖区域和触摸板区域，在所述初始灰度图像中，以所述触摸板区域与所述指尖区域最接近的一条直线作为参考直线；

当所述参考直线与所述指尖区域相切时，以指尖区域为中心根据预设截取尺寸对所述初始灰度图像进行截取，获得所述触摸板接触区域的灰度图像。

3.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述邻域梯度方向差异的获取方法包括：

利用索贝尔算子获取梯度方向图像，根据以每个像素点为中心的预设第一尺寸邻域内邻域像素点与中心像素点的梯度差异的平均值获得每个像素点的所述邻域梯度方向差异。

4.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述梯度方向分布特征的获取方法包括：

判断每个像素点的第一尺寸邻域中的每个邻域梯度方向差异与预设阈值的差异，当邻域梯度方向差异与预设阈值的差值大于等于0时，则将邻域梯度方向差异对应位置标注为0，当邻域梯度方向差异与预设阈值的差值小于0时，则将邻域梯度方向差异对应位置标注为1；

根据旋转不变性获取每个像素点标注后的第一尺寸邻域的lbp值作为所述每个像素点的梯度方向分布特征。

5.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述邻域梯度混乱度特征的获取方法包括：

获得以每个像素点为中心的预设第一尺寸邻域内邻域像素点的梯度方向分布特征的平均值与中心像素点的梯度方向分布特征的乘积，将所述乘积进行负相关映射并归一化，获得对应像素点的邻域梯度混乱度特征。

6.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述邻域灰度复杂度特征的获取方法包括：

获取每个像素点的预设第二尺寸邻域的灰度直方图，利用DBSCAN算法对所述灰度直方图中的灰度值进行聚类，获得灰度值种类；

以每个像素点与其周围八邻域像素点灰度值的差值绝对值的平均值作为对应像素点的所述邻域灰度差异；

将每个像素点的所述邻域灰度差异与所述邻域梯度混乱度特征的乘积，作为每个像素点的邻域复杂特征；

将每个像素点的预设第二尺寸邻域内的所有像素点的邻域复杂特征累加后与所述灰度值种类相乘，获得所述邻域灰度复杂度特征。

7.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述聚类效果的获取方法包括：

获得K为1时聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值，将所述平均值进行负相关映射并归一化获得当前聚类簇数的聚类效果；

获得K为2时两个聚类簇中像素点的邻域梯度混乱度特征与邻域灰度复杂度特征乘积的平均值的差异，将所述差异进行归一化获得当前聚类簇数的聚类效果。

8.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述优选值的获取方法包括：

将K为1时的聚类效果记为第一聚类效果，K为2时的聚类效果记为第二聚类效果；将所述第一聚类效果与预设第一权重相乘，获得第一效果调整值；将所述第二聚类效果与预设第二权重相乘获得第二效果调整值；

以所述第一效果调整值与所述第二效果调整值的差值作为所述优选值。

9.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述根据确定的所述优选K值获得仅包含指尖区域的图像的获取方法包括：

若所述优选值小于预设判断阈值，则所述优选K值为2；

若所述优选值大于等于预设判断阈值，则所述优选K值为1；

将所述优选K值为1时对应的所述灰度图像作为仅包含指尖区域的图像。

10.根据权利要求1所述的一种用于游泳触摸板反馈时间修正的方法，其特征在于，所述对触摸板的反馈时间进行修正包括：

获取仅包含指尖区域的图像对应的采集时间，获取触摸板的反馈时间，根据所述采集时间与所述反馈时间的差异对触摸板的反馈时间进行修正，获得修正反馈时间。