CN108074265A

CN108074265A - 一种基于视觉辨识的网球定位系统、方法及装置

Info

Publication number: CN108074265A
Application number: CN201711475254.9A
Authority: CN
Inventors: 董明武
Original assignee: Scarcity (beijing) Technology Co Ltd
Current assignee: Scarcity (beijing) Technology Co Ltd
Priority date: 2017-12-29
Filing date: 2017-12-29
Publication date: 2018-05-25

Abstract

本发明公开了一种基于视觉辨识的网球定位系统及方法，系统包括：依次连接的提取场地内图像信息的图像提取单元、接收图像信息并对图像信息进行处理的分割单元、识别处理后图像中提取网球轮廓的提取单元以及获取网球坐标的定位单元；所述分割单元包括滤波模块、转换模块、搜索模块和筛选模块。本发明基于新的网球辨识及其定位原理，利用双目视觉识别网球并对其定位，解决采用激光雷达和超声波技术所造成的误识别问题，在保证辨识准确度和定位精度的前提下，降低硬件成本。

Description

一种基于视觉辨识的网球定位系统、方法及装置

技术领域

本发明涉及计算机技术领域，具体说涉及一种基于视觉辨识的网球定位系统、方法及装置。

背景技术

近年来，网球运动在中国迅速兴起，参与网球运动的人数迅速增加。随之带来了网球场馆内的网球拾取器械的热销。随智能时代到来，智能化网球拾取器械的研制越来越受人关注。

目前较为常用的网球拾取方案是在网球机器人一定高度处架设激光雷达，利用激光雷达扫描场地，根据激光雷达返回的信息判断场地上网球的数量及其位置。激光雷达价格昂贵，且激光雷达扫描识别网球容易将网球场地上的矿泉水瓶、人员的腿部等误识别为网球，造成工作效率不高，拾取精度不稳定。

发明内容

鉴于现有技术的不足，本发明提出了一种视觉辨识的网球定位系统，相对以往采用激光雷达和超声波的技术，本系统能更精确地区分网球和其他杂物并且在保证识别的准确度前提下，减少了成本，更适宜集成化应用到网球服务机器人上。

本发明的技术方案如下：

一种基于视觉辨识的网球定位系统，其特征在于系统包括：依次连接的提取场地内图像信息的图像提取单元、接收图像信息并对图像信息进行处理的分割单元、识别处理后图像中提取网球轮廓的提取单元以及获取网球坐标的的定位单元；所述分割单元包括对图片进行降噪处理的滤波模块、对图片进行阈值处理并转化的转换模块、获取网球球心像素坐标的搜索模块和进行网球图像过滤的筛选模块。

进一步地，所述滤波模块采用3x3矩形模板根据以下公式对图片像素进行处理：

g＝median[f(x-1,y-1)+f(x,y-1)+f(x+1,y-1)+f(x-1,y)+f(x,y)+f(x+1,y)+f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]

其中，g表示输出像素的灰度值，median表示中值函数，f(x,y)表示像素坐标为(x,y)像素的灰度值。

进一步地，所述转换模块将图像转化为HSV编码图像并根据网球颜色的HSV参数对图像进行阈值化处理，转化为二值图。

进一步地，所述定位单元获取网球相对于机器人的三维坐标，具体包括：

提取网球球心在左、右摄像机坐标系下的Z轴坐标Z_c1、Z_c2：

其中Z_c1、Z_c2是网球球心在左、右摄像机坐标系下的Z轴坐标，u₁、v₁、u₂、v₂是网球球心在左、右摄像头图像中的像素坐标，M_left、M_right是左、右摄像头参数相关的参数矩阵：

其中表示k摄像头参数矩阵第i行第j列的元素；

将M_left、M_right分别带入Z_c1、Z_c2可得：

采用最小二乘法求得网球坐标的最佳解。

进一步地，所述图像提取单元还包括2个并列设置的CMOS摄像头以及摄像头标定模块。

进一步地，两所述CMOS摄像头间距170mm，并分别捕获摄像头前方120度方位内的图像。

本发明的另一目的是还提供了一种基于上述系统的网球定位方法，包括：

步骤1、启动CMOS摄像头，两摄像头同时采集场地区域图像并将图像发送至计算机；

步骤2、计算机处理图像，并识别出网球，具体包括：

将所述图像转化为HSV编码的图像；

构造矩形结构的形态学单元结构对所述图像进行中值滤波操作，在滤除图像中噪点的同时，较好地保留颜色标识物的边缘；

利用已知地颜色标识物的HSV参数对图像进行阈值化处理，得到相应的二值图；

采用最小包围圆算法得到网球球心在左右摄像头拍摄图像中的图像像素坐标；

步骤3、根据双目视觉的基本原理求解出网球相对机器人的坐标。

进一步地，上述网球定位方法还包括对摄像头进行标定和校正的步骤。

本发明还提供了一种基于上述系统的网球定位装置，包括：设置于场地击球侧的拍摄装置、贴在网球场两拦柱上的不同颜色标识物以及与拍摄装置连接的计算机；所述拍摄装置包括由连接件固定的支架、并列设置于支架两端的CMOS摄像头以及带动摄像头旋转运动的舵机。

通过上述技术方案，本发明基于新的网球辨识及其定位原理，利用双目视觉识别网球并对其定位，解决采用激光雷达和超声波技术所造成的误识别问题，在保证辨识准确度和定位精度的前提下，降低硬件成本。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1系统模块图；

图2为本发明实施例2系统模块图；

图3为本发明方法流程图；

图4为本发明装置示意图；

图5为本发明装置应用示例图。

附图标号说明：

1、COMS摄像头，2、舵机，3、支架。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

实施例1：如图1所示一种基于视觉辨识的网球定位系统，其特征在于系统包括：依次连接的提取场地内图像信息的图像提取单元、接收图像信息并对图像信息进行处理的分割单元、识别处理后图像中提取网球轮廓的提取单元以及获取网球坐标的的定位单元；所述分割单元包括滤波模块、转换模块、搜索模块和筛选模块。提取单元提取场地内的图像信息并发送给分割单元进行处理，处理后的图像经滤波、转换、搜索和筛选后，得到网球球心像素坐标，定位单元基于双目视觉的基本原理求得了网球相对于机器人的三维坐标。

提取网球球心在左、右摄像机坐标系下的Z轴坐标Z_c1、Z_c2：

其中表示k摄像头参数矩阵第i行第j列的元素；

将M_left、M_right分别带入Z_c1、Z_c2可得：

采用最小二乘法求得网球坐标的最佳解。

实施例2：如图2所示实施例2是在实施例1的基础上提出的，其中图像提取单元还包括2个并列设置的CMOS摄像头以及摄像头标定模块，利用张正友标定法求解出双目摄像头的内参和外参。进一步地，两所述CMOS摄像头间距170mm，并分别捕获摄像头前方120度方位内的图像。

本发明还提供了一种基于上述系统的网球定位方法，包括：

步骤2、计算机处理图像，并识别出网球，具体包括：

将所述图像转化为HSV编码的图像；

如图3所示，该方法的流程图，网球识别及定位系统上电后，摄像头1获取图片传输到计算机中，由于摄像头拍摄的图像含有噪点，对图片进行中值滤波。中值滤波方法是，对待处理的当前像素，选择一个模板，该模板为其邻近的若干个像素组成，对模板的像素由小到大进行排序，再用模板的中值来替代原像素的值的方法。此处采用3x3矩形模板，中值滤波输出的像素值为：

其中g表示输出像素的灰度值，median表示中值函数，f(x,y)表示像素坐标为(x,y)像素的灰度值。经过中值滤波，图像中的噪声基本消除，可以进行进一步的图像处理。

为抵抗光照对网球图像识别的影响，将上述图像转化为HSV编码的图像，具体地讲：

设R、G、B分别为三个颜色通道的数值，max为R、G、B三个分量的最大值；min为三个分量的最小值，则转换的程序算法如下：

max＝max(R,G,B)

min＝min(R,G,B)

if R＝max,H＝(G-B)/(max-min)

if G＝max,H＝2+(B-R)/(max-min)

if B＝max,H＝4+(R-G)/(max-min)

H＝H*60

if H<0,H＝H+360

V＝max(R,G,B)

S＝(max-min)/max

将摄像头获取的图像根据上式转化为HSV编码图像，由已知的网球颜色的HSV参数，将图像进行阈值化处理，转化为二值图。其中，在标识物颜色范围内的像素值置为255，其余的置为0。至此，完成了网球与其背景的图像分割，其中，网球为白色，背景为黑色。

采用最小包围圆算法得到网球的轮廓，同时获得网球球心在图像中的像素坐标，以及网球轮廓在图像中的像素半径。

根据获得的网球像素半径，对其进行筛选，去除像素半径过大或过小的包围圆。至此，获得了网球球心在左右摄像头图像中的球心像素坐标。

以下是网球的定位方法，由双目视觉的基本原理可知：

其中Z_c1、Z_c2是网球球心在左、右摄像机坐标系下的Z轴坐标，u₁、v₁、u₂、v₂是网球球心在左、右摄像头图像中的像素坐标，M_left、M_right是左、右摄像头参数相关的参数矩阵，具体而言：

其中表示k摄像头参数矩阵第i行第j列的元素，由摄像头标定得到。

将M_left、M_right代入Z_c1、Z_c2方程组中，可得：

上式中有4个方程，共含3个未知数，即X、Y、Z，可用最小二乘法求出最佳解。至此，完成了网球相对于机器人的定位，即求得了网球相对于机器人的三维坐标(X，Y，Z)。

进一步地，上述网球定位方法还包括对摄像头进行标定的步骤，利用张正友标定法求解出双目摄像头的内参和外参。

本发明还提供了一种基于上述系统的网球定位装置，如图4所示包括：设置于场地击球侧的拍摄装置以及与拍摄装置连接的计算机(未示出)；所述拍摄装置包括由连接件固定的支架、并列设置于支架两端的CMOS摄像头以及带动摄像头旋转运动的舵机。

具体地，如图5给出了上述装置的应用实例：2个CMOS摄像头通过USB数据线向计算机发送图像信息，2个CMOS摄像头间距位170mm，从而保证在较远处实现定位，并保证要求的精度。

计算机接收摄像头传输的图像，进行图像处理和图像识别，识别出网球并计算网球的相对位置，具体的将所述图像转化为HSV编码的图像；构造矩形结构的形态学单元结构对所述图像进行中值滤波操作，在滤除图像中噪点的同时，较好地保留颜色标识物的边缘。利用已知地颜色标识物的HSV参数对图像进行阈值化处理，得到相应的二值图。采用最小包围圆算法得到网球球心在左右摄像头拍摄图像中的图像像素坐标。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于视觉辨识的网球定位系统，其特征在于系统包括：依次连接的提取场地内图像信息的图像提取单元、接收图像信息并对图像信息进行处理的分割单元、识别处理后图像中提取网球轮廓的提取单元以及获取网球坐标的的定位单元；所述分割单元包括对图片进行降噪处理的滤波模块、对图片进行阈值处理并转化的转换模块、获取网球球心像素坐标的搜索模块和进行网球图像过滤的筛选模块。

2.根据权利要求1所述的网球定位系统，其特征在于所述滤波模块采用3x3矩形模板根据以下公式对图片像素进行处理：

g＝median[f(x-1，y-1)+f(x，y-1)+f(x+1，y-1)+f(x-1，y)+f(x，y)+f(x+1，y)+f(x-1，y+1)+f(x，y+1)+f(x+1，y+1)]

其中，g表示输出像素的灰度值，median表示中值函数，f(x，y)表示像素坐标为(x，y)像素的灰度值。

3.根据权利要求2所述的网球定位系统，其特征在于所述转换模块将图像转化为HSV编码图像并根据网球颜色的HSV参数对图像进行阈值化处理，转化为二值图。

4.根据权利要求3所述的网球定位系统，其特征在于所述定位单元获取网球相对于机器人的三维坐标，具体包括：

提取网球球心在左、右摄像机坐标系下的Z轴坐标Z_c1、Z_c2：

其中表示k摄像头参数矩阵第i行第j列的元素；

将M_left、M_right分别带入Z_c1、Z_c2可得：

采用最小二乘法求得网球坐标的最佳解。

5.根据权利要求1所述的网球定位系统，其特征在于所述图像提取单元还包括2个并列设置的CMOS摄像头以及摄像头标定模块。

6.根据权利要求5所述的网球定位系统，其特征在于两所述CMOS摄像头间距170mm，并分别捕获摄像头前方120度方位内的图像。

7.一种基于权利要求1所述系统的网球定位方法，包括：

步骤2、计算机处理图像，并识别出网球，具体包括：

将所述图像转化为HSV编码的图像；

构造矩形结构的形态学单元结构对所述图像进行中值滤波操作；

8.根据权利要求7所述网球定位方法，其特征在于还包括对摄像头进行标定的步骤。

9.一种基于权利要求1所述系统的网球定位装置，其特征在于包括：设置于场地击球侧的拍摄装置、贴在网球场两拦柱上的不同颜色标识物以及与拍摄装置连接的计算机；所述拍摄装置包括由连接件固定的支架、并列设置于支架两端的CMOS摄像头以及带动摄像头旋转运动的舵机。