CN106686425B - 一种基于图像识别的智能机器人 - Google Patents

Abstract

本发明涉及一种基于图像识别的智能机器人。该基于图像识别的智能机器人改造现有技术中的即时回放机器人的具体结构，引入高自适应能力的畸变消除设备和高精度的图像滤波设备提高预处理图像的精度。

Description

一种基于图像识别的智能机器人

技术领域

本发明涉及机器人领域，其涉及一种基于图像识别的智能机器人。

背景技术

现有技术即时回放机器人具有精度低且功能不够完善的技术问题。

发明内容

为了解决上述问题，本发明提供了一种基于图像识别的智能机器人，所述机器人包括手动操作设备和时间段设置设备，手动操作设备用于接收裁判员输入的控制信号，时间段设置设备与手动操作设备连接，用于基于裁判员输入的控制信号确定是否为裁判员提供选择回放时间段的输入界面。

优选地，手动操作设备位于裁判员位置下方，包括允许挑战按键和拒绝挑战按键。

优选地，手动操作设备用于在接收启动挑战信号时，激活允许挑战按键和拒绝挑战按键，并在裁判员按压允许挑战按键时发出允许挑战信号，在裁判员按压拒绝挑战按键时发出拒绝挑战信号。

优选地，手动操作设备还用于在接收到未启动挑战信号，禁用允许挑战按键和拒绝挑战按键。

优选地，时间段设置设备包括触摸屏，位于裁判员位置下方，与手动操作设备连接，用于在接收到允许挑战信号时，为裁判员提供选择回放时间段的输入界面，并输出裁判员选择的回放时间段；时间段设置设备还用于在接收到拒绝挑战信号时，关闭为裁判员提供选择回放时间段的输入界面。

优选地，所述机器人还包括：

挑战检测设备，位于回看显示设备的正下方，用于检测羽毛球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；

手动操作设备，位于裁判员位置下方，与挑战检测设备连接，包括允许挑战按键和拒绝挑战按键，用于在接收启动挑战信号时，激活允许挑战按键和拒绝挑战按键，并在裁判员按压允许挑战按键时发出允许挑战信号，在裁判员按压拒绝挑战按键时发出拒绝挑战信号；手动操作设备还用于在接收到未启动挑战信号，禁用允许挑战按键和拒绝挑战按键；

时间段设置设备，包括触摸屏，位于裁判员位置下方，与手动操作设备连接，用于在接收到允许挑战信号时，为裁判员提供选择回放时间段的输入界面，并输出裁判员选择的回放时间段；时间段设置设备还用于在接收到拒绝挑战信号时，关闭为裁判员提供选择回放时间段的输入界面；

音频采集设备，位于羽毛球场地内，用于对羽毛球场地的观众席进行音频数据采集以输出观众席音频信号。

优选地，所述机器人还包括：

音频去噪设备，位于羽毛球场地内，与音频采集设备连接，用于接收观众席音频信号并对观众席音频信号进行噪声去除处理以获得去噪音频信号；

音频分析设备，位于羽毛球场地内，与音频去噪设备连接，用于接收去噪音频信号，并对去噪音频信号进行数据分析以确定去噪音频信号中是否存在喧闹信号；

音频定位设备，位于羽毛球场地内，与音频分析设备连接，用于接收去噪音频信号和喧闹信号，确定喧闹信号在去噪音频信号中的发生方位以作为目标方位，并基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域，观众席由各个观众区域组成；

摄像机群，由多个高清摄像机组成，多个高清摄像机分别设置在羽毛球场地的不同位置，每一个高清摄像机包括CCD传感设备、伽马校正处理设备、高斯平滑设备、中值滤波设备、图像增强处理、畸变类型检测设 备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；

摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CCD传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于羽毛球场地的相对位置以及高清摄像机的拍摄方向。

优选地，所述机器人还包括：

坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；

三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出羽毛球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出。

优选地，所述机器人还包括：

环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对羽毛球场地进行环境重建，以获得并输出羽毛球场地的虚拟场景；

场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将羽毛球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；

回看显示设备，与场景融合设备连接以接收并回放融合图像帧，回看显示设备包括液晶显示器、显示驱动器和显示缓存。

优选地，其中，音频定位设备基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域包括：将上述各个现场距离与上述目标方位进行逐一匹配，将匹配成功的现场距离对应 的观众区域作为目标观众区域；

其中，显示驱动器还分别与音频定位设备和音频分析设备连接，用于在接收到存在喧闹信号时，将目标观众区域相应的文字信息以及存在喧闹相应的文字信息推送到显示缓存中以便于液晶显示器进行显示；

其中，显示缓存与液晶显示器连接，显示驱动器分别与显示缓存和时间段设置设备连接，显示驱动器用于在接收到裁判员选择的回放时间段时，按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放。

具体实施方式

下面将对本发明的实施方案进行详细说明。

本发明提供一种基于图像识别的智能机器人，所述机器人包括手动操作设备和时间段设置设备，手动操作设备用于接收裁判员输入的控制信号，时间段设置设备与手动操作设备连接，用于基于裁判员输入的控制信号确定是否为裁判员提供选择回放时间段的输入界面。

该基于图像识别的智能机器人改造现有技术中的即时回放机器人的具体结构，引入高自适应能力的畸变消除设备和高精度的图像滤波设备提高预处理图像的精度，保证后续球类目标识别和运动轨迹判断的准确性，引入回放启动的自动化控制机制，方便运动员和裁判员的操作。

在第一方面，手动操作设备位于裁判员位置下方，包括允许挑战按键和拒绝挑战按键。

在第二方面，手动操作设备用于在接收启动挑战信号时，激活允许挑战按键和拒绝挑战按键，并在裁判员按压允许挑战按键时发出允许挑战信号，在裁判员按压拒绝挑战按键时发出拒绝挑战信号。

在第三方面，手动操作设备还用于在接收到未启动挑战信号，禁用允许挑战按键和拒绝挑战按键。

在第四方面，时间段设置设备包括触摸屏，位于裁判员位置下方，与手动操作设备连接，用于在接收到允许挑战信号时，为裁判员提供选择回放时间段的输入界面，并输出裁判员选择的回放时间段；时间段设置设备还用于在接收到拒绝挑战信号时，关闭为裁判员提供选择回放时间段的输 入界面。

在第五方面，所述机器人包括：

挑战检测设备，位于回看显示设备的正下方，用于检测羽毛球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；

手动操作设备，位于裁判员位置下方，与挑战检测设备连接，包括允许挑战按键和拒绝挑战按键，用于在接收启动挑战信号时，激活允许挑战按键和拒绝挑战按键，并在裁判员按压允许挑战按键时发出允许挑战信号，在裁判员按压拒绝挑战按键时发出拒绝挑战信号；手动操作设备还用于在接收到未启动挑战信号，禁用允许挑战按键和拒绝挑战按键；

时间段设置设备，包括触摸屏，位于裁判员位置下方，与手动操作设备连接，用于在接收到允许挑战信号时，为裁判员提供选择回放时间段的输入界面，并输出裁判员选择的回放时间段；时间段设置设备还用于在接收到拒绝挑战信号时，关闭为裁判员提供选择回放时间段的输入界面；

音频采集设备，位于羽毛球场地内，用于对羽毛球场地的观众席进行音频数据采集以输出观众席音频信号；

音频去噪设备，位于羽毛球场地内，与音频采集设备连接，用于接收观众席音频信号并对观众席音频信号进行噪声去除处理以获得去噪音频信号；

音频分析设备，位于羽毛球场地内，与音频去噪设备连接，用于接收去噪音频信号，并对去噪音频信号进行数据分析以确定去噪音频信号中是否存在喧闹信号；

音频定位设备，位于羽毛球场地内，与音频分析设备连接，用于接收去噪音频信号和喧闹信号，确定喧闹信号在去噪音频信号中的发生方位以作为目标方位，并基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域，观众席由各个观众区域组成；

摄像机群，由多个高清摄像机组成，多个高清摄像机分别设置在羽毛球场地的不同位置，每一个高清摄像机包括CCD传感设备、伽马校正处 理设备、高斯平滑设备、中值滤波设备、图像增强处理、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；

摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CCD传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于羽毛球场地的相对位置以及高清摄像机的拍摄方向；

坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；

三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出羽毛球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；

环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对羽毛球场地进行环境重建，以获得并输出羽毛球场地的虚拟场景；

场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将羽毛球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；

回看显示设备，与场景融合设备连接以接收并回放融合图像帧，回看显示设备包括液晶显示器、显示驱动器和显示缓存；

其中，音频定位设备基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域包括：将上述各个现场距离与上述目标方位进行逐一匹配，将匹配成功的现场距离对应的观众区域作为目标观众区域；

其中，显示驱动器还分别与音频定位设备和音频分析设备连接，用于在接收到存在喧闹信号时，将目标观众区域相应的文字信息以及存在喧闹相应的文字信息推送到显示缓存中以便于液晶显示器进行显示；

其中，显示缓存与液晶显示器连接，显示驱动器分别与显示缓存和时间段设置设备连接，显示驱动器用于在接收到裁判员选择的回放时间段时，按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放。

在第六方面，其中，在每一个高清摄像机中，伽马校正处理设备与CCD传感设备连接，用于接收CCD传感设备采集的高清图像，并对高清图像进行伽马校正处理以输出校正图像；CCD传感设备用于对羽毛球场地进行高清数据采集以输出高清图像；高斯平滑设备与伽马校正处理设备连接，用于接收校正图像，并对校正图像进行高斯平滑处理以获得平滑图像；中值滤波设备与高斯平滑设备连接，用于对平滑图像进行5像素×5像素模块大小的中值滤波处理以获得滤波图像；图像增强处理与中值滤波设备连接，用于对滤波图像进行图像增强处理以获得增强图像。

在第七方面，其中，在每一个高清摄像机中，畸变类型检测设备与图像增强处理连接，用于接收增强图像，确定增强图像的外形尺寸，基于增强图像的外形尺寸与基准参考图像的外形尺寸确定增强图像的畸变类型，畸变类型包括埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像。

在第八方面，其中，在每一个高清摄像机中，畸变处理设备与畸变类型检测设备连接，当接收到的畸变类型为埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时，基于不同的畸变类型对增强图像进行不同的预定几何变换处理，以输出几何校准图像；参考点选择设备与畸变类型检测设备连接，用于在接收到的畸变类型为投影变换畸变时，选择羽毛球场地中的6个位置作为校准参考点，6个位置分别为羽毛球场地中两条双打边线和两条底线组成矩形的4个顶点以及球网的两个球柱的落地点。

在第九方面，其中，在每一个高清摄像机中，畸变坐标映射设备分别 与参考点选择设备和畸变类型检测设备连接，用于确定增强图像中6个位置的坐标，确定基准参考图像中6个位置的坐标，基于增强图像中6个位置的坐标以及基准参考图像中6个位置的坐标确定几何坐标变换矩阵，并基于几何坐标变换矩阵对增强图像的所有像素点进行几何坐标变换以获得对应的多个新像素点，增强图像的所有像素点的水平坐标和垂直坐标都为整数，而新像素点的水平坐标或垂直坐标不一定为整数；

其中，在每一个高清摄像机中，畸变灰度映射设备与畸变坐标映射设备连接，用于接收多个新像素点，当新像素点的水平坐标和垂直坐标都为整数时，新像素点的灰度值为增强图像中相同坐标位置的像素点的灰度值，当新像素点的水平坐标或垂直坐标为非整数时，基于增强图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值，基于多个新像素点的灰度值输出几何校准图像；

其中，在每一个高清摄像机中，目标识别设备分别与畸变处理设备和畸变灰度映射设备连接，用于接收几何校准图像，并基于预设基准羽毛球图案在几何校准图像中识别出羽毛球目标；目标坐标提取设备与目标识别设备连接，用于基于识别出的羽毛球目标在整个几何校准图像中的相对位置，确定羽毛球目标的平面坐标参数。

在第十方面，摄像机定标设备位于羽毛球场地的中央控制室内。

在第十一方面，坐标映射设备位于羽毛球场地的中央控制室内。

另外，滤波器，顾名思义，是对波进行过滤的器件。“波”是一个非常广泛的物理概念，在电子技术领域，“波”被狭义地局限于特指描述各种物理量的取值随时间起伏变化的过程。该过程通过各类传感器的作用，被转换为电压或电流的时间函数，称之为各种物理量的时间波形，或者称之为信号。因为自变量时间是连续取值的，所以称之为连续时间信号，又习惯地称之为模拟信号。

随着数字式电子计算机技术的产生和飞速发展，为了便于计算机对信号进行处理，产生了在抽样定理指导下将连续时间信号变换成离散时间信号的完整的理论和方法。也就是说，可以只用原模拟信号在一系列离散时间坐标点上的样本值表达原始信号而不丢失任何信息，波、波形、信号这些概念既然表达的是客观世界中各种物理量的变化，自然就是现代社会赖 以生存的各种信息的载体。信息需要传播，靠的就是波形信号的传递。信号在它的产生、转换、传输的每一个环节都可能由于环境和干扰的存在而畸变，甚至是在相当多的情况下，这种畸变还很严重，导致信号及其所携带的信息被深深地埋在噪声当中了。为了滤除这些噪声，恢复原本的信号，需要使用各种滤波器进行滤波处理。

采用本发明的基于图像识别的智能机器人，针对现有技术即时回放机器人精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放机器人的自动化水准，还通过现场检测设备实现对观众席异常情况的判断和位置识别，从而解决了上述技术问题。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.一种基于图像识别的智能机器人，其特征在于，所述机器人包括：

挑战检测设备，位于回看显示设备的正下方，用于检测羽毛球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；

用于接收裁判员输入的控制信号的手动操作设备，位于裁判员位置下方，与挑战检测设备连接，包括允许挑战按键和拒绝挑战按键，用于在接收启动挑战信号时，激活允许挑战按键和拒绝挑战按键，并在裁判员按压允许挑战按键时发出允许挑战信号，在裁判员按压拒绝挑战按键时发出拒绝挑战信号；手动操作设备还用于在接收到未启动挑战信号，禁用允许挑战按键和拒绝挑战按键；

用于基于裁判员输入的控制信号确定是否为裁判员提供选择回放时间段的输入界面的时间段设置设备，包括触摸屏，位于裁判员位置下方，与手动操作设备连接，用于在接收到允许挑战信号时，为裁判员提供选择回放时间段的输入界面，并输出裁判员选择的回放时间段；时间段设置设备还用于在接收到拒绝挑战信号时，关闭为裁判员提供选择回放时间段的输入界面；

音频采集设备，位于羽毛球场地内，用于对羽毛球场地的观众席进行音频数据采集以输出观众席音频信号。

2.根据权利要求1所述的基于图像识别的智能机器人，其特征在于，所述机器人还包括：

音频去噪设备，位于羽毛球场地内，与音频采集设备连接，用于接收观众席音频信号并对观众席音频信号进行噪声去除处理以获得去噪音频信号；

音频分析设备，位于羽毛球场地内，与音频去噪设备连接，用于接收去噪音频信号，并对去噪音频信号进行数据分析以确定去噪音频信号中是否存在喧闹信号；

音频定位设备，位于羽毛球场地内，与音频分析设备连接，用于接收去噪音频信号和喧闹信号，确定喧闹信号在去噪音频信号中的发生方位以作为目标方位，并基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域，观众席由各个观众区域组成；

摄像机群，由多个高清摄像机组成，多个高清摄像机分别设置在羽毛球场地的不同位置，每一个高清摄像机包括CCD传感设备、伽马校正处理设备、高斯平滑设备、中值滤波设备、图像增强处理、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；

摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CCD传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于羽毛球场地的相对位置以及高清摄像机的拍摄方向。

3.根据权利要求2所述的基于图像识别的智能机器人，其特征在于，所述机器人还包括：

坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；

三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出羽毛球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出。

4.根据权利要求3所述的基于图像识别的智能机器人，其特征在于，所述机器人还包括：

环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对羽毛球场地进行环境重建，以获得并输出羽毛球场地的虚拟场景；

场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将羽毛球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；

回看显示设备，与场景融合设备连接以接收并回放融合图像帧，回看显示设备包括液晶显示器、显示驱动器和显示缓存。

5.根据权利要求4所述的基于图像识别的智能机器人，其特征在于，

其中，音频定位设备基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域包括：将上述各个现场距离与上述目标方位进行逐一匹配，将匹配成功的现场距离对应的观众区域作为目标观众区域；

其中，显示驱动器还分别与音频定位设备和音频分析设备连接，用于在接收到存在喧闹信号时，将目标观众区域相应的文字信息以及存在喧闹相应的文字信息推送到显示缓存中以便于液晶显示器进行显示；

其中，显示缓存与液晶显示器连接，显示驱动器分别与显示缓存和时间段设置设备连接，显示驱动器用于在接收到裁判员选择的回放时间段时，按照裁判员选择的回放时间段将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放。