CN108076365B - 人体姿势识别装置 - Google Patents

Abstract

本发明涉及一种人体姿势识别装置，所述装置包括运动员识别设备、手势检测设备和计数设备；运动员识别设备用于获取运动员图像；手势检测设备与运动员识别设备连接，用于检测运动员图像中的手势形状以确定是否发起挑战信号；计数设备与手势检测设备连接，用于在每次接收到发起挑战信号时执行以下操作：计数值自动加1，当计数值小于等于预设挑战次数阈值时，输出准许挑战信号，当计数值大于预设挑战次数阈值时，输出禁止挑战信号。

Description

人体姿势识别装置

本发明是申请号为201710094485.9、申请日为2017年2月22日、发明名称为“智能家居电视”的专利的分案申请。

技术领域

本发明涉及识别领域，尤其涉及一种人体姿势识别装置。

背景技术

当前，即时回放系统精度仍需进一步提高，以适应更多球类运动，其中，关键在于如何提高各种图像处理技术的精度和自适应程度，从而在保持设备规模、维持现有成本的同时提升即时回放系统的性能。

另外，当前的即时回放系统的功能仍比较单一，控制水平仍比较低下，无法满足现场运动员和裁判员的各种需求，更谈不上去维持比赛现场环境和秩序了。

因此，需要一种新的回放控制装置，上述装置能够提高即时回放系统的精度，普及即时回放系统的应用范围，同时能够完善即时回放系统的其他功能，从而提高即时回放系统的智能化水平，保证现场比赛的正常进行。

发明内容

为了解决上述问题，本发明提供了一种人体姿势识别装置，所述装置包括运动员识别设备、手势检测设备和计数设备；运动员识别设备用于获取运动员图像；手势检测设备与运动员识别设备连接，用于检测运动员图像中的手势形状以确定是否发起挑战信号；计数设备与手势检测设备连接，用于在每次接收到发起挑战信号时执行以下操作：计数值自动加1，当计数值小于等于预设挑战次数阈值时，输出准许挑战信号，当计数值大于预设挑战次数阈值时，输出禁止挑战信号。

采用本发明的人体姿势识别装置，针对现有技术中即时回放系统精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放系统的自动化水准，还通过现场检测设备实现对观众席异常情况的判断和位置识别，从而在提高即时回放系统的各项性能。

具体实施方式

下面将对本发明的实施方案进行详细说明。

本发明提供一种人体姿势识别装置，所述装置包括运动员识别设备、手势检测设备和计数设备；运动员识别设备用于获取运动员图像；手势检测设备与运动员识别设备连接，用于检测运动员图像中的手势形状以确定是否发起挑战信号；计数设备与手势检测设备连接，用于在每次接收到发起挑战信号时执行以下操作：计数值自动加1，当计数值小于等于预设挑战次数阈值时，输出准许挑战信号，当计数值大于预设挑战次数阈值时，输出禁止挑战信号。

更具体地，在所述人体姿势识别装置中：计数设备与手势检测设备集成在一块集成电路板上，预置计数值为零。

更具体地，在所述人体姿势识别装置中：计数设备还与回看显示设备 连接。

更具体地，在所述人体姿势识别装置中，包括：摄像机群，由多个高清摄像机组成，多个高清摄像机分别设置在板球场地的不同位置，每一个高清摄像机包括CCD传感设备、伽马校正处理设备、高斯平滑设备、中值滤波设备、图像增强处理、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CCD传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于板球场地的相对位置以及高清摄像机的拍摄方向；坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出板球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对板球场地进行环境重建，以获得并输出板球场地的虚拟场景；场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将板球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；与计数设备连接的 回看显示设备，与场景融合设备连接以接收并回放融合图像帧，回看显示设备包括液晶显示器、显示驱动器和显示缓存；音频采集设备，位于板球场地内，用于对板球场地的观众席进行音频数据采集以输出观众席音频信号；音频去噪设备，位于板球场地内，与音频采集设备连接，用于接收观众席音频信号并对观众席音频信号进行噪声去除处理以获得去噪音频信号；音频分析设备，位于板球场地内，与音频去噪设备连接，用于接收去噪音频信号，并对去噪音频信号进行数据分析以确定去噪音频信号中是否存在喧闹信号；音频定位设备，位于板球场地内，与音频分析设备连接，用于接收去噪音频信号和喧闹信号，确定喧闹信号在去噪音频信号中的发生方位以作为目标方位，并基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域，观众席由各个观众区域组成；运动员识别设备，位于回看显示设备的正下方，用于对板球场地进行俯瞰式图像采集以获得场地图像，并基于场地图像和预先输入的运动员服装特征从场地图像处检测并分割出运动员图像，输出分割出的运动员图像；手势检测设备，与运动员识别设备连接，位于回看显示设备的正下方，用于检测运动员图像中的手势形状，基于检测到的手势形状和预设的基准挑战手势进行匹配，匹配成功则输出发起挑战信号， 匹配失败 则输出未发起挑战信号；计数设备，与手势检测设备集成在一块集成电路板上，预置计数值为零，每次接收到发起挑战信号时执行以下操作：计数值自动加1，当计数值小于等于预设挑战次数阈值时，输出准许挑战信号，当计数值大于预设挑战次数阈值时，输出禁止挑战信号；其中，显示缓存与液晶显示器连接，显示驱动器分别与显示缓存和计数设备连接，显示驱动器用于在接收到准许挑战信号时，将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放，显示驱动器还用于在接收到禁止挑战信号，将与超过挑战次数相关的文字警示信息推送到显示缓存内以便于液晶显示器进行相应显示；其中，音频定位设备基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域包括：将上述各个现场距离与上述目标方位进行逐一匹配，将匹配成功的现场距离对应的观众区域作为目标观众区域；其中，显示驱动器还分别与音频定位设备和音频分析设备连接，用于在接收到存在喧闹信号时，将目标观众区域相应的文字信息以及存在喧闹相应的文字信息推送到显示缓存中以便于液晶显示器进行显示。

更具体地，在所述人体姿势识别装置中：伽马校正处理设备与CCD 传感设备连接，用于接收CCD传感设备采集的高清图像，并对高清图像进行伽马校正处理以输出校正图像；CCD传感设备用于对板球场地进行高清数据采集以输出高清图像；高斯平滑设备与伽马校正处理设备连接，用于接收校正图像，并对校正图像进行高斯平滑处理以获得平滑图像；中值滤波设备与高斯平滑设备连接，用于对平滑图像进行5像素×5像素模块大小的中值滤波处理以获得滤波图像；图像增强处理与中值滤波设备连接，用于对滤波图像进行图像增强处理以获得增强图像；畸变类型检测设备与图像增强处理连接，用于接收增强图像，确定增强图像的外形尺寸，基于增强图像的外形尺寸与基准参考图像的外形尺寸确定增强图像的畸变类型，畸变类型包括埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像。

更具体地，在所述人体姿势识别装置中：畸变处理设备与畸变类型检测设备连接，当接收到的畸变类型为埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时，基于不同的畸变类型对增强图像进行不同的预定几何变换处理，以输出几何校准图像；参考点选择设备与畸变类型检测设备连接，用于在接收到的畸变类型为投影变换畸变时，选择板球场地中的6个位置作为校准参考点，6个位置分别为板球场地边线上的6个基准点。

更具体地，在所述人体姿势识别装置中：畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接，用于确定增强图像中6个位置的坐标，确定基准参考图像中6个位置的坐标，基于增强图像中6个位置的坐标以及基准参考图像中6个位置的坐标确定几何坐标变换矩阵，并基于几何坐标变换矩阵对增强图像的所有像素点进行几何坐标变换以获得对应的多个新像素点，增强图像的所有像素点的水平坐标和垂直坐标都为整数，而新像素点的水平坐标或垂直坐标不一定为整数；畸变灰度映射设备与畸变坐标映射设备连接，用于接收多个新像素点，当新像素点的水平坐标和垂直坐标都为整数时，新像素点的灰度值为增强图像中相同坐标位置的像素点的灰度值，当新像素点的水平坐标或垂直坐标为非整数时，基于增强图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值，基于多个新像素点的灰度值输出几何校准图像。

更具体地，在所述人体姿势识别装置中：目标识别设备分别与畸变处理设备和畸变灰度映射设备连接，用于接收几何校准图像，并基于预设基准板球图案在几何校准图像中识别出板球目标；目标坐标提取设备与目标识别设备连接，用于基于识别出的板球目标在整个几何校准图像中的相对位置，确定板球目标的平面坐标参数。

采用本发明的人体姿势识别装置，针对现有技术中即时回放系统精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放系统的自动化水准，还通过现场检测设备实现对观众席异常情况的判断和位置识别，从而在提高即时回放系统的各项性能。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (1)

1.一种人体姿势识别装置，其特征在于，所述人体姿势识别装置包括：摄像机群，由多个高清摄像机组成，多个高清摄像机分别设置在板球场地的不同位置，每一个高清摄像机包括CCD传感设备、伽马校正处理设备、高斯平滑设备、中值滤波设备、图像增强处理、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CCD传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于板球场地的相对位置以及高清摄像机的拍摄方向；坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出板球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对板球场地进行环境重建，以获得并输出板球场地的虚拟场景；场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将板球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；与计数设备连接的回看显示设备，与场景融合设备连接以接收并回放融合图像帧，回看显示设备包括液晶显示器、显示驱动器和显示缓存；音频采集设备，位于板球场地内，用于对板球场地的观众席进行音频数据采集以输出观众席音频信号；音频去噪设备，位于板球场地内，与音频采集设备连接，用于接收观众席音频信号并对观众席音频信号进行噪声去除处理以获得去噪音频信号；音频分析设备，位于板球场地内，与音频去噪设备连接，用于接收去噪音频信号，并对去噪音频信号进行数据分析以确定去噪音频信号中是否存在喧闹信号；音频定位设备，位于板球场地内，与音频分析设备连接，用于接收去噪音频信号和喧闹信号，确定喧闹信号在去噪音频信号中的发生方位以作为目标方位，并基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域，观众席由各个观众区域组成；运动员识别设备，位于回看显示设备的正下方，用于对板球场地进行俯瞰式图像采集以获得场地图像，并基于场地图像和预先输入的运动员服装特征从场地图像处检测并分割出运动员图像，输出分割出的运动员图像；手势检测设备，与运动员识别设备连接，位于回看显示设备的正下方，用于检测运动员图像中的手势形状，基于检测到的手势形状和预设的基准挑战手势进行匹配，匹配成功则输出发起挑战信号，匹配失败则输出未发起挑战信号；计数设备，与手势检测设备集成在一块集成电路板上，预置计数值为零，每次接收到发起挑战信号时执行以下操作：计数值自动加1，当计数值小于等于预设挑战次数阈值时，输出准许挑战信号，当计数值大于预设挑战次数阈值时，输出禁止挑战信号；其中，显示缓存与液晶显示器连接，显示驱动器分别与显示缓存和计数设备连接，显示驱动器用于在接收到准许挑战信号时，将先前从场景融合设备处接收到的融合图像帧推送到显示缓存内以便于液晶显示器持续回放，显示驱动器还用于在接收到禁止挑战信号，将与超过挑战次数相关的文字警示信息推送到显示缓存内以便于液晶显示器进行相应显示；其中，音频定位设备基于音频采集设备距离各个观众区域的现场距离确定目标方位匹配的观众区域以作为目标观众区域包括：将上述各个现场距离与上述目标方位进行逐一匹配，将匹配成功的现场距离对应的观众区域作为目标观众区域；其中，显示驱动器还分别与音频定位设备和音频分析设备连接，用于在接收到存在喧闹信号时，将目标观众区域相应的文字信息以及存在喧闹相应的文字信息推送到显示缓存中以便于液晶显示器进行显示；

在所述人体姿势识别装置中：伽马校正处理设备与CCD传感设备连接，用于接收CCD传感设备采集的高清图像，并对高清图像进行伽马校正处理以输出校正图像；CCD传感设备用于对板球场地进行高清数据采集以输出高清图像；高斯平滑设备与伽马校正处理设备连接，用于接收校正图像，并对校正图像进行高斯平滑处理以获得平滑图像；中值滤波设备与高斯平滑设备连接，用于对平滑图像进行5像素×5像素模块大小的中值滤波处理以获得滤波图像；图像增强处理与中值滤波设备连接，用于对滤波图像进行图像增强处理以获得增强图像；畸变类型检测设备与图像增强处理连接，用于接收增强图像，确定增强图像的外形尺寸，基于增强图像的外形尺寸与基准参考图像的外形尺寸确定增强图像的畸变类型，畸变类型包括埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变的高清图像；

畸变处理设备与畸变类型检测设备连接，当接收到的畸变类型为埃尔米特变换畸变、扭曲畸变、径向失真畸变、仿射变换畸变或类仿射变换畸变时，基于不同的畸变类型对增强图像进行不同的预定几何变换处理，以输出几何校准图像；参考点选择设备与畸变类型检测设备连接，用于在接收到的畸变类型为投影变换畸变时，选择板球场地中的6个位置作为校准参考点，6个位置分别为板球场地边线上的6个基准点；

畸变坐标映射设备分别与参考点选择设备和畸变类型检测设备连接，用于确定增强图像中6个位置的坐标，确定基准参考图像中6个位置的坐标，基于增强图像中6个位置的坐标以及基准参考图像中6个位置的坐标确定几何坐标变换矩阵，并基于几何坐标变换矩阵对增强图像的所有像素点进行几何坐标变换以获得对应的多个新像素点，增强图像的所有像素点的水平坐标和垂直坐标都为整数，而新像素点的水平坐标或垂直坐标不一定为整数；畸变灰度映射设备与畸变坐标映射设备连接，用于接收多个新像素点，当新像素点的水平坐标和垂直坐标都为整数时，新像素点的灰度值为增强图像中相同坐标位置的像素点的灰度值，当新像素点的水平坐标或垂直坐标为非整数时，基于增强图像中相同坐标位置周围的多个像素点的灰度值计算新像素点的灰度值，基于多个新像素点的灰度值输出几何校准图像；

在所述人体姿势识别装置中：目标识别设备分别与畸变处理设备和畸变灰度映射设备连接，用于接收几何校准图像，并基于预设基准板球图案在几何校准图像中识别出板球目标；目标坐标提取设备与目标识别设备连接，用于基于识别出的板球目标在整个几何校准图像中的相对位置，确定板球目标的平面坐标参数。