CN101898040A - 互动游戏传感器及其图像处理方法 - Google Patents

Abstract

一种互动游戏传感器及其图像处理方法，该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：用于捕捉游戏玩者图像的感光元件；用于得到游戏玩者关节点二维坐标，以及面部表情的轮廓拐点坐标的专用图像处理IC芯片；用于记录游戏玩者声音的麦克风；用于输出上述游戏玩者坐标及声音的数据线；镜头和电源。本发明提出了把图像处理的算法(关节点的识别和表情识别)固化到一个专用的IC芯片中，并把这个芯片嵌入到摄像头中。这样摄像头输出的数据量就非常的少，可以快速传入到电脑中。可减少电脑用来处理图像的压力，使得电脑专注于游戏的计算，提高互动传感器的响应速度。

Description

互动游戏传感器及其图像处理方法

技术领域

本发明涉及一种用于捕捉互动游戏玩者声音、动作和表情的电子装置及其方法。

背景技术

互动游戏能够满足人们参与游戏的特点，因而受到游戏玩者的喜爱。但是目前的互动游戏装置还无法把游戏玩者在三维空间的运动捕捉到电脑中与网络游戏中的角色进行互动；无法把人的声音捕捉到游戏中，让游戏玩者用声音来控制游戏的展开；也无法把游戏玩者的表情捕捉到游戏中完成游戏玩者控制游戏角色的表情，达到游戏玩者之间传达表情。因而市场需要一种简单的装置来实现上述功能。

发明内容

本发明提供一种互动游戏传感器及其图像处理方法，要解决现有的互动游戏装置无法把游戏玩者的动作，声音和表情捕捉到游戏中与游戏中的角色互动的技术问题。

本发明解决其技术问题所采用的技术方案是：

这种互动游戏传感器，其特征在于：该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：

用于捕捉游戏玩者图像的感光元件；

用于得到游戏玩者关节点二维坐标，及面部表情轮廓拐点坐标的专用图像处理IC芯片；

用于记录游戏玩者声音的麦克风；

用于输出上述游戏玩者图像坐标及声音的数据线；

镜头和电源。

上述壳体底部带有支腿，或在壳体后部带有挂壁装置。

一种应用互动游戏传感器的图像处理方法，其特征在于步骤如下：

步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩者在空间中的两幅图像；

步骤2：由专用图像处理IC芯片得到游戏玩者各个关节点在两副图像中的平面坐标，以及面部表情的轮廓拐点坐标，并由麦克风记录游戏玩者的声音；

步骤3：由数据线将游戏玩者图像的坐标信息及声音传入游戏玩者计算机；

步骤4，在游戏玩者计算机内进行如下操作：

a、通过三维再构的算法得到游戏玩者各个关节点的三维空间的坐标，赋予游戏角色的相应关节；

b、对游戏玩者表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；

c、通过语音识别的方法得到游戏玩者的语义，取出保存在游戏玩者计算机数据库中的运动数据；

步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网传递至游戏服务器，让其他游戏玩者看到自己的动作、语音以及表情效果。

本发明的有益效果如下：

本发明使用两个摄像头的装置(双目视)，从不同的角度拍摄游戏玩者在空间中的两幅图像，然后通过图像处理的方法得到游戏玩者各个关节点在两副图像中的平面坐标，再通过三维再构的算法得到游戏玩者各个关节点在三维空间坐标。把游戏玩者的关节点数据赋予游戏中的角色就可以完成游戏玩者与游戏角色互动。

本发明还提出了使用摄像头自带的麦克风检测出游戏玩者的语音，通过语音识别的方法得到游戏玩者的语义，并把保存在游戏客户端数据库中的运动数据取出，赋值给游戏中的角色，从而实现游戏玩者使用语音命令来控制游戏角色，达到互动娱乐的特点。

本发明还提出了采用轮廓识别的方法对摄像头捕捉到的游戏玩者的表情进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色，使得游戏中的角色表现出和游戏玩者同样的表情。这种表情通过网络传递给网络游戏中的同在一个场景中其他的游戏玩者，从而达到表情传递的目的。

为了提高互动游戏传感器实时响应游戏玩者运动的速度，本发明提出了把图像处理的算法(关节点的识别和表情识别)固化到一个专用的IC芯片中，并把这个芯片嵌入到摄像头中。这样摄像头输出的数据量就非常的少，可以快速传入到电脑中。可减少电脑用来处理图像的压力，使得电脑专注于游戏的计算，提高互动传感器的响应速度。

互动游戏传感器带有一个开发程序包，可提供给任何游戏开发公司，适合开发在电脑上玩的任何种类的游戏特别是动作类游戏。本发明可应用于网吧电脑、家庭电脑、游戏厅的游戏机，可用于网络游戏也可用于单机游戏。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的结构示意图。

1-游戏玩者、2-互动游戏传感器、3-摄像头、4-数据线、5-支腿、6-互联网、7-游戏玩者计算机、8-游戏服务器。

具体实施方式

实施例参见图1所示，这种互动游戏传感器2，该传感器包括两个设于同一壳体内的摄像头3，摄像头上带有如下部件：

用于捕捉游戏玩者图像的感光元件；

用于得到游戏玩者关节点二维坐标，以及面部表情轮廓拐点坐标的专用图像处理IC芯片；

用于记录游戏玩者声音的麦克风；

用于输出上述游戏玩者图像坐标及声音的数据线4；

镜头和电源。

上述壳体底部带有支腿5或在壳体后部带有挂壁装置。

这种互动游戏传感器的使用方法如下：

把互动游戏传感器置于电脑旁边或者电脑的显示器上面，或者干脆挂到墙上。在离互动游戏传感器1-3米远的地方，左右2-3米宽的范围里，游戏玩者不需要携带任何器具或者穿任何特殊的服装，就可以活动起来与游戏中的角色互动。

这种应用互动游戏传感器的图像处理方法，步骤如下：

步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩者在空间中的两幅图像；

步骤2：由专用图像处理IC芯片得到游戏玩者各个关节点在两副图像中的平面坐标，以及面部表情轮廓拐点坐标，并由麦克风记录游戏玩者的声音；

步骤3：由数据线将游戏玩者的坐标信息及声音传入游戏玩者计算机；

步骤4，在游戏玩者计算机7内进行如下操作：

a、通过三维再构的算法得到游戏玩者各个关节点的三维空间坐标，赋予游戏角色的相应关节；

b、对游戏玩者表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；

c、通过语音识别的方法得到游戏玩者的语义，取出保存在游戏玩者计算机数据库中的运动数据；

步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网6传递至游戏服务器8，让其他游戏玩者看到自己的动作、语音以及表情效果。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明专利保护范围内。

Claims (4)

1.一种互动游戏传感器，其特征在于：该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：

用于捕捉游戏玩者图像的感光元件；

用于得到游戏玩者关节点二维坐标，及面部表情轮廓拐点坐标的专用图像处理IC芯片；

用于记录游戏玩者声音的麦克风；

用于输出上述游戏玩者图像坐标及声音的数据线；

镜头和电源。

2.根据权利要求1所述的互动游戏传感器，其特征在于：上述壳体底部带有支腿。

3.根据权利要求1所述的互动游戏传感器，其特征在于：上述壳体后部带有挂壁装置。

4.一种应用上述1～3中任意一项所述互动游戏传感器的图像处理方法，其特征在于步骤如下：

步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩家在空间中的两幅图像；

步骤2：由专用图像处理IC芯片得到玩家各个关节点在两副图像中的平面坐标，以及面部表情轮廓拐点坐标，并由麦克风记录游戏玩者的声音；

步骤3：由数据线将游戏玩者的坐标信息及声音传入游戏玩者计算机；

步骤4，在游戏玩者计算机内进行如下操作：

a、通过三维再构的算法得到玩家各个关节点的三维空间坐标，赋予游戏角色的相应关节；

b、对玩家表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；

c、通过语音识别的方法得到玩家的语义，取出保存在游戏玩者计算机数据库中的运动数据；

步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网传递至游戏服务器，让其他游戏玩者看到自己的动作、语音以及表情效果。

Images