CN101898040A - 互动游戏传感器及其图像处理方法 - Google Patents
互动游戏传感器及其图像处理方法 Download PDFInfo
- Publication number
- CN101898040A CN101898040A CN 200910143420 CN200910143420A CN101898040A CN 101898040 A CN101898040 A CN 101898040A CN 200910143420 CN200910143420 CN 200910143420 CN 200910143420 A CN200910143420 A CN 200910143420A CN 101898040 A CN101898040 A CN 101898040A
- Authority
- CN
- China
- Prior art keywords
- player
- game
- recreation
- sensor
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Toys (AREA)
Abstract
一种互动游戏传感器及其图像处理方法，该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：用于捕捉游戏玩者图像的感光元件；用于得到游戏玩者关节点二维坐标，以及面部表情的轮廓拐点坐标的专用图像处理IC芯片；用于记录游戏玩者声音的麦克风；用于输出上述游戏玩者坐标及声音的数据线；镜头和电源。本发明提出了把图像处理的算法(关节点的识别和表情识别)固化到一个专用的IC芯片中，并把这个芯片嵌入到摄像头中。这样摄像头输出的数据量就非常的少，可以快速传入到电脑中。可减少电脑用来处理图像的压力，使得电脑专注于游戏的计算，提高互动传感器的响应速度。
Description
技术领域
本发明涉及一种用于捕捉互动游戏玩者声音、动作和表情的电子装置及其方法。
背景技术
互动游戏能够满足人们参与游戏的特点，因而受到游戏玩者的喜爱。但是目前的互动游戏装置还无法把游戏玩者在三维空间的运动捕捉到电脑中与网络游戏中的角色进行互动；无法把人的声音捕捉到游戏中，让游戏玩者用声音来控制游戏的展开；也无法把游戏玩者的表情捕捉到游戏中完成游戏玩者控制游戏角色的表情，达到游戏玩者之间传达表情。因而市场需要一种简单的装置来实现上述功能。
发明内容
本发明提供一种互动游戏传感器及其图像处理方法，要解决现有的互动游戏装置无法把游戏玩者的动作，声音和表情捕捉到游戏中与游戏中的角色互动的技术问题。
本发明解决其技术问题所采用的技术方案是：
这种互动游戏传感器，其特征在于：该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：
用于捕捉游戏玩者图像的感光元件；
用于得到游戏玩者关节点二维坐标，及面部表情轮廓拐点坐标的专用图像处理IC芯片；
用于记录游戏玩者声音的麦克风；
用于输出上述游戏玩者图像坐标及声音的数据线；
镜头和电源。
上述壳体底部带有支腿，或在壳体后部带有挂壁装置。
一种应用互动游戏传感器的图像处理方法，其特征在于步骤如下：
步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩者在空间中的两幅图像；
步骤2：由专用图像处理IC芯片得到游戏玩者各个关节点在两副图像中的平面坐标，以及面部表情的轮廓拐点坐标，并由麦克风记录游戏玩者的声音；
步骤3：由数据线将游戏玩者图像的坐标信息及声音传入游戏玩者计算机；
步骤4，在游戏玩者计算机内进行如下操作：
a、通过三维再构的算法得到游戏玩者各个关节点的三维空间的坐标，赋予游戏角色的相应关节；
b、对游戏玩者表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；
c、通过语音识别的方法得到游戏玩者的语义，取出保存在游戏玩者计算机数据库中的运动数据；
步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网传递至游戏服务器，让其他游戏玩者看到自己的动作、语音以及表情效果。
本发明的有益效果如下：
本发明使用两个摄像头的装置(双目视)，从不同的角度拍摄游戏玩者在空间中的两幅图像，然后通过图像处理的方法得到游戏玩者各个关节点在两副图像中的平面坐标，再通过三维再构的算法得到游戏玩者各个关节点在三维空间坐标。把游戏玩者的关节点数据赋予游戏中的角色就可以完成游戏玩者与游戏角色互动。
本发明还提出了使用摄像头自带的麦克风检测出游戏玩者的语音，通过语音识别的方法得到游戏玩者的语义，并把保存在游戏客户端数据库中的运动数据取出，赋值给游戏中的角色，从而实现游戏玩者使用语音命令来控制游戏角色，达到互动娱乐的特点。
本发明还提出了采用轮廓识别的方法对摄像头捕捉到的游戏玩者的表情进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色，使得游戏中的角色表现出和游戏玩者同样的表情。这种表情通过网络传递给网络游戏中的同在一个场景中其他的游戏玩者，从而达到表情传递的目的。
为了提高互动游戏传感器实时响应游戏玩者运动的速度，本发明提出了把图像处理的算法(关节点的识别和表情识别)固化到一个专用的IC芯片中，并把这个芯片嵌入到摄像头中。这样摄像头输出的数据量就非常的少，可以快速传入到电脑中。可减少电脑用来处理图像的压力，使得电脑专注于游戏的计算，提高互动传感器的响应速度。
互动游戏传感器带有一个开发程序包，可提供给任何游戏开发公司，适合开发在电脑上玩的任何种类的游戏特别是动作类游戏。本发明可应用于网吧电脑、家庭电脑、游戏厅的游戏机，可用于网络游戏也可用于单机游戏。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的结构示意图。
1-游戏玩者、2-互动游戏传感器、3-摄像头、4-数据线、5-支腿、6-互联网、7-游戏玩者计算机、8-游戏服务器。
具体实施方式
实施例参见图1所示，这种互动游戏传感器2，该传感器包括两个设于同一壳体内的摄像头3，摄像头上带有如下部件：
用于捕捉游戏玩者图像的感光元件；
用于得到游戏玩者关节点二维坐标，以及面部表情轮廓拐点坐标的专用图像处理IC芯片；
用于记录游戏玩者声音的麦克风；
用于输出上述游戏玩者图像坐标及声音的数据线4；
镜头和电源。
上述壳体底部带有支腿5或在壳体后部带有挂壁装置。
这种互动游戏传感器的使用方法如下：
把互动游戏传感器置于电脑旁边或者电脑的显示器上面，或者干脆挂到墙上。在离互动游戏传感器1-3米远的地方，左右2-3米宽的范围里，游戏玩者不需要携带任何器具或者穿任何特殊的服装，就可以活动起来与游戏中的角色互动。
这种应用互动游戏传感器的图像处理方法，步骤如下：
步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩者在空间中的两幅图像；
步骤2：由专用图像处理IC芯片得到游戏玩者各个关节点在两副图像中的平面坐标，以及面部表情轮廓拐点坐标，并由麦克风记录游戏玩者的声音；
步骤3：由数据线将游戏玩者的坐标信息及声音传入游戏玩者计算机；
步骤4，在游戏玩者计算机7内进行如下操作：
a、通过三维再构的算法得到游戏玩者各个关节点的三维空间坐标，赋予游戏角色的相应关节；
b、对游戏玩者表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；
c、通过语音识别的方法得到游戏玩者的语义，取出保存在游戏玩者计算机数据库中的运动数据；
步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网6传递至游戏服务器8，让其他游戏玩者看到自己的动作、语音以及表情效果。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明专利保护范围内。
Claims (4)
1.一种互动游戏传感器，其特征在于：该传感器包括两个设于同一壳体内的摄像头，摄像头上带有如下部件：
用于捕捉游戏玩者图像的感光元件；
用于得到游戏玩者关节点二维坐标，及面部表情轮廓拐点坐标的专用图像处理IC芯片；
用于记录游戏玩者声音的麦克风；
用于输出上述游戏玩者图像坐标及声音的数据线；
镜头和电源。
2.根据权利要求1所述的互动游戏传感器，其特征在于：上述壳体底部带有支腿。
3.根据权利要求1所述的互动游戏传感器，其特征在于：上述壳体后部带有挂壁装置。
4.一种应用上述1～3中任意一项所述互动游戏传感器的图像处理方法，其特征在于步骤如下：
步骤1：使用互动游戏传感器通过其内置的两个摄像头从不同的角度拍摄游戏玩家在空间中的两幅图像；
步骤2：由专用图像处理IC芯片得到玩家各个关节点在两副图像中的平面坐标，以及面部表情轮廓拐点坐标，并由麦克风记录游戏玩者的声音；
步骤3：由数据线将游戏玩者的坐标信息及声音传入游戏玩者计算机；
步骤4，在游戏玩者计算机内进行如下操作：
a、通过三维再构的算法得到玩家各个关节点的三维空间坐标，赋予游戏角色的相应关节；
b、对玩家表情的轮廓拐点坐标进行识别，从表情库中检索出最接近的表情而赋予相应的游戏角色；
c、通过语音识别的方法得到玩家的语义，取出保存在游戏玩者计算机数据库中的运动数据；
步骤5，将上述步骤4中得到的关节、表情及语音数据经互联网传递至游戏服务器，让其他游戏玩者看到自己的动作、语音以及表情效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910143420 CN101898040A (zh) | 2009-05-25 | 2009-05-25 | 互动游戏传感器及其图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910143420 CN101898040A (zh) | 2009-05-25 | 2009-05-25 | 互动游戏传感器及其图像处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101898040A true CN101898040A (zh) | 2010-12-01 |
Family
ID=43224167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200910143420 Pending CN101898040A (zh) | 2009-05-25 | 2009-05-25 | 互动游戏传感器及其图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101898040A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662472A (zh) * | 2012-04-10 | 2012-09-12 | 苏州中科启慧软件技术有限公司 | 基于肢体动作的学习方法及其云服务系统 |
| CN103869962A (zh) * | 2012-12-18 | 2014-06-18 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN104606882A (zh) * | 2014-12-31 | 2015-05-13 | 南宁九金娃娃动漫有限公司 | 一种体感游戏互动方法及系统 |
| CN107469349A (zh) * | 2017-09-14 | 2017-12-15 | 光锐恒宇（北京）科技有限公司 | 一种游戏应用的控制方法和装置 |
| CN109147377A (zh) * | 2018-08-07 | 2019-01-04 | 刘丽 | 一种分屏游戏的车库引导系统及其引导方法 |
-
2009
- 2009-05-25 CN CN 200910143420 patent/CN101898040A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662472A (zh) * | 2012-04-10 | 2012-09-12 | 苏州中科启慧软件技术有限公司 | 基于肢体动作的学习方法及其云服务系统 |
| CN103869962A (zh) * | 2012-12-18 | 2014-06-18 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN103869962B (zh) * | 2012-12-18 | 2016-12-28 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN104606882A (zh) * | 2014-12-31 | 2015-05-13 | 南宁九金娃娃动漫有限公司 | 一种体感游戏互动方法及系统 |
| CN104606882B (zh) * | 2014-12-31 | 2018-01-16 | 南宁九金娃娃动漫有限公司 | 一种体感游戏互动方法及系统 |
| CN107469349A (zh) * | 2017-09-14 | 2017-12-15 | 光锐恒宇（北京）科技有限公司 | 一种游戏应用的控制方法和装置 |
| CN109147377A (zh) * | 2018-08-07 | 2019-01-04 | 刘丽 | 一种分屏游戏的车库引导系统及其引导方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11724177B2 (en) | Controller having lights disposed along a loop of the controller | |
| JP6792044B2 (ja) | ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御 | |
| US9987554B2 (en) | Gaming device with volumetric sensing | |
| CN107533230B (zh) | 头戴式显示器用追踪系统 | |
| JP7185699B2 (ja) | 仮想シーンプリロード方法 | |
| CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和系统 | |
| CN106659934B (zh) | 用于将头戴式显示器(hmd)内容与第二屏幕社交分享的方法和系统 | |
| US10296086B2 (en) | Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments | |
| Bregler | Motion capture technology for entertainment [in the spotlight] | |
| CN108986192B (zh) | 用于直播的数据处理方法及装置 | |
| CN102622774B (zh) | 起居室电影创建 | |
| CN103930180B (zh) | 对游戏控制器校准和偏置的系统和方法 | |
| CN101898040A (zh) | 互动游戏传感器及其图像处理方法 | |
| CN114900678B (zh) | 一种vr端端云结合的虚拟演唱会渲染方法及系统 | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| CN106659937A (zh) | 用户生成的动态虚拟世界 | |
| CN105727559A (zh) | 一种基于虚拟现实健身游戏系统的健身游戏实现方法 | |
| WO2022267729A1 (zh) | 基于虚拟场景的互动方法、装置、设备、介质及程序产品 | |
| Nguyen et al. | Real-time 3D human capture system for mixed-reality art and entertainment | |
| WO2014145532A1 (en) | Augmented reality systems and methods used to identify toys and trigger video and graphics | |
| CN115442658B (zh) | 直播方法、装置、存储介质、电子设备及产品 | |
| CN108325208A (zh) | 应用于游戏领域的增强现实实现方法 | |
| CN109547806A (zh) | 一种ar替身直播方法 | |
| CN107115675A (zh) | 一种基于Kinect的体育健身游戏系统及实现方法 | |
| CN101902554A (zh) | 智能化机顶盒及其图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20101201 |