CN100345085C - 基于玩家姿势和语音的电子游戏场景和角色控制方法 - Google Patents
基于玩家姿势和语音的电子游戏场景和角色控制方法 Download PDFInfo
- Publication number
- CN100345085C CN100345085C CNB2004101018812A CN200410101881A CN100345085C CN 100345085 C CN100345085 C CN 100345085C CN B2004101018812 A CNB2004101018812 A CN B2004101018812A CN 200410101881 A CN200410101881 A CN 200410101881A CN 100345085 C CN100345085 C CN 100345085C
- Authority
- CN
- China
- Prior art keywords
- control
- voice
- scene
- game
- attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000004088 simulation Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Abstract
公开基于玩家姿势和语音的电子游戏场景和角色控制方法,包括:对从摄像头获得的图像进行简单有效的预处理;利用姿态特征等时空信息进行图像分割;通过时空相关性进行区域选择和特征提取;通过对多目标之间关系的分析识别,形成对游戏的控制指令;另一方面,通过麦克风和声卡获取语音命令;采用连续语音识别技术,识别特定的词汇;并将其转化为特定的游戏指令;最后将姿态识别得到的方向控制信号和语音识别的其它复杂控制命令相结合,发挥各自的长处,实现模拟游戏场景漫游的实时控制功能。
Description
技术领域
本发明涉及图像分析与识别技术领域,特别是一种基于玩家姿势和语音的子游戏场景和角色控制方法。
背景技术
近年来,随着计算机技术的革新,以计算机游戏为代表的数字娱乐产业飞速发展。作为一类特殊的应用软件,计算机游戏通过向游戏用户提供一系列的菜单选项和操作指令,实现用户与游戏之间的交互操作。用于游戏的传统人机交互方式有:鼠标键盘、游戏杆及专用游戏设备等,以手动和有线连接为主。伴随计算机游戏种类与内容的不断扩展丰富,其操作复杂性剧增,仍然仅采用传统交互方式,越来越难于控制。游戏用户期望能以更自然、更智能的新方式进行交互操作,如采用自身语音、姿体动作等,由此可使游戏更具交互性和沉浸感。随着计算机视觉和语音识别技术的发展,应用视觉和语音技术进行自然的人机交互已经成为可能,由于摄像头、声卡及麦克风已经成为计算机常用的配置,这种技术的应用也就具有广阔的前景。
采用姿势与语音的游戏场景控制,就是用玩家的姿势和语音取代传统的键盘鼠标,仅通过摄像头拍摄玩家姿态及其运动状态,并通过麦克风录入玩家的语音命令,在计算机中进行分析和识别,并将结果转化为游戏的控制指令,实现对游戏中场景和人物的直接控制,以代替或辅助传统的游戏交互方式。由于游戏对实时性要求高,因此视频检测和语音识别方法必需实时、鲁棒。为便于用户使用,这种控制方法还必需易于实现和操作。
发明内容
本发明的目的在于提供一种基于玩家姿势和语音的电子游戏场景和角色控制方法。
本发明的另一个目的是提供一种实时鲁棒的电子游戏场景和角色控制方法,运用计算机视觉和语音识别技术对玩家姿态和语音进行识别,对通过摄像头和声卡设备捕获到的图像和语音进行处理,并实时地、鲁棒地检测出特定姿态的位置、方向以及语音的命令,转换为游戏指令。
为实现上述目的,基于玩家姿势和语音的电子游戏场景和角色控制方法步骤包括:
①通过摄像头设备,实时捕获图像并进行光线校正,去噪等预处理;
②利用人体姿态运动的时间和空间特征进行分割,将分割后的图像进行特征提取、分析,求得姿态特征点位置,方向及他们组成的基本形状参数;通过规则处理,将标志的位置状态,转化为游戏控制命令;
③同时将从声卡获得的声音,采用现有的语音识别技术进行模型匹配识别,并转化为相应的游戏控制命令;
④最后,通过游戏的控制接口驱动游戏,或者直接修改自行开发游戏的内部模型参数。
附图说明
图1是本发明的基于玩家姿势和语音的电子游戏场景和角色控制方法流程图。
图2是多通道游戏场景控制示意图。
图3是采用本方法的游戏控制示意图。
图4是视频和声音的识别结果,映射到相应的游戏控制中的流程图。
具体实施方式
基于玩家姿势和语音的电子游戏场景和角色控制方法,图1所示,
具体步骤如下:
(1)获取帧图像:通过高速图像捕获模块从摄像头获取实时图像,不仅要分析每一帧,还要对相邻帧进行跟踪处理,同时考虑到控制的精度,要求采集速度达到实时;
(2)基于时空联系的分割:考虑到算法的简便性与鲁棒性的要求,我们设计了基于模型的分割方法,进一步结合时空相关性信息,消除噪声等引起的偏差,另外通过对亮度的分析补偿,从而尽可能的消除光照变化的影响;
(3)特征提取与识别:进一步分析和识别分割出来的区域,分别对不同区域单独进行特征分析,提取出具有旋转缩放不变性的特征,并通过上一时刻的结果进行跟踪校验及预测;
(4)参数提取:通过不同区域特征的相关性信息,例如相对位置和角度等,可以形成场景的控制信息,也可以提取位置坐标信息;
(5)语音输入:通过麦克风、声卡采集实时语音数据,包括降噪等预处理;
(6)语音识别:采用非特定人、连续语音识别方法,识别某些离散且实时性要求不高的命令,如启动,停止等;
(7)命令实现:最后将识别的结果,通过预先定义好的命令集进行映射转换,得到游戏的控制信息;
(8)多通道融合:将姿态和语音的控制信息结合,形成高效全面的游戏场景控制指令。
多通道的命令融合如图2所示:
键盘和鼠标的输入数据通过传统通道、麦克风的语音通过语音通道、摄像头的图像信号通过视频通道输入到多通道整合器,再输入到游戏控制器。
将视频和声音的识别结果,映射到相应的游戏控制中,其实例可参见图3。
图4的视频和声音的识别结果,映射到相应的游戏控制中,其基本步骤如下:
1)首先对场景控制命令进行分类,根据视频快速、具有连续模拟输出但比较简单直观的特点,以及语音具有自然快捷的特点,对所需的命令集进行分类,用姿态自然的控制场景的方向,用语音控制相关的启动,加速,停止等命令操作,形成完整的控制方式;
2)基于姿态的控制,首先需要设定各姿态及其相对位置与对应游戏场景控制的对应关系,然后通过摄像头,实时采集人体的姿态及其运动状态,进行在线分析和识别,根据当前的状态,采用一定的预测跟踪算法,输出相应的控制量;
3)基于语音的控制,首先需要建立关键词库,以及关键词与相关命令的映射表,然后通过麦克风采集玩家的语音信号,根据语音的识别结果,产生相应的控制命令;
4)游戏控制接口,将姿态语音的命令,实时整合到游戏的人物和场景控制中,或者直接调整模型达到控制的目的。
Claims (4)
1.一种基于玩家姿势和语音的电子游戏场景和角色控制方法,步骤包括:
①通过摄像头设备,实时捕获图像并进行光线校正,去噪预处理;
②利用人体姿态运动的时间和空间特征进行分割,将分割后的图像进行特征提取、分析,求得姿态特征点位置,方向及他们组成的基本形状参数;设定各姿态及其相对位置与对应游戏场景控制的对应关系,对人体姿态运动状态分析和识别,输出相应的控制量;
③同时将从声卡获得的声音,采用现有的语音识别技术进行模型匹配识别,并转化为相应的游戏控制命令;
④最后,通过游戏的控制接口驱动游戏,或者直接修改自行开发游戏的内部模型参数。
2.根据权利要求1的基于玩家姿势和语音的电子游戏场景和角色控制方法,具体步骤如下:
(1)获取帧图像:通过高速图像捕获模块从摄像头获取实时图像,不仅要分析每一帧,还要对相邻帧进行跟踪处理,要求采集速度达到实时;
(2)基于时空联系的分割:基于模型的分割方法,进一步结合时空相关性信息,消除噪声引起的偏差,通过对亮度的分析补偿,消除光照变化的影响;
(3)特征提取与识别:进一步分析和识别分割出来的区域,分别对不同区域单独进行特征分析,提取出具有旋转缩放不变性的特征,并通过上一时刻的结果进行跟踪校验及预测;
(4)参数提取:通过不同区域特征相关性信息的相对位置和角度,形成场景的控制信息,提取位置坐标信息;
(5)语音输入:通过麦克风、声卡采集实时语音数据,包括降噪预处理;
(6)语音识别:采用非特定人、连续语音识别方法,识别某些离散且实时性要求不高的命令;
(7)命令实现:最后将识别的结果,通过预先定义好的命令集进行映射转换,得到游戏的控制信息;
(8)多通道融合:将姿态和语音的控制信息结合,形成高效全面的游戏场景控制指令。
3.根据权利要求2的基于玩家姿势和语音的电子游戏场景和角色控制方法,多通道融合步骤如下:键盘和鼠标的输入数据通过传统通道、麦克风的语音通过语音通道、摄像头的图像信号通过视频通道输入到多通道整合器,再输入到游戏控制器。
4.根据权利要求1的基于玩家姿势和语音的电子游戏场景和角色控制方法,视频和声音的识别结果,映射到相应的游戏控制中,具体步骤如下:
1)首先对场景控制命令进行分类,根据视频快速、具有连续模拟输出但比较简单直观的特点,以及语音具有自然快捷的特点,对所需的命令集进行分类,用姿态自然的控制场景的方向,用语音控制相关的启动、加速和停止命令操作,形成完整的控制方式;
2)基于姿态的控制,首先需要设定各姿态及其相对位置与对应游戏场景控制的对应关系,然后通过摄像头,实时采集人体的姿态及其运动状态,进行在线分析和识别,根据当前的状态,采用一定的预测跟踪算法,输出相应的控制量;
3)基于语音的控制,首先需要建立关键词库,以及关键词与相关命令的映射表,然后通过麦克风采集玩家的语音信号,根据语音的识别结果,产生相应的控制命令;
4)通过游戏控制接口,将姿态语音的命令,实时整合到游戏的人物和场景控制中,或者直接调整模型达到控制的目的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004101018812A CN100345085C (zh) | 2004-12-30 | 2004-12-30 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2004101018812A CN100345085C (zh) | 2004-12-30 | 2004-12-30 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1797284A CN1797284A (zh) | 2006-07-05 |
CN100345085C true CN100345085C (zh) | 2007-10-24 |
Family
ID=36818346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004101018812A Expired - Fee Related CN100345085C (zh) | 2004-12-30 | 2004-12-30 | 基于玩家姿势和语音的电子游戏场景和角色控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100345085C (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10448762B2 (en) | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
US10663938B2 (en) | 2017-09-15 | 2020-05-26 | Kohler Co. | Power operation of intelligent devices |
US10887125B2 (en) | 2017-09-15 | 2021-01-05 | Kohler Co. | Bathroom speaker |
US11099540B2 (en) | 2017-09-15 | 2021-08-24 | Kohler Co. | User identity in household appliances |
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
US11921794B2 (en) | 2017-09-15 | 2024-03-05 | Kohler Co. | Feedback for water consuming appliance |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP5559691B2 (ja) * | 2007-09-24 | 2014-07-23 | クアルコム,インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
US8419545B2 (en) * | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
JP4919993B2 (ja) * | 2008-03-12 | 2012-04-18 | 株式会社日立製作所 | 情報記録装置 |
US7996793B2 (en) * | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
CN101579571B (zh) * | 2009-04-30 | 2012-09-26 | 武汉市高德电气有限公司 | 实景游戏装置及实现实景游戏的方法 |
US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
CN101902554A (zh) * | 2009-05-25 | 2010-12-01 | 戴维 | 智能化机顶盒及其图像处理方法 |
KR20110010906A (ko) * | 2009-07-27 | 2011-02-08 | 삼성전자주식회사 | 사용자 인터랙션을 이용한 전자기기 제어 방법 및 장치 |
US8284157B2 (en) * | 2010-01-15 | 2012-10-09 | Microsoft Corporation | Directed performance in motion capture system |
CN103135755B (zh) * | 2011-12-02 | 2016-04-06 | 深圳泰山在线科技有限公司 | 交互系统及方法 |
US8468023B1 (en) * | 2012-10-01 | 2013-06-18 | Google Inc. | Handsfree device with countinuous keyword recognition |
CN103869962B (zh) * | 2012-12-18 | 2016-12-28 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
CN104135619A (zh) * | 2014-08-12 | 2014-11-05 | 广东欧珀移动通信有限公司 | 一种摄像头控制方法及装置 |
CN105468138A (zh) * | 2015-07-15 | 2016-04-06 | 武汉理工大学 | 基于脑机接口技术与激光雷达的智能车辆避障导航方法 |
CN106569771A (zh) * | 2015-10-09 | 2017-04-19 | 百度在线网络技术(北京)有限公司 | 对象控制方法及装置 |
CN105913039B (zh) * | 2016-04-26 | 2020-08-18 | 北京光年无限科技有限公司 | 基于视觉和语音的对话数据交互处理方法及装置 |
US20190115012A1 (en) * | 2016-07-07 | 2019-04-18 | Shenzhen Gowild Robotics Co., Ltd | Robot training method under virtual environment and robot training apparatus under same |
CN106178538A (zh) * | 2016-09-13 | 2016-12-07 | 成都创慧科达科技有限公司 | 一种基于姿态检测的智能玩具控制系统及方法 |
CN106681683A (zh) * | 2016-12-26 | 2017-05-17 | 汎达科技(深圳)有限公司 | 一种基于语音控制游戏操作的方法及装置 |
CN107424602A (zh) * | 2017-05-25 | 2017-12-01 | 合肥泽诺信息科技有限公司 | 一种基于语音识别和人体姿态的人机交互式游戏引擎 |
CN108052927B (zh) * | 2017-12-29 | 2021-06-01 | 北京奇虎科技有限公司 | 基于视频数据的手势处理方法及装置、计算设备 |
CN109582137A (zh) * | 2018-11-15 | 2019-04-05 | 深圳市知更鸟旅游投资发展有限公司 | 一种行为动作识别系统及其方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031551A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
US6256033B1 (en) * | 1997-10-15 | 2001-07-03 | Electric Planet | Method and apparatus for real-time gesture recognition |
CN1468004A (zh) * | 2002-06-27 | 2004-01-14 | 上海汉唐科技有限公司 | 基于时空梯度范围和分层结构的全局运动估计方法 |
-
2004
- 2004-12-30 CN CNB2004101018812A patent/CN100345085C/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031551A (ja) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | ヒューマンインターフェースシステムおよびこれを使用した高速移動物体位置検出装置 |
US6256033B1 (en) * | 1997-10-15 | 2001-07-03 | Electric Planet | Method and apparatus for real-time gesture recognition |
CN1468004A (zh) * | 2002-06-27 | 2004-01-14 | 上海汉唐科技有限公司 | 基于时空梯度范围和分层结构的全局运动估计方法 |
Non-Patent Citations (2)
Title |
---|
基于视觉的动态手势识别及其在仿人机器人交互中的应用 刘江华,程君实,陈佳品,机器人,第24卷第3期 2002 * |
视频对象分割及跟踪方法研究 沈未名,江柳,种衍文,武汉大学学报.信息科学版,第29卷第3期 2004 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11153472B2 (en) | 2005-10-17 | 2021-10-19 | Cutting Edge Vision, LLC | Automatic upload of pictures from a camera |
US11818458B2 (en) | 2005-10-17 | 2023-11-14 | Cutting Edge Vision, LLC | Camera touchpad |
US10448762B2 (en) | 2017-09-15 | 2019-10-22 | Kohler Co. | Mirror |
US10663938B2 (en) | 2017-09-15 | 2020-05-26 | Kohler Co. | Power operation of intelligent devices |
US10887125B2 (en) | 2017-09-15 | 2021-01-05 | Kohler Co. | Bathroom speaker |
US11099540B2 (en) | 2017-09-15 | 2021-08-24 | Kohler Co. | User identity in household appliances |
US11314215B2 (en) | 2017-09-15 | 2022-04-26 | Kohler Co. | Apparatus controlling bathroom appliance lighting based on user identity |
US11892811B2 (en) | 2017-09-15 | 2024-02-06 | Kohler Co. | Geographic analysis of water conditions |
US11921794B2 (en) | 2017-09-15 | 2024-03-05 | Kohler Co. | Feedback for water consuming appliance |
US11949533B2 (en) | 2017-09-15 | 2024-04-02 | Kohler Co. | Sink device |
Also Published As
Publication number | Publication date |
---|---|
CN1797284A (zh) | 2006-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100345085C (zh) | 基于玩家姿势和语音的电子游戏场景和角色控制方法 | |
CN111091824B (zh) | 一种语音匹配方法及相关设备 | |
CN112131988B (zh) | 确定虚拟人物唇形的方法、装置、设备和计算机存储介质 | |
WO2021114881A1 (zh) | 智能解说生成、播放方法、装置、设备及计算机存储介质 | |
CN101393599B (zh) | 一种基于人脸表情的游戏角色控制方法 | |
CA2800533C (en) | Natural user input for driving interactive stories | |
US6441825B1 (en) | Video token tracking system for animation | |
CN100487636C (zh) | 基于立体视觉的游戏控制系统及方法 | |
CN103353935B (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
US20110273551A1 (en) | Method to control media with face detection and hot spot motion | |
CN108874126B (zh) | 基于虚拟现实设备的交互方法及系统 | |
CN100596186C (zh) | 一种基于视频和音频的交互式数字多媒体制作方法 | |
US20120019684A1 (en) | Method for controlling and requesting information from displaying multimedia | |
CN103268153A (zh) | 演示环境下基于计算机视觉的人机交互系统及交互方法 | |
CN101110102A (zh) | 基于玩家拳头的游戏场景和角色控制方法 | |
CN103092332A (zh) | 电视数字图像交互方法及系统 | |
CN110750161A (zh) | 一种交互系统、方法、移动设备及计算机可读介质 | |
KR20120120858A (ko) | 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기 | |
Stork et al. | Speechreading: An overview of image processing, feature extraction, sensory integration and pattern recognition techniques | |
CN111103982A (zh) | 基于体感交互的数据处理方法以及装置、系统 | |
CN112965594A (zh) | 一种基于视觉手势识别的机器人人机交互系统和方法 | |
CN113723327A (zh) | 一种基于深度学习的实时中文手语识别交互系统 | |
Karpov et al. | An assistive bi-modal user interface integrating multi-channel speech recognition and computer vision | |
CN116614665A (zh) | 用于与视频中的人物角色交互的视频互动播放系统 | |
CN115480923B (zh) | 一种多模态的智慧教室边缘计算控制系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071024 Termination date: 20151230 |
|
EXPY | Termination of patent right or utility model |