CN107424602A - 一种基于语音识别和人体姿态的人机交互式游戏引擎 - Google Patents

一种基于语音识别和人体姿态的人机交互式游戏引擎 Download PDF

Info

Publication number
CN107424602A
CN107424602A CN201710379562.5A CN201710379562A CN107424602A CN 107424602 A CN107424602 A CN 107424602A CN 201710379562 A CN201710379562 A CN 201710379562A CN 107424602 A CN107424602 A CN 107424602A
Authority
CN
China
Prior art keywords
module
voice
game
voice messaging
pretreatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710379562.5A
Other languages
English (en)
Inventor
张庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zeno Mdt Infotech Ltd
Original Assignee
Hefei Zeno Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Zeno Mdt Infotech Ltd filed Critical Hefei Zeno Mdt Infotech Ltd
Priority to CN201710379562.5A priority Critical patent/CN107424602A/zh
Publication of CN107424602A publication Critical patent/CN107424602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/30—Miscellaneous game characteristics with a three-dimensional image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了本发明为一种基于语音识别和人体姿态的人机交互式游戏引擎，包括3D场景加载模块、3D渲染模块、语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块，其中3D场景加载模块与3D渲染模块相连，语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块、3D渲染模块依次连接。本发明通过获取玩家的肢体动作和声音，驱动游戏中的角色做出符合玩家意愿的动作，并带动游戏情节向前发展，极大的增加游戏的趣味性，以及充分调动游戏玩家的积极性，互动式游戏引擎使得计算机能够自动识别人的语音命令和动作，并以此来驱动游戏中模型做出相应的动作，大大提高了游戏游戏的娱乐性和宜人性。

Description

一种基于语音识别和人体姿态的人机交互式游戏引擎
技术领域
本发明属于语音识别技术领域，特别是涉及一种基于语音识别和人体姿态的人机交互式游戏引擎。
背景技术
互动式游戏引擎，就是在现有的游戏引擎中加入捕捉游戏镜头内运动体的动作以及声音这项功能。现有的游戏大多是采用键盘或操纵杆完成游戏操作，不仅会使玩家容易产生疲劳感，长时间的疲劳感又会造成玩家对游戏逐渐丧失趣味性，而且久坐玩游戏会导致玩家因缺乏锻炼而使身体健康状况下降。因此，本发明提供一种交互式游戏引擎，使玩家很方便的通过语音和人体姿态进行游戏娱乐，以达到身心娱乐的效果。
发明内容
本发明的目的在于提供一种基于语音识别和人体姿态的人机交互式游戏引擎，通过输入语音和获取人体姿态，提高了游戏玩家的操控便捷性和游戏的趣味性，解决了现有的游戏需要手动操作键盘或操纵杆进行游戏操作、趣味性较低、易导致疲劳、导致玩家普遍缺乏身体锻炼体质下降的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于语音识别和人体姿态的人机交互式游戏引擎，包括3D场景加载模块、3D渲染模块、语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块；所述3D场景加载模块用于完成游戏静态场景的初始化并将初始化的游戏静态场景发送至3D渲染模块；所述语音输入模块用于输入语音信息并将其发送至语音预处理模块；所述语音预处理模块用于接收语音信息，然后完成对语音信息的预处理，并将预处理后的语音信息发送至端点检测模块；所述端点检测模块用于接收预处理后的语音信息、完成对语音信息的起止点的判断，并将判断后的语音信息输入到特征提取模块；所述特征提取模块用于接收端点检测模块判断后的语音信息、完成语音特征参数的提取，并将特征提取后的语音信息发送至模式匹配模块；所述模式匹配模块用于接收特征提取后的语音信息、完成对该语音信息与模板数据匹配距离的计算，并输出匹配的模板编号至3D渲染模块；所述3D渲染模块用于接收匹配模板编号和初始化的游戏静态场景，然后根据该模板编号加载人物场景的转移矩阵以及人物坐标数据。
进一步地，所述静态场景包括地面、树木、天空、人物的坐标、材质、皮肤、骨骼。
进一步地，所述语音信息的预处理包括对语音信息的预加重处理、加窗处理、分帧处理。
本发明具有以下有益效果：
本发明基于互动式游戏引擎开发游戏将会颠覆现有的游戏模式，游戏玩家不需要通过鼠标、键盘或游戏杆来操纵角色，而只要通过自己的肢体动作和声音，就可以驱动游戏中的角色做出符合玩家意愿的动作，并带动游戏情节向前发展，可以极大的增加游戏的趣味性，以及充分调动游戏玩家的积极性，互动式游戏引擎最重要的就是要使得计算机能够自动识别人的语音命令和动作，并以此来驱动游戏中模型做出相应的动作，大大提高了游戏游戏的娱乐性和宜人性；同时，在游戏玩家娱乐的同时还能放松身心、活动筋骨，达到有益身心健康的娱乐效果。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明的一种基于语音识别和人体姿态的人机交互式游戏引擎的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于语音识别和人体姿态的人机交互式游戏引擎，包括3D场景加载模块、3D渲染模块、语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块，其中3D场景加载模块与3D渲染模块相连，语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块、3D渲染模块依次连接。
语音输入模块用于输入语音信息并将其发送至语音预处理模块。
语音预处理模块用于接收语音信息，然后完成对语音信息的预加重、加窗、分帧等预处理，并将预处理后的语音信息发送至端点检测模块。
端点检测模块用于接收预处理后的语音信息、完成对语音信息的起止点的判断，并将判断后的语音信息输入到特征提取模块。
特征提取模块用于接收端点检测模块判断后的语音信息、完成语音特征参数的提取，并将特征提取后的语音信息发送至模式匹配模块。
模式匹配模块用于接收特征提取后的语音信息、完成对该语音信息与模板数据匹配距离的计算，并输出匹配的模板编号至3D渲染模块。
3D场景加载模块用于完成游戏静态场景的初始化，静态场景包括地面、树木、天空、人物等的坐标、材质、皮肤、骨骼等。
3D渲染模块用于接收匹配模板编号和初始化的游戏静态场景，然后根据该模板编号加载人物场景的转移矩阵以及人物坐标等数据。
最后需要说明的是，以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.一种基于语音识别和人体姿态的人机交互式游戏引擎，其特征在于：包括3D场景加载模块、3D渲染模块、语音输入模块、语音预处理模块、端点检测模块、特征提取模块、模式匹配模块；
所述3D场景加载模块用于完成游戏静态场景的初始化并将初始化的游戏静态场景发送至3D渲染模块；
所述语音输入模块用于输入语音信息并将其发送至语音预处理模块；
所述语音预处理模块用于接收语音信息，然后完成对语音信息的预处理，并将预处理后的语音信息发送至端点检测模块；
所述端点检测模块用于接收预处理后的语音信息、完成对语音信息的起止点的判断，并将判断后的语音信息输入到特征提取模块；
所述特征提取模块用于接收端点检测模块判断后的语音信息、完成语音特征参数的提取，并将特征提取后的语音信息发送至模式匹配模块；
所述模式匹配模块用于接收特征提取后的语音信息、完成对该语音信息与模板数据匹配距离的计算，并输出匹配的模板编号至3D渲染模块；
所述3D渲染模块用于接收匹配模板编号和初始化的游戏静态场景，然后根据该模板编号加载人物场景的转移矩阵以及人物坐标数据。
2.根据权利要求1所述的一种基于语音识别和人体姿态的人机交互式游戏引擎，其特征在于：所述静态场景包括地面、树木、天空、人物的坐标、材质、皮肤、骨骼。
3.根据权利要求1所述的一种基于语音识别和人体姿态的人机交互式游戏引擎，其特征在于：所述语音信息的预处理包括对语音信息的预加重处理、加窗处理、分帧处理。
CN201710379562.5A 2017-05-25 2017-05-25 一种基于语音识别和人体姿态的人机交互式游戏引擎 Pending CN107424602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710379562.5A CN107424602A (zh) 2017-05-25 2017-05-25 一种基于语音识别和人体姿态的人机交互式游戏引擎

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710379562.5A CN107424602A (zh) 2017-05-25 2017-05-25 一种基于语音识别和人体姿态的人机交互式游戏引擎

Publications (1)

Publication Number Publication Date
CN107424602A true CN107424602A (zh) 2017-12-01

Family

ID=60429057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710379562.5A Pending CN107424602A (zh) 2017-05-25 2017-05-25 一种基于语音识别和人体姿态的人机交互式游戏引擎

Country Status (1)

Country Link
CN (1) CN107424602A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109364485A (zh) * 2018-10-22 2019-02-22 镇江悦乐网络科技有限公司 一种三维网络游戏引擎系统
CN111939558A (zh) * 2020-08-19 2020-11-17 北京中科深智科技有限公司 一种实时语音驱动虚拟人物动作的方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797284A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法
CN102622509A (zh) * 2012-01-21 2012-08-01 天津大学 基于单目视频的三维游戏交互系统
CN104182118A (zh) * 2013-05-27 2014-12-03 苏州蜗牛数字科技股份有限公司 一种基于网络游戏的3d交互方法
CN105323576A (zh) * 2014-07-29 2016-02-10 邓澍新 用于3d内容创建的系统和方法
CN105389090A (zh) * 2015-11-06 2016-03-09 网易（杭州）网络有限公司 游戏交互界面显示的方法及装置、移动终端和电脑终端
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
US20160140963A1 (en) * 2014-11-13 2016-05-19 International Business Machines Corporation Speech recognition candidate selection based on non-acoustic input
CN106331801A (zh) * 2016-08-31 2017-01-11 北京乐动卓越科技有限公司 一种智能电视体感游戏的人机交互方法和系统
CN106448676A (zh) * 2016-10-26 2017-02-22 安徽省云逸智能科技有限公司 一种基于自然语言处理的机器人语音识别系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797284A (zh) * 2004-12-30 2006-07-05 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法
CN102622509A (zh) * 2012-01-21 2012-08-01 天津大学 基于单目视频的三维游戏交互系统
CN104182118A (zh) * 2013-05-27 2014-12-03 苏州蜗牛数字科技股份有限公司 一种基于网络游戏的3d交互方法
CN105323576A (zh) * 2014-07-29 2016-02-10 邓澍新 用于3d内容创建的系统和方法
US20160140963A1 (en) * 2014-11-13 2016-05-19 International Business Machines Corporation Speech recognition candidate selection based on non-acoustic input
CN105389090A (zh) * 2015-11-06 2016-03-09 网易（杭州）网络有限公司 游戏交互界面显示的方法及装置、移动终端和电脑终端
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
CN106331801A (zh) * 2016-08-31 2017-01-11 北京乐动卓越科技有限公司 一种智能电视体感游戏的人机交互方法和系统
CN106448676A (zh) * 2016-10-26 2017-02-22 安徽省云逸智能科技有限公司 一种基于自然语言处理的机器人语音识别系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109364485A (zh) * 2018-10-22 2019-02-22 镇江悦乐网络科技有限公司 一种三维网络游戏引擎系统
CN111939558A (zh) * 2020-08-19 2020-11-17 北京中科深智科技有限公司 一种实时语音驱动虚拟人物动作的方法和系统

Similar Documents

Publication Publication Date Title
US11120598B2 (en) Holographic multi avatar training system interface and sonification associative training
Solarski Drawing basics and video game art: Classic to cutting-edge art techniques for winning video game design
JP5865357B2 (ja) アバター・ジェスチャーの表示制限
CN102129343B (zh) 运动捕捉系统中的受指导的表演
CN106710590A (zh) 基于虚拟现实环境的具有情感功能的语音交互系统及方法
US20080215974A1 (en) Interactive user controlled avatar animations
CN101893935A (zh) 基于真实球拍的协同式增强现实乒乓球系统构建方法
CN102831380A (zh) 一种基于深度图像感应的肢体动作识别方法及系统
CN106166376A (zh) 简化24式太极拳综合训练系统
CN110853614A (zh) 虚拟对象口型驱动方法、装置及终端设备
CN107174826A (zh) 一种基于增强现实的游戏角色扮演用换装试衣系统
CN104080008A (zh) 一种智能电视游戏互动系统及其方法
CN107424602A (zh) 一种基于语音识别和人体姿态的人机交互式游戏引擎
CN107961530A (zh) 互动游戏
CN112007359A (zh) 一种图像展示方法、可读存储介质和计算机设备
CN106909438A (zh) 基于真实数据的虚拟数据构建方法和系统
CN108874120A (zh) 人机交互系统、方法、计算机可读存储介质及交互装置
CN105832503B (zh) 一种用于斜视矫正的画面输出方法及装置
CN108815845B (zh) 人机交互的信息处理方法及装置、计算机设备及可读介质
Rawson Sculpture
CN112560872A (zh) 一种基于人工智能的多模感知麻将辅助方法
CN107145230A (zh) 一种基于面部与语音识别的游戏控制系统及方法
CN108268139A (zh) 虚拟场景交互方法及装置、计算机装置及可读存储介质
CN207976743U (zh) 佩戴装置
TW200816089A (en) Method for displaying expressional image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201

RJ01 Rejection of invention patent application after publication