CN108057246A - 基于深度神经网络学习的手游增强现实方法 - Google Patents

基于深度神经网络学习的手游增强现实方法 Download PDF

Info

Publication number
CN108057246A
CN108057246A CN201711091406.5A CN201711091406A CN108057246A CN 108057246 A CN108057246 A CN 108057246A CN 201711091406 A CN201711091406 A CN 201711091406A CN 108057246 A CN108057246 A CN 108057246A
Authority
CN
China
Prior art keywords
neural network
user
deep neural
augmented reality
study
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711091406.5A
Other languages
English (en)
Inventor
秦谦
王宏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Mingtong Tech Co Ltd
Original Assignee
Jiangsu Mingtong Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Mingtong Tech Co Ltd filed Critical Jiangsu Mingtong Tech Co Ltd
Priority to CN201711091406.5A priority Critical patent/CN108057246A/zh
Publication of CN108057246A publication Critical patent/CN108057246A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player

Abstract

本发明公开了一种基于深度神经网络学习的手游增强现实方法，首先，手机游戏对外部环境进行建模；然后采用基于深度神经网络的增强学习对用户与环境的交互进行学习；最后根据深度增强学习结果，用户实现现实与游戏的交互。本发明能够让游戏用户在玩游戏过程中与现实世界进行交互，并且在云端进行大数据处理，使增强现实在终端得以实现。

Description

基于深度神经网络学习的手游增强现实方法
技术领域
本发明涉及一种基于深度神经网络学习的手游增强现实方法，属于手机游戏开发技术领域。
背景技术
手机游戏的增强现实是非常新颖有趣的方向，例如PokemonGo就可以使用地理位置信息让用户和外界进行交互。目前手机游戏还没有自动学习外部环境功能。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于深度神经网络学习的手游增强现实方法，能够让游戏用户在玩游戏过程中与现实世界进行交互。
为解决上述技术问题，本发明提供一种基于深度神经网络学习的手游增强现实方法，包括以下步骤：
1)手机游戏对外部环境进行建模；
2)采用基于深度神经网络的增强学习对用户与环境的交互进行学习；
3)根据深度增强学习结果，用户实现现实与游戏的交互。
前述的步骤1)中，手机游戏对外部环境进行建模是指，手机游戏通过互联网与云端进行连接，手机通过话筒、摄像头采集外部环境信息；所述采集的的外部环境信息包括声音、图片；对于外部环境图片，将其传到云端进行三维建模，对于外部环境声音，通过去噪、多通道分离技术，得到有效的声音信号。
前述的步骤2)中，用户与环境的交互定义为一个用户拿着手机移动时能够采取行动的集合。
前述的针对用户与环境的每一个交互行为，游戏设计者都定义一个奖励初始值，采用深度增强学习对该奖励值进行自动学习；具体为：在增强学习过程中，对Q-Learning采用深度学习进行建模，完全通过手机采集来的图片，声音信号的原始信号进行建模，建模如下：
Q(s,a):＝Q(s,a)+α[difference]
Q(s,a)代表Q-learning里面对状态和动作的建模，s为状态，a为动作，α为增强学习中的折扣因子，difference为一次增强学习结果；
通过对Q(s,a)函数参数化为深度神经网络，来用神经网络来逼近这个复杂函数，
神经网络的更新如下：
w:＝w+α[difference]Q(s,a)
其中，w为神经网络权值。
前述的在进行深度增强学习时，所有信息传到云端进行处理。
前述的步骤3)中，现实与游戏的交互是指，当用户在现实中拿着手机与环境进行交互时，对用户进行提醒，从而使用户与游戏中的相同的虚拟环境进行交互。
前述的用户与游戏中的相同的虚拟环境进行交互时，虚拟环境得到成长。
本发明所达到的有益效果：
本发明能够让游戏用户在玩游戏过程中与现实世界进行交互，并且在云端进行大数据处理，使增强现实在终端得以实现。
具体实施方式
下面对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的基于深度神经网络学习的手游增强现实方法，包括以下步骤：
1)手机游戏对外部环境进行建模
手机游戏通过互联网与云端进行连接，手机通过话筒、摄像头采集外部环境信息，如声音、图片等，得到外部环境图片后，将其传到云端进行三维建模，得到一个对外部环境的初步认识。得到外部环境声音后，通过去噪、多通道分离等技术，得到有效的声音信号。
2)采用基于深度神经网络的增强学习对用户与环境的交互进行学习
用户在移动过程中，如果停下对某一个建筑物凝视超过一定时间，则认为这个建筑物提供了一个有效的奖励，如果用户进而对建筑物进行拍照，则认为奖励变强。这个奖励初始时是由游戏设计者定义的一个值。随着游戏的深入，深度增强学习会对该奖励值进行自动学习。因此可以定义一个用户拿着手机移动时可以采取行动的集合。在进行增强学习时，所有信息传到云端进行处理。
在增强学习过程中，对Q-Learning部分采用深度学习进行建模，完全通过手机采集来的图片，声音信号的原始信号进行建模，这样就省去了很多特征提取的工作。
Q(s,a):＝Q(s,a)+α[difference]
Q(s,a)代表Q-learning里面对状态和动作的建模，s为状态，a为动作，α为增强学习中的折扣因子，difference为一次增强学习结果。例如，s是在建筑物前，a是凝视、移动、环顾等等。
通过对Q(s,a)函数参数化为深度神经网络，来用神经网络来逼近这个复杂函数。
神经网络的更新如下：
w:＝w+α[difference]Q(s,a)
其中，w为神经网络权值。
3)根据增强学习结果，用户实现现实与游戏的交互。
根据增强学习结果，当用户在现实中拿着手机采取行动时，如看到新建筑物、拍一只可爱的小猫等动作时，对用户进行提醒，对不同的状态和动作可以有不同的提醒，从而使用户与游戏中的建筑、物体、动物进行交互。例如可以在游戏中养一只虚拟的猫，当用户在现实中与猫进行交互时，虚拟的猫也同时得到了成长。现实的交互例如喂猫，虚拟的交互也可以有喂猫，对于猫的成长，可以是游戏设计者定义的成长，也可以通过对现实物体的识别来估计猫的成长，从而反映到虚拟猫的成长上。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.基于深度神经网络学习的手游增强现实方法，其特征在于，包括以下步骤：
1)手机游戏对外部环境进行建模；
2)采用基于深度神经网络的增强学习对用户与环境的交互进行学习；
3)根据深度增强学习结果，用户实现现实与游戏的交互。
2.根据权利要求1所述的基于深度神经网络学习的手游增强现实方法，其特征在于，所述步骤1)中，手机游戏对外部环境进行建模是指，手机游戏通过互联网与云端进行连接，手机通过话筒、摄像头采集外部环境信息；所述采集的的外部环境信息包括声音、图片；对于外部环境图片，将其传到云端进行三维建模，对于外部环境声音，通过去噪、多通道分离技术，得到有效的声音信号。
3.根据权利要求1所述的基于深度神经网络学习的手游增强现实方法，其特征在于，所述步骤2)中，用户与环境的交互定义为一个用户拿着手机移动时能够采取行动的集合。
4.根据权利要求3所述的基于深度神经网络学习的手游增强现实方法，其特征在于，针对用户与环境的每一个交互行为，游戏设计者都定义一个奖励初始值，采用深度增强学习对该奖励值进行自动学习；具体为：在增强学习过程中，对Q-Learning采用深度学习进行建模，完全通过手机采集来的图片，声音信号的原始信号进行建模，建模如下：
Q(s,a):＝Q(s,a)+α[difference]
Q(s,a)代表Q-learning里面对状态和动作的建模，s为状态，a为动作，α为增强学习中的折扣因子，difference为一次增强学习结果；
通过对Q(s,a)函数参数化为深度神经网络，来用神经网络来逼近这个复杂函数；
神经网络的更新如下：
w:＝w+α[difference]Q(s,a)
其中，w为神经网络权值。
5.根据权利要求4所述的基于深度神经网络学习的手游增强现实方法，其特征在于，在进行深度增强学习时，所有信息传到云端进行处理。
6.根据权利要求1所述的基于深度神经网络学习的手游增强现实方法，其特征在于，所述步骤3)中，现实与游戏的交互是指，当用户在现实中拿着手机与环境进行交互时，对用户进行提醒，从而使用户与游戏中的相同的虚拟环境进行交互。
7.根据权利要求6所述的基于深度神经网络学习的手游增强现实方法，其特征在于，所述用户与游戏中的相同的虚拟环境进行交互时，虚拟环境得到成长。
CN201711091406.5A 2017-11-08 2017-11-08 基于深度神经网络学习的手游增强现实方法 Pending CN108057246A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711091406.5A CN108057246A (zh) 2017-11-08 2017-11-08 基于深度神经网络学习的手游增强现实方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711091406.5A CN108057246A (zh) 2017-11-08 2017-11-08 基于深度神经网络学习的手游增强现实方法

Publications (1)

Publication Number Publication Date
CN108057246A true CN108057246A (zh) 2018-05-22

Family

ID=62134914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711091406.5A Pending CN108057246A (zh) 2017-11-08 2017-11-08 基于深度神经网络学习的手游增强现实方法

Country Status (1)

Country Link
CN (1) CN108057246A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887489A (zh) * 2010-05-24 2010-11-17 陈益强 一种使现实和虚拟世界中人物交互影响的方法
CN102908772A (zh) * 2012-10-16 2013-02-06 东南大学 利用增强现实技术的上肢康复训练系统
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107261504A (zh) * 2017-07-24 2017-10-20 东北大学 基于增强现实的运动游戏系统
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887489A (zh) * 2010-05-24 2010-11-17 陈益强 一种使现实和虚拟世界中人物交互影响的方法
CN103390287A (zh) * 2012-05-11 2013-11-13 索尼电脑娱乐欧洲有限公司 用于增强现实的装置和方法
CN102908772A (zh) * 2012-10-16 2013-02-06 东南大学 利用增强现实技术的上肢康复训练系统
CN107168532A (zh) * 2017-05-05 2017-09-15 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统
CN107261504A (zh) * 2017-07-24 2017-10-20 东北大学 基于增强现实的运动游戏系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李昌: "基于Q学习算法的非完备信息机器博弈的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置

Similar Documents

Publication Publication Date Title
US20230351663A1 (en) System and method for generating an avatar that expresses a state of a user
CN106182006B (zh) 面向智能机器人的棋牌交互数据处理方法及装置
CN104866101B (zh) 虚拟对象的实时互动控制方法及装置
CN107030691B (zh) 一种看护机器人的数据处理方法及装置
CN105373224B (zh) 一种基于普适计算的混合现实游戏系统及方法
CN104011788B (zh) 用于增强和虚拟现实的系统和方法
CN105425953B (zh) 一种人机交互的方法及系统
Steels The Talking Heads experiment: Origins of words and meanings
CN102129343B (zh) 运动捕捉系统中的受指导的表演
JP2022036160A (ja) 拡張現実および仮想現実のためのシステムおよび方法
CN106683501B (zh) 一种ar儿童情景扮演投影教学方法及系统
CN106166376B (zh) 简化24式太极拳综合训练系统
CN110163059A (zh) 多人姿态识别方法、装置及电子设备
EP3286718A1 (en) Context-aware digital play
CN106710590A (zh) 基于虚拟现实环境的具有情感功能的语音交互系统及方法
CN107831905A (zh) 一种基于全息投影设备的虚拟形象交互方法及系统
Soltani et al. Developing a gesture-based game for deaf/mute people using microsoft kinect
CN103035135A (zh) 基于增强现实技术的儿童认知系统及认知方法
JP2013533537A (ja) アバター・ジェスチャーの表示制限
CN207694259U (zh) 一种多功能智能玩具小车系统
CN109523616A (zh) 一种面部动画生成方法、装置、设备及可读存储介质
WO2021003471A1 (en) System and method for adaptive dialogue management across real and augmented reality
CN106127828A (zh) 一种增强现实的处理方法、装置及移动终端
CN107944376A (zh) 视频数据实时姿态识别方法及装置、计算设备
CN109262606A (zh) 装置、方法、程序以及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522