CN101950200B - 基于摄像头的眼球控制游戏地图和角色移动的方法和装置 - Google Patents
基于摄像头的眼球控制游戏地图和角色移动的方法和装置 Download PDFInfo
- Publication number
- CN101950200B CN101950200B CN2010102891623A CN201010289162A CN101950200B CN 101950200 B CN101950200 B CN 101950200B CN 2010102891623 A CN2010102891623 A CN 2010102891623A CN 201010289162 A CN201010289162 A CN 201010289162A CN 101950200 B CN101950200 B CN 101950200B
- Authority
- CN
- China
- Prior art keywords
- eyeball
- control signal
- camera
- game engine
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
发明公开了一种基于摄像头的眼球控制游戏地图和角色移动的方法，该方法包括如下步骤：启动游戏，游戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给游戏引擎。本发明还提供了一种基于摄像头的眼球控制游戏地图和角色移动的装置。与现有的技术相比，本发明不需要通过导航键以及键盘按键的输入方式控制移动游戏中地图的移动，能使游戏更具吸引力和是用户具有更好的人机交互体验。
Description
技术领域
本发明涉及图像识别、移动设备和游戏引擎技术领域，特别涉及一种基于摄像头的眼球控制游戏地图和角色移动的方法和装置。
背景技术
目前，实现游戏视图和角色移动主要有三种方式：
1）利用移动设备的导航按键
这种方式是移动设备的游戏中移动角色和游戏视图的主要方式，其特点在于，通过移动设备中存在的具有八个方式的导航按钮或者是导航杆的操作进行控制。
2）利用移动设备的键盘
这种方式类似于1）中的导航键，区别在于，利用移动设备上的特定按键，实现8个方向控制的功能来控制。
3）重力感应
这种方式是利用移动设备中存在的能感知重力方向的重力传感器获得重力的方向，进而转换为游戏视图和游戏角色的控制信号进行控制。
以上的控制方式都需要用户直接对移动设备发生物理上直接接触式操作，这往往无法让用户得到更好的互动体验。
发明内容
为了获得更好用户体验，提供一种全新的游戏控制方式，本发明的目的在于提供一种基于摄像头的眼球控制游戏地图和角色移动的方法,该方法可以摆脱以上的限制，利用眼球的跟踪和识别来控制游戏视图和角色的移动，能让用户的互动体验更好，思维到操作的过渡更加平滑。
本发明解决技术问题所采用的技术方案是：
一种基于摄像头的眼球控制游戏地图和角色移动的方法，包括如下步骤：启动游戏，游戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给游戏引擎。
所述眼球控制模块与游戏引擎的控制信号的传递采用消息传递的方式完成。
所述眼球的识别和控制信号的产生的具体步骤如下：
a）眼球图像的获得
首先，利用移动设备具有的前视摄像头，获得用户的面部图像，再通过图形学中的识别算法，定位眼球的图像位置，提取出眼球的图像；
b）控制信号的产生
通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，得到方向控制信号。
当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一致，输出控制信号给游戏引擎，如果不一致，则输出静止不动的控制信号给游戏引擎，防止错误移动地图。
所述眼球控制模块工作在周期为T的时钟事件模式，每当一个时钟事件发生，眼球控制模块便从用户摄像头获得一张用户的面部图像。
所述眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区域，分别是：左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域，并且这八个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是:前，后，左，右，左上，右上，左下，右下。
本发明还提供一种基于摄像头的眼球控制游戏地图和角色移动的装置，该装置包括：前视摄像头的移动设备、眼球控制模块与游戏引擎；摄像头用于采集用户面部图像；眼球控制模块用于从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号，通过消息传递的方式将控制信号发送给游戏引擎；游戏引擎用于完成摄像头和游戏引擎本身的初始化，以及接收到移动控制信号，控制游戏角色移动。
所述移动设备包括：中央处理器，随机存储器，支持消息传递的操作系统和供摄像头访问的全功能的应用程序接口。
所述眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区域，分别是：左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域，并且这八个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是：前，后，左，右，左上，右上，左下，右下。
本发明与背景技术相比，具有如下有益效果：
本发明对游戏视图和角色的控制不要通过传统的直接物理接触的导航按钮，倾斜具有重力方向感应的移动设备来实现，而是通过移动设备的前视摄像头，捕获用户的面部图像，识别眼球的位置状态来产生方向控制信号来实现，做到了良好的互动操作特性。
附图说明
图1是本发明实施例的眼球位置状态和控制方向的对应关系示意图；
图2是本发明实施例的系统组件结构图；
图3是本发明实施例的系统工作流程图；
图4是本发明实施例的眼球控制法的互动关系图；
图5是本发明实施例的角色扮演游戏的眼球控制示意图。
具体实施方式
下面，结合附图和实施例对本发明的具体实施方式进行详细说明。
本实施例的基于摄像头的眼球控制游戏地图和角色移动的方法包括如下几个方面：
1）对游戏视图和角色移动的控制方式
本发明的基于摄像头的眼球控制游戏地图和角色移动的方法，是通过图像识别的方法，检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将其转换为控制游戏视图和角色移动的控制信号，通过消息传递的方式发送给游戏引擎。
2）眼球的识别和控制信号的产生
a）眼球图像的获得
利用设备具有的前视摄像头，获得用户的面部图像。通过图形学中的识别算法，定位眼球的图像位置，提取出眼球的图像。为了保证识别的精度，两只研究的图像是需要同时进行提取的。
b）控制信号的产生
由于两只眼球的处理过程是一样的，这里讨论其中一只眼球图像的处理过程。
首先，通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，本方法定义了8个控制方向和眼球瞳孔中心位置范围的对应关系，其如图1所示，8个控制方向分别是：左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域。
通过前面定义的眼球瞳孔位置与控制方向的关系，通过图像识别的方法确定当前眼球瞳孔与中心点的关系，参照对应关系，得到当前眼球状态对应的控制信号。
当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一致，那么输出控制信号给游戏引擎。如果不一致，那么输出静止不动的控制信号给游戏引擎，防止错误移动地图。
3）系统结构
本实施例提出的眼球控制游戏的方法，其系统结构中的部件包括，高清晰度的前视摄像头，眼球控制模块，游戏引擎。其中，眼球控制模块需要工作在采样模式，即每隔一个固定的时间间隔T其工作一次，进行眼球的识别，输出控制动作给游戏引擎。采样间隔T取决于设备的性能和游戏引擎对控制精度的需求。且时间间隔T不能小于眼球控制模块最小的工作周期。其模块的工作关系图如图2所示。
4）工作流程
首先，用户启动游戏，游戏引擎需要完成摄像头和游戏引擎本身的初始化，启动眼球控制模块。眼球控制模块与游戏引擎的控制信号的传递采用消息传递的方式完成，这需要游戏引擎和移动设备的操作系统支持消息传递机制。如果用户终止游戏，游戏引擎需要关闭眼球识别模块和摄像头。为了使游戏引擎的相应速度更快，眼球控制模块工作在移动设备操作系统提供的周期为T的系统时钟驱动事件的方式，其工作流程如图3所示。用户与设备的互动关系如图4所示。
下面是本发明的一个具体操作实例。
现有一个具备了高清晰度前视摄像头的移动设备，该移动设备具有高性能的移动中央处理器，大容量的随机存储器，具有支持消息传递的操作系统，提供了摄像头访问的全功能的应用程序接口。同时，现有一个平面的角色扮演类的游戏，其中的角色具有8个方向的移动控制能力，其包括前移动，后移动，左移动，右移动，左前移动，右前移动，左后移动，右后移动和静止。启动该游戏后，游戏完成了摄像头的开启，相关的初始化工作，并启动眼球控制模块。同时，眼球控制模块工作在周期为T的时钟事件模式，每当一个时钟事件发生，眼球控制模块从用户摄像头获得一张用户的面部图像，通过图像识别算法提取出双眼的图像，启动眼球位置状态识别，生成一个位置控制信号发送给游戏引擎。游戏引擎收到移动控制信号，控制游戏角色移动。比如，当前用户的眼球瞳孔中心向右上方向偏移，眼球控制模块获得这个信息，产生一个右上移动信号给游戏引擎，游戏引擎控制角色向右上方向移动，这个过程反复执行，直到用户终止游戏程序。其示例如图5所示。
Claims (4)
1.一种基于摄像头的眼球控制游戏地图和角色移动的方法，其特征在于包括如下步骤：启动游戏，游戏引擎完成摄像头和游戏引擎本身的初始化，并启动眼球控制模块；眼球控制模块从摄像头获取用户面部图像，通过检测用户面部的眼球特征，得到用户眼球相对于平视时的位移方向，并将该位移方向转换为控制游戏视图和角色移动的控制信号后，将控制信号发送给游戏引擎；
所述眼球特征的识别和控制信号的产生的具体步骤如下：
a)眼球特征的识别
首先，利用移动设备具有的前视摄像头，获得用户的面部图像，再通过图形学中的识别算法，定位眼球的图像位置，提取出眼球的图像；
b)控制信号的产生
通过识别当前眼球瞳孔中心与静止平视向前时瞳孔中心的位置关系，得到方向控制信号；
当两只眼球都完成了控制信号的识别后，比较两只眼球的输出是否一致，如果一致，输出控制信号给游戏引擎，如果不一致，则输出静止不动的控制信号给游戏引擎，防止错误移动地图。
2.如权利要求1所述的方法，其特征在于：眼球控制模块与游戏引擎的控制信号的传递采用消息传递的方式完成。
3.如权利要求1所述的方法，其特征在于：所述眼球控制模块工作在周期为T的时钟事件模式，每当一个时钟事件发生，眼球控制模块便从摄像头获得一张用户的面部图像。
4.如权利要求1所述的方法，其特征在于，眼球瞳孔中心相对于静止平视向前时瞳孔中心的位置关系被划分为8个区域，分别是：左区域、右区域、向上区域、向下区域、左上区域、右上区域、左下区域、右下区域，并且这八个区域对应于控制游戏地图和角色移动所需的8个方向控制信号分别是：前，后，左，右，左上，右上，左下，右下。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102891623A CN101950200B (zh) | 2010-09-21 | 2010-09-21 | 基于摄像头的眼球控制游戏地图和角色移动的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102891623A CN101950200B (zh) | 2010-09-21 | 2010-09-21 | 基于摄像头的眼球控制游戏地图和角色移动的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101950200A CN101950200A (zh) | 2011-01-19 |
| CN101950200B true CN101950200B (zh) | 2011-12-21 |
Family
ID=43453716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010102891623A Expired - Fee Related CN101950200B (zh) | 2010-09-21 | 2010-09-21 | 基于摄像头的眼球控制游戏地图和角色移动的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101950200B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169348B (zh) * | 2011-01-22 | 2012-07-04 | 浙江大学 | 用视线控制服务机器人的方法 |
| CN102811308B (zh) * | 2011-05-31 | 2016-08-31 | 德尔福电子(苏州)有限公司 | 一种车载眼动控制系统 |
| CN102567642A (zh) * | 2011-12-31 | 2012-07-11 | 华为技术有限公司 | 游戏地图生成方法及系统、服务器及终端 |
| GB2507810A (en) * | 2012-03-15 | 2014-05-14 | Crown Packaging Technology Inc | Marking Applications for Metal Packages and Packages Having Metal Components |
| CN103324816B (zh) * | 2012-03-19 | 2017-03-01 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN102662473B (zh) * | 2012-04-16 | 2016-08-24 | 维沃移动通信有限公司 | 基于眼部动作识别来实现人机信息交互的装置及方法 |
| CN103631365B (zh) * | 2012-08-22 | 2016-12-21 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| CN102819403A (zh) * | 2012-08-28 | 2012-12-12 | 广东欧珀移动通信有限公司 | 一种终端设备的人机交互方法及其终端设备 |
| US20140111452A1 (en) * | 2012-10-23 | 2014-04-24 | Electronics And Telecommunications Research Institute | Terminal and method of controlling touch operations in the terminal |
| CN103150021B (zh) * | 2013-03-21 | 2017-02-22 | 上海斐讯数据通信技术有限公司 | 电子书阅读控制系统及电子书阅读控制方法 |
| CN103294198B (zh) * | 2013-05-23 | 2018-05-11 | 深圳先进技术研究院 | 一种基于移动终端的人机交互方法及系统 |
| US9679199B2 (en) * | 2013-12-04 | 2017-06-13 | Microsoft Technology Licensing, Llc | Fusing device and image motion for user identification, tracking and device association |
| CN104699230B (zh) * | 2013-12-04 | 2017-12-19 | 中国移动通信集团公司 | 一种输入信息的确定方法和设备 |
| JP2016161830A (ja) * | 2015-03-03 | 2016-09-05 | カシオ計算機株式会社 | コンテンツ出力装置、コンテンツ出力方法及びプログラム |
| CN104850228B (zh) * | 2015-05-14 | 2018-07-17 | 上海交通大学 | 基于移动终端的锁定眼球的注视区域的方法 |
| CN106267812A (zh) * | 2016-08-10 | 2017-01-04 | 合肥泰壤信息科技有限公司 | 一种基于眼球转动和语音操作的游戏控制系统及方法 |
| CN109141461A (zh) * | 2017-06-13 | 2019-01-04 | 博世汽车部件(苏州)有限公司 | 汽车地图导航控制系统和方法 |
| CN108459710B (zh) * | 2018-02-08 | 2021-04-06 | 东南大学 | 一种眼动信号控制的交互装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6778150B1 (en) * | 1993-09-14 | 2004-08-17 | Francis J. Maguire, Jr. | Method and apparatus for eye tracking |
| US6243076B1 (en) * | 1998-09-01 | 2001-06-05 | Synthetic Environments, Inc. | System and method for controlling host system interface with point-of-interest data |
| US7365738B2 (en) * | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| SE529156C2 (sv) * | 2005-10-28 | 2007-05-15 | Tobii Technology Ab | Ögonföljare med visuell återkoppling |
-
2010
- 2010-09-21 CN CN2010102891623A patent/CN101950200B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101950200A (zh) | 2011-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101950200B (zh) | 基于摄像头的眼球控制游戏地图和角色移动的方法和装置 | |
| US11951395B2 (en) | Method and apparatus for displaying marker element in virtual scene, computer device, and computer-readable storage medium | |
| US8896522B2 (en) | User-centric three-dimensional interactive control environment | |
| EP2956844B1 (en) | Systems and methods of eye tracking calibration | |
| US11794105B2 (en) | Game processing system, game processing program, and game processing method | |
| US11044402B1 (en) | Power management for optical position tracking devices | |
| CN105431813B (zh) | 基于生物计量身份归属用户动作 | |
| US20160375354A1 (en) | Facilitating dynamic game surface adjustment | |
| US11450020B2 (en) | Information processing apparatus, method for processing information, and computer program | |
| US20110305398A1 (en) | Image generation system, shape recognition method, and information storage medium | |
| CN202150897U (zh) | 一种体感控制游戏电视机 | |
| CN109002164A (zh) | 头戴显示设备的显示方法、装置及头戴显示设备 | |
| CN102902356A (zh) | 一种手势控制系统及其控制方法 | |
| JP2021077311A (ja) | ヒューマン・コンピュータ・インタラクション・システム及びヒューマン・コンピュータ・インタラクションの方法 | |
| CN106774833A (zh) | 虚拟现实交互方法及装置 | |
| CN113041619B (zh) | 虚拟车辆的控制方法、装置、设备及介质 | |
| JP2020028653A (ja) | ゲームプログラム、方法、および情報処理装置 | |
| JP2016182189A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、情報処理方法 | |
| CN203054843U (zh) | 一种搭载有智能锁定功能的掌上游戏终端 | |
| KR102158096B1 (ko) | 인식 대상으로부터 3차원 거리 정보 추출하는 방법 및 이를 위한 장치 | |
| JP2018187297A (ja) | ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置 | |
| US10397394B1 (en) | Electronic device with adjustable depth imager and corresponding methods | |
| CN116457782A (zh) | 根据用户设备的环境选择认证功能 | |
| US20160232673A1 (en) | Information processing device, storage medium storing information processing program, information processing system, and information processing method | |
| CN103246466A (zh) | 触摸屏解锁系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111221 Termination date: 20150921 |
|
| EXPY | Termination of patent right or utility model |