CN111632367A - 基于视觉引导的手游系统及手游响应方法 - Google Patents
基于视觉引导的手游系统及手游响应方法 Download PDFInfo
- Publication number
- CN111632367A CN111632367A CN202010419061.7A CN202010419061A CN111632367A CN 111632367 A CN111632367 A CN 111632367A CN 202010419061 A CN202010419061 A CN 202010419061A CN 111632367 A CN111632367 A CN 111632367A
- Authority
- CN
- China
- Prior art keywords
- hand
- eye
- game
- tracking information
- iris
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 title claims abstract description 78
- 230000000007 visual effect Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 33
- 210000001508 eye Anatomy 0.000 claims abstract description 105
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000004438 eyesight Effects 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 51
- 238000000605 extraction Methods 0.000 claims description 34
- 230000004424 eye movement Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 230000006399 behavior Effects 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于视觉引导的手游系统，包括终端和连接终端的手柄，终端包括用户接口模块，用户接口模块用于接收眼部运动图像，并输出手游响应；手游系统包括与用户接口模块相连接的视觉智能引导模块和数据处理模块；其中，眼球追踪器将眼部运动图像转化为眼球追踪信息，视觉智能引导模块用于将眼球追踪信息传输至数据处理模块；数据处理模块用于根据眼球追踪信息确定响应指令以根据响应指令引导终端屏幕上的控制点，完成手游响应，不仅丰富游戏操作，而且为残障人士提供了一种新的游戏娱乐方式，丰富残障人士的生活，此外还可智能提醒用户合理安排游戏时间、保护手游用户的视力。
Description
技术领域
本发明设计视觉引导领域，更为具体地，涉及一种基于视觉引导的手游系统及手游响应方法。
背景技术
随着科学水平的日益提升，越来越多的手机游戏风靡全球，但如今与手机游戏对应的手柄厂商在手机游戏的支持程度上大多依赖映射，即将手柄上的按键模拟成一个个屏幕上的触控点，当按下按键时，屏幕上的映射就会模拟触摸屏幕的操作。但就目前而言在手机游戏手柄上除了按键和摇杆，仅有震动等体感游戏可以带来新鲜的感受，当下手机游戏手柄依旧不能满足现下与诸多高级手机游戏的匹配。
以体感游戏为例，体感游戏依靠快速的视频捕捉技术，使得消费者能够将身体动作即时反映到游戏当中，通过感应人体的动作推动游戏的进行，这一类游戏逐渐受到消费者的喜爱，但依靠肢体的体感游戏需要人体产生较大的动作幅度，比较适合在范围宽敞的场景下执行，却不适合坐姿或躺姿下操作游戏，故传统游戏中仅包括单调的按键、摇杆操控手游，和大型体感游戏，按键、摇杆操控手游枯燥乏味不具趣味性，大型体感游戏需要范围宽敞的场景与之配合，适应性不高。
因此，亟需一种在狭小空间内躺、卧也能实现趣味娱乐，且能够满足残障人士游戏需求的手游解决方案。
发明内容
鉴于上述问题，本发明的目的是提供一种基于视觉引导的手游系统及手游响应方法，以解决现有游戏手柄单一枯燥，只能利用按键和摇杆手动操控，或进行体感游戏仅能在开阔的场景下进行，不能在狭小空间内躺、卧实现趣味娱乐的问题。
本发明提供的一种基于视觉引导的手游系统，其特征在于，包括终端和与所述终端连接的手柄；其中，
在所述终端上设置有图像采集装置，所述图像采集装置用于获取手游用户的眼部运动图像；
所述终端包括用户接口模块，所述用户接口模块用于接收所述眼部运动图像，并输出手游响应；
所述手游系统包括眼球追踪器；
所述手游系统包括与所述用户接口模块相连接的视觉智能引导模块和数据处理模块；其中，
所述眼球追踪器将眼部运动图像转化为眼球追踪信息；
所述视觉智能引导模块用于将所述眼球追踪信息传输至所述数据处理模块；
所述数据处理模块用于根据所述眼球追踪信息确定与所述眼球追踪信息相对应的响应指令，以根据响应指令引导所述终端屏幕上的控制点，完成手游响应。
优选地，所述视觉智能引导模块包括用于将所述眼部运动图像转换为灰度图像的图像处理单元和用于对所述灰度图像进行眼球追踪信息提取的边缘提取单元。
优选地，所述边缘提取单元包括眼部轮廓特征提取子单元、虹膜轮廓特征提取子单元和虹膜中心点移动偏差计算子单元；其中，
所述眼部轮廓特征提取子单元用于锁定手游用户的眼睛部位；
所述虹膜轮廓特征提取子单元用于对所述眼睛部位进行虹膜中心点定位；
所述虹膜中心点移动偏差计算子单元用于确定虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；其中，(X0,Y0)为所述虹膜中心点处于所述眼睛部位中心的位置坐标(X0,Y0)，(X1,Y1)为所述虹膜中心点运动后的位置坐标。
优选地，在所述手柄上设置有物理键；所述物理键包括按键和摇杆。
优选地，所述手柄还包括常规操作模块，
所述常规操作模块用于将所述物理键产生的物理信息转化为触控信息，并将所述触控信息传输至所述数据处理模块，以使所述数据处理模块向所述终端发出常规响应指令。
优选地，所述手游响应包括手游角色控制、手游环境渲染和用户疲劳提醒。
本发明还提供的一种基于视觉引导的手游响应方法，包括：
获取手游用户的眼部运动图像；
通过眼球追踪器，将所述眼部运动图像转化为眼球追踪信息；
根据所述眼球追踪信息确定与所述眼球追踪信息相对应的响应指令；
根据所述响应指令引导手游终端屏幕上的控制点以完成手游响应。
优选地，还包括：
将通过物理键采集的物理信息转化为触控信息；
根据所述触控信息确定与所述触控信息相对应的响应指令。
优选地，在将所述眼部运动图像转化为眼球追踪信息的过程中，
先将所述眼部运动图像转换为灰度图像；
再对所述灰度图像进行眼球追踪信息提取。
优选地，对所述灰度图像进行眼球追踪信息提取的过程包括：
锁定所述灰度图像中的眼睛部位；
对所述灰度图像中的虹膜中心点进行定位，以确定所述虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；其中，(X0,Y0)为所述虹膜中心点处于所述眼睛部位中心的位置坐标，(X1,Y1)为所述虹膜中心点运动后的位置坐标；
将所述灰度图像中的所有虹膜中心点的移动偏差(Xp,Yp)的数据进行快速集合形成眼球追踪信息。
从上面的技术方案可知，本发明提供的一种基于视觉引导的手游系统和手游响应方法，通过设置眼球追踪器，将手游终端上的与手游手柄连接后，手游终端上的图像采集装置获取到手游用户的眼部运动图像，眼球追踪器将眼部运动图像转化为眼球追踪信息，手柄上的视觉智能引导模块将眼球追踪信息传输至数据处理模块，数据处理模块分析处理所述眼球追踪信息得出响应指令，以根据响应指令引导终端屏幕上的触控点完成手游响应，即手游用户通过运动眼睛即可控制手游，不仅丰富游戏操作，在狭小空间里即可体验体感游戏的乐趣，而且为残障人士提供了一种新的游戏娱乐方式，丰富残障人士的生活，此外还可检测出用户眼睛注视游戏屏幕时间，分析眼部的疲劳程度，从而智能提醒用户合理安排游戏时间、保护手游用户的视力。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于视觉引导的手游系统示意图；
图2为根据本发明实施例的基于视觉引导的手游响应方法的流程图。
具体实施方式
传统手机游戏手柄上除了按键和摇杆，仅有震动等体感游戏可以带来新鲜的感受，体感游戏通过感应人体的动作推动游戏的进行，但依靠肢体的体感游戏需要人体产生较大的动作幅度，比较适合在范围宽敞的场景下执行，却不适合坐姿或躺姿下操作游戏，故当下缺乏一种能够在狭小空间内躺、卧即可体验游戏乐趣、且能够为残障人士提供娱乐方式的手游手柄。
针对上述问题，本发明提供一种基于视觉引导的手游系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于视觉引导的手游系统，图1对本发明实施例的基于视觉引导的手游系统的系统结构进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的基于视觉引导的手游系统001，包括终端100和与终端100相连接的手柄200，终端100不作具体限制，可以是手机、可以是平板，可以是任意具有游戏功能的移动终端，在本实施例中采用手机，该手柄200的具体型式也不作具体限制，可以是传统意义上的游戏手柄样式，也可以为杆类、垫类，在本实施例中依旧采用传统的把手样式的手柄，符合人体工学，便于用户拿抓，并且在本实施例中该手柄包括L手柄和R手柄，双人配合游戏，增加游戏的乐趣性，手柄200与终端100的连接方式不作具体限制，可以为任意能够传输数据的连接方式，在本实施例中，手柄200与终端100通过BLE或WIFI进行直接或间接连接，以便于手柄200与终端100之间进行数据传输。
如图1所示，本发明提供的基于视觉引导的手游系统001，在该终端100上设置有图像采集装置110，该图像采集装置110用于获取手游用户的眼部运动图像，该图像采集装置110不作具体限制，包括但不限于摄像头，在本实施例中该图像采集装置110采用摄像头，当打开手游，用户可以用眼睛控制游戏中的氛围景象和人物动作，而眼部动作由该图像采集装置110捕捉，用户打开手游，该图像采集装置开始工作，用于获取手游用户的眼部运动图像，该手游系统001设置有眼球追踪器，眼球追踪器与用户接口模块120连接，用于追踪用户眼睛的注视方向，该手游系统001还包括与用户接口模块120相连接的视觉智能引导模块210和数据处理模块220，该视觉智能引导模块210用于将该眼球追踪信息传输至数据处理模块220，最终以输出眼球的行为，当人的眼睛目视不同的方向时，眼球部位会产生不同程度的运动行为，而该视觉智能引导模块210能够精准捕捉这些行为。眼球追踪器和视觉智能引导模块210和数据处理模块220可以设置在终端上，也可以设置在手柄上。
在图1所示的基于视觉引导的手游系统001中，该终端100包括用户接口模块120，该用户接口模块120作为用户与手柄、终端之间的中介，即用户可以作用于该用户接口模块120，也可以从该用户接口模块120接收信息，该用户接口模块120的具体组成不作具体限制，可以为终端100上的屏幕与终端100传输部件的组合，用于进行终端与手柄之间的数据传输，并输出手游响应，该手游响应不作具体限制，在本实施例中该手游响应包括手游角色控制、手游环境渲染和用户疲劳提醒，视力范围内的游戏环境渲染能够减少游戏响应时间，提高用户的满意度，并且，该用户接口模块120还起到辅助收集眼部运动图像(具体收集操作由图像采集装置完成)和反馈的作用，具体的，当用户盯着屏幕运动眼睛，这一运动瞬间被图像采集装置110捕捉；其次，游戏对用户操作内容的反馈信息也可通过该户接口模块120显示出来，比如通过该户接口模块120以语音提醒的方式或手机屏幕显示的方式提醒用户游戏时间过长，注意防止视觉疲劳等信息。
当眼球追踪器和视觉智能引导模块210和数据处理模块220设置在终端上时，眼球追踪器将图像采集装置采集的眼部运动图像转化为眼球追踪信息，视觉智能引导模块210用于将该眼球追踪信息传输至数据处理模块220，该数据处理模块220用于根据眼球追踪信息确定与眼球追踪信息相对应的响应指令，并根据响应指令引导所述终端屏幕上的控制点，并将响应指令传输至用户接口模块以发送至手柄200，以完成手游响应。
当眼球追踪器和视觉智能引导模块210和数据处理模块220设置在手柄上时，眼球追踪器将用户接口模块120接收的眼部运动图像转化为眼球追踪信息，视觉智能引导模块210将该眼球追踪信息传输至数据处理模块220，数据处理模块用于根据眼球追踪信息确定与眼球追踪信息相对应的响应指令，并将响应指令传输至用户接口模块以引导终端屏幕上的控制点，完成手游响应。
具体地，在本申请中，以眼球追踪器和视觉智能引导模块210和数据处理模块220设置在手柄上为例进行说明，在图1所示的基于视觉引导的手游系统001中，在该手柄200上内置有眼球追踪器，用于追踪用户眼睛的注视方向，该手柄200包括与终端100上的用户接口模块120相连接的视觉智能引导模块210和数据处理模块220，该视觉智能引导模块210用于通过眼球追踪器将用户接口模块120接收的眼部运动图像转化为眼球追踪信息，并将该眼球追踪信息传输至数据处理模块220，即将终端100传输过来的图像数据进行处理，最终以输出眼球的行为，当人的眼睛目视不同的方向时，眼球部位会产生不同程度的运动行为，而该视觉智能引导模块210能够精准捕捉这些行为。
在图1所示的基于视觉引导的手游系统001中，该视觉智能引导模块210还可以包括图像处理单元211和边缘提取单元212，该图像处理单元211用于将眼部运动图像转换为灰度图像，该边缘提取单元212用于对该灰度图像进行眼球追踪信息提取，通常图像采集装置110采集的数据多为彩色图像数据，其数据量较大，如果直接进行处理，则会产生较大且不必要的计算量，从而会影响系统的实时性，因此在本实施例中先将彩色图像数据通过灰度变换技术转换为灰度图像，以减少计算的数据量，即首先将眼部运动图像转换为灰度图像，再对该灰度图像进行相关计算，大大减少后续不必要的计算量提高运算速度，使游戏体验更加流畅。
在图1所示的基于视觉引导的手游系统001中，边缘提取单元212即用于对该灰度图像进行相关的计算处理，具体的，眼部行为即眼球的行为，即是指瞳孔相对于眼睛轮廓的运动行为，由于手柄的位置相对于人的头部是随机的，主要需要涉及到眼部轮廓特征提取、虹膜轮廓特征提取和虹膜中心点的移动偏差这几个方面。
具体的，眼部轮廓特征提取的目的是快速找到眼睛部位，以方便后续的虹膜轮廓特征提取，眼部轮廓特征提取一般采用边缘提取的方式来实现，具体的实现方式不作具体限制，在本实施例中采用Canny算子、Sobel算子等方法实现；虹膜轮廓特征提取的目的是定位瞳孔中心点的位置，具体定位瞳孔中心点的方法不作具体限制，可以采用瞳孔的特诊提取方法，也可以采用虹膜特征提取方法，瞳孔受到光线的影响变大或变小，并且瞳孔相对于虹膜比较小，黑眼睛的情况下，两者颜色差别不大，由于虹膜和瞳孔是同心圆或近似同心圆，因此在本实施例中欲确定瞳孔中心点的位置通过提取虹膜轮廓特征得出，提取虹膜轮廓特征的方法不作具体限制，在本实施例中首先使用Hough变换、Canny算子等检测到虹膜的轮廓，然后再计算虹膜中心点；虹膜中心点的移动偏差即可反映眼睛的运动行为，虹膜中心点的位置为相对于眼睛轮廓的位置(X,Y)，在使用时首先需要标定，标定方式为：当虹膜中心点处于眼睛部位中心的位置(即其处于眼部轮廓的中心位置)时，通过虹膜轮廓特征提取的方式找到该中心的位置坐标并标定为(X0,Y0)，当眼睛运动时，计算运动后的虹膜中心点相对于眼部轮廓位置坐标(X1,Y1)，最后计算虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)。
因此，在本发明的一个具体实施方式中，在图1所示的基于视觉引导的手游系统001中，边缘提取单元212还包括眼部轮廓特征提取子单元212-1、虹膜轮廓特征提取子单元212-2和虹膜中心点移动偏差计算子单元212-3；该眼部轮廓特征提取子单元212-1用于快速锁定手游用户的眼睛部位；该虹膜轮廓特征提取子单元212-2用于对眼睛部位进行虹膜中心点定位；该虹膜中心点移动偏差计算子单元212-3用于确定虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)，其中，(X0,Y0)为虹膜中心点处于眼睛部位中心的位置坐标，(X1,Y1)为虹膜中心点运动后的位置坐标，具体的，该虹膜中心点移动偏差计算子单元212-3首先将该虹膜中心点处于眼睛部位中心的位置标定为(X0,Y0)，将运动后的虹膜中心点的位置坐标记为(X1,Y1)(同上所述这里所说的虹膜中心的坐标均为虹膜中心相对于眼部轮廓的坐标，如在眼睛部位的中间的坐标、在眼睛部位中间偏两侧的坐标等)，再计算得出虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)以得出眼睛的运动行为数据，即得出眼球追踪信息。
在图1所示的基于视觉引导的手游系统中，手柄200包括数据处理模块220，该数据处理模块220用于根据该眼球追踪信息确定与所述眼球追踪信息相对应的响应指令，并将该响应指令传输至用户接口模块120以引导该终端100屏幕上的控制点，完成手游响应，具体的，该数据处理模块220分析处理该眼球追踪信息中用户不同时刻的眼部特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制游戏场景的目的，此外，该数据处理模块220也可以对眼球追踪信息中的数据进行分析，以确定用户的眼睛是否处于疲劳状态，该数据处理模块220结合眼球追踪信息对控制终端屏幕的触控信息进行校准处理，综合智能化对用户的眼部运动请求进行响应，将响应指令发送至用户接口模块120，通过用户接口模120将响应信息传递给用户，实现用户对游戏角色的控制，视力范围内的游戏环境渲染，提醒用户合理游戏保护视力。
此外，在图1所示的基于视觉引导的手游系统001中，在手柄200上设置有物理键，该物理键包括按键和摇杆，即保留传统意义上手柄的物理按键，从而在进行眼部操控手游的同时还能进行常规操作，故手柄200还包括常规操作模块230，该常规操作模块230用于将该物理键产生的物理信息转化为触控信息，并将该触控信息传输至数据处理模块220，以使该数据处理模块220向终端100发出常规响应指令，并且该常规操作模块230按照优先级顺序对用户手部运动的请求以触控信息的格式发送给数据处理模块，比如若用户通过物理键手部运动发送中断请求，该常规操作模块230识别用户请求，首先判断中断请求是否合法，如果合法再分析比较该请求的优先级，按照优先级进行分析处理，如此，常规操作模块230根据请求的优先级有条不紊的向数据处理模块发送，用户不仅可通过眼球运动控制手游，还可通过常规物理操作进行手游控制，并且眼球控制与常规操作控制兼容不抵触，提高手游的实用性和流畅性。
通过上述实施方式可以看出，本发明提供的基于视觉引导的手游系统在手游手柄上内置眼球追踪器，将手游终端上的与手游手柄连接后，手游终端上的图像采集装置获取到手游用户的眼部运动图像，手柄上的视觉智能引导模块通过眼球追踪器将用户接口模块中的眼部运动图像转化为眼球追踪信息，并将眼球追踪信息传输至数据处理模块，数据处理模块分析处理该眼球追踪信息得出响应指令，并将响应指令传输至终端以引导终端屏幕上的触控点完成手游响应，即手游用户通过运动眼睛即可控制手游，不仅丰富游戏操作，在狭小空间里即可体验体感游戏的乐趣，而且为残障人士提供了一种新的游戏娱乐方式，丰富残障人士的生活，此外还可检测出用户眼睛注视游戏屏幕时间，分析眼部的疲劳程度，从而智能提醒用户合理安排游戏时间、保护手游用户的视力，并且，用户接口模块中视力范围内的区域游戏环境渲染能够减少游戏响应时间，提高用户满意度。
如图2所示，与前述基于视觉引导的手游系统相对应，本发明还提供一种基于视觉引导的手游响应方法，包括：
S110：获取手游用户的眼部运动图像；
S120：通过眼球追踪器，将该眼部运动图像转化为眼球追踪信息；
S130：根据该眼球追踪信息确定与该眼球追踪信息相对应的响应指令；
S140：根据该响应指令引导手游终端屏幕上的控制点以完成手游响应。
在步骤S110中，获取手游用户的眼部运动图像即捕捉手游用户利用眼睛操作手游时用户眼部的图像，一般为彩色图像。
在步骤S120中，在将该眼部运动图像转化为眼球追踪信息的过程中，先将眼部运动图像转换为灰度图像，再对灰度图像进行眼球追踪信息提取，以减少在眼球追踪信息提取过程中不必要的计算量，提高运算速度，使游戏体验更加流畅。
在步骤S120中，对灰度图像进行眼球追踪信息提取的过程包括：首先锁定该灰度图像中的眼睛部位；再对灰度图像中的(眼睛部位中的)虹膜中心点进行定位，以确定该虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；其中，(X0,Y0)为该虹膜中心点处于所述眼睛部位中心的位置坐标，(X1,Y1)为该虹膜中心点运动后的位置坐标，具体的，首先将该虹膜中心点处于眼睛部位中心的位置标定为(X0,Y0)，再将运动后的虹膜中心点相对于眼睛部位的位置(即确定虹膜中心点在眼睛部位的哪个位置)记为(X1,Y1)，从而计算得出虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；进而将计算后的所有虹膜中心点的移动偏差(Xp,Yp)的数据进行快速集合形成眼球追踪信息，如此更加精准的获得用户眼球运动的数据。
在S130中，根据眼球追踪信息生成响应指令，首先分析处理该眼球追踪信息中用户不同时刻的眼部特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制游戏场景的目的，此外，在对眼球追踪信息中的数据进行分析时，还可以确定用户的眼睛是否处于疲劳状态，从而不仅可以生成操控手游人物、氛围的指令，还可生成提醒用户眼睛状况的指令，以提醒用户适度操作手游、保护视力。
在S140中，该手游响应不作具体限制，在本实施例中该手游响应包括手游角色控制、手游环境渲染和用户疲劳提醒，在视力范围内进行游戏环境渲染能够减少游戏响应时间，提高用户的满意度，并且，以语音提醒的方式或手机屏幕显示的方式提醒用户游戏时间过长，注意防止视觉疲劳，提高用户的满意度。
如图2所示的基于视觉引导的手游响应方法，还包括：将通过物理键采集的物理信息转化为触控信息；根据所述触控信息确定与所述触控信息相对应的响应指令，具体的，用户操作手柄上的物理键，首先将物理键手部运动转化为触控信息，然后再将根据触控信息生成对应的响应指令，从而根据响应指令引导手游终端屏幕上的控制点以完成手游响应，如此，用户不仅可通过眼球运动控制手游，还可通过常规物理操作进行手游控制，并且眼球控制与常规操作控制兼容不抵触，提高手游的实用性和流畅性。
通过上述实施方式可以看出，本发明提供的基于视觉引导的手游响应方法以眼部运动和手部运动相结合的方式操作手游，为手游用户提供全新健康的游戏娱乐方式，利用眼睛运动即可控制手游，不仅丰富游戏操作，在狭小空间里即可体验体感游戏的乐趣，而且为残障人士提供了一种新的游戏娱乐方式，丰富残障人士的生活，并且智能疲劳提醒功能有助于帮助用户健康游戏，保护视力，同时视力范围内的区域游戏环境渲染能够减少游戏响应时间，提高用户满意度。
如上参照附图以示例的方式描述了根据本发明提出的基于视觉引导的手游系统和手游响应方法。但是，本领域技术人员应当理解，对于上述本发明所提出的基于视觉引导的手游系统和手游响应方法，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。
Claims (10)
1.一种基于视觉引导的手游系统，其特征在于，包括终端和与所述终端相连接的手柄；其中，
在所述终端上设置有图像采集装置，所述图像采集装置用于获取手游用户的眼部运动图像；
所述终端包括用户接口模块，所述用户接口模块用于接收所述眼部运动图像，并输出手游响应；
所述手游系统包括眼球追踪器；
所述手游系统包括与所述用户接口模块相连接的视觉智能引导模块和数据处理模块；其中，
所述眼球追踪器将眼部运动图像转化为眼球追踪信息；
所述视觉智能引导模块用于将所述眼球追踪信息传输至所述数据处理模块；
所述数据处理模块用于根据所述眼球追踪信息确定与所述眼球追踪信息相对应的响应指令，以根据响应指令引导所述终端屏幕上的控制点，完成手游响应。
2.如权利要求1所述的基于视觉引导的手游系统，其特征在于，
所述视觉智能引导模块包括用于将所述眼部运动图像转换为灰度图像的图像处理单元和用于对所述灰度图像进行眼球追踪信息提取的边缘提取单元。
3.如权利要求2所述的基于视觉引导的手游系统，其特征在于，所述边缘提取单元包括眼部轮廓特征提取子单元、虹膜轮廓特征提取子单元和虹膜中心点移动偏差计算子单元；其中，
所述眼部轮廓特征提取子单元用于锁定手游用户的眼睛部位；
所述虹膜轮廓特征提取子单元用于对所述眼睛部位进行虹膜中心点定位；
所述虹膜中心点移动偏差计算子单元用于确定虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；其中，(X0,Y0)为所述虹膜中心点处于所述眼睛部位中心的位置坐标，(X1,Y1)为所述虹膜中心点运动后的位置坐标。
4.如权利要求1所述的基于视觉引导的手游系统，其特征在于，
在所述手柄上设置有物理键；
所述物理键包括按键和摇杆。
5.如权利要求4所述的基于视觉引导的手游系统，其特征在于，所述手柄还包括常规操作模块，
所述常规操作模块用于将所述物理键产生的物理信息转化为触控信息，并将所述触控信息传输至所述数据处理模块，以使所述数据处理模块向所述终端发出常规响应指令。
6.如权利要求1所述的基于视觉引导的手游系统，其特征在于，
所述手游响应包括手游角色控制、手游环境渲染和用户疲劳提醒。
7.一种基于视觉引导的手游响应方法，其特征在于，包括：
获取手游用户的眼部运动图像；
通过眼球追踪器，将所述眼部运动图像转化为眼球追踪信息；
根据所述眼球追踪信息确定与所述眼球追踪信息相对应的响应指令；
根据所述响应指令引导手游终端屏幕上的控制点以完成手游响应。
8.如权利要求7所述的基于视觉引导的手游响应方法，其特征在于，还包括：
将通过物理键采集的物理信息转化为触控信息；
根据所述触控信息确定与所述触控信息相对应的响应指令。
9.如权利要求7所述的基于视觉引导的手游响应方法，其特征在于，在将所述眼部运动图像转化为眼球追踪信息的过程中，
先将所述眼部运动图像转换为灰度图像；
再对所述灰度图像进行眼球追踪信息提取。
10.如权利要求9所述的基于视觉引导的手游响应方法，其特征在于，对所述灰度图像进行眼球追踪信息提取的过程包括：
锁定所述灰度图像中的眼睛部位；
对所述灰度图像中的虹膜中心点进行定位，以确定所述虹膜中心点的移动偏差(Xp,Yp)＝(X1,Y1)-(X0,Y0)；其中，(X0,Y0)为所述虹膜中心点处于所述眼睛部位中心的位置坐标，(X1,Y1)为所述虹膜中心点运动后的位置坐标；
将所述灰度图像中的所有虹膜中心点的移动偏差(Xp,Yp)的数据进行快速集合形成眼球追踪信息。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419061.7A CN111632367A (zh) | 2020-05-18 | 2020-05-18 | 基于视觉引导的手游系统及手游响应方法 |
| US17/997,101 US20230256327A1 (en) | 2020-05-18 | 2020-11-07 | Visual guidance-based mobile game system and mobile game response method |
| PCT/CN2020/127345 WO2021232698A1 (zh) | 2020-05-18 | 2020-11-07 | 基于视觉引导的手游系统及手游响应方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010419061.7A CN111632367A (zh) | 2020-05-18 | 2020-05-18 | 基于视觉引导的手游系统及手游响应方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111632367A true CN111632367A (zh) | 2020-09-08 |
Family
ID=72323479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010419061.7A Pending CN111632367A (zh) | 2020-05-18 | 2020-05-18 | 基于视觉引导的手游系统及手游响应方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230256327A1 (zh) |
| CN (1) | CN111632367A (zh) |
| WO (1) | WO2021232698A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113359987A (zh) * | 2021-06-03 | 2021-09-07 | 煤炭科学技术研究院有限公司 | 基于vr虚拟现实的半实物综采实操平台 |
| WO2021232698A1 (zh) * | 2020-05-18 | 2021-11-25 | 歌尔股份有限公司 | 基于视觉引导的手游系统及手游响应方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
| CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
| CN107066085A (zh) * | 2017-01-12 | 2017-08-18 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪控制终端的方法及装置 |
| CN107145226A (zh) * | 2017-04-20 | 2017-09-08 | 中国地质大学（武汉） | 眼控人机交互系统及方法 |
| CN107562208A (zh) * | 2017-09-27 | 2018-01-09 | 上海展扬通信技术有限公司 | 一种基于视觉的智能终端控制方法及智能终端控制系统 |
| CN108635840A (zh) * | 2018-05-17 | 2018-10-12 | 南京华捷艾米软件科技有限公司 | 一种基于Sikuli图像识别的手机游戏体感操控系统及方法 |
| CN108704308A (zh) * | 2018-05-17 | 2018-10-26 | Oppo广东移动通信有限公司 | 射击游戏的控制方法、装置、存储介质和电子设备 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
| CN110837294A (zh) * | 2019-10-14 | 2020-02-25 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10025381B2 (en) * | 2012-01-04 | 2018-07-17 | Tobii Ab | System for gaze interaction |
| US10488919B2 (en) * | 2012-01-04 | 2019-11-26 | Tobii Ab | System for gaze interaction |
| CN110465085A (zh) * | 2019-08-20 | 2019-11-19 | 网易（杭州）网络有限公司 | 弹幕处理方法、终端设备、电子设备及介质 |
| CN111632367A (zh) * | 2020-05-18 | 2020-09-08 | 歌尔科技有限公司 | 基于视觉引导的手游系统及手游响应方法 |
-
2020
- 2020-05-18 CN CN202010419061.7A patent/CN111632367A/zh active Pending
- 2020-11-07 WO PCT/CN2020/127345 patent/WO2021232698A1/zh active Application Filing
- 2020-11-07 US US17/997,101 patent/US20230256327A1/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106598221A (zh) * | 2016-11-17 | 2017-04-26 | 电子科技大学 | 基于眼部关键点检测的3d视线方向估计方法 |
| CN106774863A (zh) * | 2016-12-03 | 2017-05-31 | 西安中科创星科技孵化器有限公司 | 一种基于瞳孔特征实现视线追踪的方法 |
| CN107066085A (zh) * | 2017-01-12 | 2017-08-18 | 惠州Tcl移动通信有限公司 | 一种基于眼球追踪控制终端的方法及装置 |
| CN107145226A (zh) * | 2017-04-20 | 2017-09-08 | 中国地质大学（武汉） | 眼控人机交互系统及方法 |
| CN107562208A (zh) * | 2017-09-27 | 2018-01-09 | 上海展扬通信技术有限公司 | 一种基于视觉的智能终端控制方法及智能终端控制系统 |
| CN108635840A (zh) * | 2018-05-17 | 2018-10-12 | 南京华捷艾米软件科技有限公司 | 一种基于Sikuli图像识别的手机游戏体感操控系统及方法 |
| CN108704308A (zh) * | 2018-05-17 | 2018-10-26 | Oppo广东移动通信有限公司 | 射击游戏的控制方法、装置、存储介质和电子设备 |
| CN108985210A (zh) * | 2018-07-06 | 2018-12-11 | 常州大学 | 一种基于人眼几何特征的视线追踪方法及系统 |
| CN110555426A (zh) * | 2019-09-11 | 2019-12-10 | 北京儒博科技有限公司 | 视线检测方法、装置、设备及存储介质 |
| CN110837294A (zh) * | 2019-10-14 | 2020-02-25 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 廖可兵 刘爱群: "《安全人机工程》", 应急管理出版社, pages: 149 - 150 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021232698A1 (zh) * | 2020-05-18 | 2021-11-25 | 歌尔股份有限公司 | 基于视觉引导的手游系统及手游响应方法 |
| CN113359987A (zh) * | 2021-06-03 | 2021-09-07 | 煤炭科学技术研究院有限公司 | 基于vr虚拟现实的半实物综采实操平台 |
| CN113359987B (zh) * | 2021-06-03 | 2023-12-26 | 煤炭科学技术研究院有限公司 | 基于vr虚拟现实的半实物综采实操平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230256327A1 (en) | 2023-08-17 |
| WO2021232698A1 (zh) | 2021-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11656680B2 (en) | Technique for controlling virtual image generation system using emotional states of user | |
| CN102470273B (zh) | 基于玩家表情的视觉表示表情 | |
| US10105608B1 (en) | Applying participant metrics in game environments | |
| CN102947777B (zh) | 用户跟踪反馈 | |
| CN102473320B (zh) | 通过学习到的来自用户的输入使视觉表示生动化的方法 | |
| CN102448561B (zh) | 姿势教练 | |
| CN102449576B (zh) | 姿势快捷方式 | |
| KR101643020B1 (ko) | 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치 | |
| CN102129293A (zh) | 在运动捕捉系统中跟踪用户组 | |
| CN102947774A (zh) | 用于驱动交互式故事的自然用户输入 | |
| CN109166612B (zh) | 一种基于眼动及脑电信息的大型游戏场景康复系统及方法 | |
| CN111632367A (zh) | 基于视觉引导的手游系统及手游响应方法 | |
| Barioni et al. | BalletVR: a Virtual Reality System for Ballet Arm Positions Training | |
| JP2008186075A (ja) | インタラクティブ画像表示装置 | |
| KR102433084B1 (ko) | 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템 | |
| JP2021029452A (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
| JP2023533701A (ja) | セクシャルニーズインタラクティブプラットフォームシステム | |
| CN114220153A (zh) | 一种基于人脸识别的软件交互方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |