CN107648846B - 一种人脸跟踪的游戏交互方法及装置 - Google Patents
一种人脸跟踪的游戏交互方法及装置 Download PDFInfo
- Publication number
- CN107648846B CN107648846B CN201710868766.5A CN201710868766A CN107648846B CN 107648846 B CN107648846 B CN 107648846B CN 201710868766 A CN201710868766 A CN 201710868766A CN 107648846 B CN107648846 B CN 107648846B
- Authority
- CN
- China
- Prior art keywords
- game interaction
- vector
- point
- world coordinates
- intersection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
- A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8076—Shooting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸跟踪的游戏交互方法及装置,该方法包括:获取包含人脸的图像信息;对所述图像信息中的多个脸部特征点进行定位;对所定位到的多个所述脸部特征点映射到3D世界坐标空间;从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;依据所提取的3D世界坐标执行预设的游戏交互机制。该发明的有益效果为:无需外接其他游戏输入设备,降低成本;使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉;是一种健康的游戏交互方式。
Description
技术领域
本技术涉及图像处理技术领域,具体涉及一种人脸跟踪的游戏交互方法及装置。
背景技术
目前市面上类似微信打飞机一类的小游戏,都是采用键鼠、触摸屏或外接游戏手柄做为游戏输入设备,控制子弹的飞行轨迹来射击目标。这种方式存在以下缺陷:1)玩家手指活动范围小,长期在触摸屏上滑动,或者按鼠标键盘容易产生肌肉疲劳,导致“鼠标手”“键盘手”等健康问题;2)玩家长期以固定姿势盯着屏幕,容易导致眼球疲劳,导致视力问题;3)互动方式单一,在体验的过程中会显得枯燥无趣,使玩家很快失去新鲜感;4)使用外接游戏手柄控制虽然进行更自然的交互,但增加游戏外设成本较高。
发明内容
本发明的目的在于解决现有技术中玩家手指活动范围小,长期在触摸屏上滑动,或者按鼠标键盘容易产生肌肉疲劳,导致“鼠标手”“键盘手”等健康问题;玩家长期以固定姿势盯着屏幕,容易导致眼球疲劳,导致视力问题;互动方式单一,在体验的过程中会显得枯燥无趣,使玩家很快失去新鲜感;使用外接游戏手柄控制虽然进行更自然的交互,但增加游戏外设成本较高的问题,提供一种人脸跟踪的游戏交互方法及装置。
本发明解决其技术问题所采用的技术方案是:
提供一种人脸跟踪的游戏交互方法,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制。
在本发明所述的游戏交互方法中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
另一方面,提供一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制。
在本发明所述的游戏交互装置中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
上述公开的一种人脸跟踪的游戏交互方法及装置具有以下有益效果:无需外接其他游戏输入设备,降低成本;使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉;是一种健康的游戏交互方式。
附图说明
图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图;
图2为本发明一实施例提供的游戏交互机制的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供了一种人脸跟踪的游戏交互方法及装置,其目的在于,利用手机摄像头/PC摄像头作为游戏输入设备,通过人脸位置姿态的跟踪及面部动作跟踪,来控制打飞机类游戏子弹飞行的轨迹及发射控制。这种方法的优点在于:1)无需外接其他游戏输入设备,降低成本;2)使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;3)玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;4)使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉。是一种健康的游戏交互方式。
参见图1,图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图,该人脸跟踪的游戏交互方法可通过计算机程序实现,具体包括以下步骤S1-S5:
S1、获取包含人脸的图像信息;可利用手机摄像头/PC摄像头作为游戏输入设备,进行人脸位置姿态的跟踪及面部动作跟踪。
S2、对所述图像信息中的多个脸部特征点进行定位;例如:采用ASM主动外观模型算法,对脸部68个特征点进行定位,68个特征点包括眼镜、瞳孔、嘴巴、鼻子等。
S3、对所定位到的多个所述脸部特征点映射到3D世界坐标空间;即对脸部68个特征点进行3D世界坐标映射。
S4、从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;针对采用眼睛控制屏幕坐标的实施例,本实施例提供嘴唇、鼻尖及瞳孔的应用,具体的,步骤S4包括子步骤S41-S42:
S41、从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
S42、分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
S5、依据所提取的3D世界坐标执行预设的游戏交互机制。参见图2,本发明提供游戏交互机制如下:
第一实施例,包括步骤S511-S517:
S511、依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
S512、计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
S513、计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
S514、根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;例如:该虚拟攻击物为子弹。
S515、设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);即子弹处于屏幕的坐标。
S516、判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;例如:目标物为飞机,飞机在屏幕中飞行,当子弹击中飞机时,销毁子弹并对击毁的飞机计数。若没有击中飞机,则直接销毁子弹。
S517、若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
第二实施例,包括步骤S521-S523:
S521、计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
S522、判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
S523、当判断为张嘴时,于屏幕中释放特效。例如,嘴巴喷火来击毁屏幕上移动的飞机。
本发明还提供一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,从而实现上述方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (6)
1.一种人脸跟踪的游戏交互方法,其特征在于,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制;
其中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze);
所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
2.根据权利要求1所述的游戏交互方法,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
4.一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,其特征在于,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制;
其中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze);
所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
5.根据权利要求4所述的游戏交互装置,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710868766.5A CN107648846B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸跟踪的游戏交互方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710868766.5A CN107648846B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸跟踪的游戏交互方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107648846A CN107648846A (zh) | 2018-02-02 |
CN107648846B true CN107648846B (zh) | 2020-07-10 |
Family
ID=61130049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710868766.5A Active CN107648846B (zh) | 2017-09-22 | 2017-09-22 | 一种人脸跟踪的游戏交互方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107648846B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109045688B (zh) * | 2018-07-23 | 2022-04-26 | 广州方硅信息技术有限公司 | 游戏交互方法、装置、电子设备及存储介质 |
CN110941333A (zh) * | 2019-11-12 | 2020-03-31 | 北京字节跳动网络技术有限公司 | 基于眼部动作的交互方法、装置、介质和电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337128A (zh) * | 2008-08-20 | 2009-01-07 | 北京中星微电子有限公司 | 一种基于人脸的游戏控制方法及系统 |
CN103136744A (zh) * | 2011-11-25 | 2013-06-05 | 三星电子株式会社 | 用于计算特征点的三维位置的装置和方法 |
CN106445172A (zh) * | 2016-11-18 | 2017-02-22 | 任有恒 | 虚拟屏幕射击游戏系统 |
CN106909213A (zh) * | 2015-12-23 | 2017-06-30 | 掌赢信息科技(上海)有限公司 | 一种基于人脸识别的控制指令生成方法及电子设备 |
CN106933339A (zh) * | 2015-12-31 | 2017-07-07 | 掌赢信息科技(上海)有限公司 | 一种眼球驱动方法及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9250703B2 (en) * | 2006-03-06 | 2016-02-02 | Sony Computer Entertainment Inc. | Interface with gaze detection and voice input |
-
2017
- 2017-09-22 CN CN201710868766.5A patent/CN107648846B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101337128A (zh) * | 2008-08-20 | 2009-01-07 | 北京中星微电子有限公司 | 一种基于人脸的游戏控制方法及系统 |
CN103136744A (zh) * | 2011-11-25 | 2013-06-05 | 三星电子株式会社 | 用于计算特征点的三维位置的装置和方法 |
CN106909213A (zh) * | 2015-12-23 | 2017-06-30 | 掌赢信息科技(上海)有限公司 | 一种基于人脸识别的控制指令生成方法及电子设备 |
CN106933339A (zh) * | 2015-12-31 | 2017-07-07 | 掌赢信息科技(上海)有限公司 | 一种眼球驱动方法及电子设备 |
CN106445172A (zh) * | 2016-11-18 | 2017-02-22 | 任有恒 | 虚拟屏幕射击游戏系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107648846A (zh) | 2018-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11513592B2 (en) | Systems and methods for assisting virtual gestures based on viewing frustum | |
JP7362191B2 (ja) | 仮想オブジェクトの制御方法、装置、端末及びコンピュータプログラム | |
WO2021213026A1 (zh) | 虚拟对象的控制方法、装置、设备及存储介质 | |
JP5865357B2 (ja) | アバター・ジェスチャーの表示制限 | |
WO2016150292A1 (zh) | 一种融合真实环境的虚实结合的交互方法及系统 | |
US20120309516A1 (en) | Action trigger gesturing | |
JP2022539288A (ja) | 仮想オブジェクトの制御方法、装置、機器及びコンピュータプログラム | |
CN110354489A (zh) | 虚拟对象的控制方法、装置、终端及存储介质 | |
CN107469343B (zh) | 虚拟现实交互方法、装置及系统 | |
KR20090003337A (ko) | 가상 장비 모델의 자동 적합화 방법 | |
CN112138384B (zh) | 虚拟投掷道具的使用方法、装置、终端及存储介质 | |
WO2021238870A1 (zh) | 信息显示方法、装置、设备及存储介质 | |
WO2022156486A1 (zh) | 虚拟道具的投放方法、装置、终端、存储介质及程序产品 | |
US8845431B2 (en) | Shape trace gesturing | |
WO2022068452A1 (zh) | 虚拟道具的交互处理方法、装置、电子设备及可读存储介质 | |
CN107648846B (zh) | 一种人脸跟踪的游戏交互方法及装置 | |
US20230124014A1 (en) | Image display method and apparatus, device and storage medium | |
WO2021244237A1 (zh) | 虚拟对象控制方法、装置、计算机设备及存储介质 | |
TW202222393A (zh) | 遊戲物件的互動控制系統、方法、伺服器及電腦可讀存儲媒體 | |
CN114631121A (zh) | 用于沉浸式混合现实空间的系统和方法 | |
WO2023130800A1 (zh) | 生成主控对象投影的方法、装置、设备及介质 | |
JP2023528335A (ja) | 仮想オブジェクトの制御方法、装置、端末、記憶媒体及びコンピュータプログラム | |
WO2018234866A2 (en) | INCREASED INTERACTIVE REALITY OF ROLE PLAY IN SUBJECTIVE VIEW | |
WO2023231544A9 (zh) | 虚拟对象的控制方法、装置、设备以及存储介质 | |
Berriel et al. | Controlling First-Person Character Movement: A Low-Cost Camera-based Tracking Alternative for Virtual Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |