CN107648846B - 一种人脸跟踪的游戏交互方法及装置 - Google Patents

一种人脸跟踪的游戏交互方法及装置 Download PDF

Info

Publication number
CN107648846B
CN107648846B CN201710868766.5A CN201710868766A CN107648846B CN 107648846 B CN107648846 B CN 107648846B CN 201710868766 A CN201710868766 A CN 201710868766A CN 107648846 B CN107648846 B CN 107648846B
Authority
CN
China
Prior art keywords
game interaction
vector
point
world coordinates
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710868766.5A
Other languages
English (en)
Other versions
CN107648846A (zh
Inventor
梁松
周火坤
张晓民
谭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Panx Software Development Co ltd
Original Assignee
Guangzhou Panx Software Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Panx Software Development Co ltd filed Critical Guangzhou Panx Software Development Co ltd
Priority to CN201710868766.5A priority Critical patent/CN107648846B/zh
Publication of CN107648846A publication Critical patent/CN107648846A/zh
Application granted granted Critical
Publication of CN107648846B publication Critical patent/CN107648846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/837Shooting of targets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8076Shooting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种人脸跟踪的游戏交互方法及装置,该方法包括:获取包含人脸的图像信息;对所述图像信息中的多个脸部特征点进行定位;对所定位到的多个所述脸部特征点映射到3D世界坐标空间;从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;依据所提取的3D世界坐标执行预设的游戏交互机制。该发明的有益效果为:无需外接其他游戏输入设备,降低成本;使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉;是一种健康的游戏交互方式。

Description

一种人脸跟踪的游戏交互方法及装置
技术领域
本技术涉及图像处理技术领域,具体涉及一种人脸跟踪的游戏交互方法及装置。
背景技术
目前市面上类似微信打飞机一类的小游戏,都是采用键鼠、触摸屏或外接游戏手柄做为游戏输入设备,控制子弹的飞行轨迹来射击目标。这种方式存在以下缺陷:1)玩家手指活动范围小,长期在触摸屏上滑动,或者按鼠标键盘容易产生肌肉疲劳,导致“鼠标手”“键盘手”等健康问题;2)玩家长期以固定姿势盯着屏幕,容易导致眼球疲劳,导致视力问题;3)互动方式单一,在体验的过程中会显得枯燥无趣,使玩家很快失去新鲜感;4)使用外接游戏手柄控制虽然进行更自然的交互,但增加游戏外设成本较高。
发明内容
本发明的目的在于解决现有技术中玩家手指活动范围小,长期在触摸屏上滑动,或者按鼠标键盘容易产生肌肉疲劳,导致“鼠标手”“键盘手”等健康问题;玩家长期以固定姿势盯着屏幕,容易导致眼球疲劳,导致视力问题;互动方式单一,在体验的过程中会显得枯燥无趣,使玩家很快失去新鲜感;使用外接游戏手柄控制虽然进行更自然的交互,但增加游戏外设成本较高的问题,提供一种人脸跟踪的游戏交互方法及装置。
本发明解决其技术问题所采用的技术方案是:
提供一种人脸跟踪的游戏交互方法,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制。
在本发明所述的游戏交互方法中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
Figure BDA0001416695430000031
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
另一方面,提供一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制。
在本发明所述的游戏交互装置中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
在本发明所述的游戏交互装置中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
Figure BDA0001416695430000051
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
上述公开的一种人脸跟踪的游戏交互方法及装置具有以下有益效果:无需外接其他游戏输入设备,降低成本;使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉;是一种健康的游戏交互方式。
附图说明
图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图;
图2为本发明一实施例提供的游戏交互机制的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供了一种人脸跟踪的游戏交互方法及装置,其目的在于,利用手机摄像头/PC摄像头作为游戏输入设备,通过人脸位置姿态的跟踪及面部动作跟踪,来控制打飞机类游戏子弹飞行的轨迹及发射控制。这种方法的优点在于:1)无需外接其他游戏输入设备,降低成本;2)使用人脸运动控制子弹轨迹,玩家在游戏过程中需进场运动头部,有效锻炼脖子肌肉;3)玩家在游戏过程中,眼球需经常运动,有效锻炼眼球防止近视;4)使用面部动作来控制游戏元素如炮弹、火焰的发射,能有效锻炼面部肌肉。是一种健康的游戏交互方式。
参见图1,图1为本发明一实施例提供的一种人脸跟踪的游戏交互方法的流程图,该人脸跟踪的游戏交互方法可通过计算机程序实现,具体包括以下步骤S1-S5:
S1、获取包含人脸的图像信息;可利用手机摄像头/PC摄像头作为游戏输入设备,进行人脸位置姿态的跟踪及面部动作跟踪。
S2、对所述图像信息中的多个脸部特征点进行定位;例如:采用ASM主动外观模型算法,对脸部68个特征点进行定位,68个特征点包括眼镜、瞳孔、嘴巴、鼻子等。
S3、对所定位到的多个所述脸部特征点映射到3D世界坐标空间;即对脸部68个特征点进行3D世界坐标映射。
S4、从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;针对采用眼睛控制屏幕坐标的实施例,本实施例提供嘴唇、鼻尖及瞳孔的应用,具体的,步骤S4包括子步骤S41-S42:
S41、从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
S42、分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)。
S5、依据所提取的3D世界坐标执行预设的游戏交互机制。参见图2,本发明提供游戏交互机制如下:
第一实施例,包括步骤S511-S517:
S511、依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
S512、计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
S513、计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
在本发明所述的游戏交互方法中,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
S514、根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;例如:该虚拟攻击物为子弹。
S515、设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);即子弹处于屏幕的坐标。
S516、判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;例如:目标物为飞机,飞机在屏幕中飞行,当子弹击中飞机时,销毁子弹并对击毁的飞机计数。若没有击中飞机,则直接销毁子弹。
S517、若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
第二实施例,包括步骤S521-S523:
S521、计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
Figure BDA0001416695430000091
S522、判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
S523、当判断为张嘴时,于屏幕中释放特效。例如,嘴巴喷火来击毁屏幕上移动的飞机。
本发明还提供一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,从而实现上述方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (6)

1.一种人脸跟踪的游戏交互方法,其特征在于,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制;
其中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze);
所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
2.根据权利要求1所述的游戏交互方法,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
3.根据权利要求1所述的游戏交互方法,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
Figure FDA0002487694160000021
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
4.一种人脸跟踪的游戏交互装置,其中存储有多条指令,所述指令适于由处理器加载并执行,其特征在于,包括:
获取包含人脸的图像信息;
对所述图像信息中的多个脸部特征点进行定位;
对所定位到的多个所述脸部特征点映射到3D世界坐标空间;
从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标;
依据所提取的3D世界坐标执行预设的游戏交互机制;
其中,所述从所映射的3D世界坐标空间中提取一至多个包含五官的脸部特征点的3D世界坐标,包括:
从所映射的3D世界坐标空间中分别获取左眼瞳孔特征点、右眼瞳孔特征点及鼻尖特征点的3D世界坐标A(Xa,Ya,Za)、B(Xb,Yb,Zb)及C(Xc,Yc,Zc);
分别获取嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze);
所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
依据所述左眼瞳孔特征点、所述右眼瞳孔特征点及所述鼻尖特征点形成一平面,所述平面包括向量AC(Xc-Xa,Yc-Ya,Zc-Za)、向量BC(Xc-Xb,Yc-Yb,Zc-Zb)及向量AB(Xb-Xa,Yb-Ya,Zb-Za);
计算以所述左眼瞳孔特征点为垂足,所述平面的法线与屏幕的第一交点T1(Xt1,Yt1,Zt1)及第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za):
(Xc-Xa)(Xt1-Xa)+(Yc-Ya)(Yt1-Ya)+(Zc-Za)(Zt1-Za)=0
(Xc-Xb)(Xt1-Xa)+(Yc-Yb)(Yt1-Ya)+(Zc-Zb)(Zt1-Za)=0
(Xb-Xa)(Xt1-Xa)+(Yb-Ya)(Yt1-Ya)+(Zb-Za)(Zt1-Za)=0;
计算以所述右眼瞳孔特征点为垂足,所述平面的法线与屏幕的第二交点T2(Xt2,Yt2,Zt2)及第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb):
(Xc-Xa)(Xt2-Xb)+(Yc-Ya)(Yt2-Yb)+(Zc-Za)(Zt2-Zb)=0
(Xc-Xb)(Xt2-Xb)+(Yc-Yb)(Yt2-Yb)+(Zc-Zb)(Zt2-Zb)=0
(Xb-Xa)(Xt2-Xb)+(Yb-Ya)(Yt2-Yb)+(Zb-Za)(Zt2-Zb)=0。
5.根据权利要求4所述的游戏交互装置,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,还包括:
根据所述第一交点对应的向量AT1(Xt1-Xa,Yt1-Ya,Zt1-Za)及所述第二交点对应的向量AT2(Xt2-Xb,Yt2-Yb,Zt2-Zb)产生虚拟攻击物;
设置所述虚拟攻击物于所述屏幕上的交点为所述第一交点T1(Xt1,Yt1,Zt1)及所述第二交点T2(Xt2,Yt2,Zt2);
判断所述虚拟攻击物是否击中所述屏幕中的目标物,若是,则计算击中所述目标物的数量,并销毁所述虚拟攻击物,若否,则销毁所述虚拟攻击物;
若所击中的目标物的数量达到预设的数量,则重新获取包含人脸的图像信息。
6.根据权利要求4所述的游戏交互装置,其特征在于,所述依据所提取的3D世界坐标执行预设的游戏交互机制,包括:
计算所述嘴唇上下两个特征点的3D世界坐标D(Xd,Yd,Zd)及E(Xe,Ye,Ze)之间的距离L:
Figure FDA0002487694160000041
判断所述距离L是否大于预设的阈值,若是,则判断为张嘴,若否,则判断为闭嘴;
当判断为张嘴时,于屏幕中释放特效。
CN201710868766.5A 2017-09-22 2017-09-22 一种人脸跟踪的游戏交互方法及装置 Active CN107648846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710868766.5A CN107648846B (zh) 2017-09-22 2017-09-22 一种人脸跟踪的游戏交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710868766.5A CN107648846B (zh) 2017-09-22 2017-09-22 一种人脸跟踪的游戏交互方法及装置

Publications (2)

Publication Number Publication Date
CN107648846A CN107648846A (zh) 2018-02-02
CN107648846B true CN107648846B (zh) 2020-07-10

Family

ID=61130049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710868766.5A Active CN107648846B (zh) 2017-09-22 2017-09-22 一种人脸跟踪的游戏交互方法及装置

Country Status (1)

Country Link
CN (1) CN107648846B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109045688B (zh) * 2018-07-23 2022-04-26 广州方硅信息技术有限公司 游戏交互方法、装置、电子设备及存储介质
CN110941333A (zh) * 2019-11-12 2020-03-31 北京字节跳动网络技术有限公司 基于眼部动作的交互方法、装置、介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN103136744A (zh) * 2011-11-25 2013-06-05 三星电子株式会社 用于计算特征点的三维位置的装置和方法
CN106445172A (zh) * 2016-11-18 2017-02-22 任有恒 虚拟屏幕射击游戏系统
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技(上海)有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN106933339A (zh) * 2015-12-31 2017-07-07 掌赢信息科技(上海)有限公司 一种眼球驱动方法及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101337128A (zh) * 2008-08-20 2009-01-07 北京中星微电子有限公司 一种基于人脸的游戏控制方法及系统
CN103136744A (zh) * 2011-11-25 2013-06-05 三星电子株式会社 用于计算特征点的三维位置的装置和方法
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技(上海)有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN106933339A (zh) * 2015-12-31 2017-07-07 掌赢信息科技(上海)有限公司 一种眼球驱动方法及电子设备
CN106445172A (zh) * 2016-11-18 2017-02-22 任有恒 虚拟屏幕射击游戏系统

Also Published As

Publication number Publication date
CN107648846A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
US11513592B2 (en) Systems and methods for assisting virtual gestures based on viewing frustum
JP7362191B2 (ja) 仮想オブジェクトの制御方法、装置、端末及びコンピュータプログラム
WO2021213026A1 (zh) 虚拟对象的控制方法、装置、设备及存储介质
JP5865357B2 (ja) アバター・ジェスチャーの表示制限
WO2016150292A1 (zh) 一种融合真实环境的虚实结合的交互方法及系统
US20120309516A1 (en) Action trigger gesturing
JP2022539288A (ja) 仮想オブジェクトの制御方法、装置、機器及びコンピュータプログラム
CN110354489A (zh) 虚拟对象的控制方法、装置、终端及存储介质
CN107469343B (zh) 虚拟现实交互方法、装置及系统
KR20090003337A (ko) 가상 장비 모델의 자동 적합화 방법
CN112138384B (zh) 虚拟投掷道具的使用方法、装置、终端及存储介质
WO2021238870A1 (zh) 信息显示方法、装置、设备及存储介质
WO2022156486A1 (zh) 虚拟道具的投放方法、装置、终端、存储介质及程序产品
US8845431B2 (en) Shape trace gesturing
WO2022068452A1 (zh) 虚拟道具的交互处理方法、装置、电子设备及可读存储介质
CN107648846B (zh) 一种人脸跟踪的游戏交互方法及装置
US20230124014A1 (en) Image display method and apparatus, device and storage medium
WO2021244237A1 (zh) 虚拟对象控制方法、装置、计算机设备及存储介质
TW202222393A (zh) 遊戲物件的互動控制系統、方法、伺服器及電腦可讀存儲媒體
CN114631121A (zh) 用于沉浸式混合现实空间的系统和方法
WO2023130800A1 (zh) 生成主控对象投影的方法、装置、设备及介质
JP2023528335A (ja) 仮想オブジェクトの制御方法、装置、端末、記憶媒体及びコンピュータプログラム
WO2018234866A2 (en) INCREASED INTERACTIVE REALITY OF ROLE PLAY IN SUBJECTIVE VIEW
WO2023231544A9 (zh) 虚拟对象的控制方法、装置、设备以及存储介质
Berriel et al. Controlling First-Person Character Movement: A Low-Cost Camera-based Tracking Alternative for Virtual Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant