CN108905193B - 游戏操控处理方法、设备及存储介质 - Google Patents
游戏操控处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN108905193B CN108905193B CN201810718219.3A CN201810718219A CN108905193B CN 108905193 B CN108905193 B CN 108905193B CN 201810718219 A CN201810718219 A CN 201810718219A CN 108905193 B CN108905193 B CN 108905193B
- Authority
- CN
- China
- Prior art keywords
- game
- user
- determining
- video stream
- face video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 52
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims description 18
- 210000004709 eyebrow Anatomy 0.000 claims description 12
- 210000000887 face Anatomy 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 claims description 7
- 206010011469 Crying Diseases 0.000 claims description 6
- 230000004397 blinking Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001667 episodic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种游戏操控处理方法、设备及存储介质。该游戏操控处理方法包括：通过摄像头采集用户在进行游戏操控过程中的人脸视频流；从人脸视频流中提取用户的五官特征信息；根据五官特征信息，确定用户的表情变化；根据表情变化，对游戏进行操控处理。本发明实施例可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
Description
技术领域
本发明实施例涉及计算机技术，尤其涉及一种游戏操控处理方法、设备及存储介质。
背景技术
随着计算机技术的快速发展，为人类生活/工作带来越来越多的便利及趣味。例如，游戏的产生让人类的生活更丰富。
在相关技术中，用户可通过游戏手柄、便携终端、键盘等输入设备来实现对游戏中角色的操纵。但该相关技术导致游戏过程受限于输入设备，从而影响用户游戏体验。
发明内容
本发明实施例提供一种游戏操控处理方法、设备及存储介质，以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
第一方面，本发明实施例提供一种游戏操控处理方法，包括：
通过摄像头采集用户在进行游戏操控过程中的人脸视频流；
从所述人脸视频流中提取所述用户的五官特征信息；
根据所述五官特征信息，确定所述用户的表情变化；
根据所述表情变化，对所述游戏进行操控处理。
在一种可能的设计中，所述从所述人脸视频流中提取所述用户的五官特征信息，包括：
从所述人脸视频流中提取连续的至少两幅图像帧；
确定所述至少两幅图像帧中人脸五官的关键点坐标；
相应的，所述根据所述五官特征信息，确定所述用户的表情变化，包括：
根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；
根据所述坐标变化，确定所述用户的表情变化。
在一种可能的设计中，所述从所述人脸视频流中提取所述用户的五官特征信息之前，还包括：
确定所述人脸视频流中所包含的人脸数量；
相应的，所述从所述人脸视频流中提取所述用户的五官特征信息，包括：
从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息；
相应的，所述根据所述五官特征信息，确定所述用户的表情变化，包括：
根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化；
相应的，所述根据所述表情变化，对所述游戏进行操控处理，包括：
根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。
在一种可能的设计中，所述表情变化，包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。
在一种可能的设计中，所述根据所述表情变化，对所述游戏进行操控处理，包括：根据所述表情变化，在所述游戏中生成一段音乐旋律。
在一种可能的设计中，所述操控处理，包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停、角色切换。
第二方面，本发明实施例提供一种游戏操控处理设备，包括：
采集模块，用于通过摄像头采集用户在进行游戏操控过程中的人脸视频流；
提取模块，用于从所述人脸视频流中提取所述用户的五官特征信息；
确定模块，用于根据所述五官特征信息，确定所述用户的表情变化；
处理模块，用于根据所述表情变化，对所述游戏进行操控处理。
在一种可能的设计中，所述提取模块具体用于：从所述人脸视频流中提取连续的至少两幅图像帧；确定所述至少两幅图像帧中人脸五官的关键点坐标。
相应的，所述确定模块具体用于：根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；根据所述坐标变化，确定所述用户的表情变化。
在一种可能的设计中，所述确定模块，还用于在所述提取模块从所述人脸视频流中提取所述用户的五官特征信息之前，确定所述人脸视频流中所包含的人脸数量。相应的，所述提取模块，具体用于从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息。相应的，所述确定模块在用于根据所述五官特征信息，确定所述用户的表情变化时，具体为：根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。相应的，所述处理模块，具体用于根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。
在一种可能的设计中，所述表情变化，包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。
在一种可能的设计中，所述处理模块还用于：根据所述表情变化，在所述游戏中生成一段音乐旋律。
在一种可能的设计中，所述操控处理，包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停、角色切换。
第三方面，本发明实施例提供一种游戏操控处理设备，包括：处理器和存储器；存储器存储计算机执行指令；处理器执行计算机执行指令，使得该处理器执行如第一方面任一项所述的游戏操控处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，该计算机执行指令被处理器执行时用于实现如第一方面任一项所述的游戏操控处理方法。
本发明实施例提供的游戏操控处理方法、设备及存储介质，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；从人脸视频流中提取用户的五官特征信息；根据五官特征信息，确定用户的表情变化；根据表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的游戏操控处理方法的流程图；
图2A和图2B示出两幅图像帧示例；
图3为本发明另一实施例提供的游戏操控处理方法的流程图；
图4为本发明一实施例提供的游戏操控处理设备的结构示意图；
图5为本发明又一实施例提供的游戏操控处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到人机交互技术、人脸识别技术的日益成熟，以及相关技术在游戏过程中受限于输入设备的问题，本发明实施例提供一种游戏操控处理方法、设备及存储介质，结合人机交互技术及人脸识别技术，通过表情变化对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
图1为本发明一实施例提供的游戏操控处理方法的流程图。本发明实施例提供一种游戏操控处理方法，该游戏操控处理方法的执行主体可以为游戏操控处理设备，该游戏操控处理设备可以通过软件/硬件的方式实现。实际应用中，该游戏操控处理设备可以为安装有游戏软件/客户端的电子设备，或者，该游戏操控处理设备还可以集成于电子设备，但不以此为限。其中，电子设备例如是台式电脑、笔记本、个人数字助理(Personal DigitalAssistant，简称：PDA)、智能手机、平板电脑和游戏机等设备。该实施例以电子设备为执行主体进行说明。
具体地，用户可以下载游戏软件并安装至电子设备。通过在电子设备的处理器上执行游戏软件并在电子设备的显示设备上渲染得到游戏交互界面。
如图1所示，该游戏操控处理方法包括：
S101、通过摄像头采集用户在进行游戏操控过程中的人脸视频流。
实际应用中，电子设备中可以设置有摄像头，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；或者，电子设备还可以连接有外界的摄像头，该摄像头采集用户在进行游戏操控过程中的人脸视频流，电子设备通过与该摄像头进行通信，获取摄像头采集的人脸视频流。
S102、从人脸视频流中提取用户的五官特征信息。
其中，五官特征信息可以为用于表示五官特征的信息，例如，与眉相关的信息、与眼相关的信息，等等。可以理解，当用户的表情发生变化时，用户的五官特征信息是在变化的。因此，电子设备可以首先通过S102得到用户的五官特征信息，为确定该用户的表情变化做准备。
示例性地，电子设备可以采用人脸识别技术在人脸视频流中识别出人脸，进而提取五官特征信息。
S103、根据五官特征信息，确定用户的表情变化。
可选地，表情变化可以包括下述表情变化中的一个或多个：挑眉、张嘴、闭眼、眨眼、嘟嘴、哭和笑等。
S104、根据表情变化，对游戏进行操控处理。
一些实施例中，操控处理可以包括下述操控处理中的一个或多个：角色加速、角色翻转、角色跳跃、角色急停和角色切换等。
例如，挑眉对应游戏角色加速，也就是说，当用户的表情变化为挑眉时，电子设备对游戏进行角色加速；或者，张嘴对应游戏角色翻转，也就是说，当用户的表情变化为张嘴时，电子设备对游戏进行角色翻转，等等。
本发明实施例中，通过摄像头采集用户在进行游戏操控过程中的人脸视频流；从人脸视频流中提取用户的五官特征信息；根据五官特征信息，确定用户的表情变化；根据表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
进一步地，人脸视频流可以包括多幅图像帧。当用户的表情发生变化时，该多幅图像帧种对应的该用户的五官特征信息也是在变化的，例如，人脸五官的关键点坐标。因此，S102、从人脸视频流中提取用户的五官特征信息，可以具体为：从人脸视频流中提取连续的至少两幅图像帧；确定该至少两幅图像帧中人脸五官的关键点坐标。
相应的，S103、根据五官特征信息，确定用户的表情变化，可以包括：根据人脸五官的关键点坐标，确定至少两幅图像帧之间的坐标变化；根据坐标变化，确定用户的表情变化。
例如，以人脸五官中眉进行示例，图2A和图2B分别示出两幅图像帧。在图2A示出的图像帧中，眉的关键点坐标为(x1,y1)；在图2B示出的图像帧中，眉的关键点坐标为(x2,y2)。电子设备根据(x1,y1)和(x2,y2)，确定至少两幅图像帧之间的坐标变化为(x2-x1,y2-y1)，并根据(x2-x1,y2-y1)，确定用户的表情变化为挑眉。例如，y2-y1大于0，确定用户的表情变化为挑眉。
进一步地，由于一个人脸视频流可能包含多个人脸，即多人游戏，不同的用户控制同一游戏中的不同角色。接下来针对该种情况进行说明。
图3为本发明另一实施例提供的游戏操控处理方法的流程图。如图3所示，在图1所示流程的基础上，本实施例的游戏操控处理方法可以包括以下步骤：
S301、通过摄像头采集用户在进行游戏操控过程中的人脸视频流。
该步骤同S101，此处不再赘述。
S302、确定人脸视频流中所包含的人脸数量。
具体可通过人脸识别等相关技术，确定人脸视频流中所包含的人脸数量。
S303、从人脸视频流中提取与各个人脸对应的用户的五官特征信息。
S304、根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。
S305、根据各个用户的表情变化，分别对游戏中与各个用户对应的角色进行操控处理。
S303～S305分别对应S102～S104，区别主要在于人脸数量的不同。该实施例是针对人脸视频流中包含的每一人脸，执行上述S102～S104，从而实现多人游戏，每个用户通过改变表情控制其对应的角色。
在上述实施例的基础上，一些实施例中，根据表情变化，对游戏进行操控处理，可以包括：根据表情变化，在游戏中生成一段音乐旋律。例如，将表情变化与音频、音阶、乐器等对应，从而可以根据表情变化及其对应音频、音节等信息生成一段音乐旋律。
或者，可选地，预先设置表情变化与音乐旋律的映射关系，当电子设备确定表情变化之后，可根据该确定的表情变化从上述映射关系中找到其对应的音乐旋律，进而进行音乐旋律的播放，等等。例如，挑眉这一表情变化对应表示胜利的音乐旋律，当用户赢得游戏时，通过挑眉这一动作控制该音乐旋律的播放。
上述实施例，电子设备根据用户的表情变化，对游戏进行操控处理，从而可以避免游戏过程中输入设备的限制，提升游戏的互动性及趣味性。
需说明的是，在本发明任一实施例中，表情变化与操控处理之间的对应关系、关键点的位置等，并非是固定不可变的，用户可以根据实际需求进行设置。
图4为本发明一实施例提供的游戏操控处理设备的结构示意图。本发明实施例提供一种游戏操控处理设备，该游戏操控处理设备可以通过软件和/或硬件的方式实现。实际应用中，该游戏操控处理设备可以为安装有游戏软件/客户端的电子设备，或者，该游戏操控处理设备还可以集成于电子设备，但不以此为限。其中，电子设备例如是台式电脑、笔记本、PDA、智能手机、平板电脑和游戏机等设备。
具体地，用户可以下载游戏软件并安装至电子设备。通过在电子设备的处理器上执行游戏软件并在电子设备的显示设备上渲染得到游戏交互界面。
如图4所示，游戏操控处理设备40包括：采集模块41、提取模块42、确定模块43和处理模块44。其中，
该采集模块41，用于通过摄像头采集用户在进行游戏操控过程中的人脸视频流。
该提取模块42，用于从所述人脸视频流中提取所述用户的五官特征信息。
该确定模块43，用于根据所述五官特征信息，确定所述用户的表情变化。
该处理模块44，用于根据所述表情变化，对所述游戏进行操控处理。
本实施例提供的游戏操控处理设备，可用于执行上述的方法实施例，其实现方式和技术效果类似，本实施例此处不再赘述。
一种实现方式中，提取模块42可具体用于：从所述人脸视频流中提取连续的至少两幅图像帧；确定所述至少两幅图像帧中人脸五官的关键点坐标。
相应的，确定模块43可具体用于：根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；根据所述坐标变化，确定所述用户的表情变化。
另一种实现方式中，确定模块43，还可以用于在提取模块42从所述人脸视频流中提取所述用户的五官特征信息之前，确定所述人脸视频流中所包含的人脸数量。
该实现方式中，提取模块42可具体用于从所述人脸视频流中提取与各个人脸对应的用户的五官特征信息。
确定模块43在用于根据所述五官特征信息，确定所述用户的表情变化时，可具体为：根据各个人脸对应的用户的五官特征信息，确定各个用户的表情变化。
处理模块44，可具体用于根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理。
在上述实施例中，可选地，所述表情变化，可以包括下述表情变化中的一个或多个：
挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑，等等。
进一步地，处理模块44还可以用于：
根据所述表情变化，在所述游戏中生成一段音乐旋律。
一些实施例中，所述操控处理，可以包括下述操控处理中的一个或多个：
角色加速、角色翻转、角色跳跃、角色急停和角色切换等。
图5为本发明又一实施例提供的游戏操控处理设备的结构示意图。如图5所示，该游戏操控处理设备50包括：
至少一个处理器51和存储器52；
所述存储器52存储计算机执行指令；
所述至少一个处理器51执行所述存储器52存储的计算机执行指令，使得所述至少一个处理器51执行如上所述的游戏操控处理方法。
处理器51的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
可选地，该游戏操控处理设备50还包括通信部件53。其中，处理器51、存储器52以及通信部件53可以通过总线54连接。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的游戏操控处理方法。
在上述的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种游戏操控处理方法，其特征在于，应用于游戏操控处理设备，包括：
通过摄像头采集至少一个用户在进行游戏操控过程中的人脸视频流；
从所述人脸视频流中提取各用户的五官特征信息；
根据各所述五官特征信息，确定各用户的表情变化；
根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理，所述操控处理包括对所述游戏中角色的操控处理，所述表情变化与所述游戏中角色的动作不相同；或者，所述操控处理包括与所述游戏相对应的音频的生成，所述游戏操控处理设备中预先设置有表情变化与第一信息的对应关系，所述第一信息包括音频、音阶和乐器，所述第一信息用于生成与所述游戏相对应的音频。
2.根据权利要求1所述的方法，其特征在于，所述从所述人脸视频流中提取各用户的五官特征信息，包括：
针对每个用户：
从所述人脸视频流中提取所述用户的连续的至少两幅图像帧；
确定所述至少两幅图像帧中人脸五官的关键点坐标；
相应的，根据所述五官特征信息，确定所述用户的表情变化，包括：
根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；
根据所述坐标变化，确定所述用户的表情变化。
3.根据权利要求1所述的方法，其特征在于，所述从所述人脸视频流中提取各用户的五官特征信息之前，还包括：
确定所述人脸视频流中所包含的人脸数量。
4.根据权利要求1～3中任一项所述的方法，其特征在于，所述表情变化，包括下述表情变化中的一个或多个：
挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。
5.根据权利要求1～3中任一项所述的方法，其特征在于，所述根据所述表情变化，对所述游戏进行操控处理，包括：
根据所述表情变化，在所述游戏中生成一段音乐旋律。
6.根据权利要求1～3中任一项所述的方法，其特征在于，所述操控处理，包括下述操控处理中的一个或多个：
角色加速、角色翻转、角色跳跃、角色急停、角色切换。
7.一种游戏操控处理设备，其特征在于，包括：
采集模块，用于通过摄像头采集至少一个用户在进行游戏操控过程中的人脸视频流；
提取模块，用于从所述人脸视频流中提取各用户的五官特征信息；
确定模块，用于根据各所述五官特征信息，确定各用户的表情变化；
处理模块，用于根据各个用户的表情变化，分别对所述游戏中与各个用户对应的角色进行操控处理，所述操控处理包括对所述游戏中角色的操控处理，所述表情变化与所述游戏中角色的动作不相同；或者，所述操控处理包括与所述游戏相对应的音频的生成，所述游戏操控处理设备中预先设置有表情变化与第一信息的对应关系，所述第一信息包括音频、音阶和乐器，所述第一信息用于生成与所述游戏相对应的音频。
8.根据权利要求7所述的设备，其特征在于，
所述提取模块具体用于：
针对每个用户：
从所述人脸视频流中提取所述用户的连续的至少两幅图像帧；
确定所述至少两幅图像帧中人脸五官的关键点坐标；
相应的，所述确定模块具体用于：
根据所述人脸五官的关键点坐标，确定所述至少两幅图像帧之间的坐标变化；
根据所述坐标变化，确定所述用户的表情变化。
9.根据权利要求7所述的设备，其特征在于，
所述确定模块，还用于在所述提取模块从所述人脸视频流中提取各用户的五官特征信息之前，确定所述人脸视频流中所包含的人脸数量。
10.根据权利要求7～9中任一项所述的设备，其特征在于，所述表情变化，包括下述表情变化中的一个或多个：
挑眉、张嘴、闭眼、眨眼、嘟嘴、哭、笑。
11.根据权利要求7～9中任一项所述的设备，其特征在于，所述处理模块还用于：
根据所述表情变化，在所述游戏中生成一段音乐旋律。
12.根据权利要求7～9中任一项所述的设备，其特征在于，所述操控处理，包括下述操控处理中的一个或多个：
角色加速、角色翻转、角色跳跃、角色急停、角色切换。
13.一种游戏操控处理设备，其特征在于，包括：处理器和存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述计算机执行指令，使得所述处理器执行如权利要求1至6任一项所述的游戏操控处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的游戏操控处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810718219.3A CN108905193B (zh) | 2018-07-03 | 2018-07-03 | 游戏操控处理方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810718219.3A CN108905193B (zh) | 2018-07-03 | 2018-07-03 | 游戏操控处理方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108905193A CN108905193A (zh) | 2018-11-30 |
| CN108905193B true CN108905193B (zh) | 2022-04-15 |
Family
ID=64423474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810718219.3A Active CN108905193B (zh) | 2018-07-03 | 2018-07-03 | 游戏操控处理方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108905193B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109718544A (zh) * | 2018-12-14 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 基于人脸辨识的游戏控制方法与使用该方法的电子装置 |
| CN110941333A (zh) * | 2019-11-12 | 2020-03-31 | 北京字节跳动网络技术有限公司 | 基于眼部动作的交互方法、装置、介质和电子设备 |
| CN111013135A (zh) * | 2019-11-12 | 2020-04-17 | 北京字节跳动网络技术有限公司 | 一种交互方法、装置、介质和电子设备 |
| CN111068308A (zh) * | 2019-11-12 | 2020-04-28 | 北京字节跳动网络技术有限公司 | 基于嘴部动作的数据处理方法、装置、介质和电子设备 |
| CN110928410A (zh) * | 2019-11-12 | 2020-03-27 | 北京字节跳动网络技术有限公司 | 基于多个表情动作的交互方法、装置、介质和电子设备 |
| CN111597926A (zh) * | 2020-04-29 | 2020-08-28 | 深圳市商汤智能传感科技有限公司 | 图像处理方法及装置、电子设备及存储介质 |
| CN112153405A (zh) * | 2020-09-25 | 2020-12-29 | 北京字节跳动网络技术有限公司 | 游戏直播互动方法及装置 |
| CN114217693A (zh) * | 2021-12-17 | 2022-03-22 | 广州轻游信息科技有限公司 | 一种人脸识别的软件交互方法、系统和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101337128A (zh) * | 2008-08-20 | 2009-01-07 | 北京中星微电子有限公司 | 一种基于人脸的游戏控制方法及系统 |
| CN104484038A (zh) * | 2014-12-16 | 2015-04-01 | 广东欧珀移动通信有限公司 | 智能设备的控制方法及装置 |
| CN106503127A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 基于脸部动作识别的音乐数据处理方法及系统 |
| CN107015745A (zh) * | 2017-05-19 | 2017-08-04 | 广东小天才科技有限公司 | 屏幕操作方法、装置、终端设备及计算机可读存储介质 |
| CN108197533A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨（深圳）科技有限公司 | 一种基于用户表情的人机交互方法、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10137363B2 (en) * | 2013-06-20 | 2018-11-27 | Uday Parshionikar | Gesture based user interfaces, apparatuses and control systems |
| CN107831902B (zh) * | 2017-11-23 | 2020-08-25 | 腾讯科技（上海）有限公司 | 一种运动控制方法及其设备、存储介质、终端 |
-
2018
- 2018-07-03 CN CN201810718219.3A patent/CN108905193B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101337128A (zh) * | 2008-08-20 | 2009-01-07 | 北京中星微电子有限公司 | 一种基于人脸的游戏控制方法及系统 |
| CN104484038A (zh) * | 2014-12-16 | 2015-04-01 | 广东欧珀移动通信有限公司 | 智能设备的控制方法及装置 |
| CN106503127A (zh) * | 2016-10-19 | 2017-03-15 | 竹间智能科技（上海）有限公司 | 基于脸部动作识别的音乐数据处理方法及系统 |
| CN107015745A (zh) * | 2017-05-19 | 2017-08-04 | 广东小天才科技有限公司 | 屏幕操作方法、装置、终端设备及计算机可读存储介质 |
| CN108197533A (zh) * | 2017-12-19 | 2018-06-22 | 迈巨（深圳）科技有限公司 | 一种基于用户表情的人机交互方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108905193A (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108905193B (zh) | 游戏操控处理方法、设备及存储介质 | |
| US11679334B2 (en) | Dynamic gameplay session content generation system | |
| US10860345B2 (en) | System for user sentiment tracking | |
| US10159902B2 (en) | Method and system for providing game ranking information | |
| CN110174942B (zh) | 眼动合成方法及装置 | |
| CN110879850B (zh) | 抖动参数的获取方法、装置、设备及存储介质 | |
| CN111491208B (zh) | 视频处理方法、装置、电子设备及计算机可读介质 | |
| CN108771868A (zh) | 游戏虚拟角色构建方法、装置与计算机可读存储介质 | |
| US20140357334A1 (en) | Method and apparatus for implementing simulated card game | |
| JP4816435B2 (ja) | 文字入力処理方法 | |
| CN111135579A (zh) | 一种游戏软件的交互方法、装置、终端设备及存储介质 | |
| CN110302535B (zh) | 游戏线索记录方法、装置、设备和可读存储介质 | |
| CN108815845B (zh) | 人机交互的信息处理方法及装置、计算机设备及可读介质 | |
| CN111617474B (zh) | 信息处理方法及装置 | |
| CN112057855A (zh) | 游戏界面显示的方法、装置、游戏客户端及介质 | |
| CN110975294A (zh) | 游戏对战实现方法及终端 | |
| CN106730834A (zh) | 游戏数据处理方法以及装置 | |
| CN111389020A (zh) | 游戏角色的处理方法及装置、存储介质及电子设备 | |
| CN113946604B (zh) | 分阶段围棋教学方法、装置、电子设备及存储介质 | |
| CN108563331A (zh) | 动作匹配结果确定装置、方法、可读存储介质及交互装置 | |
| CN112221125B (zh) | 游戏交互方法及装置、电子设备、存储介质 | |
| CN114272607A (zh) | 基于游戏的指挥交互方法、装置及电子设备 | |
| JPH06315572A (ja) | 音声ゲーム機 | |
| CN104036133A (zh) | 一种棋牌游戏系统 | |
| JP7104341B2 (ja) | コンピュータプログラム、およびコンピュータ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181130 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000094 Denomination of invention: Game control processing methods, devices, and storage media Granted publication date: 20220415 License type: Common License Record date: 20230818 |