CN108096833B - 基于级联神经网络的体感游戏控制方法及装置、计算设备 - Google Patents

基于级联神经网络的体感游戏控制方法及装置、计算设备 Download PDF

Info

Publication number
CN108096833B
CN108096833B CN201711381824.8A CN201711381824A CN108096833B CN 108096833 B CN108096833 B CN 108096833B CN 201711381824 A CN201711381824 A CN 201711381824A CN 108096833 B CN108096833 B CN 108096833B
Authority
CN
China
Prior art keywords
game
neural network
image
specific object
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711381824.8A
Other languages
English (en)
Other versions
CN108096833A (zh
Inventor
刘洛麒
肖胜涛
张望
熊超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711381824.8A priority Critical patent/CN108096833B/zh
Publication of CN108096833A publication Critical patent/CN108096833A/zh
Application granted granted Critical
Publication of CN108096833B publication Critical patent/CN108096833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联神经网络的体感游戏控制方法及装置、计算设备，其方法包括：实时获取图像采集设备捕捉的包含特定对象的图像；将图像输入至级联神经网络中，得到特定对象的姿态识别结果；根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。本发明利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。

Description

基于级联神经网络的体感游戏控制方法及装置、计算设备
技术领域
本发明涉及神经网络领域，具体涉及一种基于级联神经网络的体感游戏控制方法及装置、计算设备。
背景技术
体感游戏可以使游戏用户通过身体去感受游戏，其突破了以往单纯以手柄按键、键盘操作等操作方式来操作游戏，使得游戏用户可以种通过肢体动作变化来操作游戏，大大提升游戏用户游戏的趣味性。随着科技的发展，体感游戏越来越多的被游戏用户接受并推广。有些体感游戏需要游戏用户通过手持一些外部的辅助设备来操作游戏，如wii、ps等，这样限制了游戏用户在游戏时必须携带辅助设备，使游戏用户无法随时随地进行游戏。有些体感游戏虽然不需要游戏用户手持外部辅助设备，但还需要外部设备获取游戏用户肢体动作，如Kinect，其为一种3D体感摄像机，但其需要与电视等外部设备连接后才能使用，且造价较高，游戏用户也受到场地限制，无法随时随地进行游戏。
因此，需要一种基于级联神经网络的体感游戏控制方法，使游戏用户不受场地限制，可随时随地更好的满足游戏用户的游戏需求。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于级联神经网络的体感游戏控制方法及装置、计算设备。
根据本发明的一个方面，提供了一种基于级联神经网络的体感游戏控制方法，其包括：
实时获取图像采集设备捕捉的包含特定对象的图像；
将图像输入至级联神经网络中，得到特定对象的姿态识别结果；其中，级联神经网络包括依次处理图像的多个神经网络，多个神经网络的卷积层数依次递减；
根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。
可选地，级联神经网络包括第1个神经网络至第n个神经网络；
将图像输入至级联神经网络中，得到特定对象的姿态识别结果进一步包括：
将图像输入至第1个神经网络中，得到特定对象的关键信息；
将i赋值2；
将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本步骤直至i＝n；
根据第n个神经网络输出的特定对象的关键信息，确定特定对象的姿态识别结果。
可选地，第i个神经网络输出的特定对象的关键信息具体为：第i-1个神经网络输出的特定对象的关键信息与标准值和第i-1个神经网络输出的特定对象的关键信息的偏差之和。
可选地，根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制进一步包括：
获取图像采集设备所在终端设备所显示的图像；
根据特定对象的姿态识别结果，确定对应的游戏指令，根据游戏命令，控制所显示的图像进行相应的处理。
可选地，方法还包括：
将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整。
根据本发明的另一方面，提供了一种基于级联神经网络的体感游戏控制装置，其包括：
获取模块，适于实时获取图像采集设备捕捉的包含特定对象的图像；
识别模块，适于将图像输入至级联神经网络中，得到特定对象的姿态识别结果；其中，级联神经网络包括依次处理图像的多个神经网络，多个神经网络的卷积层数依次递减；
控制模块，适于根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。
可选地，级联神经网络包括第1个神经网络至第n个神经网络；
识别模块进一步适于：
将图像输入至第1个神经网络中，得到特定对象的关键信息；
将i赋值2；
将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本步骤直至i＝n；
根据第n个神经网络输出的特定对象的关键信息，确定特定对象的姿态识别结果。
可选地，第i个神经网络输出的特定对象的关键信息具体为：第i-1个神经网络输出的特定对象的关键信息与标准值和第i-1个神经网络输出的特定对象的关键信息的偏差之和。
可选地，控制模块进一步适于：
获取图像采集设备所在终端设备所显示的图像；
根据特定对象的姿态识别结果，确定对应的游戏指令，根据游戏命令，控制所显示的图像进行相应的处理。
可选地，装置还包括：
提醒模块，适于将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于级联神经网络的体感游戏控制方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于级联神经网络的体感游戏控制方法对应的操作。
根据本发明提供的基于级联神经网络的体感游戏控制方法及装置、计算设备，实时获取图像采集设备捕捉的包含特定对象的图像；将图像输入至级联神经网络中，得到特定对象的姿态识别结果；其中，级联神经网络包括依次处理图像的多个神经网络，多个神经网络的卷积层数依次递减；根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。本发明利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的基于级联神经网络的体感游戏控制方法的流程图；
图2示出了根据本发明另一个实施例的基于级联神经网络的体感游戏控制方法的流程图；
图3示出了根据本发明一个实施例的基于级联神经网络的体感游戏控制装置的功能框图；
图4示出了根据本发明另一个实施例的基于级联神经网络的体感游戏控制装置的功能框图；
图5示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的基于级联神经网络的体感游戏控制方法的流程图。如图1所示，基于级联神经网络的体感游戏控制方法具体包括如下步骤：
步骤S101，实时获取图像采集设备捕捉的包含特定对象的图像。
本发明中特定对象以游戏用户的人体为例进行说明，但不仅限于人体。图像采集设备以终端设备的摄像头为例，实时的获取图像采集设备捕捉的包含特定对象的图像，以便对图像中特定对象的姿态进行后续的处理。
步骤S102，将图像输入至级联神经网络中，得到特定对象的姿态识别结果。
级联神经网络包括依次处理图像的多个神经网络，将图像输入至该级联神经网络中，可以得到特定对象的姿态识别结果。虽然使用一个神经网络也可以得到的特定对象的姿态识别结果，但一个神经网络得到的特定对象的姿态识别结果往往是不准确的。如当特定对象的某两个或多个关键点特别接近时，对于一个神经网络而言是很难对其进行区分的。而本实施例通过级联神经网络可以得到准确的特定对象的姿态识别结果。
具体的，级联神经网络中包括第1个神经网络至第n个神经网络。将图像输入至第1个神经网络中，得到特定对象的关键信息。之后，将第1个神经网络输出的特定对象的关键信息输入至第2个神经网络中，第2个神经网络是在第1个神经网络得到的特定对象的关键信息的基础上，对第1个神经网络输出的特定对象的关键信息更新残差，得到第2个神经网络输出的特定对象的关键信息。依次将第2个神经网络得到的特定对象的关键信息输入至第3个神经网络，循环执行以上操作，直至执行得到第n个神经网络输出的特定对象的关键信息。即先将i赋值为2，将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本步骤直至i＝n，得到第n个神经网络输出的特定对象的关键信息。其中，第i个神经网络输出的特定对象的关键信息＝第i-1个神经网络输出的特定对象的关键信息+标准值(真实的关键信息)和第i-1个神经网络输出的特定对象的关键信息的偏差。标准值和第i-1个神经网络输出的特定对象的关键信息的偏差为第i个神经网络运算得到的数据值。最后，根据第n个神经网络输出的特定对象的关键信息，确定特定对象的姿态识别结果。
其中，由于第2个-第n个神经网络主要用于对第1个神经网络得到的特定对象的关键信息更新残差，因此，级联神经网络包括的多个神经网络的卷积层数依次递减，即第1个神经网络的卷积层数是最多的，卷积个数是最多的，之后的各个神经网络的卷积层数、卷积个数依次递减，第n个神经网络的卷积层数是最少的，卷积个数是最少的。这样可以减少级联神经网络的运算量，提高级联神经网络的运算速度。n为自然数，n大于等于2，n具体的取值根据实施情况，如结合要获取到的精度以及设备本身的运算能力、硬件设施等情况进行设置，此处不做限定。
进一步，特定对象的关键信息可以为关键点信息、关键区域信息、和/或关键线信息等。本发明的实施例以关键点信息为例进行说明，但本发明的关键信息不限于是关键点信息。使用关键点信息可以提高根据关键点信息确定特定对象的姿态识别结果的处理速度和效率，可以直接根据关键点信息确定特定对象的姿态识别结果，不需要再对关键信息进行后续计算、分析等复杂操作。同时，关键点信息便于提取，且提取准确，确定特定对象的姿态识别结果的效果更精准。在确定特定对象的姿态识别结果时，一般采用特定对象各关节的关键点信息进行确定，如某关节的关键点信息(x1，y1)。将图像输入至级联神经网络中，可以得到如23个关节的关键点信息，进而根据得到的各关节关键点信息，确定对应的姿态识别结果。
步骤S103，根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。
图像采集设备所在终端设备所显示的图像即游戏图像，如游戏用户使用手机平板等终端设备进行游戏等，终端设备的屏幕显示的是游戏图像，终端设备的摄像头获取的是包含游戏用户的图像。对包含游戏用户的图像进行姿态识别，得到姿态识别结果后，根据姿态识别结果，确定对应的游戏指令。在根据游戏指令对体感游戏进行控制之前，还需要先获取图像采集设备所在终端设备所显示的图像，即获取游戏图像。再根据游戏命令，控制所显示的游戏图像进行相应的处理。
进一步，对于体感游戏，在特定对象如游戏用户登录体感游戏时，会对应的在游戏图像中设置游戏用户的初始位置，方便在后续游戏用户位置发生移动时，相应的游戏图像中的游戏用户位置也会对应的移动。一般将游戏用户的初始位置设置为游戏图像的中央位置，可以仅记录游戏用户的初始位置而不在游戏图像中显示，也可以在游戏图像中使用预设图像如小人图像代表游戏用户，小人图像在游戏图像中的位置即游戏用户在游戏图像中的位置。
姿态识别结果包括了特定对象所在的位置信息、特定对象的姿势动作信息等(姿势动作包括肢体姿势动作、面部表情动作等各身体部位的姿势动作)。根据对图像中特定对象的姿态识别结果，如姿态识别结果为游戏用户用手掌挥动的姿态，根据姿态识别结果，确定对应的游戏指令为响应手掌挥动的动作，并根据姿态识别结果中游戏用户所在的位置信息和手掌所在的位置信息确定对应的待处理图像位置。进一步，还需要结合具体的体感游戏，确定具体的游戏指令。如体感游戏为切水果时，具体的游戏指令为在待处理图像位置确认是否有对应的水果图像，若是，则将游戏图像中的水果图像进行处理，修改为水果被切开图像，还可以返回给游戏用户切中水果的提示信息；若否，则不做处理，或者，添加水果没有切中处理，返回给游戏用户没有切中水果的提示信息，从而实现对体感游戏的控制；或者姿态识别结果为游戏用户手臂抬起的姿态，根据姿态识别结果，确定对应的游戏指令为响应手臂抬起的动作，并根据姿态识别结果中游戏用户所在的位置信息和手臂抬起所在的位置信息确定对应的待处理图像位置。进一步，还需要结合具体的体感游戏，确定具体的游戏指令。如体感游戏为打羽毛球时，具体的游戏指令为在待处理图像位置确认是否有对应的羽毛球图像，若是，则将游戏图像进行处理，对应的根据手臂抬起所在的位置信息，羽毛球被打中；若否，则不做处理，或者，返回给游戏用户接球失败的提示信息，从而实现对体感游戏的控制。以上均为举例说明，此处对游戏指令不做限定。通过姿态识别结果，游戏用户可以完成对游戏图像的操作，简单、便捷、有趣，也可以提升游戏用户的体验效果，增加游戏用户对游戏的黏性。
根据本发明提供的基于级联神经网络的体感游戏控制方法，实时获取图像采集设备捕捉的包含特定对象的图像；将图像输入至级联神经网络中，得到特定对象的姿态识别结果；其中，级联神经网络包括依次处理图像的多个神经网络，多个神经网络的卷积层数依次递减；根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。本发明利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。
图2示出了根据本发明另一个实施例的基于级联神经网络的体感游戏控制方法的流程图。如图2所示，基于级联神经网络的体感游戏控制方法具体包括如下步骤：
步骤S201，实时获取图像采集设备捕捉的包含特定对象的图像。
步骤S202，将图像输入至级联神经网络中，得到特定对象的姿态识别结果。
以上步骤参照图1实施例中步骤S101-S102的描述，在此不再赘述。
步骤S203，将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整。
图像采集设备所在终端设备所显示的图像即游戏图像，如游戏用户使用手机平板等终端设备进行游戏等，终端设备的屏幕显示的是游戏图像，终端设备的摄像头获取的是包含游戏用户的图像。对包含游戏用户的图像进行姿态识别，得到姿态识别结果后，将姿态识别结果与游戏图像中游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整，可方便游戏用户根据游戏指定姿态进行正确的游戏操作，如游戏用户在使用终端设备进行瑜伽、拳击、舞蹈等游戏。
具体的，如游戏用户在使用终端设备进行瑜伽游戏时，得到图像中游戏用户的姿态识别结果为某一瑜伽动作，将游戏用户的瑜伽动作与游戏图像中游戏指定姿态(指定瑜伽动作)进行对比，若游戏用户的瑜伽动作与指定瑜伽动作不符，提醒游戏用户进行姿态调整，以使游戏用户做出正确的瑜伽动作，达到正确的锻炼效果。提醒可以通过声音提醒，或者图像提醒(游戏图像中使用预设图像如小人图像代表游戏用户，小人图像的姿态与游戏用户的姿态识别结果中的姿态一致，在小人图像的姿态与指定游戏姿态不符时，将小人图像的姿态中不符的部位进行重点标注，以便提醒游戏用户进行姿态调整)。通过姿态识别结果，游戏用户可以完成对游戏图像的操作，简单、便捷、有趣，也可以提升游戏用户的体验效果，增加游戏用户对游戏的黏性。
根据本发明提供的基于级联神经网络的体感游戏控制方法，利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。进一步，将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整，使得用户可以根据提醒调整姿态，得到正确的游戏锻炼效果或游戏学习效果。
图3示出了根据本发明一个实施例的基于级联神经网络的体感游戏控制装置的功能框图。如图3所示，基于级联神经网络的体感游戏控制装置包括如下模块：
获取模块310，适于实时获取图像采集设备捕捉的包含特定对象的图像。
本发明中特定对象以游戏用户的人体为例进行说明，但不仅限于人体。图像采集设备以终端设备的摄像头为例，获取模块310实时的获取图像采集设备捕捉的包含特定对象的图像，以便对图像中特定对象的姿态进行后续的处理。
识别模块320，适于将图像输入至级联神经网络中，得到特定对象的姿态识别结果。
级联神经网络包括依次处理图像的多个神经网络，识别模块320将图像输入至该级联神经网络中，可以得到特定对象的姿态识别结果。虽然使用一个神经网络也可以得到的特定对象的姿态识别结果，但一个神经网络得到的特定对象的姿态识别结果往往是不准确的。如当特定对象的某两个或多个关键点特别接近时，对于一个神经网络而言是很难对其进行区分的。而本实施例识别模块320通过级联神经网络可以得到准确的特定对象的姿态识别结果。
具体的，级联神经网络中包括第1个神经网络至第n个神经网络。识别模块320将图像输入至第1个神经网络中，得到特定对象的关键信息。之后，识别模块320将第1个神经网络输出的特定对象的关键信息输入至第2个神经网络中，第2个神经网络是在第1个神经网络得到的特定对象的关键信息的基础上，对第1个神经网络输出的特定对象的关键信息更新残差，得到第2个神经网络输出的特定对象的关键信息。识别模块320依次将第2个神经网络得到的特定对象的关键信息输入至第3个神经网络，循环执行以上操作，直至执行得到第n个神经网络输出的特定对象的关键信息。即识别模块320先将i赋值为2，将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本操作直至i＝n，得到第n个神经网络输出的特定对象的关键信息。其中，第i个神经网络输出的特定对象的关键信息＝第i-1个神经网络输出的特定对象的关键信息+标准值(真实的关键信息)和第i-1个神经网络输出的特定对象的关键信息的偏差。标准值和第i-1个神经网络输出的特定对象的关键信息的偏差为第i个神经网络运算得到的数据值。最后，识别模块320根据第n个神经网络输出的特定对象的关键信息，确定特定对象的姿态识别结果。
其中，由于第2个-第n个神经网络主要用于对第1个神经网络得到的特定对象的关键信息更新残差，因此，级联神经网络包括的多个神经网络的卷积层数依次递减，即第1个神经网络的卷积层数是最多的，卷积个数是最多的，之后的各个神经网络的卷积层数、卷积个数依次递减，第n个神经网络的卷积层数是最少的，卷积个数是最少的。这样可以减少级联神经网络的运算量，提高级联神经网络的运算速度。n为自然数，n大于等于2，n具体的取值根据实施情况，如结合要获取到的精度以及设备本身的运算能力、硬件设施等情况进行设置，此处不做限定。
进一步，特定对象的关键信息可以为关键点信息、关键区域信息、和/或关键线信息等。本发明的实施例以关键点信息为例进行说明，但本发明的关键信息不限于是关键点信息。识别模块320使用关键点信息可以提高根据关键点信息确定特定对象的姿态识别结果的处理速度和效率，可以直接根据关键点信息确定特定对象的姿态识别结果，不需要再对关键信息进行后续计算、分析等复杂操作。同时，关键点信息便于提取，且提取准确，确定特定对象的姿态识别结果的效果更精准。识别模块320在确定特定对象的姿态识别结果时，一般采用特定对象各关节的关键点信息进行确定，如某关节的关键点信息(x1，y1)。识别模块320将图像输入至级联神经网络中，可以得到如23个关节的关键点信息，进而根据得到的各关节关键点信息，确定对应的姿态识别结果。
控制模块330，适于根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。
图像采集设备所在终端设备所显示的图像即游戏图像，如游戏用户使用手机平板等终端设备进行游戏等，终端设备的屏幕显示的是游戏图像，终端设备的摄像头获取的是包含游戏用户的图像。识别模块320对包含游戏用户的图像进行姿态识别，得到姿态识别结果后，控制模块330根据姿态识别结果，确定对应的游戏指令。控制模块330在根据游戏指令对体感游戏进行控制之前，还需要先获取图像采集设备所在终端设备所显示的图像，即获取游戏图像。再根据游戏命令，控制所显示的游戏图像进行相应的处理。
进一步，对于体感游戏，在特定对象如游戏用户登录体感游戏时，会对应的在游戏图像中设置游戏用户的初始位置，方便在后续游戏用户位置发生移动时，相应的游戏图像中的游戏用户位置也会对应的移动。一般将游戏用户的初始位置设置为游戏图像的中央位置，可以仅记录游戏用户的初始位置而不在游戏图像中显示，也可以在游戏图像中使用预设图像如小人图像代表游戏用户，小人图像在游戏图像中的位置即游戏用户在游戏图像中的位置。
姿态识别结果包括了特定对象所在的位置信息、特定对象的姿势动作信息等(姿势动作包括肢体姿势动作、面部表情动作等各身体部位的姿势动作)。控制模块330根据对图像中特定对象的姿态识别结果，如姿态识别结果为游戏用户用手掌挥动的姿态，根据姿态识别结果，控制模块330确定对应的游戏指令为响应手掌挥动的动作，并根据姿态识别结果中游戏用户所在的位置信息和手掌所在的位置信息确定对应的待处理图像位置。进一步，控制模块330还需要结合具体的体感游戏，确定具体的游戏指令。如体感游戏为切水果时，控制模块330确定具体的游戏指令为在待处理图像位置确认是否有对应的水果图像，若是，则将游戏图像中的水果图像进行处理，修改为水果被切开图像，还可以返回给游戏用户切中水果的提示信息；若否，则不做处理，或者，添加水果没有切中处理，返回给游戏用户没有切中水果的提示信息，从而实现对体感游戏的控制；或者姿态识别结果为游戏用户手臂抬起的姿态，根据姿态识别结果，控制模块330确定对应的游戏指令为响应手臂抬起的动作，并根据姿态识别结果中游戏用户所在的位置信息和手臂抬起所在的位置信息确定对应的待处理图像位置。进一步，控制模块330还需要结合具体的体感游戏，确定具体的游戏指令。如体感游戏为打羽毛球时，控制模块330确定具体的游戏指令为在待处理图像位置确认是否有对应的羽毛球图像，若是，则将游戏图像进行处理，对应的根据手臂抬起所在的位置信息，羽毛球被打中；若否，则不做处理，或者，返回给游戏用户接球失败的提示信息，从而实现对体感游戏的控制。以上均为举例说明，此处对游戏指令不做限定。控制模块330通过姿态识别结果，游戏用户可以完成对游戏图像的操作，简单、便捷、有趣，也可以提升游戏用户的体验效果，增加游戏用户对游戏的黏性。
根据本发明提供的基于级联神经网络的体感游戏控制装置，实时获取图像采集设备捕捉的包含特定对象的图像；将图像输入至级联神经网络中，得到特定对象的姿态识别结果；其中，级联神经网络包括依次处理图像的多个神经网络，多个神经网络的卷积层数依次递减；根据姿态识别结果，确定对应的游戏指令，根据游戏指令对体感游戏进行控制。本发明利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。
图4示出了根据本发明另一个实施例的基于级联神经网络的体感游戏控制装置的功能框图。如图4所示，与图3不同之处在于，基于级联神经网络的体感游戏控制装置还包括：
提醒模块340，适于将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整。
图像采集设备所在终端设备所显示的图像即游戏图像，如游戏用户使用手机平板等终端设备进行游戏等，终端设备的屏幕显示的是游戏图像，终端设备的摄像头获取的是包含游戏用户的图像。识别模块320对包含游戏用户的图像进行姿态识别，得到姿态识别结果后，提醒模块340将姿态识别结果与游戏图像中游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整，可方便游戏用户根据游戏指定姿态进行正确的游戏操作，如游戏用户在使用终端设备进行瑜伽、拳击、舞蹈等游戏。
具体的，如游戏用户在使用终端设备进行瑜伽游戏时，识别模块320得到图像中游戏用户的姿态识别结果为某一瑜伽动作，提醒模块340将游戏用户的瑜伽动作与游戏图像中游戏指定姿态(指定瑜伽动作)进行对比，若游戏用户的瑜伽动作与指定瑜伽动作不符，提醒模块340提醒游戏用户进行姿态调整，以使游戏用户做出正确的瑜伽动作，达到正确的锻炼效果。提醒模块340的提醒可以通过声音提醒，或者图像提醒(游戏图像中使用预设图像如小人图像代表游戏用户，小人图像的姿态与游戏用户的姿态识别结果中的姿态一致，在小人图像的姿态与指定游戏姿态不符时，将小人图像的姿态中不符的部位进行重点标注，以便提醒游戏用户进行姿态调整)。通过姿态识别结果，游戏用户可以完成对游戏图像的操作，简单、便捷、有趣，也可以提升游戏用户的体验效果，增加游戏用户对游戏的黏性。
根据本发明提供的基于级联神经网络的体感游戏控制装置，利用级联神经网络得到图像的姿态识别结果，方便根据姿态识别结果来确定对应的游戏指令，从而实现对体感游戏的控制，解放游戏用户的双手，不需要额外的辅助设备，方便游戏用户随时随地可以进行体感游戏。并且，由于级联神经网络包括依次处理图像的多个神经网络，可以使得到的姿态识别结果更准确，更好的根据姿态识别结果实现对体感游戏的控制，提升游戏用户体验效果。进一步，将姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒特定对象进行姿态调整，使得用户可以根据提醒调整姿态，得到正确的游戏锻炼效果或游戏学习效果。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于级联神经网络的体感游戏控制方法。
图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述基于级联神经网络的体感游戏控制方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的基于级联神经网络的体感游戏控制方法。程序510中各步骤的具体实现可以参见上述基于级联神经网络的体感游戏控制实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于级联神经网络的体感游戏控制的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (8)

1.一种基于级联神经网络的体感游戏控制方法，其包括：
实时获取图像采集设备捕捉的包含特定对象的图像；
将所述图像输入至级联神经网络中，得到所述特定对象的姿态识别结果；其中，所述级联神经网络包括依次处理所述图像的多个神经网络，多个神经网络的卷积层数依次递减；
根据所述姿态识别结果，确定对应的游戏指令，根据所述游戏指令对体感游戏进行控制；
其中，所述根据所述姿态识别结果，确定对应的游戏指令，根据所述游戏指令对体感游戏进行控制进一步包括：
根据所述姿态识别结果中游戏用户所在的位置信息和手掌或手臂抬起所在的位置信息确定对应的待处理图像位置；
根据所述姿态识别结果对应的游戏指令确定所述待处理图像位置是否存在相应的游戏图像；
若所述待处理图像位置存在相应的游戏图像，则对所述游戏图像进行处理；
其中，所述级联神经网络包括第1个神经网络至第n个神经网络；
所述将所述图像输入至级联神经网络中，得到所述特定对象的姿态识别结果进一步包括：
将所述图像输入至所述第1个神经网络中，得到特定对象的关键信息；
将i赋值2；
将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对所述第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本步骤直至i=n；
根据第n个神经网络输出的特定对象的关键信息，确定所述特定对象的姿态识别结果；
其中，所述第i个神经网络输出的特定对象的关键信息具体为：第i-1个神经网络输出的特定对象的关键信息与标准值和第i-1个神经网络输出的特定对象的关键信息的偏差之和。
2.根据权利要求1所述的方法，其中，所述根据所述姿态识别结果，确定对应的游戏指令，根据所述游戏指令对体感游戏进行控制进一步包括：
获取所述图像采集设备所在终端设备所显示的图像；
根据所述特定对象的姿态识别结果，确定对应的游戏指令，根据所述游戏指令，控制所述所显示的图像进行相应的处理。
3.根据权利要求1所述的方法，其中，所述方法还包括：
将所述姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒所述特定对象进行姿态调整。
4.一种基于级联神经网络的体感游戏控制装置，其包括：
获取模块，适于实时获取图像采集设备捕捉的包含特定对象的图像；
识别模块，适于将所述图像输入至级联神经网络中，得到所述特定对象的姿态识别结果；其中，所述级联神经网络包括依次处理所述图像的多个神经网络，多个神经网络的卷积层数依次递减；
控制模块，适于根据所述姿态识别结果，确定对应的游戏指令，根据所述游戏指令对体感游戏进行控制；
其中，所述控制模块进一步适于：
根据所述姿态识别结果中游戏用户所在的位置信息和手掌或手臂抬起所在的位置信息确定对应的待处理图像位置；
根据所述姿态识别结果对应的游戏指令确定所述待处理图像位置是否存在相应的游戏图像；
若所述待处理图像位置存在相应的游戏图像，则对所述游戏图像进行处理；
其中，所述级联神经网络包括第1个神经网络至第n个神经网络；
所述识别模块进一步适于：
将所述图像输入至所述第1个神经网络中，得到特定对象的关键信息；
将i赋值2；
将第i-1个神经网络输出的特定对象的关键信息输入至第i个神经网络中，对所述第i-1个神经网络输出的特定对象的关键信息更新残差，得到第i个神经网络输出的特定对象的关键信息，将i赋值为i+1，循环执行本步骤直至i=n；
根据第n个神经网络输出的特定对象的关键信息，确定所述特定对象的姿态识别结果；
其中，所述第i个神经网络输出的特定对象的关键信息具体为：第i-1个神经网络输出的特定对象的关键信息与标准值和第i-1个神经网络输出的特定对象的关键信息的偏差之和。
5.根据权利要求4所述的装置，其中，所述控制模块进一步适于：
获取所述图像采集设备所在终端设备所显示的图像；
根据所述特定对象的姿态识别结果，确定对应的游戏指令，根据所述游戏指令，控制所述所显示的图像进行相应的处理。
6.根据权利要求4所述的装置，其中，所述装置还包括：
提醒模块，适于将所述姿态识别结果与游戏指定姿态进行对比，若与游戏指定姿态不符，则提醒所述特定对象进行姿态调整。
7.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-3中任一项所述的基于级联神经网络的体感游戏控制方法对应的操作。
8.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-3中任一项所述的基于级联神经网络的体感游戏控制方法对应的操作。
CN201711381824.8A 2017-12-20 2017-12-20 基于级联神经网络的体感游戏控制方法及装置、计算设备 Active CN108096833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711381824.8A CN108096833B (zh) 2017-12-20 2017-12-20 基于级联神经网络的体感游戏控制方法及装置、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711381824.8A CN108096833B (zh) 2017-12-20 2017-12-20 基于级联神经网络的体感游戏控制方法及装置、计算设备

Publications (2)

Publication Number Publication Date
CN108096833A CN108096833A (zh) 2018-06-01
CN108096833B true CN108096833B (zh) 2021-10-01

Family

ID=62211357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711381824.8A Active CN108096833B (zh) 2017-12-20 2017-12-20 基于级联神经网络的体感游戏控制方法及装置、计算设备

Country Status (1)

Country Link
CN (1) CN108096833B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618184A (zh) * 2018-12-29 2019-04-12 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质
CN109859327A (zh) * 2019-02-20 2019-06-07 中山市嘉游动漫科技有限公司 一种结合虚拟与现实的动画场景构建方法及装置
CN112040327A (zh) * 2020-08-19 2020-12-04 深圳创维－Rgb电子有限公司 电视游戏的人机交互方法、系统、电视机及存储介质
CN111939561B (zh) * 2020-08-31 2023-09-19 聚好看科技股份有限公司 显示设备及交互方法
CN112866818A (zh) * 2021-01-13 2021-05-28 深圳创维－Rgb电子有限公司 3d体感游戏方法、装置、智能电视和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105468760A (zh) * 2015-12-01 2016-04-06 北京奇虎科技有限公司 对人脸图片进行标注的方法和装置
CN105681859A (zh) * 2016-01-12 2016-06-15 东华大学 基于人体骨骼追踪控制智能电视的人机交互方法
CN205788094U (zh) * 2016-05-09 2016-12-07 深圳智华科技发展有限公司 通过手势姿态识别来操作替代电脑鼠标的操作系统
CN106372622A (zh) * 2016-09-30 2017-02-01 北京奇虎科技有限公司 一种人脸表情分类方法及装置
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统
CN107403419A (zh) * 2017-08-04 2017-11-28 深圳市唯特视科技有限公司 一种基于级联卷积神经网络的低剂量x射线图像去噪方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140325455A1 (en) * 2013-04-26 2014-10-30 Ebay Inc. Visual 3d interactive interface
US9669300B2 (en) * 2013-12-27 2017-06-06 Ballcraft, Llc Motion detection for existing portable devices
CN105069413B (zh) * 2015-07-27 2018-04-06 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN106650699B (zh) * 2016-12-30 2019-09-17 中国科学院深圳先进技术研究院 一种基于卷积神经网络的人脸检测方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105468760A (zh) * 2015-12-01 2016-04-06 北京奇虎科技有限公司 对人脸图片进行标注的方法和装置
CN105681859A (zh) * 2016-01-12 2016-06-15 东华大学 基于人体骨骼追踪控制智能电视的人机交互方法
CN205788094U (zh) * 2016-05-09 2016-12-07 深圳智华科技发展有限公司 通过手势姿态识别来操作替代电脑鼠标的操作系统
CN106372622A (zh) * 2016-09-30 2017-02-01 北京奇虎科技有限公司 一种人脸表情分类方法及装置
CN106909216A (zh) * 2017-01-05 2017-06-30 华南理工大学 一种基于Kinect传感器的仿人机械手控制方法
CN107291232A (zh) * 2017-06-20 2017-10-24 深圳市泽科科技有限公司 一种基于深度学习与大数据的体感游戏交互方法及系统
CN107403419A (zh) * 2017-08-04 2017-11-28 深圳市唯特视科技有限公司 一种基于级联卷积神经网络的低剂量x射线图像去噪方法

Also Published As

Publication number Publication date
CN108096833A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN108096833B (zh) 基于级联神经网络的体感游戏控制方法及装置、计算设备
CN108875523B (zh) 人体关节点检测方法、装置、系统和存储介质
CN111488824A (zh) 运动提示方法、装置、电子设备和存储介质
CN110298309B (zh) 基于图像的动作特征处理方法、装置、终端及存储介质
CN108062526A (zh) 一种人体姿态估计方法及移动终端
JP2019537763A (ja) ジェスチャベースインタラクションのための方法およびシステム
CN107277615B (zh) 直播风格化处理方法、装置、计算设备及存储介质
CN109145809B (zh) 一种记谱处理方法和装置以及计算机可读存储介质
KR20160010608A (ko) 생체 인식 아이덴티티에 기초한 유저 액션의 애트리뷰션
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
US20150378440A1 (en) Dynamically Directing Interpretation of Input Data Based on Contextual Information
US11307668B2 (en) Gesture recognition method and apparatus, electronic device, and storage medium
CN107895161B (zh) 基于视频数据的实时姿态识别方法及装置、计算设备
CN110879850B (zh) 抖动参数的获取方法、装置、设备及存储介质
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN114972958B (zh) 关键点检测方法、神经网络的训练方法、装置和设备
US20230177755A1 (en) Predicting facial expressions using character motion states
CN106484614A (zh) 一种核对图片处理效果的方法、装置及移动终端
CN108052927B (zh) 基于视频数据的手势处理方法及装置、计算设备
CN114554111A (zh) 视频生成方法和装置、存储介质及电子设备
CN111611941B (zh) 特效处理方法及相关设备
CN111639615B (zh) 一种虚拟建筑物的触发控制方法及装置
CN112973122A (zh) 游戏角色上妆方法、装置及电子设备
CN116912463A (zh) 3d虚拟形象处理方法、装置、电子设备和可读存储介质
CN106730834A (zh) 游戏数据处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant