CN110941977A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110941977A
CN110941977A CN201811116995.2A CN201811116995A CN110941977A CN 110941977 A CN110941977 A CN 110941977A CN 201811116995 A CN201811116995 A CN 201811116995A CN 110941977 A CN110941977 A CN 110941977A
Authority
CN
China
Prior art keywords
human body
image
information
point information
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811116995.2A
Other languages
English (en)
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811116995.2A priority Critical patent/CN110941977A/zh
Priority to US16/581,688 priority patent/US11042215B2/en
Priority to EP19199571.1A priority patent/EP3629291A1/en
Priority to PCT/CN2019/107957 priority patent/WO2020063693A1/en
Publication of CN110941977A publication Critical patent/CN110941977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，本申请实施例通过获取人体图像；对人体图像进行分析，识别出人体图像对应的人体特征点信息；将人体特征点信息进行结合，以生成人体模型信息；根据人体模型信息对虚拟对象进行相应的控制。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
随着电子技术的不断发展，电子设备如手机的功能越来越强大，用户可以在手机上安装各式各样的应用程序，比如视频类应用、即时通讯类应用以及游戏应用等等。
目前，游戏类应用越来越注重人机交互，即可以通过智能穿戴设备捕捉用户的动作轮廓来实现控制手机游戏中的特定角色，但是在每次游戏时，手机都需要连接智能穿戴设备，人机交互过程比较繁琐，并且成本较高。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，可以节省人机交互的成本，且提升人机交互的便捷性。
第一方面，本申请实施例了提供了一种图像处理方法，包括：
获取人体图像；
对所述人体图像进行分析，识别出所述人体图像对应的人体特征点信息；
将所述人体特征点信息进行结合，以生成人体模型信息；
根据所述人体模型信息对虚拟对象进行相应的控制。
第二方面，本申请实施例了提供了的一种图像处理装置，包括：
获取单元，用于获取人体图像；
分析单元，用于对所述人体图像进行分析，识别出所述人体图像对应的人体特征点信息；
结合单元，用于将所述人体特征点信息进行结合，以生成人体模型信息；
控制单元，用于根据所述人体模型信息对虚拟对象进行相应的控制。
第三方面，本申请实施例提供的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面，本申请实施例提供的电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例通过获取人体图像；对人体图像进行分析，识别出人体图像对应的人体特征点信息；将人体特征点信息进行结合，以生成人体模型信息；根据人体模型信息对虚拟对象进行相应的控制。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2为本申请实施例提供的图像处理方法的另一流程示意图。
图3为本申请实施例提供的图像处理方法的场景示意图。
图4为本申请实施例提供的图像处理装置的模块示意图。
图5为本申请实施例提供的电子设备的结构示意图。
图6为本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑(PDA，Personal Digital Assistant)等。
以下进行具体分析说明。
本申请实施例提供一种图像处理方法，如图1所示，图1为本申请实施例提供的图像处理方法的流程示意图，该图像处理方法可以包括以下步骤：
在步骤S101中，获取人体图像。
其中，电子设备可以通过调用摄像头组件实时拍摄当前图像，并对当前图像进行轮廓分析，由于人体上一般有多个轮廓信息，比如人脸轮廓信息，关节轮廓信息等等，所以可以识别出多个轮廓信息，根据多个轮廓信息组合确定并截取人体图像。
需要说明的是，该当前图像以及人体图像可以为的格式可以为位图(BitMaP，BMP)、联合照片专家组(Joint Photographic Expert Group，JPEG)等等格式。
在一些实施方式中，该获取人体图像的步骤，可以包括：
(1)通过摄像头组件获取待识别图像；
(2)对该待识别图像进行人体分析，得到该待识别图像中的人体图像。
其中，电子设备可以通过调用摄像头组件获取当前的待识别图像，该摄像头组件包括前置摄像头以及后置摄像头，用户可以根据需要确定使用前置摄像头或者后置摄像头。
进一步的，在获取当前的待识别图像后，由于人体图像中包含的模式特征十方丰富，如直方图特征、颜色特征、模板特征、结构特征以及Haar特征(Haar特征是一种反映图像的灰度变化的，像素分模块求差值的一种特征)等。所以可以对待识别图像进行特征扫描分析，确定并截取待识别图像中的人体图像。
在步骤S102中，对人体图像进行分析，识别出人体图像对应的人体特征点信息。
需要说明的是，人体的肢体上的特征点(如头部、颈部、肩部、肘部、腕部、腰部、膝部、脚踝部等等)图像都具有一定的线条以及轮廓特点。
其中，可以对人体图像的线条以及轮廓进行扫描分析，确定出多个具有一定特征的特征点，将特征点与人体特征点信息进行特征点相似度匹配，将特征点相似度高于一定阈值的特征点确定为相应的人体特征点信息。
在一些实施方式中，该对人体图像进行分析，识别出人体图像对应的人体特征点信息的步骤，可以包括通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息。
其中，该预设学习模型可以为mobilenet-Openpose模型，该mobilenet-Openpose模型可以识别出捕捉到人体图像，并从该人体图像中识别出人体特征点信息，该人体特征点信息可以理解为人体的身体特点的部位，使得后期可以根据该人体特征点信息构架人体构架模型。
在一些实施方式中，该通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息的步骤，可以包括：
(1)通过预设学习模型对人体图像上的线条以及轮廓进行扫描，以得到图像元素；
(2)对该图像元素进行特征分析，识别出人体图像中的人体特征点信息，该人体特征点信息包括头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
其中，可以通过mobilenet-Openpose模型对人体图像上的线条以及轮廓进行扫描，识别出人体图像上的图像元素，该图像元素为电子设备可以识别出特征点信息，对每个图像元素进行特征智能分析，识别出重要的人体特征点信息，该重要的人体特征点信息可以包括头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
在步骤S103中，将人体特征点信息进行结合，以生成人体模型信息。
其中，该人体模型信息为人体骨架模型，就是按照基本的人体构造规则将识别出的人体特征信息进行依次连接，形成人体模型信息，也即人体骨架信息，该人体模型信息表示了被拍摄的用户的身体姿势的表现，在一实施方式中，该人体模型信息可以3D火柴人模型，该3D火柴人模型可以表现出用户的身体姿势。
在一些实施方式中，该将人体特征点信息进行结合，以生成人体模型信息的步骤，可以包括：按照预设人体构造规则将该人体特征点信息进行依次连接，生成人体模型信息。
其中，该预设人体构造规则即按照人体的基本结构，即脑部可以为头部以及颈部的结合，身体为肩部以及腰部的结合，手部为肩部、肘部以及腕部的结合、腿部为腰部、膝部以及脚踝部结合的规则进行依次构造，最后将脑部、身体、手部以及腿部进行综合，形成人体模型信息，该形成的人体模型信息可以表现出用户的姿势状态信息。
在步骤S104中，根据人体模型信息对虚拟对象进行相应的控制。
其中，该虚拟对象可以为虚构角色，该虚拟对象在建模时，也是按照人体模型信息的构造规则进行建模的，也就是说，该虚拟对象与人体模型信息相应的人体特征点信息可以进行相互呼应，该虚拟对象可以为游戏类应用中的角色。
进一步的，可以对人体模型信息的身体部位进行追踪，如脑部、身体、手部以及脚部的姿势角度进行追踪，来确定相应的运动姿势，如蹲、跳或者挥手等，根据确定的运动姿势控制虚拟对象做出相应的动作。
在一些实施方式中，该根据人体模型信息对虚拟对象进行相应的控制的步骤，可以包括：
(1)获取该人体模型信息中的人体部位相应的位置信息；
(2)根据该位置信息对虚拟对象进行相应的控制。
其中，该人体部位可以为人体的脑部、身体、手部以及腿部，电子设备根据人体模型信息中人体的脑部、身体、手部以及腿部姿势的位置信息，即从人体模型信息中的各个部位的位置信息来确定出相应的运动姿势，如从腿部的位置信息确定出相应幅度的蹲姿势，那么就可以控制虚拟对象进行相应幅度的蹲姿势，实现实时人机交互的效果。
由上述可知，本实施例提供的一种图像处理方法，通过获取人体图像；对人体图像进行分析，识别出人体图像对应的人体特征点信息；将人体特征点信息进行结合，以生成人体模型信息；根据人体模型信息对虚拟对象进行相应的控制。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图2，图2为本申请实施例提供的图像处理方法的另一流程示意图。
具体而言，该方法包括：
在步骤S201中，通过摄像头组件获取待识别图像。
其中，电子设备可以根据摄像头组件实时拍摄当前待识别图像，该摄像头组件可以为前置摄像头或者后置摄像头，用户可以根据拍摄需求，来自由选择开启前置摄像头或者后置摄像头。
在步骤S202中，对待识别图像进行人体分析，得到待识别图像中的人体图像。
其中，由于人体图像中包含的模式特征十方丰富，如直方图特征、颜色特征、模板特征、结构特征以及Haar特征等。所以可以对待识别图像进行人体特征扫描分析，确定并截取待识别图像中的人体图像。
如图3所示，电子设备100通过后置摄像头获取待识别图像，该待识别图像中包括用户12，电子设备100会对待识别图像进行人体分析，确定并截取用户12对应的人体图像。
在步骤S203中，通过预设学习模型对人体图像上的线条以及轮廓进行扫描，以得到图像元素。
其中，可以通过mobilenet-Openpose模型对人体图像上的线条以及轮廓进行扫描，得到图像元素，如图3所示，该图像元素可以为用户12对应的人体图像中的各个关节以及物体部位形成的特征点信息，如用户12对应的人体图像的头部特征点信息以及手提包特征点信息。
在步骤S204中，对图像元素进行特征分析，识别出人体图像中的人体特征点信息。
其中，由于mobilenet-Openpose模型为识别出人体特征点信息的模型，所以在进一步对图像元素进行特征分析对比后，可以识别出人体图像中的多个特征点信息。
如图3所示，电子设备100对用户12对应的人体图像的关节特征点信息以及手提包特征点信息进行分析对比，识别出用户12对应的人体图像上的头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
在步骤S205中，按照预设人体构造规则将人体特征点信息进行依次连接，生成人体模型信息。
其中，电子设备可以按照人体构造规则将识别出人体特征点进行依次连接，形成人体模型信息，该人体模型信息为用户在一定运动状态下的人体骨架信息，可以用于对人体运动的实时追踪。
如图3所示，电子设备100按照3D火柴人构造规则将用户12对应的人体图像上的头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息进行依次连接，生成人体模型信息13(即3D火柴人模型信息)，该人体模型信息13可以反应出用户12的运动状态信息，包括脑部、身体、手部以及腿部的运动状态信息。
在步骤S206中，获取人体模型信息中的人体部位相应的位置信息，根据位置信息对虚拟对象进行相应的控制。
其中，可以提前为虚拟对象进行建模，该虚拟对象的建模原理与人体模型信息的人体构造规则相同，获取人体模型信息中每一个人体部位相应的运动状态的位置信息，根据该位置信息确定出相应的运动姿势，并控制虚拟对象模仿该相应的运动姿势，实现实时人机交互。
如图3所示，电子设备100根据3D火柴人模型信息13的脑部、身体、手部以及腿部的位置信息，来确定3D火柴人模型信息13的脑部、身体、手部以及腿部的运动姿势角度，根据该运动姿势角度控制虚拟对象14做出相同的运动姿势角度，实现体感控制。
在步骤S207中，获取显示屏当前显示的目标图像信息，将目标图像信息传输至第三方显示设备。
其中，电子设备可以实时获取显示屏当前显示的目标图像信息，该目标图像信息可以为包含虚拟对象的游戏画面，并将该目标图像信息传输给第三方显示设备，该第三方显示设备可以为电视或者投影仪等等具有显示功能的终端，以使得第三方显示设备实时显示该目标图像信息。
如图3所示，电子设备100将包含虚拟对象14的目标图像信息，并将该目标图像信息通过网络传输给第三方显示设备200，该第三方显示设备200将接收到的目标图像信息实时显示，实现电子设备端100控制，第三方显示设备200观看的两屏一体的体感体验。
由上述可知，本实施例提供的一种图像处理方法，通过摄像头组件获取待识别图像，从待识别图像中截取人体图像，通过预设学习模型对人体图像进行线条以及轮廓扫描，识别出人体图像对应的人体特征点信息，按照预设人体构造规则将人体特征点信息依次连接，以生成人体模型信息，获取人体模型信息中的人体部位相应的位置信息对虚拟对象的部位进行控制，将当前显示的目标图像信息传输至第三方显示设备实时显示。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。
为便于更好的实施本申请实施例提供的图像处理方法，本申请实施例还提供一种基于上述图像处理方法的装置。其中名词的含义与上述图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图4，图4为本申请实施例提供的图像处理装置的模块示意图。具体而言，该图像处理装置300，包括：获取单元31、分析单元32、结合单元33以及控制单元34。
获取单元31，用于获取人体图像。
其中，获取单元31可以通过调用摄像头组件实时拍摄当前图像，并对当前图像进行轮廓分析，由于人体上一般有多个轮廓信息，比如人脸轮廓信息，关节轮廓信息等等，所以可以识别出多个轮廓信息，根据多个轮廓信息组合确定并截取人体图像。
需要说明的是，该当前图像以及人体图像可以为的格式可以为位图、联合照片专家组等等格式。
在一些实施方式中，该获取单元31，具体用于通过摄像头组件获取待识别图像，该摄像头组件包括前置摄像头以及后置摄像头；对该待识别图像进行人体分析，得到该待识别图像中的人体图像。
分析单元32，用于对该人体图像进行分析，识别出该人体图像对应的人体特征点信息。
其中，分析单元32可以对人体图像的线条以及轮廓进行扫描分析，确定出多个具有一定特征的特征点，将特征点与人体特征点信息进行特征点相似度匹配，将特征点相似度高于一定阈值的特征点确定为相应的人体特征点信息。
在一些实施方式中，该分析单元32，具体还用于通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息。
在一些实施方式中，该分析单元32，具体还用于通过预设学习模型对人体图像上的线条以及轮廓进行扫描，以得到图像元素；对该图像元素进行特征分析，识别出人体图像中的人体特征点信息，该人体特征点信息包括头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
结合单元33，用于将该人体特征点信息进行结合，以生成人体模型信息。
其中，该人体模型信息为人体骨架模型，就是按照基本的人体构造规则将识别出的人体特征信息进行依次连接，形成人体模型信息，也即人体骨架信息，该人体模型信息表示了被拍摄的用户的身体姿势的表现，在一实施方式中，该人体模型信息可以3D火柴人模型，该3D火柴人模型可以表现出用户的身体姿势。
在一些实施方式中，该结合单元33，具体用于按照预设人体构造规则将该人体特征点信息进行依次连接，生成人体模型信息
控制单元34，用于根据该人体模型信息对虚拟对象进行相应的控制。
其中，该虚拟对象可以为虚构角色，该虚拟对象在建模时，也是按照人体模型信息的构造规则进行建模的，也就是说，该虚拟对象与人体模型信息相应的人体特征点信息可以进行相互呼应，该虚拟对象可以为游戏类应用中的角色。
进一步的，控制单元34可以对人体模型信息的身体部位进行追踪，如脑部、身体、手部以及脚部的姿势角度进行追踪，来确定相应的运动姿势，如蹲、跳或者挥手等，根据确定的运动姿势控制虚拟对象做出相应的动作。
在一些实施方式中，该控制单元34，具体用于获取该人体模型信息中的人体部位相应的位置信息；根据该位置信息对虚拟对象进行相应的控制。
由上述可知，本实施例提供的一种图像处理装置，通过获取单元31获取人体图像；分析单元32对人体图像进行分析，识别出人体图像对应的人体特征点信息；结合单元33将人体特征点信息进行结合，以生成人体模型信息；控制单元34根据人体模型信息对虚拟对象进行相应的控制。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。
本申请实施例还提供一种电子设备。请参阅图5，电子设备500包括处理器501以及存储器502。其中，处理器501与存储器502电性连接。
该处理器500是电子设备500的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器502内的计算机程序，以及调用存储在存储器502内的数据，执行电子设备500的各种功能并处理数据，从而对电子设备500进行整体监控。
该存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
在本申请实施例中，电子设备500中的处理器501会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器502中，并由处理器501运行存储在存储器502中的计算机程序，从而实现各种功能，如下：
获取人体图像；
对该人体图像进行分析，识别出该人体图像对应的人体特征点信息；
将该人体特征点信息进行结合，以生成人体模型信息；
根据该人体模型信息对虚拟对象进行相应的控制。
在某些实施方式中，在对该人体图像进行分析，识别出该人体图像对应的人体特征点信息时，处理器501可以具体执行以下步骤：
通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息。
在某些实施方式中，在通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息时，处理器501可以具体执行以下步骤：
通过预设学习模型对人体图像上的线条以及轮廓进行扫描，以得到图像元素；
对该图像元素进行特征分析，识别出人体图像中的人体特征点信息，该人体特征点信息包括头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
在某些实施方式中，在将该人体特征点信息进行结合，以生成人体模型信息时，处理器501可以具体执行以下步骤：
按照预设人体构造规则将该人体特征点信息进行依次连接，生成人体模型信息。
在某些实施方式中，在获取人体图像时，处理器501可以具体执行以下步骤：
通过摄像头组件获取待识别图像，该摄像头组件包括前置摄像头以及后置摄像头；
对该待识别图像进行人体分析，得到该待识别图像中的人体图像。
在某些实施方式中，处理器501还可以具体执行以下步骤：
获取显示屏当前显示的目标图像信息；
将该目标图像信息传输至第三方显示设备，以使得该第三方显示设备显示该目标图像信息。
由上述可知，本申请实施例的电子设备，通过获取人体图像；对人体图像进行分析，识别出人体图像对应的人体特征点信息；将人体特征点信息进行结合，以生成人体模型信息；根据人体模型信息对虚拟对象进行相应的控制。以此可以实时的识别出人体图像中的人体特征点信息，将识别出的人体特征点信息结合，生成人体模型信息，根据生成的人体模型信息中的人体部位的状态对虚拟对象进行相应的控制，节省了人机交互的成本，并且提升了人机交互的便捷性。
请一并参阅图6，在某些实施方式中，电子设备500还可以包括：显示器503、射频电路504、音频电路505以及电源506。其中，其中，显示器503、射频电路504、音频电路505以及电源506分别与处理器501电性连接。
该显示器503可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器503可以包括显示面板，在某些实施方式中，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。
该射频电路504可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
该音频电路505可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源506可以用于给电子设备500的各个部件供电。在一些实施例中，电源506可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图6中未示出，电子设备500还可以包括摄像头、蓝牙模块等，在此不再赘述。
本申请实施例还提供一种存储介质，该存储介质存储有计算机程序，当该计算机程序在计算机上运行时，使得该计算机执行上述任一实施例中的图像处理方法，比如：通过获取人体图像；对人体图像进行分析，识别出人体图像对应的人体特征点信息；将人体特征点信息进行结合，以生成人体模型信息；根据人体模型信息对虚拟对象进行相应的控制。
在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)、或者随机存取记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，该的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，该存储介质譬如为只读存储器，磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取人体图像；
对所述人体图像进行分析，识别出所述人体图像对应的人体特征点信息；
将所述人体特征点信息进行结合，以生成人体模型信息；
根据所述人体模型信息对虚拟对象进行相应的控制。
2.如权利要求1所述的图像处理方法，其特征在于，所述对所述人体图像进行分析，识别出所述人体图像对应的人体特征点信息的步骤，包括：
通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息。
3.如权利要求2所述的图像处理方法，其特征在于，所述通过预设学习模型对人体图像上的图像元素进行分析，识别出人体图像中的人体特征点信息的步骤，包括：
通过预设学习模型对人体图像上的线条以及轮廓进行扫描，以得到图像元素；
对所述图像元素进行特征分析，识别出人体图像中的人体特征点信息，所述人体特征点信息包括头部、颈部、左肩部、左肘部、左腕部、左腰部、左膝部、左脚踝部、右肩部、右肘部、右腕部、右腰部、右膝部、右脚踝部特征点信息。
4.如权利要求1至3任一项所述的图像处理方法，其特征在于，所述将所述人体特征点信息进行结合，以生成人体模型信息的步骤，包括：
按照预设人体构造规则将所述人体特征点信息进行依次连接，生成人体模型信息。
5.如权利要求1至3任一项所述的图像处理方法，其特征在于，所述获取人体图像的步骤，包括：
通过摄像头组件获取待识别图像，所述摄像头组件包括前置摄像头以及后置摄像头；
对所述待识别图像进行人体分析，得到所述待识别图像中的人体图像。
6.如权利要求1至3任一项所述的图像处理方法，其特征在于，所述根据所述人体模型信息对虚拟对象进行相应的控制的步骤，包括：
获取所述人体模型信息中的人体部位相应的位置信息；
根据所述位置信息对虚拟对象进行相应的控制。
7.如权利要求1所述的图像处理方法，其特征在于，所述图像处理方法，还包括：
获取显示屏当前显示的目标图像信息；
将所述目标图像信息传输至第三方显示设备，以使得所述第三方显示设备显示所述目标图像信息。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取人体图像；
分析单元，用于对所述人体图像进行分析，识别出所述人体图像对应的人体特征点信息；
结合单元，用于将所述人体特征点信息进行结合，以生成人体模型信息；
控制单元，用于根据所述人体模型信息对虚拟对象进行相应的控制。
9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的图像处理方法。
10.一种电子设备，包括处理器和存储器，所述存储器有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法。
CN201811116995.2A 2018-09-25 2018-09-25 图像处理方法、装置、存储介质及电子设备 Pending CN110941977A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811116995.2A CN110941977A (zh) 2018-09-25 2018-09-25 图像处理方法、装置、存储介质及电子设备
US16/581,688 US11042215B2 (en) 2018-09-25 2019-09-24 Image processing method and apparatus, storage medium, and electronic device
EP19199571.1A EP3629291A1 (en) 2018-09-25 2019-09-25 Image processing method and apparatus, storage medium, and electronic device
PCT/CN2019/107957 WO2020063693A1 (en) 2018-09-25 2019-09-25 Image Processing Method and Apparatus, Storage Medium, and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811116995.2A CN110941977A (zh) 2018-09-25 2018-09-25 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110941977A true CN110941977A (zh) 2020-03-31

Family

ID=68104375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811116995.2A Pending CN110941977A (zh) 2018-09-25 2018-09-25 图像处理方法、装置、存储介质及电子设备

Country Status (4)

Country Link
US (1) US11042215B2 (zh)
EP (1) EP3629291A1 (zh)
CN (1) CN110941977A (zh)
WO (1) WO2020063693A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111514584B (zh) * 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
CN113012281B (zh) * 2021-03-25 2024-02-13 北京百度网讯科技有限公司 人体模型的确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135765A (zh) * 2013-02-20 2013-06-05 兰州交通大学 一种基于微机械传感器的人体动作信息捕捉系统
CN108564612A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 模型显示方法、装置、存储介质及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP2007323341A (ja) 2006-05-31 2007-12-13 Matsushita Electric Works Ltd 製品設計支援システム
US9904845B2 (en) * 2009-02-25 2018-02-27 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
CN103118647B (zh) * 2010-09-22 2016-04-06 松下知识产权经营株式会社 运动支援系统
CN103473801B (zh) 2013-09-27 2016-09-14 中国科学院自动化研究所 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN104837066B (zh) * 2015-05-15 2019-01-25 腾讯科技（北京）有限公司 物品图像处理方法、装置和系统
CN108305312B (zh) 2017-01-23 2021-08-17 腾讯科技（深圳）有限公司 3d虚拟形象的生成方法和装置
CN107469355A (zh) 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 游戏人物形象创建方法及装置、终端设备
US10460468B2 (en) * 2017-12-15 2019-10-29 Motorola Mobility Llc User pose and item correlation
CN108416258B (zh) 2018-01-23 2020-05-08 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN109325450A (zh) 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135765A (zh) * 2013-02-20 2013-06-05 兰州交通大学 一种基于微机械传感器的人体动作信息捕捉系统
CN108564612A (zh) * 2018-03-26 2018-09-21 广东欧珀移动通信有限公司 模型显示方法、装置、存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAO Z ，ET AL.: "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Also Published As

Publication number Publication date
US11042215B2 (en) 2021-06-22
EP3629291A1 (en) 2020-04-01
US20200097070A1 (en) 2020-03-26
WO2020063693A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
WO2020063009A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
CN109949412B (zh) 一种三维对象重建方法和装置
CN110495819B (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
CN108712603B (zh) 一种图像处理方法及移动终端
CN110947181A (zh) 游戏画面显示方法、装置、存储介质及电子设备
CN110942479B (zh) 虚拟对象控制方法、存储介质及电子设备
CN107087137B (zh) 呈现视频的方法和装置及终端设备
CN113426117B (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN112272311B (zh) 花屏修复方法、装置、终端、服务器及介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN109413152B (zh) 图像处理方法、装置、存储介质及电子设备
CN111209812A (zh) 目标人脸图片提取方法、装置及终端设备
CN109618218B (zh) 一种视频处理方法及移动终端
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN110650294A (zh) 视频拍摄方法、移动终端及可读存储介质
US11042215B2 (en) Image processing method and apparatus, storage medium, and electronic device
CN110956571A (zh) 基于slam进行虚实融合的方法及电子设备
CN112511743B (zh) 视频拍摄方法和装置
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN110660032A (zh) 一种对象屏蔽方法、对象屏蔽装置及电子设备
CN110012229B (zh) 一种图像处理方法和终端
CN108829600B (zh) 算法库的测试方法、装置、存储介质和电子设备
CN113949936A (zh) 一种电子设备的屏幕交互方法及装置
CN110958392A (zh) 终端设备的拍摄方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024977

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200331