CN112703534B - 图像处理方法及相关产品 - Google Patents
图像处理方法及相关产品 Download PDFInfo
- Publication number
- CN112703534B CN112703534B CN201880097668.9A CN201880097668A CN112703534B CN 112703534 B CN112703534 B CN 112703534B CN 201880097668 A CN201880097668 A CN 201880097668A CN 112703534 B CN112703534 B CN 112703534B
- Authority
- CN
- China
- Prior art keywords
- rgb
- images
- group
- silhouettes
- silhouette
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 131
- 230000008569 process Effects 0.000 claims abstract description 97
- 238000004891 communication Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 238000011084 recovery Methods 0.000 claims abstract description 13
- 210000000988 bone and bone Anatomy 0.000 claims description 93
- 238000009792 diffusion process Methods 0.000 claims description 38
- 230000003238 somatosensory effect Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 210000000746 body region Anatomy 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法及相关产品，该方法包括：通过在电子设备运行体感游戏时，通过深度传感器获取人体的目标视频，目标视频包括RGB‑D图像对序列，在体感游戏运行第一进程时，从RGB‑D图像对序列中每一组RGB‑D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，对多个剪影轮廓图进行恢复操作，得到多个第二剪影图，如此，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
Description
技术领域
本申请涉及电子技术领域，具体涉及一种图像处理方法及相关产品。
背景技术
随着电子设备(如：手机、平板电脑等)的大量普及应用，电子设备能够支持的应用越来越多，功能越来越强大，电子设备向着多样化、个性化的方向发展，成为用户生活中不可缺少的电子用品。
目前，电子设备可以用于运行体感游戏，体感游戏可通过用户与电子设备之间通过交互实现，具体地，电子设备可获取人体的动作视频，并对人体动作视频进行分析，得到与人体动作对应的游戏操作，从而通过游戏操作对游戏运行进行控制，但是，在游戏过程中，可能存在数据传输时长较长的问题，导致用户的运动与体感游戏的实时性较差，因此，如何提高体感游戏中数据传输的效率的问题亟待解决。
发明内容
本申请实施例提供了一种图像处理方法及相关产品，能够通过提取剪影轮廓图，降低进程间的通信延迟，保证体感游戏的实时性。
第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括深度传感器，所述方法包括：
在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；
从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；
当所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，所述电子设备包括深度传感器，所述图像处理装置包括：
获取单元，用于在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
提取单元，用于在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；以及，从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；
处理单元，用于在所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中所描述的图像处理方法及相关产品，通过在电子设备运行体感游戏的过程中，通过深度传感器获取人体的目标视频，目标视频包括RGB-D图像对序列，在体感游戏运行第一进程时，通过预设算法从RGB-D图像对序列中每一组RGB-D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，对多个剪影轮廓图进行恢复操作，得到多个第二剪影图，如此，可通过在第一进程中从第一剪影图中提取出剪影轮廓图，在第二进程中通过剪影轮廓图恢复第二剪影图，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
附图说明
下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例公开的一种图像处理方法的流程示意图；
图2是本申请实施例公开的另一种图像处理方法的流程示意图；
图3是本申请实施例公开的另一种图像处理方法的流程示意图；
图4是本申请实施例公开的另一种电子设备的结构示意图；
图5是本申请实施例公开的一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字主从耳机切换控制器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(voice over internet protocol，VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示器上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。
电子设备100还可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，重力传感器，和其它传感器等。
输入-输出电路150还可以包括一个或多个显示器，例如显示器130。显示器130可以包括液晶显示器，有机发光二极管显示器，电子墨水显示器，等离子显示器，使用其它显示技术的显示器中一种或者几种的组合。显示器130可以包括触摸传感器阵列(即，显示器130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。
通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
请参阅图1B，图1B是本申请实施例提供的一种图像处理方法的流程示意图，本实施例中所描述的图像处理方法，应用于如图1A的电子设备，所述电子设备包括深度传感器，该图像处理方法包括：
101、在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图。
本申请实施例应用于电子设备运行体感游戏的场景，在运行体感游戏的过程中，可通过深度传感器获取用户动作的目标视频，目标视频包含的RGB-D图像对序列是按照视频获取的时间先后顺序进行排列，目标视频中包含的内容是用户进行连贯动作的视频，RGB-D图像对序列中每一组RGB-D图像中包含对应时刻用户的人体姿态，其中，每一组RGB-D图像中的RGB图像是指RGB三通道彩色图像，RGB图像和深度图是一一对应的，RGB图像和深度图中的像素点也是一对一的对应关系。
102、在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图。
本申请实施例中，可从RGB-D图像对序列中每一组RGB-D图像中提取出人体的第一剪影图，从而，可通过第一剪影图识别用户的动作对应的游戏操作，其中，预设算法可以为人脸检测算法，如基于方向梯度直方图(histogram of oriented gradient，HOG)的人脸检测算法，或，基于稀疏码直方图(histograms of sparse codes，HSC)的人脸检测算法，在此不作限定。
可选地，上述步骤102中，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，可包括以下步骤：
针对所述RGB-D图像对序列中每一组RGB-D图像执行如下步骤：
21、通过所述预设算法对每一组RGB-D图像进行人体检测，确定所述每一组RGB-D图像的人体区域与背景区域；
22、根据所述人体区域与背景区域对所述每一组RGB-D图像进行图像分割，将所述每一组RGB-D图像中所述RGB图像上的分割边缘像素点映射到所述每一组RGB-D图像的所述深度图上，得到所述每一组RGB-D图像对应的第一剪影图。
其中，针对RGB-D图像对序列中每一组RGB-D图像进行人脸检测，可以确定每一组RGB-D图像的人体区域和背景区域，然后对每一组RGB-D图像进行图像分割，并将该组RGB-D图像中RGB图像上的分割边缘像素点映射到对应的深度图上，得到用户的人体剪影图，从而，可按照步骤21和步骤22提取RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图。
103、从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程。
其中，第一进程是指电子设备中从目标视频中提取剪影图的进程，第二进程是指对剪影图进行展示的进程，本申请实施例中，电子设备可在第一进程运行提取第一剪影图的操作，然后需要将第一剪影图传输到第二进程中，由于第一剪影图的占用的内存空间较大，传输第一剪影图需要的通信时长较长，也会降低内存空间的读写效率，会影响体感游戏的实时性，因此，从第一剪影图中提取剪影轮廓图，第一剪影图的第一内存大于剪影轮廓图的第二内存，例如，若第一剪影图的第一内存为14kb，提取的剪影轮廓图的第二内存则可能为4-5kb，将剪影轮廓图从第一进程传输到第二进程，会降低通信时长，提高内存空间的读写效率，保证体感游戏的实时性。
可选地，上述步骤103中，从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，可包括以下步骤：
31、对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点；
32、根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，每一像素点集合对应一组RGB-D图像，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图。
其中，在第一进程中对RGB-D图像对序列中每一组RGB-D图像进行人体检测时，可检测得到每一组RGB-D图像对应的骨骼关节点集合，该骨骼关节点集合包含多个骨骼关节点，可根据每一组RGB-D图像对应的多个骨骼关节点对该组RGB-D图像的深度图进行扩散查找，得到该组RGB-D图像的剪影轮廓图，从而，可以根据多组RGB-D图像对应的多个骨骼关节点集合确定多个剪影轮廓图。
可选地，上述步骤32中，根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，包括：
A1、在所述多组RGB-D图像中每一组RGB-D图像的深度图上查找对应的所述多个骨骼关节点中每一骨骼关节点附近具有相同深度值的像素点，得到所述多组RGB-D图像中每一组RGB-D图像对应的多个像素点；
A2、保留所述多组RGB-D图像中每一组RGB-D图像对应的所述多个像素点中与对应的所述多个骨骼关节点中每一骨骼关节点中的查找终止处的像素点作为所述人体边缘轮廓上的像素点，得到所述人体边缘轮廓的多个像素点集合，每一组RGB-D图像对应一个像素点集合。
本申请实施例中，针对每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点，可依据该骨骼关节点扩散查找，查找周围邻域深度值相同的像素点，查找到深度值不同的像素点则停止该骨骼关节点的查找，继续针对下一骨骼关节点查找，进而，可将每一骨骼关节点对应的查找终止处的像素点作为人体边缘轮廓的像素点，得到该骨骼关节点对应的多个像素点，从而，可以查找到每一组RGB-D图像对应的多个骨骼关节点的像素点集合，以及查找到多组RGB-D图像对应的多个像素点集合。
可选地，本申请实施例中，还可获取所述体感游戏的游戏帧率，若所述游戏帧率小于预设阈值，执行所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
本申请实施例中，可确定体感游戏的游戏帧率，若游戏帧率小于预设阈值，表明体感游戏的实时性可能较差，从而，可执行从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
104、当所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
其中，在将多个剪影轮廓图中每一剪影轮廓图传输至第二进程后，可对每一剪影轮廓图进行恢复操作，得到回复后的第二剪影图，具体地，可通过区域生长算法对剪影轮廓图进行恢复。
可选地，上述步骤104中，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，可包括以下步骤：
通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
其中，区域生长算法可将有相似性质的像素点合并到一起，对每一个区域要先指定一个种子点作为生长的起点，然后将种子点周围邻域的像素点和种子点进行对比，将具有相似性质的点合并起来继续向外生长，直到没有满足条件的像素被包括进来为止，本申请实施例中，可将每一组RGB-D图像中的多个骨骼关节点作为种子点。
可选地，通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图，可包括以下步骤：
针对所述多组RGB-D图像中每一组RGB-D图像执行以下步骤：
B1、以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，其中，每一像素点区域包含与所述每一骨骼关节点对应的多个目标像素点；
B2、根据所述多个像素点区域中区域面积大于预设面积的多个目标像素点区域中的所有目标像素点生成所述每一组RGB-D图像对应的第二剪影图。
其中，针对每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点，可以该骨骼关节点作为种子点进行扩散生长，得到一个骨骼关节点对应的像素点区域，从而，可通过多个骨骼关节点的区域生长，得到多个骨骼关节点对应的多个像素点区域，进一步地，针对该组RGB-D图像，可根据多个像素点区域中区域面积大于预设面积的多个目标像素点区域的目标像素点生成该组RGB-D图像的第二剪影图。
可选地，上述步骤B1中，以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点朝进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，可包括以下步骤：
C1、遍历所述每一组RGB-D图像对应的所述剪影轮廓图上的每一像素点，得到与所述多个骨骼关节点对应的多个像素点；
C2、将所述多个像素点中作为多个种子点朝邻域多个方向进行扩散，得到所述多个种子点对应的多个像素点区域，其中，每一种子点对应一个像素点区域，所述每一像素点生长到黑色像素点时终止生长。
其中，针对每一组RGB-D图像对应的剪影轮廓图，可遍历该剪影轮廓图上的所有像素点，确定被遍历的像素点是否为骨骼关节点，若是，以该骨骼关节点对应的像素点朝邻域多个方向进行扩散，例如，可朝邻域四个方向或者八个方向进行扩散生长，得到该骨骼关节点对应的像素点区域。
可选地，本申请实施例中，对所述剪影轮廓图中任一剪影轮廓图进行恢复操作，得到对应的第二剪影图之后，还可包括以下步骤：
将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
在得到恢复后的第二剪影图后，可将第二剪影图绘制在电子设备显示的游戏界面中，从而，用户可根据该游戏界面中的第二剪影图确认自己的动作是否与预设的游戏操作一致。
可以看出，本申请实施例中所描述的图像处理方法，通过在电子设备运行体感游戏的过程中，通过深度传感器获取人体的目标视频，目标视频包括RGB-D图像对序列，在体感游戏运行第一进程时，通过预设算法从RGB-D图像对序列中每一组RGB-D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，对多个剪影轮廓图进行恢复操作，得到多个第二剪影图，如此，可通过在第一进程中从第一剪影图中提取出剪影轮廓图，在第二进程中通过剪影轮廓图恢复第二剪影图，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
与上述一致地，请参阅图2，图2是本申请实施例提供的另一种图像处理方法的流程示意图，本实施例中所描述的图像处理方法，应用于电子设备，电子设备包括深度传感器，该方法可包括以下步骤：
201、在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图。
202、在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图。
203、对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点。
204、根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程。
205、当所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
206、将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
其中，上述步骤201-206的具体实现过程可参照图1B所示的方法中相应的描述，在此不再赘述。
可以看出，本申请实施例中所描述的图像处理方法，通过在电子设备运行体感游戏的过程中，通过深度传感器获取人体的目标视频，目标视频包括RGB-D图像对序列，在体感游戏运行第一进程时，通过预设算法从RGB-D图像对序列中每一组RGB-D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，对多个剪影轮廓图进行恢复操作，得到多个第二剪影图，将RGB-D图像对序列中每一组RGB-D图像对应的第二剪影图绘制在游戏界面中，如此，可通过在第一进程中从第一剪影图中提取出剪影轮廓图，在第二进程中通过剪影轮廓图恢复第二剪影图，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
与上述一致地，请参阅图3，为本申请实施例提供的另一种图像处理方法的实施例流程示意图，本实施例中所描述的图像处理方法，应用于如图1A的电子设备，电子设备包括深度传感器，本方法可包括以下步骤：
301、在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图。
302、在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图。
303、对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点。
304、根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程。
305、通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
306、将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
其中，上述步骤301-306的具体实现过程可参照图1B所示的方法中相应的描述，在此不再赘述。
本申请实施例中所描述的图像处理方法，通过在电子设备运行体感游戏的过程中，通过深度传感器获取人体的目标视频，目标视频包括RGB-D图像对序列，在体感游戏运行第一进程时，通过预设算法从RGB-D图像对序列中每一组RGB-D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，通过区域生长算法和多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对每一剪影轮廓图进行恢复操作，得到多个第二剪影图，将RGB-D图像对序列中每一组RGB-D图像对应的第二剪影图绘制在游戏界面中，如此，可通过在第一进程中从第一剪影图中提取出剪影轮廓图，在第二进程中通过剪影轮廓图恢复第二剪影图，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
以下是实施上述图像处理方法的装置，具体如下：
与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备，包括：处理器和存储器；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置成由所述处理器执行，所述程序包括用于执行以下步骤的指令：
在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；
从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；
当所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
在一个可能的示例中，在所述通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图方面，所述程序还包括用于执行以下步骤的指令：
针对所述RGB-D图像对序列中每一组RGB-D图像执行如下步骤：
通过所述预设算法对每一组RGB-D图像进行人体检测，确定所述每一组RGB-D图像的人体区域与背景区域；
根据所述人体区域与背景区域对所述每一组RGB-D图像进行图像分割，将所述每一组RGB-D图像中所述RGB图像上的分割边缘像素点映射到所述每一组RGB-D图像的所述深度图上，得到所述每一组RGB-D图像对应的第一剪影图。
在一个可能的示例中，在从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图方面，所述程序还包括用于执行以下步骤的指令：
对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点；
根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，每一像素点集合对应一组RGB-D图像，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图。
在一个可能的示例中，在所述根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合方面，所述程序包括用于执行以下步骤的指令：
在所述多组RGB-D图像中每一组RGB-D图像的深度图上查找对应的所述多个骨骼关节点中每一骨骼关节点附近具有相同深度值的像素点，得到所述多组RGB-D图像中每一组RGB-D图像对应的多个像素点；
保留所述多组RGB-D图像中每一组RGB-D图像对应的所述多个像素点中与对应的所述多个骨骼关节点中每一骨骼关节点中的查找终止处的像素点作为所述人体边缘轮廓上的像素点，得到所述人体边缘轮廓的多个像素点集合，每一组RGB-D图像对应一个像素点集合。
在一个可能的示例中，在所述对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图方面，所述程序包括用于执行以下步骤的指令：
通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
在一个可能的示例中，在通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图方面，所述程序还包括用于执行以下步骤的指令：
针对所述多组RGB-D图像中每一组RGB-D图像执行以下步骤：
以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，其中，每一像素点区域包含与所述每一骨骼关节点对应的多个目标像素点；
根据所述多个像素点区域中区域面积大于预设面积的多个目标像素点区域中的所有目标像素点生成所述每一组RGB-D图像对应的第二剪影图。
在一个可能的示例中，在所述以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点朝进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域方面，所述程序包括用于执行以下步骤的指令：
遍历所述每一组RGB-D图像对应的所述剪影轮廓图上的每一像素点，得到与所述多个骨骼关节点对应的多个像素点；
将所述多个像素点中作为多个种子点朝邻域多个方向进行扩散，得到所述多个种子点对应的多个像素点区域，其中，每一种子点对应一个像素点区域，所述每一像素点生长到黑色像素点时终止生长。
在一个可能的示例中，所述对所述剪影轮廓图中任一剪影轮廓图进行恢复操作，得到对应的第二剪影图之后，所述程序还包括用于执行以下步骤的指令：
将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
在一个可能的示例中，所述根据所述第一目标重传次数对所述第一应用数据包进行传输之后，所述程序还包括用于执行以下步骤的指令：
获取所述体感游戏的游戏帧率，若所述游戏帧率小于预设阈值，执行所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
请参阅图5，图5是本实施例提供的一种图像处理装置的结构示意图。该图像处理装置应用于如图1A所示的电子设备，所述电子设备包括深度传感器，所述图像处理装置包括获取单元501、提取单元502和处理单元503，其中，
所述获取单元501，用于在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
所述提取单元502，用于在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；以及，从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；
所述处理单元503，用于在所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，每一剪影轮廓图对应一个第二剪影图。
可选地，在所述通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图方面，所述提取单元具体用于：
针对所述RGB-D图像对序列中每一组RGB-D图像执行如下步骤：
通过所述预设算法对每一组RGB-D图像进行人体检测，确定所述每一组RGB-D图像的人体区域与背景区域；
根据所述人体区域与背景区域对所述每一组RGB-D图像进行图像分割，将所述每一组RGB-D图像中所述RGB图像上的分割边缘像素点映射到所述每一组RGB-D图像的所述深度图上，得到所述每一组RGB-D图像对应的第一剪影图。
可选地，在所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图方面，所述提取单元具体用于：
对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点；
根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，每一像素点集合对应一组RGB-D图像，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图。
可选地，在所述根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合方面，所述提取单元具体用于：
在所述多组RGB-D图像中每一组RGB-D图像的深度图上查找对应的所述多个骨骼关节点中每一骨骼关节点附近具有相同深度值的像素点，得到所述多组RGB-D图像中每一组RGB-D图像对应的多个像素点；
保留所述多组RGB-D图像中每一组RGB-D图像对应的所述多个像素点中与对应的所述多个骨骼关节点中每一骨骼关节点中的查找终止处的像素点作为所述人体边缘轮廓上的像素点，得到所述人体边缘轮廓的多个像素点集合，每一组RGB-D图像对应一个像素点集合。
可选地，所述处理单元具体用于：
通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
可选地，在通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图方面，所述处理单元具体用于：
针对所述多组RGB-D图像中每一组RGB-D图像执行以下步骤：
以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点朝进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，其中，每一像素点区域包含与所述每一骨骼关节点对应的多个目标像素点；
根据所述多个像素点区域中区域面积大于预设面积的多个目标像素点区域中的所有目标像素点生成所述每一组RGB-D图像对应的第二剪影图。
可选地，在以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点朝进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域方面，所述处理单元具体用于：
遍历所述每一组RGB-D图像对应的所述剪影轮廓图上的每一像素点，得到与所述多个骨骼关节点对应的多个像素点；
将所述多个像素点中作为多个种子点朝邻域多个方向进行扩散，得到所述多个种子点对应的多个像素点区域，其中，每一种子点对应一个像素点区域，所述每一像素点生长到黑色像素点时终止生长。
可选地，在所述对所述剪影轮廓图中任一剪影轮廓图进行恢复操作，得到对应的第二剪影图之后，所述处理单元，还用于：
将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
可选地，所述获取单元501，还用于获取所述体感游戏的游戏帧率，若所述游戏帧率小于预设阈值，由所述提取单元执行所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
可以看出，本申请实施例中所描述的图像处理装置，通过在电子设备运行体感游戏的过程中，通过深度传感器获取人体的目标视频，目标视频包括RGB-D图像对序列，在体感游戏运行第一进程时，通过预设算法从RGB-D图像对序列中每一组RGB-D图像中提取出第一剪影图，得到多个第一剪影图，从多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，当多个剪影轮廓图传输至第二进程时，对多个剪影轮廓图进行恢复操作，得到多个第二剪影图，如此，可通过在第一进程中从第一剪影图中提取出剪影轮廓图，在第二进程中通过剪影轮廓图恢复第二剪影图，剪影轮廓图从第一进程传输到第二进程的传输时长要小于从第一进程向第二进程直接传输第一剪影图的传输时长，从而可降低第一进程与第二进程之间的通信延迟，保证体感游戏的实时性。
可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像处理方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (20)
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括深度传感器，所述方法包括：
在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；所述预设算法包括人脸检测算法；
从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；
当所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，具体为：通过区域生长算法对剪影轮廓图进行恢复，每一剪影轮廓图对应一个第二剪影图。
2.根据权利要求1所述的方法，其特征在于，所述通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，包括：
针对所述RGB-D图像对序列中每一组RGB-D图像执行如下步骤：
通过所述预设算法对所述每一组RGB-D图像进行人体检测，确定所述每一组RGB-D图像的人体区域与背景区域；
根据所述人体区域与所述背景区域对所述每一组RGB-D图像进行图像分割，将所述每一组RGB-D图像中所述RGB图像上的分割边缘像素点映射到对应的所述深度图上，得到所述每一组RGB-D图像对应的第一剪影图。
3.根据权利要求1或2所述的方法，其特征在于，所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，包括：
对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点；
根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，每一像素点集合对应一组RGB-D图像，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，包括：
在所述多组RGB-D图像中每一组RGB-D图像的深度图上查找对应的所述多个骨骼关节点中每一骨骼关节点附近具有相同深度值的像素点，得到所述多组RGB-D图像中每一组RGB-D图像对应的多个像素点；
保留所述多组RGB-D图像中每一组RGB-D图像对应的所述多个像素点中与对应的所述多个骨骼关节点中每一骨骼关节点中的查找终止处的像素点作为所述人体边缘轮廓上的像素点，得到所述人体边缘轮廓的多个像素点集合，每一组RGB-D图像对应一个像素点集合。
5.根据权利要求3所述的方法，其特征在于，所述对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，包括：
通过区域生长算法和所述RGB-D图像对序列中每一组RGB-D图像中的多个骨骼关节点对所述每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
6.根据权利要求5所述的方法，其特征在于，所述通过区域生长算法和所述RGB-D图像对序列中每一组RGB-D图像中的多个骨骼关节点对所述每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图，包括：
针对所述RGB-D图像对序列中每一组RGB-D图像执行以下步骤：
以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，其中，每一像素点区域包含与所述每一骨骼关节点对应的多个目标像素点；
根据所述多个像素点区域中区域面积大于预设面积的多个目标像素点区域中的所有目标像素点生成所述每一组RGB-D图像对应的第二剪影图。
7.根据权利要求6所述的方法，其特征在于，所述以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，包括：
遍历所述每一组RGB-D图像对应的所述剪影轮廓图上的每一像素点，得到与所述多个骨骼关节点对应的多个像素点；
将所述多个像素点中作为多个种子点朝邻域多个方向进行扩散，得到所述多个种子点对应的多个像素点区域，其中，每一种子点对应一个像素点区域，所述每一像素点生长到黑色像素点时终止生长。
8.根据权利要求1或2所述的方法，其特征在于，在对所述剪影轮廓图中任一剪影轮廓图进行恢复操作，得到对应的第二剪影图之后，所述方法还包括：
将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
9.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
获取所述体感游戏的游戏帧率，若所述游戏帧率小于预设阈值，执行所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
10.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括深度传感器，所述图像处理装置包括：
获取单元，用于在所述电子设备运行体感游戏的过程中，通过所述深度传感器获取人体的目标视频，所述目标视频包括RGB-D图像对序列，所述RGB-D图像对序列包括多组RGB-D图像，每一组RGB-D图像对包括一帧RGB图像以及与所述RGB图像对应的深度图；
提取单元，用于在所述体感游戏运行第一进程时，通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图，所述每一组RGB-D图像对应一个第一剪影图；以及，从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图，每一第一剪影图对应一个剪影轮廓图，所述多个剪影轮廓图用于传输至所述体感游戏的第二进程；所述预设算法包括人脸检测算法；
处理单元，用于在所述多个剪影轮廓图传输至所述第二进程时，对所述多个剪影轮廓图进行恢复操作，得到多个第二剪影图，具体为：通过区域生长算法对剪影轮廓图进行恢复，每一剪影轮廓图对应一个第二剪影图。
11.根据权利要求10所述的装置，其特征在于，在所述通过预设算法从所述RGB-D图像对序列中每一组RGB-D图像中提取出所述人体的第一剪影图，得到多个第一剪影图方面，所述提取单元具体用于：
针对所述RGB-D图像对序列中每一组RGB-D图像执行如下步骤：
通过所述预设算法对每一组RGB-D图像进行人体检测，确定所述每一组RGB-D图像的人体区域与背景区域；
根据所述人体区域与背景区域对所述每一组RGB-D图像进行图像分割，将所述每一组RGB-D图像中所述RGB图像上的分割边缘像素点映射到所述每一组RGB-D图像的所述深度图上，得到所述每一组RGB-D图像对应的第一剪影图。
12.根据权利要求10或11所述的装置，其特征在于，在所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图方面，所述提取单元具体用于：
对所述RGB-D图像对序列中每一组RGB-D图像进行人体检测，得到所述多组RGB-D图像对应的所述人体的多个骨骼关节点集合，所述多个骨骼关节点集合中每一骨骼关节点集合包含与所述每一组RGB-D图像对应的多个骨骼关节点；
根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合，每一像素点集合对应一组RGB-D图像，根据所述多组RGB-D图像中每一组RGB-D图像对应的像素点集合生成剪影轮廓图，得到多个剪影轮廓图。
13.根据权利要求12所述的装置，其特征在于，在所述根据所述多组RGB-D图像中每一组RGB-D图像对应的多个骨骼关节点以及预设的扩散判定条件对所述多组RGB-D图像中每一组RGB-D图像的深度图进行扩散查找，得到人体边缘轮廓的多个像素点集合方面，所述提取单元具体用于：
在所述多组RGB-D图像中每一组RGB-D图像的深度图上查找对应的所述多个骨骼关节点中每一骨骼关节点附近具有相同深度值的像素点，得到所述多组RGB-D图像中每一组RGB-D图像对应的多个像素点；
保留所述多组RGB-D图像中每一组RGB-D图像对应的所述多个像素点中与对应的所述多个骨骼关节点中每一骨骼关节点中的查找终止处的像素点作为所述人体边缘轮廓上的像素点，得到所述人体边缘轮廓的多个像素点集合，每一组RGB-D图像对应一个像素点集合。
14.根据权利要求12所述的装置，其特征在于，所述处理单元具体用于：
通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图。
15.根据权利要求14所述的装置，其特征在于，在通过区域生长算法和所述多组RGB-D图像中每一组RGB-D图像中的多个骨骼关节点对所述多组RGB-D图像中每一组RGB-D图像对应的剪影轮廓图进行恢复操作，得到所述多个第二剪影图方面，所述处理单元具体用于：
针对所述多组RGB-D图像中每一组RGB-D图像执行以下步骤：
以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域，其中，每一像素点区域包含与所述每一骨骼关节点对应的多个目标像素点；
根据所述多个像素点区域中区域面积大于预设面积的多个目标像素点区域中的所有目标像素点生成所述每一组RGB-D图像对应的第二剪影图。
16.根据权利要求15所述的装置，其特征在于，在以所述每一组RGB-D图像对应的多个骨骼关节点中每一骨骼关节点作为种子点进行扩散生长，得到所述多个骨骼关节点对应的多个像素点区域方面，所述处理单元具体用于：
遍历所述每一组RGB-D图像对应的所述剪影轮廓图上的每一像素点，得到与所述多个骨骼关节点对应的多个像素点；
将所述多个像素点中作为多个种子点朝邻域多个方向进行扩散，得到所述多个种子点对应的多个像素点区域，其中，每一种子点对应一个像素点区域，所述每一像素点生长到黑色像素点时终止生长。
17.根据权利要求16所述的装置，其特征在于，在对所述剪影轮廓图中任一剪影轮廓图进行恢复操作，得到对应的第二剪影图之后，所述处理单元，还用于：
将所述RGB-D图像对序列中每一组RGB-D图像对应的所述第二剪影图绘制在所述电子设备的游戏界面中。
18.根据权利要求17所述的装置，其特征在于，所述获取单元，还用于获取所述体感游戏的游戏帧率，若所述游戏帧率小于预设阈值，由所述提取单元执行所述从所述多个第一剪影图中提取出剪影轮廓，得到多个剪影轮廓图的操作。
19.一种电子设备，其特征在于，包括处理器、存储器和通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-9任一项所述的方法中的步骤的指令。
20.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-9任一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/116441 WO2020102977A1 (zh) | 2018-11-20 | 2018-11-20 | 图像处理方法及相关产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112703534A CN112703534A (zh) | 2021-04-23 |
| CN112703534B true CN112703534B (zh) | 2024-04-02 |
Family
ID=70773105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880097668.9A Active CN112703534B (zh) | 2018-11-20 | 2018-11-20 | 图像处理方法及相关产品 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112703534B (zh) |
| WO (1) | WO2020102977A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537121B (zh) * | 2021-07-28 | 2024-06-21 | 浙江大华技术股份有限公司 | 身份识别方法和装置、存储介质及电子设备 |
| CN114648542A (zh) * | 2022-03-11 | 2022-06-21 | 联宝(合肥)电子科技有限公司 | 一种目标物提取方法、装置、设备及可读存储介质 |
| CN116152051B (zh) * | 2023-02-27 | 2023-12-01 | 上海福柯斯智能科技有限公司 | 一种x射线图像的分块配准图像剪影方法和装置 |
| CN116309940B (zh) * | 2023-03-22 | 2023-11-24 | 浪潮智慧科技有限公司 | 一种基于动画弹窗组件的地图信息显示方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1629888A (zh) * | 2003-12-17 | 2005-06-22 | 中国科学院自动化研究所 | 一种骨架化物体重建方法 |
| CN102609683A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种基于单目视频的人体关节自动标注方法 |
| CN103679175A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于深度摄像机的快速3d骨骼模型检测方法 |
| CN103916431A (zh) * | 2013-01-04 | 2014-07-09 | 云联（北京）信息技术有限公司 | 一种人机交互系统及方法 |
| CN104396234A (zh) * | 2012-05-29 | 2015-03-04 | 高通股份有限公司 | 视频传输和重构 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101354792A (zh) * | 2008-09-08 | 2009-01-28 | 北京航空航天大学 | 一种保留模型细节特征的轮廓线远程绘制方法 |
| US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
| KR101414577B1 (ko) * | 2012-11-12 | 2014-07-03 | 한남대학교 산학협력단 | 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법 |
| KR101514731B1 (ko) * | 2014-09-05 | 2015-04-28 | 동국대학교 산학협력단 | 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법 |
| CN105786016B (zh) * | 2016-03-31 | 2019-11-05 | 深圳奥比中光科技有限公司 | 无人机以及rgbd图像的处理方法 |
| CN107194964B (zh) * | 2017-05-24 | 2020-10-09 | 电子科技大学 | 一种基于实时人体三维重建的vr社交系统及其方法 |
| CN108154551B (zh) * | 2017-11-29 | 2021-04-30 | 奥比中光科技集团股份有限公司 | 实时动态重建三维人体模型的方法及系统 |
| CN107945269A (zh) * | 2017-12-26 | 2018-04-20 | 清华大学 | 基于多视点视频的复杂动态人体对象三维重建方法及系统 |
-
2018
- 2018-11-20 CN CN201880097668.9A patent/CN112703534B/zh active Active
- 2018-11-20 WO PCT/CN2018/116441 patent/WO2020102977A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1629888A (zh) * | 2003-12-17 | 2005-06-22 | 中国科学院自动化研究所 | 一种骨架化物体重建方法 |
| CN102609683A (zh) * | 2012-01-13 | 2012-07-25 | 北京邮电大学 | 一种基于单目视频的人体关节自动标注方法 |
| CN104396234A (zh) * | 2012-05-29 | 2015-03-04 | 高通股份有限公司 | 视频传输和重构 |
| CN103916431A (zh) * | 2013-01-04 | 2014-07-09 | 云联（北京）信息技术有限公司 | 一种人机交互系统及方法 |
| CN103679175A (zh) * | 2013-12-13 | 2014-03-26 | 电子科技大学 | 一种基于深度摄像机的快速3d骨骼模型检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112703534A (zh) | 2021-04-23 |
| WO2020102977A1 (zh) | 2020-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108762954B (zh) | 一种对象分享方法及移动终端 | |
| CN112703534B (zh) | 图像处理方法及相关产品 | |
| WO2017054605A1 (zh) | 一种图片的处理方法和装置 | |
| CN108495029B (zh) | 一种拍照方法及移动终端 | |
| US9697622B2 (en) | Interface adjustment method, apparatus, and terminal | |
| EP3454255A1 (en) | Facial recognition method and related product | |
| CN104765446A (zh) | 电子设备和控制电子设备的方法 | |
| CN109240577B (zh) | 一种截屏方法及终端 | |
| CN108038825B (zh) | 一种图像处理方法及移动终端 | |
| CN107749046B (zh) | 一种图像处理方法及移动终端 | |
| CN110099219B (zh) | 全景拍摄方法及相关产品 | |
| CN111212242B (zh) | 曝光方法和电子设备 | |
| CN107885448B (zh) | 应用触摸操作的控制方法、移动终端及可读存储介质 | |
| CN108536364A (zh) | 一种拍摄方法、终端及计算机可读存储介质 | |
| CN109618218B (zh) | 一种视频处理方法及移动终端 | |
| US11290591B2 (en) | Dialing method and mobile terminal | |
| CN108600544B (zh) | 一种单手控制方法及终端 | |
| CN110363702B (zh) | 图像处理方法及相关产品 | |
| CN108536349A (zh) | 一种图标管理方法及移动终端 | |
| CN105513098B (zh) | 一种图像处理的方法和装置 | |
| CN108259808B (zh) | 一种视频帧压缩方法和移动终端 | |
| CN111556248B (zh) | 拍摄方法、装置、存储介质及移动终端 | |
| CN108319409B (zh) | 一种应用程序的控制方法及移动终端 | |
| CN111026457A (zh) | 一种硬件配置方法、装置、存储介质及终端设备 | |
| CN110503189B (zh) | 一种数据处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |