CN107154032A - 一种图像数据处理方法和装置 - Google Patents
一种图像数据处理方法和装置 Download PDFInfo
- Publication number
- CN107154032A CN107154032A CN201710261797.4A CN201710261797A CN107154032A CN 107154032 A CN107154032 A CN 107154032A CN 201710261797 A CN201710261797 A CN 201710261797A CN 107154032 A CN107154032 A CN 107154032A
- Authority
- CN
- China
- Prior art keywords
- pixel
- pretreatment
- incomplete
- destination object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims description 43
- 210000000988 bone and bone Anatomy 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 22
- 238000009738 saturating Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 12
- 238000003709 image segmentation Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 241000406668 Loxodonta cyclotis Species 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 230000011731 head segmentation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本发明实施例公开了一种图像数据处理方法和装置,所述方法包括:获取原始图像所对应的灰度图像,并在灰度图像中选取预处理区域;预处理区域包括非透明且非完整的目标对象和透明化的背景区域;查找非完整的目标对象中的起始像素点,并从起始像素点开始向背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将预处理像素点对应的原始颜色特征与非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整预处理像素点的透明度值;将包含多个调整后的预处理像素点的预处理区域和原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示第一展示图像。采用本发明,可提高图像分割精度,进而改善图像显示效果。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种图像数据处理方法和装置。
背景技术
随着计算机视觉技术的迅速发展,一种能简化或改变图像表现形式的图像分割可使显示中的图像更容易地被大众所理解和分析。比如,以目前日益兴起的3D(三维)游戏为例,该3D游戏是指以三维计算机图形为基础而进行制作的立体电子游戏,大致包括但不限于多人在线联机的网络3D游戏,单人进行游戏的单人3D游戏,和基于3D游戏系统建立的虚拟现实游戏系统;此外,这些三维游戏通常对平台具有通用适用属性,即均可应用于游戏主机平台,智能电视平台,手机游戏平台,PC(个人电脑)端游戏平台内。
在上述多种3D游戏平台中,为了使游戏显示效果更为逼真,通常采用图像处理技术对图像进行分割处理,从而可将一幅数字图像中具有特殊含义的区域分割出来,进而确保这些区域彼此间互不重叠,且任何相邻区域之间图像的性质具有明显的区别。然而,在现有技术中,当可加载上述游戏平台的计算机在进行图像分割时,由于分割精度较差,往往会出现过分割的现象,即分割后的图像边缘会出现凹凸、缺失、或小块的杂乱区域,致使图像分割效果不佳。比如,当直接使用原始深度图像进行人物分割,会由于结构光深度测量技术的固有缺陷,致使分割得到的人体图像的质量往往较差,即边缘存在较多的锯齿,头部区域存在大量的空洞,进而降低了游戏中图像的显示效果,并严重影响玩家的视觉体验。
又比如,现有技术中还可首先根据深度信息识别出场景中的人,其次对识别出的场景中的人做相应的标记,然后将标记直接映射到彩色图像上,以根据标记对彩色图像进行分割,但采用这种方法实现人体与背景的分割时,仍会存在人体边缘分割不准确、锯齿严重、头发缺失多等问题,严重影响图像显示效果,进而影响用户的视觉体验。
发明内容
本发明实施例提供一种图像数据处理方法和装置,可在图像分割时提高分割精度,以避免图像边缘的缺失,进而改善图像显示效果。
本发明第一方面提供了一种图像数据处理方法,包括:
获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的展示图像,并显示所述展示图像。
本发明第二方面提供了一种图像数据处理装置,包括:
获取选取模块,用于获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
扫描调整模块,用于查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
第一融合显示模块,用于将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的展示图像,并显示所述展示图像。
本发明实施例通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;然后,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,从而可以提高图像分割精度,进而改善图像显示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像数据处理方法的流程示意图;
图2a和图2b是本发明实施例提供的一种获取原始图像对应的灰度图像的示意图;
图3是本发明实施例提供的一种选取预处理区域的示意图;
图4a和图4b是本发明实施例提供的一种对第一预处理像素点进行调整的示意图;
图5a和图5b是本发明实施例提供的一种对第二预处理像素点进行调整的示意图;
图6是本发明实施例提供的一种预处理区域选取的流程示意图;
图7是本发明实施例提供的一种头部的下边缘位置确定的示意图;
图8是本发明实施例提供的另一种图像数据处理方法的流程示意图;
图9是本发明实施例提供的一种色彩匹配方法的流程示意图;
图10是本发明实施例提供的一种防止对预处理像素点进行误判的示意图;
图11是本发明实施例提供的一种图像数据处理装置的结构示意图;
图12是本发明实施例提供的一种获取选取模块的结构示意图;
图13是本发明实施例提供的一种处理区域选取单元的结构示意图;
图14是本发明实施例提供的一种扫描调整模块的结构示意图;
图15是本发明实施例提供的一种第一查找调整单元的结构示意图;
图16是本发明实施例提供的一种第二查找调整单元的结构示意图;
图17是本发明实施例提供的另一种图像数据处理装置的结构示意图;
图18是本发明实施例提供的另一种扫描调整模块的结构示意图;
图19是本发明实施例提供的一种像素点调整单元的结构示意图;
图20是本发明实施例提供的一种第一融合显示模块的结构示意图;
图21是本发明实施例提供的又一种图像数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,是本发明实施例提供的一种图像数据处理方法的流程示意图。如图1所示,所述方法至少包括:
步骤S101,获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
具体地,所述智能终端采集包含所述原始对象的原始图像(所述原始图像可以为包括真实用户和真实背景的图像,该真实用户可以为所述原始对象),并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的所述原始对象对应的多个像素点设置非透明标识,并通过将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,可以生成所述原始图像对应的灰度图像(所述灰度图像可以为alpha图像),因此,所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域。其中,所述原始图像可以为RGB(Read、Green、Blue,红、绿、蓝)彩色图像。所述智能终端可进一步根据所述原始对象的深度信息,在所述灰度图像中选取预处理区域;
其中,所述智能终端包括个人电脑、平板电脑、笔记本电脑、智能电视、智能手机、VR(virtual reality,虚拟现实)设备等携带摄像功能的终端设备或可与外部摄像设备进行通讯连接的终端设备;
比如,以一个小女孩站在智能终端(例如,智能电视A)前方一米位置处时所采集到的原始图像为例,其中,该原始图像包括真实的用户图像(小女孩的图像为原始对象)和真实的背景图像。进一步地,请参见图2a和图2b,是本发明实施例提供的一种获取原始图像对应的灰度图像的示意图,其中,智能电视A与外部摄像头B通过数据线进行图像数据的实时传输;对于外部摄像头B而言,该外部摄像头B可用于实时采集彩色图像,并将采集到的彩色图像发送给智能电视A;与此同时,对于智能电视A而言,当接收到外部摄像头B实时采集到的该小女孩对应的原始图像(即彩色图像)时,可对所述原始图像中的所述原始对象进行初始分割,以得到非完整的原始对象,并为所述非完整的所述原始对象对应的多个像素点设置非透明标识,即可为该非完整的小女孩所在图像区域内的多个像素点设置非透明标识1,且对于未设置非透明标识1的实际背景处的像素点,则可默认被标记上透明标识0;即该智能电视A可将具有非透明标识1的非完整的小女孩图像区域处的像素点的透明度值设为最大值255,并将所述原始图像中具有透明标识0的背景处像素点的透明度值设为最小值0,进而生成如图2b所示的原始图像对应的灰度图像,即如图2b所示,通过透明度值的设置,可将图2a中的真实背景进行透明化处理;因此,该灰度图像包括非透明且非完整的原始对象和透明化的背景区域。在实际应用场景中,所述灰度图像可以无需在智能终端中显示出来,即可以在所述智能终端的后台对所述灰度图像进行处理即可。
随后,该智能电视A可根据所述原始对象的深度信息,即可根据该小女孩与外部摄像头B之间的平均距离,在如图2b所示的灰度图像中选取包含非完整的目标对象(该小女孩的头部)的预处理区域;具体地,请参见图3,是本发明实施例提供的一种选取预处理区域的示意图。如图3所示,该预处理区域包括非透明且非完整的目标对象和透明化的背景区域。
步骤S102,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
具体地,所述智能终端可进一步查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值,并根据调整后的第一预处理像素点,更新所述非完整的目标对象,并进一步查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值,并将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
其中,每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量;
其中,每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
其中,当从所述第一像素点开始向所述背景区域的方向进行第一方向上的扫描时,可在扫描到位于背景区域中的终止边界为止;同理,当从所述第二像素点开始向所述背景区域的方向进行第二方向上的扫描时,仍在扫描到位于背景区域中的终止边界为止;
其中,所述终止边界中的每个像素点与对象边界之间的像素点数量均为第二预处理数量;
其中,所示第一预处理数量与原始对象的深度信息之间满足第二比例公式;
其中,所述第二比例公式为:EdgeWidthcur=EdgeWidthbench*Dcur/Dbench;
其中,Dbench为一特定的原始对象的深度值;EdgeWidthbench为在这个深度值上对应的像素点数量,因此,对采集到的每帧新数据而言,智能终端在获取到当前玩家头部骨骼点深度值Dcur之后,可根据深度值与像素点数量之间的比例公式计算出当前深度值下的第一预处理数量(EdgeWidthcur);同理地,对所述第二预处理数量的计算仍可类似地参见这个公式(即第二预处理数量和原始对象的深度信息满足第三比例公式,即第三比例公式与所述第二比例公式相同)。
其中,所述第一方向为与非完整的目标对象的横轴方向对应的扫描方向,比如,该横轴方向可为在非完整的目标对象内距离所述非完整的目标对象的对象边界均为第一预处理数量处的各个像素点分别向所述背景区域进行左、右同步扫描时的方向,进一步地,请参见图4a和图4b,是本发明实施例提供的一种对第一预处理像素点进行调整的示意图;
如图4a所示,在预处理区域内包含非透明且非完整的目标对象200a,和透明化的背景区域200b,该智能电视A可根据所述背景区域中的像素点的透明度值(比如:Alpha=0)和所述非完整的目标对象200a的像素点的透明度值(Alpha=255),在所述预处理区域中确定如图4a所示的所述非完整的目标对象200a的对象边界200d,并可根据与所述非完整的目标对象200a对应的原始对象的深度信息和第一预处理数量之间的第二比例公式,计算出第一预处理数量的数值(例如,二者之间相距8个像素点数量的宽度),并可进一步根据第一预处理数量和对象边界200d,从所述非完整的目标对象200a中查找到左右两侧的第一起始像素点200c,并将由第一起始像素点200c向对象边界200d所在的背景区域200b进行第一方向(所述第一方向可以为水平方向)的扫描,直至扫到对象边界200d且距离对象边界200d之间的像素点数量均为第二预处理数量(4个像素点)的终止边界为止,其中,扫面方向将按照如图4a所示箭头方向进行扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象200a对应的对象颜色特征进行匹配,并在所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象200a对应的对象颜色特征匹配时,将所述第一预处理像素点的透明度值均调整为最大值(Alpha=255),并在所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象200a对应的对象颜色特征不匹配时,将所述第一预处理像素点的透明度值均调整为最小值(Alpha=0)。进而可形成如图4b所示的更新后的非完整的目标对象300a的示意图,即将背景区域中满足匹配性质的各像素点的透明度值由最小值调整为最大值,以显示原先缺失的头发部分,具体地,请参见图4b所示的第一像素点调整区域200e,可见,在所述第一像素点调整区域200e中包括已调整透明度值的第一预处理像素点。因此,该智能电视A可进一步根据调整后的第一预处理像素点,更新所述非完整的目标对象200a的对象边界200d,以进一步确定更新后的非完整目标对象300a的横向宽度值。
在进行横向处理后,所述智能终端(该智能电视A)还可进一步根据更新后的非完整的目标对象300a的横向宽度值及其下边缘,进一步对所述预处理区域进行纵向处理(即,沿第二方向进行扫描)。进一步地,请参见图5a和图5b,是本发明实施例提供的一种对第二预处理像素点进行调整的示意图。如图5a所示,在对所述第一预处理像素点的透明度值进行调整后,可对非完整的目标对象200a进行更新处理,即可显示如图5a所示的已补全左右两侧缺失头发的示意图,并重新确定更新后的非完整的目标对象300a的对象边界(即更新对象边界300d),然后,可进一步在图5a所对应的更新后的非完整的目标对象300a的图像区域中,根据上述图4a中的第一预处理数量(8个像素点的宽度)和更新后的非完整的目标对象300a的下边缘沿第二方向(纵轴方向)查找如图5a所示的第二起始像素点300c,并沿第二起始像素点300c向背景区域的方向进行第二方向扫描,直到扫描到更新对象边界300d且距离更新对象边界300d之间的像素点数量均为第二预处理数量(4个像素点)的终止边界为止,其中,扫面方向将按照如图5a所示箭头方向进行扫描,并将此时被扫描到的像素点确定为第二预处理像素点,随后,该智能电视A可将所述第二预处理像素点对应的原始颜色特征与所述更新后的非完整的目标对象300a对应的对象颜色特征进行匹配,最后,在所述第二预处理像素点对应的原始颜色特征与所述更新后的非完整的目标对象300a对应的对象颜色特征匹配时,将所述第二预处理像素点的透明度值均调整为最大值(Alpha=255),并在所述第二预处理像素点对应的原始颜色特征与所述更新后的非完整的目标对象300a对应的对象颜色特征不匹配时,将所述第二预处理像素点的透明度值均调整为最小值(Alpha=0),以形成如图5b所示的完整的目标对象400a的示意图。因此,智能电视A可将背景区域中满足颜色匹配性质的各像素点的透明度值由最小值调整为最大值,并将背景区域中不满足该颜色匹配性质的各像素点的透明度指调整为最小值,以在图5b所示的第二像素点调整区域300e中显示原先缺失的头发部分,且所述第二像素点调整区域300e中包含调整后的第二预处理像素点。
其中,图4a、图4b、图5a、图5b中对预处理区域中的图像数据的处理过程可以无需在终端的显示屏中显示出来,即预处理区域中的图像数据均可以在终端后台进行处理。因此,终端获取到原始图像后,可以直接在显示屏上显示包含完整的目标对象400a的彩色图像(而分割出完整的目标对象400a的处理过程均可以无需在显示屏上显示)。
步骤S103,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;
具体地,所述智能终端对处理后的预处理区域中的所有像素点的透明度值进行均值滤波处理,并在所述原始图像中,提取所述处理后的预处理区域中的所有像素点分别对应的原始颜色特征,并将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;所述第一展示图像可以为将RGB彩色图像(即所述原始图像)和包含完整目标对象的Alpha图像进行融合处理后所生成的RGBA(Red、Green、Blue、Alpha,红色、绿色、蓝色、透明度)彩色图像;
其中,所述处理后的预处理区域中的所有像素点包含多个调整后的预处理像素点。
进一步地,请一并参见图6,是本发明实施例提供的一种预处理区域选取的流程示意图。如图6所示,步骤S601-步骤S603是上述图1所对应实施例中步骤S101所对应的预处理区域选取过程的一个具体实施例;
步骤S601,获取所述原始对象的深度信息,并根据预设的第一比例公式计算所述深度信息对应的区域面积;
其中,第一比例公式为:Scur=Smax*Dcur/Dmax
其中,Dmax定义了某一用户对应的最大深度信息(该用户的深度信息可视为等于该用户的头部对应的深度信息);Smax为所述最大深度信息Dmax对应的头部区域面积,因此,Smax和Dmax之间进行相除后的数值可为一固定的比例值;基于该比例值,当获取到当前帧数据对应的当前用户(原始对象)的头部骨骼点的深度信息Dcur时,可进一步根据当前深度信息Dcur计算出当前用户的头部的区域面积Scur。
步骤S602,获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘;
其中,所述骨骼信息包括头部骨骼信息和颈部骨骼信息,于是,可在灰度图像中,建立相对位置坐标系;比如,以灰度图像的某个顶点(左上角处顶点)为坐标原点,以横轴方向为该灰度图像的X轴,以纵轴方向为该灰度图像的Y轴,于是,可以得到头部骨骼点所在位置和颈部骨骼点所在位置,进而可根据头部骨骼点所在位置和颈部骨骼点所在位置,以及预设的位置公式确定非完整的目标对象(玩家头部)在灰度图像中下边缘所在的位置;
其中,所述预设的位置公式为:Ydown=Yhead+(Yneck-Yhead)/2;
其中,Ydown为灰度图像中的计算得到的玩家头部的下边缘位置;Yhead为灰度图像中检测到的头部骨骼点所在位置,Yneck为灰度图像中检测到的颈部骨骼点所在位置。
进一步地,请一并参见图7,是本发明实施例提供的一种头部的下边缘位置确定的示意图。如图7所示,在手机终端中显示的灰度图像100a所对应的显示区域中包含一个携带非透明标识(例如,ID标识为1)的非完整的原始对象(即在该灰度图像100a中,由于对原始图像进行初始分割的原因,致使该男性玩家A的头部区域存在凹陷和缺失,另外通过对非完整的原始对象进行非透明标识,可使携带该非透明标识的非完整的原始对象在该显示区域中进行显示,且将未携带该非透明标识的背景区域在该显示区域中进行透明化处理)。另外,在如图7所示的灰度图像100a中,手机终端可根据男性玩家A距离手机摄像头的距离,进一步确定原始对象的深度信息,并根据深度信息和第一比例公式计算出如图7所示的玩家头部区域对应的区域面积100b(比如,一个面积为5cm*6cm的区域面积),并可进一步根据在灰度图像100a中创建的如图7所示的直角坐标系,再进一步获取非完整的目标对象的头部骨骼点位置Yhead(例如,Yhead=5cm处的位置)和颈部骨骼点位置Yneck(例如,Yneck=8cm)。因此,将获取到的Yhead和Yneck分别对应的坐标值代入上述预设的位置公式中,可进一步计算得到该男性玩家A的头部下边缘(即下巴)在灰度图像100a中的位置(下边缘位置Ydown=6.5cm)。
步骤S603,根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域。
比如,仍以上述图7计算得到的下边缘位置对应的示意图为例,该手机终端可进一步根据计算得到的区域面积100b(比如,5cm*6cm的区域面积)和该男性玩家A的头部下边缘(即下巴)在灰度图像中的位置(Ydown=6.5cm)以及头部的中心点,在上述图7所示的灰度图像100a中选取包含非完整的头部对应的预处理区域。
鉴于此,所述智能终端在灰度图像中对预处理区域的选取可首先根据原始对象的深度信息和预设的第一比例公式,计算得到所述非完整的目标对象对应的区域面积,其次,根据非完整的目标对象的骨骼信息进一步确定灰度图像中非完整的目标对象对应的下边缘,然后,根据所述区域面积、所述非完整的目标对象对应的下边缘以及非完整的目标对象对应的中心点,进一步在灰度图像中选取包含非完整的目标对象的预处理区域。
可选的,当在同一应用界面中存在多个游戏玩家(比如,玩家A,玩家B和玩家C)时,可根据图像中的每个玩家的账号为每个玩家分配不同的展示位置,即智能终端中每个携带唯一标识(ID)的玩家(其中,ID标识可用于区分每个玩家的骨骼点信息,以便于后续在处理完玩家A的头部区域后,继续根据下一个玩家的ID标识进行下一个玩家的头部区域的处理)可被分配到具有相同标识处的展示位置(例如,在同一应用界面中每个玩家均可在同一个虚拟舞台中进行舞蹈PK),进而可使携带ID标识为1的玩家A能始终在应用界面中显示,并使携带ID标识为2的玩家B能始终在应用界面中显示,并使携带ID标识为3的玩家C能始终在应用界面中显示,进而可对该应用平台中的每个玩家进行以此类推地标识,以识别不同的玩家;与此同时,对非玩家的背景区域则会在应用界面中始终被标记为0。因此智能终端可进一步将原始图像中具有非透明标识(标识1、标识2和标识3)的像素点的透明度值设为最大值,并同步将不具有非透明标识的背景区域的像素点的透明度值设为最小值,进而生成包含多个玩家的原始图像对应的灰度图像,并在该灰度图像中进一步确定当前帧数据中包含多个ID标识的预处理区域。
由此可见,所述智能终端首先通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;然后,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的展示图像,并显示所述展示图像。可见,在查找到所述非完整的目标对象中的起始像素点时,可从所述起始像素点向所述背景区域所在方向进行扫描,以将被扫描到的像素点作为预处理像素点,并在所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特性匹配时,将所述预处理像素点的透明值设置为最大值,并在所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特性不匹配时,将所述预处理像素点的透明值设置为最小值;因此,通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,从而可以提高图像分割精度,进而改善图像显示效果。
进一步地,请参见图8,是本发明实施例提供的另一种图像数据处理方法的流程示意图。如图8所示,所述方法至少包括:
步骤S801,获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
具体地,所述智能终端采集包含所述原始对象的原始图像(所述原始图像可以为包括真实用户和真实背景的图像,该真实用户可以为所述原始对象),并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的所述原始对象对应的多个像素点设置非透明标识,并通过将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并通过将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,可以生成所述原始图像对应的灰度图像,因此,所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域。其中,所述原始图像可以为RGB彩色图像。所述智能终端可进一步根据所述原始对象的深度信息,在所述灰度图像中选取预处理区域;
其中,所述非完整的原始对象包含所述非完整的目标对象;
其中,所述智能终端包括个人电脑、平板电脑、笔记本电脑、智能电视、智能手机、VR设备等携带摄像功能的终端设备或可与外部摄像设备进行通讯连接的终端设备;
其中,所述灰度图像的获取可参见上述图1所对应实施例中对图2a和图2b的描述,这里不再进行赘述;
其中,所述预处理区域的选取过程可参见上述图6对应实施例中S601-S603的描述,这里不再进行赘述。
步骤S802,在所述原始图像中,获取所述非完整的目标对象对应的肤色特征和发色特征,并将所述肤色特征和所述发色特征作为与所述非完整的目标对象对应的对象颜色特征;
步骤S803,在所述原始图像中,提取所述背景区域内各像素点分别对应的原始颜色特征,并统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量;
具体地,所述智能终端在所述原始图像中提取与所述背景区域内各像素点分别对应的原始颜色特征之后,可进一步分析透明化的背景区域内颜色的复杂度,即可统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量,并在统计到的目标数量小于预设的像素点阈值时,确定所述目标数量满足预设的色彩分割条件,即可进一步执行步骤S804中的步骤,可选地,所述智能终端还可在统计到目标数量大于或等于预设的像素点阈值时,确定所述目标数量不满足预设的色彩分割条件,并进一步执行步骤S807中的步骤。
比如,在智能终端在提取到背景区域内各像素点分别对应的原始颜色特征之后,可进一步统计该非完整的头部的肤色特征以及发色特征和背景区域内各像素点的原始颜色特征之间颜色相匹配的像素点的目标数量(比如,10个),进而分析背景区域对应的颜色的复杂度。即在目标数量小于所述像素点阈值(15个)时,可进一步确定统计到的目标数量满足色彩分割条件,即此时,背景区域内的颜色复杂度较低(背景区域内各像素点的颜色比较简单),因此,可进一步执行步骤S804中的步骤;
可选地,当统计到所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量为20个,且预设的像素点阈值为15个时,可进一步确定统计到的目标数量大于预设的像素点阈值,进而确定所述目标数量不满足色彩分割条件,即此时,背景区域内颜色的复杂度较高,因此,可进一步执行步骤S807中的步骤,即直接对预处理区域内的所有像素点进行均值滤波处理。
步骤S804,若所述目标数量满足预设的色彩分割条件,则查找所述非完整的目标对象中的起始像素点;
其中,所述起始像素点包括第一起始像素点和第二起始像素点。查找所述起始像素点的具体过程可参见上述图1所对应实施例中查找第一起始像素点和第二起始像素点的描述,这里不再进行继续赘述。
步骤S805,从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
具体地,所述智能终端在查找到所述非完整的目标对象中的起始像素点之后,可进一步从所述起始像素点开始向所述背景区域的方向进行扫描,直至扫描到所述背景区域中的终止边界则停止扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
其中,所述终止边界中的每个像素点与对象边界之间的像素点数量均为第二预处理数量;所述第二预处理数量是根据预设的第三比例公式和所述非完整的目标对象的深度信息计算得到;其中,扫描出预处理像素点的具体方式和根据匹配结果调整所述预处理像素点的透明度值的具体方式均可以参见上述图1对应实施例中的S102,这里不再进行赘述。
步骤S806,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;
具体地,所述智能终端对处理后的预处理区域中的所有像素点的透明度值进行均值滤波处理,并在所述原始图像中,提取所述处理后的预处理区域中的所有像素点分别对应的原始颜色特征,并将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;所述第一展示图像可以为将RGB彩色图像(即所述原始图像)和包含完整目标对象的Alpha图像进行融合处理后所生成的RGBA彩色图像;
其中,所述处理后的预处理区域中的所有像素点包含多个调整后的预处理像素点。
步骤S807,若所述目标数量不满足预设的色彩分割条件,则对所述预处理区域中的所有像素点的透明度值进行均值滤波处理;
具体地,在执行完上述步骤S803之后,所述智能终端可在统计到目标数量大于或等于预设的像素点阈值时,进一步确定所述目标数量不满足预设的色彩分割条件,并对所述预处理区域中的所有像素点进行均值滤波处理;
步骤S808,在所述原始图像中,提取所述预处理区域中的所有像素点分别对应的原始颜色特征;
步骤S809,将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像;
其中,所述均值滤波处理后的目标对象包括:完整的目标对象和不完整的目标对象。另外,由于采用8*8的窗口对融合后的预处理区域内的各像素点的透明度值进行均值滤波处理,因此可以得到边缘比较平滑的目标对象的对象边界,即可去除边缘处存在的锯齿,进而使得边缘比较平滑。
进一步的,请一并参见图9,是本发明实施例提供的一种色彩匹配方法的流程示意图。如图9所示,所述色彩匹配方法可包括步骤S901-步骤S904,且步骤S901-步骤S904是基于上述图8所对应实施例中对步骤S805中对颜色特征进行匹配的一个具体实施例:
步骤S901,在所述原始图像中,获取所述预处理像素点对应的原始颜色特征;
步骤S902,将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配;
步骤S903,若匹配成功,则将所述预处理像素点的透明度值调整为最大值;
步骤S904,若匹配失败,则将所述预处理像素点的透明度值调整为最小值;
具体地,若所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配失败,则可进一步在所述预处理像素点对应的扫描方向上获取至少一个目标像素点,并判断各目标像素点分别对应的原始颜色特征是否均与所述对象颜色特征不匹配,若判断为是,则将所述预处理像素点的透明度值调整为最小值,若判断为否,则执行上述步骤S903中将所述预处理像素点的透明度值调整为最大值的步骤;
比如,当所述预处理像素点(例如,预处理像素点1和预处理像素点2)对应的原始颜色特征与所述非完整的目标对象对应的对象特征匹配失败时,为了避免误判,可进一步在预处理像素点1和预处理像素点2对应的扫描方向上(例如,横向方向上)分别获取至少一个目标像素点(例如,目标像素点3、目标像素点4,目标像素点5和目标像素点6)。
具体地,请进一步参见图10,是本发明实施例提供的一种防止对预处理像素点进行误判的示意图。如图10所示,预处理像素点1和预处理像素点2分别对应的原始颜色特征均不同于非完整的目标对象对应的对象颜色特征,即此时,预处理像素点1和预处理像素点2的透明度值均为最小值0;但对于预处理像素点1而言,在进一步进行横向方向上的扫描时,可进一步获取到目标像素点3和目标像素点4,且目标像素点3和目标像素点4对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配,因此,可将预处理像素点1的透明度值调整为最大值,即可对该预处理像素点1进行非透明化处理,以避免误判。与此同时,对于预处理像素点2而言,在进行横向方向上的扫描时,可进一步获取到目标像素点5和目标像素点6,且提取到目标像素点5和目标像素点6对应的原始颜色特征均与该非完整的目标对象对应的对象颜色特征不匹配,因此,可继续将预处理像素点2的透明度值保持为最小值,即可对该预处理像素点2进行透明化处理。
鉴于此,通过进一步检测当前扫描方向上的至少一个目标像素点,可进一步避免误判操作,进而可确保头部分割后图像的完整性,以避免头部处理边缘出现的凹凸以及头发缺失等现象。
由此可见,所述智能终端首先通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;然后,在所述智能终端确定统计到的目标数量满足色彩分割条件时,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像,可选地,在所述智能终端确定统计到的目标数量不满足色彩分割条件时,可对所述预处理区域中的所有像素点的透明度指进行均值滤波,并在所述预处理区域中,将所有像素点的原始颜色特征和滤波处理后的透明度值进行融合,以生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像。因此,可根据背景颜色的复杂度确定统计到的目标数量是否满足色彩分割条件,并在满足色彩分割条件时,通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,并在不满足色彩分割条件时,直接通过均值滤波对所述预处理区域内所有像素点的透明度值进行滤波处理,以去除目标对象边缘处存在的锯齿,进而平滑目标对象的边缘,从而可在对图像进行分割时,根据色彩分割条件采用对应的处理方案,以提高图像分割精度,进而改善图像显示效果。
进一步地,请参见图11,是本发明实施例提供的一种图像数据处理装置的结构示意图。如图11所示,所述图像数据处理装置1可以应用于上述图1对应实施例中的智能终端,所述图像数据处理装置1可以包括:获取选取模块10,扫描调整模块20和第一融合显示模块30;
所述获取选取模块10,用于获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
具体地,所述图像数据处理装置1中的所述获取选取模块10,可具体用于采集包含所述原始对象的原始图像,(所述原始图像可以为包括真实用户和真实背景的图像,该真实用户可以为所述原始对象),并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的所述原始对象对应的多个像素点设置非透明标识,并通过将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,可以生成所述原始图像对应的灰度图像,因此,所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域。其中,所述原始图像可以为RGB彩色图像。所述智能终端可进一步根据所述原始对象的深度信息,在所述灰度图像中选取预处理区域;
其中,所述图像数据处理装置1可应用于智能终端中,且所述智能终端可以包括个人电脑、平板电脑、笔记本电脑、智能电视、智能手机、VR设备等携带摄像功能的终端设备或可与外部摄像设备进行通讯连接的终端设备;
其中,所述获取选取模块10的具体实施方式可参见上述图1所对应实施例中对图2的描述,以及上述图1所对应实施例中对图3的描述,这里将不再继续进行赘述。
进一步地,请参见图12,是本发明实施例提供的一种获取选取模块的结构示意图。如图12所示,所述获取选取模块10包括:标识设置单元101,灰度图像生成单元102和处理区域选取单元103;
所述标识设置单元101,采集包含所述原始对象的原始图像,并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的原始对象对应的多个像素点设置非透明标识;
所述灰度图像生成单元102,用于将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,生成所述原始图像对应的灰度图像;所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域;
所述处理区域选取单元103,用于根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域;所述非完整的原始对象包含所述非完整的目标对象;
具体地,所述处理区域选取单元103可具体用于获取所述原始对象的深度信息,并根据预设的第一比例公式计算所述深度信息对应的区域面积,并获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘,并根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域。
其中,所述处理区域选取单元103的具体实施方式可参见上述图1所对应实施例中对步骤S601-步骤S603的描述,这里将不再进行赘述。
进一步地,请参见图13,是本发明实施例提供的一种处理区域选取单元的结构示意图。如图13所示,所述处理区域选取单元103包含,面积计算子单元1031,下边缘确定子单元1032和区域选取子单元1033;
所述面积计算子单元1031,用于获取所述原始对象的深度信息,并根据预设的第一比例公式计算所述深度信息对应的区域面积;
其中,第一比例公式为:Scur=Smax*Dcur/Dmax
其中,Dmax定义了头部对应的最大深度信息;Smax为在这个深度值上对应的头部区域面积;Dcur为当前帧数据对应的用户的头部骨骼点的深度信息;Scur为计算出的当前深度信息上待输出的用户的头部区域面积。
所述下边缘确定子单元1032,用于获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘;
其中,所述骨骼信息包括头部骨骼信息和颈部骨骼信息,于是,可在灰度图像中,建立相对位置坐标系;比如,以灰度图像的某个顶点(左上角处顶点)为坐标原点,以横轴方向为该灰度图像的X轴,以纵轴方向为该灰度图像的Y轴,于是,可以得到头部骨骼点所在位置和颈部骨骼点所在位置,进而可根据头部骨骼点所在位置和颈部骨骼点所在位置,以及预设的位置公式确定非完整的目标对象(玩家头部)在灰度图像中下边缘所在的位置;
其中,所述预设的位置公式为:Ydown=Yhead+(Yneck-Yhead)/2;
其中,Ydown为灰度图像中的计算得到的玩家头部的下边缘位置;Yhead为灰度图像中检测到的头部骨骼点所在位置,Yneck为灰度图像中检测到的颈部骨骼点所在位置。
其中,所述下边缘确定子单元1032的具体实施方式可参见上述图1所对应实施例中对图7的描述,这里将不再继续进行赘述。
所述区域选取子单元1033,用于根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域;
进一步地,所述区域选取子单元1033的具体实施方式仍可参见上述图1所对应实施例中对图7所示的灰度图像100a中选取包含头部的预处理区域的描述,这里将不再继续进行赘述。
鉴于此,所述获取选取模块10,可用于在对灰度图像中预处理区域的选取时,首先根据原始对象中非完整的目标对象的深度信息和预设的第一比例公式,计算非完整的目标对象对应的区域面积,其次,根据非完整的目标对象的骨骼信息进一步确定灰度图像中非完整的目标对象对应的下边缘,然后,根据所述区域面积。所述非完整的目标对象对应的下边缘以及非完整的目标对象对应的中心点,进一步在灰度图像中选取包含非完整的目标对象的预处理区域。
所述扫描调整模块20,用于查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
具体地,所述扫描调整模块20,可具体用于查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值,并根据调整后的第一预处理像素点,更新所述非完整的目标对象,并进一步查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值,并将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
其中,每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量;
其中,每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
其中,当从所述第一像素点开始向所述背景区域的方向进行第一方向上的扫描时,可在扫描到位于背景区域中的终止边界为止;同理,当从所述第二像素点开始向所述背景区域的方向进行第二方向上的扫描时,仍在扫描到位于背景区域中的终止边界为止;
其中,所述终止边界中的每个像素点与对象边界之间的像素点数量均为第二预处理数量;
其中,所示第一预处理数量与所述原始对象的深度信息之间满足第二比例公式;
其中,所述第二比例公式为:EdgeWidthcur=EdgeWidthbench*Dcur/Dbench;
其中,Dbench为一特定的原始对象的深度值;EdgeWidthbench为在这个深度值上对应的像素点数量,因此,对采集到的每帧新数据而言,智能终端在获取到当前玩家头部骨骼点深度值Dcur以后,可根据深度值与像素点数量之间的比例公式计算出当前深度值下的第一预处理数量(EdgeWidthcur);同理地,对所述第二预处理数量的计算仍可类似地参见这个公式(即第二预处理数量和原始对象深度信息满足第三比例公式,即第三比例公式与所述第二比例公式相同)。
进一步地,请参见图14,是本发明实施例提供的一种扫描调整模块的结构示意图。如图14所示,所述扫描调整模块20包括,第一查找调整单元201,目标对象更新单元202,第二查找调整单元203和预处理像素点确定单元204;
所述第一查找调整单元201,用于查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值;
进一步地,请参见图15,是本发明实施例提供的一种第一查找调整单元的结构示意图。如图15所示,所述第一查找调整单元201包括:边界确定子单元2011,第一计算子单元2012,第一查找子单元2013;
所述边界确定子单元2011,用于根据所述背景区域中的像素点的透明度值和所述非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述非完整的目标对象的对象边界;
所述第一计算子单元2012,用于根据预设的第二比例公式,计算所述原始对象的深度信息对应的第一预处理数量;
所述第一查找子单元2013,用于根据所述对象边界和所述第一预处理数量,从所述非完整的目标对象的中心位置开始沿第一方向查找第一起始像素点;每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量
所述目标对象更新单元202,用于根据调整后的第一预处理像素点,更新所述非完整的目标对象;
进一步地,所述第一查找调整单元201和所述目标对象更新单元202的具体实现方式可参见上述图1所对应实施例中对图4a和图4b所示的对第一预处理像素点进行调整的描述,这里将不再继续进行赘述。
所述第二查找调整单元203,用于查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值;
进一步地,请参见图16,是本发明实施例提供的一种第二查找调整单元的结构示意图。如图16所示,所述第二查找调整单元203包括:边界更新子单元2031和第二查找子单元2032;
所述边界更新子单元2031,用于根据更新后的背景区域中的像素点的透明度值和所述更新后的非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述更新后的非完整的目标对象的对象边界,作为更新对象边界;
所述第二查找子单元2032,用于根据所述更新对象边界和所述第一预处理数量,从所述更新后的非完整的目标对象的下边缘开始沿第二方向查找第二起始像素点;每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
进一步地,所述第二查找调整单元203的具体实现方式可参见上述图1所对应实施例中对图5a和图5b所示的对第二预处理像素点进行调整的描述,这里将不再继续进行赘述。
所述预处理像素点确定单元204,用于将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
可见,所述第一查找调整单元201和所述第二查找调整单元203均具有对像素点进行扫描和对像素点进行确认以及对像素点进行调整的功能。
因此,所述扫描调整模块20可首先根据第二比例公式计算出第一预处理数量并确定出对象边界,然后,根据所述第一预处理数量和对象边界,查找到非完整的目标对象内的第一起始像素点,并从第一起始像素点开始向背景区域内的终止边界进行横向扫描,并将被扫描到的像素点作为第一预处理像素点,并在所述第一预处理像素点的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配时,将匹配的各像素点的透明度值设置为最大值,并在调整后更新非完整的目标对象对应的对象边界,进而所述扫描调整模块20可进一步用于查找非完整的目标对象内的第二起始像素点,并进一步参见上述图1所对应实施例中对图5a所描述的方向进行扫描,进而可进一步参见上述图1所对应实施例中对图5b所示的对第二像素点的调整的描述,这里将不再进行赘述。
所述第一融合显示模块30,用于将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;
具体地,所述第一融合显示模块30,可具体用于对处理后的预处理区域中的所有像素点的透明度值进行均值滤波处理,并在所述原始图像中,提取所述处理后的预处理区域中的所有像素点分别对应的原始颜色特征,并将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像;;所述第一展示图像可以为将RGB彩色图像(即所述原始图像)和包含完整目标对象的Alpha图像进行融合处理后所生成的RGBA彩色图像;
其中,所述处理后的预处理区域中的所有像素点包含多个调整后的预处理像素点。
由此可见,所述图像数据处理装置1首先通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;然后,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含所述非完整的目标对象的展示图像,并显示所述展示图像。可见,在查找到非完整的目标对象中的起始像素点时,可从所述起始像素点向所述背景区域所在方向进行扫描,以将被扫描到的像素点作为预处理像素点,并在所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特性匹配时,将所述预处理像素点的透明值设置为最大值,并在所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特性不匹配时,将所述预处理像素点的透明值设置为最小值;因此,通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,从而可以提高图像分割精度,进而改善图像显示效果。
进一步地,请参见图17,是本发明实施例提供的另一种图像数据处理装置的结构示意图。如图17所示,所述图像数据处理装置1可以包含上述图11所对应实施例中的所述获取选取模块10,扫描调整模块20和第一融合显示模块30;进一步地,所述图像数据处理装置1还可以包括:对象特征获取模块40,特征匹配统计模块50,通知模块60,均值滤波处理模块70,原始特征提取模块80和第二融合显示模块90;
所述对象特征获取模块40,用于在所述原始图像中,获取所述非完整的目标对象对应的肤色特征和发色特征,并将所述肤色特征和所述发色特征作为与所述非完整的目标对象对应的对象颜色特征;
所述特征匹配统计模块50,用于在所述原始图像中,提取所述背景区域内各像素点分别对应的原始颜色特征,并统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量;
具体地,所述特征匹配统计模块50,具体用于在所述原始图像中提取到所述背景区域内各像素点分别对应的原始颜色特征之后,进一步分析透明化的背景区域内颜色的复杂度,即可进一步统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量,并在统计到的目标数量小于预设的像素点阈值时,确定所述目标数量满足预设的色彩分割条件,即可使所述通知模块60进一步通知所述扫描调整模块20执行上述图8所对应实施例中的步骤S804,可选地,所述特征匹配统计模块50,还可用于在统计到目标数量大于或等于预设的像素点阈值时,确定所述目标数量不满足预设的色彩分割条件,并进一步通过所述均值滤波处理模块70执行上述图8所对应实施例中的步骤S807。
所述通知模块60,用于若所述目标数量满足预设的色彩分割条件,则通知所述扫描调整模块执行所述查找所述非完整的目标对象中的起始像素点的步骤;
其中,所述扫描调整模块20包含上述图14所示的所述第一查找调整单元201,目标对象更新单元202,第二查找调整单元203和预处理像素点确定单元204,且所述第一查找调整单元201和所述第二查找调整单元203均具有对像素点进行扫描和对像素点进行确认以及对像素点进行调整的功能。
鉴于此,进一步地,请参见图18,是本发明实施例提供的另一种扫描调整模块的结构示意图。如图18所示,所述扫描调整模块20包括:像素点扫描单元205,像素点确定单元206和像素点调整单元207;
所述像素点扫描单元205,用于查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,直至扫描到所述背景区域中的终止边界则停止扫描;
其中,所述终止边界中的每个像素点与对象边界之间的像素点数量均为第二预处理数量;所述第二预处理数量是根据预设的第三比例公式和所述原始对象的深度信息计算得到;
其中,所述像素点扫描单元205查找所述起始像素点的具体过程可参见上述图1所对应实施例中分别对第一起始像素点的查找和对第二起始像素点的查找的描述,这里将不再进行赘述。
所述像素点确定单元206,用于将被扫描到的像素点确定为预处理像素点;
所述像素点调整单元207,用于将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值。
可见,上述图14所对应实施例中的所述第一查找调整单元201和所述第二查找调整单元203均可以包含所述像素点扫描单元205对像素点进行扫描的功能、所述像素点确定单元206对预处理像素点进行确认的功能、所述像素点调整单元207对像素点的透明度值进行调整的功能。
进一步地,请参见图19,是本发明实施例提供的一种像素点调整单元的结构示意图。如图19所示,所述像素点调整单元207包括:原始颜色获取子单元2071,颜色匹配子单元2072,最大值调整子单元2073和最小值调整子单元2074;
所述原始颜色获取子单元2071,用于在所述原始图像中,获取所述预处理像素点对应的原始颜色特征;
所述颜色匹配子单元2072,用于将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配;
所述最大值调整子单元2073,用于若匹配成功,则将所述预处理像素点的透明度值调整为最大值;
所述最小值调整子单元2074,用于若匹配失败,则将所述预处理像素点的透明度值调整为最小值;
具体地,所述最小值调整子单元2074,具体用于若所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配失败,则在所述预处理像素点对应的扫描方向上获取至少一个目标像素点,并判断各目标像素点分别对应的原始颜色特征是否均与所述对象颜色特征不匹配,并用于若判断为是,则将所述预处理像素点的透明度值调整为最小值,并用于若判断为否,则通知所述最大值调整子单元2073将所述预处理像素点的透明度值调整为最大值。
其中,所述像素点调整单元207的具体实施方式可以参见上述图9所对应实施例中对步骤S901-步骤S904的描述,这里将不再继续进行赘述。
进一步地,请参见图20,是本发明实施例提供的一种第一融合显示模块的结构示意图。如图20所示,所述第一融合显示模块30包括:均值滤波处理单元301,原始颜色提取单元302和融合显示单元303;
所述均值滤波处理单元301,用于对处理后的预处理区域中的所有像素点的透明度值进行均值滤波处理;所述处理后的预处理区域中的所有像素点包含多个调整后的预处理像素点;
所述原始颜色提取单元302,用于在所述原始图像中,提取所述处理后的预处理区域中的所有像素点分别对应的原始颜色特征;
所述融合显示单元303,用于将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。
进一步地,所述均值滤波处理单元301、所述原始颜色提取单元302和所述融合显示单元303的具体实施方式可以参见上述图8所对应实施例中对步骤S806的描述,这里将不再继续进行赘述。
所述均值滤波处理模块70,用于若所述目标数量不满足预设的色彩分割条件,则对所述预处理区域中的所有像素点的透明度值进行均值滤波处理;
具体地,所述均值滤波处理模块70可在确定统计到所述目标数量大于或等于预设的像素点阈值时,进一步确定所述目标数量不满足预设的色彩分割条件,并进一步对所述预处理区域中的所有像素点进行均值滤波处理;
所述原始特征提取模块80,用于在所述原始图像中,提取所述预处理区域中的所有像素点分别对应的原始颜色特征;
所述第二融合显示模块90,用于将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像。
由此可见,所述图像数据处理装置1首先通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明的非完整的目标对象和透明化的背景区域;然后,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像,可选地,在所述智能终端确定统计到的目标数量不满足色彩分割条件时,可对所述预处理区域中的所有像素点的透明度指进行均值滤波,并在所述预处理区域中,将所有像素点的原始颜色特征和滤波处理后的透明度值进行融合,以生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像。因此,可根据背景颜色的复杂度确定统计到的目标数量是否满足色彩分割条件,并在满足色彩分割条件时,通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,并在不满足色彩分割条件时,直接通过均值滤波对所述预处理区域内所有像素点的透明度值进行滤波处理,以去除目标对象边缘处存在的锯齿,进而平滑目标对象的边缘,从而可在对图像进行分割时,根据色彩分割条件采用对应的处理方案,以提高图像分割精度,进而改善图像显示效果。
进一步地,请参见图21,是本发明实施例提供的又一种图像数据处理装置的结构示意图。如图21所示,所述图像数据处理装置1000可以应用于上述图1对应实施例中的智能终端,所述图像数据处理装置1000可以包括:至少一个处理器1001,例如CPU,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图21所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图21所示的图像数据处理装置1000中,网络接口1004主要用于连接智能终端;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。
在一个实施例中,所述处理器1001在执行所述获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域时,具体执行以下步骤:
采集包含所述原始对象的原始图像,并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的原始对象对应的多个像素点设置非透明标识;
将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,生成所述原始图像对应的灰度图像;所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域;
根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域;所述非完整的原始对象包含所述非完整的目标对象。
在一个实施例中,所述处理器1001在执行所述根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域时,具体执行以下步骤:
获取所述原始对象的深度信息,并根据预设的第一比例公式计算所述深度信息对应的区域面积;
获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘;
根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域。
在一个实施例中,所述处理器1001在执行所述查找所述非完整的目标对象中的起始像素点之前,还执行以下步骤:
在所述原始图像中,获取所述非完整的目标对象对应的肤色特征和发色特征,并将所述肤色特征和所述发色特征作为与所述非完整的目标对象对应的对象颜色特征;
在所述原始图像中,提取所述背景区域内各像素点分别对应的原始颜色特征,并统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量;
若所述目标数量满足预设的色彩分割条件,则执行所述查找所述非完整的目标对象中的起始像素点的步骤。
在一个实施例中,所述处理器1001在执行所述查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值时,具体执行以下步骤:
查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值;
根据调整后的第一预处理像素点,更新所述非完整的目标对象;
查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值;
将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
在一个实施例中,所述处理器1001在执行所述查找所述非完整的目标对象中的第一起始像素点时,具体执行以下步骤:
根据所述背景区域中的像素点的透明度值和所述非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述非完整的目标对象的对象边界;
根据预设的第二比例公式,计算所述非完整的目标对象的深度信息对应的第一预处理数量;
根据所述对象边界和所述第一预处理数量,从所述非完整的目标对象的中心位置开始沿第一方向查找第一起始像素点;每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量。
在一个实施例中,所述处理器1001在执行所述查找所述非完整的目标对象中的第二起始像素点时,具体执行以下步骤:
根据更新后的背景区域中的像素点的透明度值和所述更新后的非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述更新后的非完整的目标对象的对象边界,作为更新对象边界;
根据所述更新对象边界和所述第一预处理数量,从所述更新后的非完整的目标对象的下边缘开始沿第二方向查找第二起始像素点;每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
可选地,在一个实施例中,所述处理器1001在执行所述查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值时,具体执行以下步骤:
查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,直至扫描到所述背景区域中的终止边界则停止扫描;所述终止边界中的每个像素点与对象边界之间的像素点数量均为第二预处理数量;所述第二预处理数量是根据预设的第三比例公式和所述原始对象的深度信息计算得到;
将被扫描到的像素点确定为预处理像素点;
将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值。
在一个实施例中,所述处理器1001在执行将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值时,具体执行以下步骤:
在所述原始图像中,获取所述预处理像素点对应的原始颜色特征;
将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配;
若匹配成功,则将所述预处理像素点的透明度值调整为最大值;
若匹配失败,则将所述预处理像素点的透明度值调整为最小值。
在一个实施例中,所述处理器1001在执行所述若匹配失败,则将所述预处理像素点的透明度值调整为最小值时,具体执行以下步骤:
若所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配失败,则在所述预处理像素点对应的扫描方向上获取至少一个目标像素点,并判断各目标像素点分别对应的原始颜色特征是否均与所述对象颜色特征不匹配;
若判断为是,则将所述预处理像素点的透明度值调整为最小值;
若判断为否,则执行所述将所述预处理像素点的透明度值调整为最大值的步骤。
在一个实施例中,所述处理器1001在执行所述将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像时,具体执行以下步骤:
对处理后的预处理区域中的所有像素点的透明度值进行均值滤波处理;所述处理后的预处理区域中的所有像素点包含多个调整后的预处理像素点;
在所述原始图像中,提取所述处理后的预处理区域中的所有像素点分别对应的原始颜色特征;
将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。
在一个实施例中,所述处理器1001在执行所述在所述原始图像中,提取所述背景区域内各像素点分别对应的原始颜色特征,并统计所述背景区域内的所述原始颜色特征与所述对象颜色特征相匹配的像素点的目标数量之后,还执行以下步骤:
若所述目标数量不满足预设的色彩分割条件,则对所述预处理区域中的所有像素点的透明度值进行均值滤波处理;
在所述原始图像中,提取所述预处理区域中的所有像素点分别对应的原始颜色特征;
将均值滤波处理后的透明度值与所提取的原始颜色特征进行融合,生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像。
本发明实施例通过所述图像数据处理装置1000首先通过获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明的非完整的目标对象和透明化的背景区域;然后,查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;最后,将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像,可选地,在所述智能终端确定统计到的目标数量不满足色彩分割条件时,可对所述预处理区域中的所有像素点的透明度指进行均值滤波,并在所述预处理区域中,将所有像素点的原始颜色特征和滤波处理后的透明度值进行融合,以生成包含均值滤波处理后的目标对象的第二展示图像,并显示所述第二展示图像。因此,可根据背景颜色的复杂度确定统计到的目标数量是否满足色彩分割条件,并在满足色彩分割条件时,通过颜色特征比对,可以将灰度图像边缘的凹凸、缺失、或小块的杂乱区域进行调整修复,并在不满足色彩分割条件时,直接通过均值滤波对所述预处理区域内所有像素点的透明度值进行滤波处理,以去除目标对象边缘处存在的锯齿,进而平滑目标对象的边缘,从而可在对图像进行分割时,根据色彩分割条件采用对应的处理方案,以提高图像分割精度,进而改善图像显示效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (15)
1.一种图像数据处理方法,其特征在于,包括:
获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。
2.根据权利要求1所述的方法,其特征在于,所述获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域包括:
采集包含所述原始对象的原始图像,并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的原始对象对应的多个像素点设置非透明标识;
将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,生成所述原始图像对应的灰度图像;所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域;
根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域;所述非完整的原始对象包含所述非完整的目标对象。
3.根据权利要求2所述的方法,其特征在于,所述根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域,包括:
获取所述原始对象的深度信息,并根据预设的第一比例公式计算所述深度信息对应的区域面积;
获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘;
根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域。
4.根据权利要求1所述的方法,其特征在于,所述查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值,包括:
查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值;
根据调整后的第一预处理像素点,更新所述非完整的目标对象;
查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值;
将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
5.根据权利要求4所述的方法,其特征在于,所述查找所述非完整的目标对象中的第一起始像素点,包括:
根据所述背景区域中的像素点的透明度值和所述非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述非完整的目标对象的对象边界;
根据预设的第二比例公式,计算原始对象的深度信息对应的第一预处理数量;
根据所述对象边界和所述第一预处理数量,从所述非完整的目标对象的中心位置开始沿第一方向查找第一起始像素点;每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量。
6.根据权利要求5所述的方法,其特征在于,所述查找更新后的非完整的目标对象中的第二起始像素点,包括:
根据更新后的背景区域中的像素点的透明度值和所述更新后的非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述更新后的非完整的目标对象的对象边界,作为更新对象边界;
根据所述更新对象边界和所述第一预处理数量,从所述更新后的非完整的目标对象的下边缘开始沿第二方向查找第二起始像素点;每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
7.根据权利要求2所述的方法,其特征在于,所述查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值,包括:
查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,直至扫描到所述背景区域中的终止边界则停止扫描;所述终止边界中的每个像素点与所述非完整的目标对象的对象边界之间的像素点数量均为第二预处理数量;所述第二预处理数量是根据预设的第三比例公式和所述原始对象的深度信息计算得到;
将被扫描到的像素点确定为预处理像素点;
在所述原始图像中,获取所述预处理像素点对应的原始颜色特征;
将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配;
若匹配成功,则将所述预处理像素点的透明度值调整为最大值;
若匹配失败,则将所述预处理像素点的透明度值调整为最小值。
8.根据权利要求7所述的方法,其特征在于,所述若匹配失败,则将所述预处理像素点的透明度值调整为最小值,包括:
若所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征匹配失败,则在所述预处理像素点对应的扫描方向上获取至少一个目标像素点,并判断各目标像素点分别对应的原始颜色特征是否均与所述对象颜色特征不匹配;
若判断为是,则将所述预处理像素点的透明度值调整为最小值;
若判断为否,则执行所述将所述预处理像素点的透明度值调整为最大值的步骤。
9.一种图像数据处理装置,其特征在于,包括:
获取选取模块,用于获取原始图像所对应的灰度图像,并在所述灰度图像中选取预处理区域;所述预处理区域包括非透明且非完整的目标对象和透明化的背景区域;
扫描调整模块,用于查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,并将被扫描到的像素点确定为预处理像素点,并将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
第一融合显示模块,用于将包含多个调整后的预处理像素点的预处理区域和所述原始图像进行融合,生成包含完整的目标对象的第一展示图像,并显示所述第一展示图像。
10.根据权利要求9所述的装置,其特征在于,所述获取选取模块包括:
标识设置单元,用于采集包含所述原始对象的原始图像,并对所述原始图像中的所述原始对象进行初始分割,得到非完整的原始对象,并为所述非完整的原始对象对应的多个像素点设置非透明标识;
灰度图像生成单元,用于将所述原始图像中具有所述非透明标识的像素点的透明度值设为最大值,并将所述原始图像中不具有所述非透明标识的像素点的透明度值设为最小值,生成所述原始图像对应的灰度图像;所述灰度图像包括非透明且非完整的原始对象和透明化的背景区域;
处理区域选取单元,用于根据所述原始对象的深度信息,在所述灰度图像中选取包含非完整的目标对象的预处理区域;所述非完整的原始对象包含所述非完整的目标对象。
11.根据权利要求10所述的装置,其特征在于,所述处理区域选取单元包括:
面积计算子单元,用于获取所述原始对象中非完整的目标对象的深度信息,并根据预设的第一比例公式计算所述非完整的目标对象的深度信息对应的区域面积;
下边缘确定子单元,用于获取所述非完整的目标对象的骨骼信息,并根据所述骨骼信息在所述灰度图像中确定所述非完整的目标对象对应的下边缘;
区域选取子单元,用于根据所述区域面积、所述非完整的目标对象对应的下边缘以及所述非完整的目标对象的中心点,在所述灰度图像中选取包含所述非完整的目标对象的预处理区域。
12.根据权利要求9所述的装置,其特征在于,所述扫描调整模块包括:
第一查找调整单元,用于查找所述非完整的目标对象中的第一起始像素点,并从所述第一起始像素点开始向所述背景区域的方向进行第一方向扫描,并将被扫描到的像素点确定为第一预处理像素点,并将所述第一预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第一预处理像素点的透明度值;
目标对象更新单元,用于根据调整后的第一预处理像素点,更新所述非完整的目标对象;
第二查找调整单元,用于查找更新后的非完整的目标对象中的第二起始像素点,并从所述第二起始像素点开始向所述背景区域的方向进行第二方向扫描,并将被扫描到的像素点确定为第二预处理像素点,并将所述第二预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述第二预处理像素点的透明度值;
预处理像素点确定单元,用于将调整后的第一预处理像素点和调整后的第二预处理像素点作为多个调整后的预处理像素点。
13.根据权利要求12所述的装置,其特征在于,所述第一查找调整单元包括:
边界确定子单元,用于根据所述背景区域中的像素点的透明度值和所述非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述非完整的目标对象的对象边界;
第一计算子单元,用于根据预设的第二比例公式,计算原始对象的深度信息对应的第一预处理数量;
第一查找子单元,用于根据所述对象边界和所述第一预处理数量,从所述非完整的目标对象的中心位置开始沿第一方向查找第一起始像素点;每个第一起始像素点与所述第一方向上的对象边界之间的像素点数量均为所述第一预处理数量。
14.根据权利要求13所述的装置,其特征在于,所述第二查找调整单元包括:
边界更新子单元,用于根据更新后的背景区域中的像素点的透明度值和所述更新后的非完整的目标对象的像素点的透明度值,在所述预处理区域中确定所述更新后的非完整的目标对象的对象边界,作为更新对象边界;
第二查找子单元,用于根据所述更新对象边界和所述第一预处理数量,从所述更新后的非完整的目标对象的下边缘开始沿第二方向查找第二起始像素点;每个第二起始像素点与所述第二方向上的对象边界之间的像素点数量均为所述第一预处理数量。
15.根据权利要求10所述的装置,其特征在于,所述扫描调整模块包括:
像素点扫描单元,用于查找所述非完整的目标对象中的起始像素点,并从所述起始像素点开始向所述背景区域的方向进行扫描,直至扫描到所述背景区域中的终止边界则停止扫描;所述终止边界中的每个像素点与所述非完整的目标对象的对象边界之间的像素点数量均为第二预处理数量;所述第二预处理数量是根据预设的第三比例公式和所述原始对象的深度信息计算得到;
像素点确定单元,用于将被扫描到的像素点确定为预处理像素点;
像素点调整单元,用于将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配,并根据匹配结果调整所述预处理像素点的透明度值;
其中,所述像素点调整单元包括:
原始颜色获取子单元,用于在所述原始图像中,获取所述预处理像素点对应的原始颜色特征;
颜色匹配子单元,用于将所述预处理像素点对应的原始颜色特征与所述非完整的目标对象对应的对象颜色特征进行匹配;
最大值调整子单元,用于若匹配成功,则将所述预处理像素点的透明度值调整为最大值;
最小值调整子单元,用于若匹配失败,则将所述预处理像素点的透明度值调整为最小值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710261797.4A CN107154032B (zh) | 2017-04-20 | 2017-04-20 | 一种图像数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710261797.4A CN107154032B (zh) | 2017-04-20 | 2017-04-20 | 一种图像数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107154032A true CN107154032A (zh) | 2017-09-12 |
CN107154032B CN107154032B (zh) | 2019-01-29 |
Family
ID=59793252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710261797.4A Active CN107154032B (zh) | 2017-04-20 | 2017-04-20 | 一种图像数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107154032B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335260A (zh) * | 2018-02-02 | 2018-07-27 | 网易(杭州)网络有限公司 | 一种游戏场景图像处理方法、装置、存储介质及电子装置 |
CN109712126A (zh) * | 2018-12-21 | 2019-05-03 | 深圳市华星光电半导体显示技术有限公司 | 图片识别方法及装置 |
CN109816688A (zh) * | 2018-12-03 | 2019-05-28 | 安徽酷哇机器人有限公司 | 物品跟随方法和行李箱 |
CN109840881A (zh) * | 2018-12-12 | 2019-06-04 | 深圳奥比中光科技有限公司 | 一种3d特效图像生成方法、装置及设备 |
CN110570497A (zh) * | 2019-08-19 | 2019-12-13 | 广东智媒云图科技股份有限公司 | 基于图层叠加的绘画方法、装置、终端设备及存储介质 |
CN112188085A (zh) * | 2020-09-04 | 2021-01-05 | 上海摩象网络科技有限公司 | 一种图像处理方法及手持云台相机 |
CN112399196A (zh) * | 2019-08-16 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 图像处理方法及装置 |
CN112862930A (zh) * | 2021-03-15 | 2021-05-28 | 网易(杭州)网络有限公司 | 游戏场景的处理方法、装置及电子设备 |
CN113223039A (zh) * | 2020-01-21 | 2021-08-06 | 海信集团有限公司 | 显示设备、服装图像提取方法和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
US20110181588A1 (en) * | 2008-09-25 | 2011-07-28 | Koninklijke Philips Electronics, N.V | Three dimensional image data processing |
CN103473780A (zh) * | 2013-09-22 | 2013-12-25 | 广州市幸福网络技术有限公司 | 一种人像背景抠图的方法 |
CN105659577A (zh) * | 2013-08-29 | 2016-06-08 | 快进影像有限公司 | 用于通过照相机获得包括α通道的图像文件的方法和装置 |
CN106385539A (zh) * | 2016-09-22 | 2017-02-08 | 深圳市思创奇科技有限公司 | 一种照片处理方法及系统 |
CN106503638A (zh) * | 2016-10-13 | 2017-03-15 | 金鹏电子信息机器有限公司 | 用于颜色识别的图像处理、车辆颜色识别方法和系统 |
-
2017
- 2017-04-20 CN CN201710261797.4A patent/CN107154032B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110181588A1 (en) * | 2008-09-25 | 2011-07-28 | Koninklijke Philips Electronics, N.V | Three dimensional image data processing |
CN101770649A (zh) * | 2008-12-30 | 2010-07-07 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
CN105659577A (zh) * | 2013-08-29 | 2016-06-08 | 快进影像有限公司 | 用于通过照相机获得包括α通道的图像文件的方法和装置 |
CN103473780A (zh) * | 2013-09-22 | 2013-12-25 | 广州市幸福网络技术有限公司 | 一种人像背景抠图的方法 |
CN106385539A (zh) * | 2016-09-22 | 2017-02-08 | 深圳市思创奇科技有限公司 | 一种照片处理方法及系统 |
CN106503638A (zh) * | 2016-10-13 | 2017-03-15 | 金鹏电子信息机器有限公司 | 用于颜色识别的图像处理、车辆颜色识别方法和系统 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108335260A (zh) * | 2018-02-02 | 2018-07-27 | 网易(杭州)网络有限公司 | 一种游戏场景图像处理方法、装置、存储介质及电子装置 |
CN109816688A (zh) * | 2018-12-03 | 2019-05-28 | 安徽酷哇机器人有限公司 | 物品跟随方法和行李箱 |
CN109840881A (zh) * | 2018-12-12 | 2019-06-04 | 深圳奥比中光科技有限公司 | 一种3d特效图像生成方法、装置及设备 |
CN109840881B (zh) * | 2018-12-12 | 2023-05-05 | 奥比中光科技集团股份有限公司 | 一种3d特效图像生成方法、装置及设备 |
CN109712126A (zh) * | 2018-12-21 | 2019-05-03 | 深圳市华星光电半导体显示技术有限公司 | 图片识别方法及装置 |
CN109712126B (zh) * | 2018-12-21 | 2020-11-06 | 深圳市华星光电半导体显示技术有限公司 | 图片识别方法及装置 |
CN112399196A (zh) * | 2019-08-16 | 2021-02-23 | 阿里巴巴集团控股有限公司 | 图像处理方法及装置 |
CN110570497A (zh) * | 2019-08-19 | 2019-12-13 | 广东智媒云图科技股份有限公司 | 基于图层叠加的绘画方法、装置、终端设备及存储介质 |
CN113223039A (zh) * | 2020-01-21 | 2021-08-06 | 海信集团有限公司 | 显示设备、服装图像提取方法和存储介质 |
CN113223039B (zh) * | 2020-01-21 | 2023-04-07 | 海信集团有限公司 | 显示设备、服装图像提取方法和存储介质 |
CN112188085B (zh) * | 2020-09-04 | 2022-04-01 | 上海摩象网络科技有限公司 | 一种图像处理方法及手持云台相机 |
CN112188085A (zh) * | 2020-09-04 | 2021-01-05 | 上海摩象网络科技有限公司 | 一种图像处理方法及手持云台相机 |
CN112862930A (zh) * | 2021-03-15 | 2021-05-28 | 网易(杭州)网络有限公司 | 游戏场景的处理方法、装置及电子设备 |
CN112862930B (zh) * | 2021-03-15 | 2024-04-12 | 网易(杭州)网络有限公司 | 游戏场景的处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107154032B (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107154032B (zh) | 一种图像数据处理方法和装置 | |
CN102685533B (zh) | 对2d电影进行转换用于立体3d显示的方法和系统 | |
CN103455984B (zh) | 一种Kinect深度图像获取方法与装置 | |
RU2382406C1 (ru) | Способ улучшения карты диспарантности и устройство для реализации способа | |
JP2011509451A (ja) | 画像データのセグメント化 | |
CN104735435B (zh) | 影像处理方法及电子装置 | |
CN110148217A (zh) | 一种实时三维重建方法、装置及设备 | |
CN102034247B (zh) | 一种基于背景建模对双目视觉图像的运动捕捉方法 | |
CN110189294B (zh) | 基于深度可信度分析的rgb-d图像显著性检测方法 | |
CN107578435A (zh) | 一种图像深度预测方法及装置 | |
CN103443826A (zh) | 网格动画 | |
US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
CN107507269A (zh) | 个性化三维模型生成方法、装置和终端设备 | |
CN113223070A (zh) | 一种深度图像增强处理方法及装置 | |
Yan et al. | Depth map generation for 2d-to-3d conversion by limited user inputs and depth propagation | |
WO2023226370A1 (zh) | 一种目标对象的三维重现方法及系统 | |
CN108421257A (zh) | 不可见元素的确定方法、装置、存储介质和电子装置 | |
CN106683051A (zh) | 一种图像拼接方法及装置 | |
CN116308530A (zh) | 一种广告植入方法、装置、设备和可读存储介质 | |
CN106360941A (zh) | 一种指甲定位方法及美甲设备 | |
Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
CN112132750B (zh) | 一种视频处理方法与装置 | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
CN106780474A (zh) | 一种基于Kinect的实时深度图与彩图的配准及优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |