CN108389223B - 一种图像处理方法及终端 - Google Patents
一种图像处理方法及终端 Download PDFInfo
- Publication number
- CN108389223B CN108389223B CN201810125710.5A CN201810125710A CN108389223B CN 108389223 B CN108389223 B CN 108389223B CN 201810125710 A CN201810125710 A CN 201810125710A CN 108389223 B CN108389223 B CN 108389223B
- Authority
- CN
- China
- Prior art keywords
- pixel block
- pixel
- occupied
- input image
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000012417 linear regression Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法及终端,方法包括:将输入图像分割成至少一个第一像素块,输入图像显示内容包括至少一个对象,一个第一像素块关联至少一个对象的索引,一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点;利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块,根据对象占用的第二像素块的空间坐标确定出对象关联的第一参数,第一参数用于结合第一像素块中对象占用的第二像素块的平面坐标确定出第二像素块的深度估计值;存储用于确定出输入图像的第二像素块的深度估计值的第一信息,第一信息包括第一参数。采用本申请,可极大减小存储输入图像的深度值信息所需的空间。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法及终端。
背景技术
在计算机图形学中,深度缓冲又称Z缓冲区,是一个与渲染目标有相同大小的缓冲,这个缓冲保存(记录)了每个像素的深度。深度缓冲的目的在于正确地生成通常的深度感知效果:较近的物体遮住较远的物体。
目前,用于保存(记录)在绘制过程中已经绘制的图像(图形)的像素点的深度值的深度缓冲较大(占用的存储较大),用户体验较低。
发明内容
本申请提供一种图像处理方法,可极大减小存储图像的深度值所需的存储空间,提升用户体验。
第一方面,本申请提供了一种图像处理方法,该方法包括:
终端将输入图像分割成至少一个第一像素块,所述输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个所述对象的索引,其中,所述一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。
针对于每一个第一像素块,所述终端利用所述第一像素块中所述对象关联的遮罩信息确定所述对象占用的第二像素块,根据所述对象占用的第二像素块的空间坐标确定出所述对象关联的第一参数,所述第一参数用于结合所述第一像素块中所述对象占用的第二像素块的平面坐标确定出所述第二像素块的深度估计值,所述第二像素块的深度估计值与所述第二像素块的Z坐标的值的差值不超过第一阈值。
所述终端存储用于确定出所述输入图像的第二像素块的深度估计值的第一信息,其中,所述第一信息包括所述第一参数。
结合第一方面,在一些可能的实施例中,所述第一信息还包括第二信息,所述第二信息用于确定所述输入图像的第二像素块的平面坐标。
结合第一方面,在一些可能的实施例中,所述第二消息包括:
所述输入图像中的第一像素块的数量N、所述第一像素块中所述对象的数量、所述第一像素块中所述对象的索引、所述第一像素块中所述对象关联的遮罩信息,其中,所述遮罩信息用于指示所述第一像素块中所述对象占用的第二像素块。
结合第一方面,在一些可能的实施例中,所述第二消息包括:
所述输入图像中的第一像素块的数量N,所述第一像素块中所述对象的索引、所述第一像素块中所述对象关联的遮罩信息,其中,所述遮罩信息用于指示所述第一像素块中所述对象占用的第二像素块。
结合第一方面,在一些可能的实施例中,所述遮罩信息,具体包括:
所述第一像素块中各个第二像素块对应的比特,其中,所述第一像素块中各个第二像素块对应的比特用于当所述比特取值为第一值时,指示所述第二像素块被所述第一像素块中所述对象占用。
结合第一方面,在一些可能的实施例中,还包括:
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例超过第一比例时,则所述终端确定将所述第二像素块对应的比特的取值置为所述第一值;或
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例等于所述第一比例且所述第二像素块的所有相互毗邻的像素点的个数所占的比例超过所述第一比例时,则所述终端确定将所述第二像素块对应的比特的取值置为所述第一值。
结合第一方面,在一些可能的实施例中,所述终端利用所述第一像素块中所述对象占用的第二像素块的空间坐标确定出所述第一像素块中所述对象关联的第一参数,具体包括:
所述终端利用所述第一像素块中所述对象占用的第二像素块的空间坐标确定出所述第二像素块的深度估计值与所述第二像素块的平面坐标之间的定量关系,其中,所述第一像素块中所述对象关联的第一参数为所述定量关系关联的参数。
第二方面,本申请提供了一种终端,该终端包括:
分割单元,用于将输入图像分割成至少一个第一像素块,所述输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个所述对象的索引,其中,所述一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。
确定单元,用于针对于每一个第一像素块,利用所述第一像素块中所述对象关联的遮罩信息确定所述对象占用的第二像素块,根据所述对象占用的第二像素块的空间坐标确定出所述对象关联的第一参数,所述第一参数用于结合所述第一像素块中所述对象占用的第二像素块的平面坐标确定出所述第二像素块的深度估计值,所述第二像素块的深度估计值与所述第二像素块的Z坐标的值的差值不超过第一阈值。
存储单元,用于存储用于确定出所述输入图像的第二像素块的深度估计值的第一信息,其中,所述第一信息包括所述第一参数。
结合第二方面,在一些可能的实施例中,所述确定单元还用于:
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例超过第一比例时,则确定将所述第二像素块对应的比特的取值置为所述第一值;或
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例等于所述第一比例且所述第二像素块的所有相互毗邻的像素点的个数所占的比例超过所述第一比例时,则确定将所述第二像素块对应的比特的取值置为所述第一值。
第三方面,本申请提供了另一种终端,包括:显示装置、存储器以及耦合于所述存储器的处理器,其中,所述存储器用于存储应用程序代码,所述处理器被配置用于调用所述程序代码执行上述第一方面的方法。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
第五方面,本申请提供了一种计算机程序,该计算机程序包括图形处理指令,当该计算机程序在计算机上执行时,上述图形处理指令用于执行上述第一方面的方法。
本申请供了一种图像处理方法及终端。首先,终端将输入图像分割成至少一个第一像素块,输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个对象的索引,其中,一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。然后,针对于每一个第一像素块,终端利用第一像素块中对象关联的遮罩信息确定对象占用的各个第二像素块,根据对象占用的各个第二像素块的空间坐标确定出对象关联的第一参数,第一参数用于结合第一像素块中对象占用的各个第二像素块的平面坐标确定出第二像素块的深度估计值,该深度估计值与第二像素块的Z坐标的值的差值不超过第一阈值。最后,终端存储用于确定出输入图像的各个第二像素块的深度估计值的第一信息,其中,第一信息包括第一参数。采用本申请,可有效减小存储输入图像的深度值信息所需的存储空间,提升用户体验。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种图像处理方法的示意流程图;
图2是本申请提供的一种对输入图像中的对象进行索引编号的示意图;
图3是本申请提供的一种针对输入图像进行处理的示意图;
图4是本申请提供的一种针对输入图像的第一像素块进行处理的示意图;
图4a-4j是本申请提供的第一像素块中对象占用的第二像素块的比特取值的示意图;
图5A-5C是本申请提供的基于线性回归函数对输入图像的深度值进行预测的示意图;
图6是本申请提供的另一种图像处理方法的示意流程图;
图7是本申请提供的另一种对输入图像中对象进行索引编号的示意图;
图8是本申请提供的一种终端的结构示意图;
图9是本申请提供的另一种终端的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中,本申请中描述的终端包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,所述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中,描述了包括显示器和触摸敏感表面的终端。然而,应当理解的是,终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
终端支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样,终端的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
参见图1,是本申请提供的一种图像处理方法的示意流程图,在图1实施例中,终端可以基于一个像素块对这个像素块中的对象(object)进行索引编号,可参考图2。如图1所示,该方法可以至少包括以下几个步骤:
S101、终端可将输入图像分割成至少一个第一像素块,输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个对象的索引,其中,一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。
本申请实施例中,终端将输入图像分割成至少一个第一像素块可包括但不限定以下两种方式:
第一种方式:终端可通过一次分割将输入图像分割成至少一个第一像素块。
第二种方式:终端可通过多次分割将输入图像分割成至少一个第一像素块。
本申请实施例中,输入图像中的背景和显示内容均可以为本申请实施例中所指的对象。
因此,可以理解的,一个像素块的显示内容可包括至少一个对象。
如图2所示,终端可将输入图像20划分成5*5个第一像素块,针对于输入图像20中一个第一像素块210,基于第一像素块210中对象的数量(例如:数量为2),终端可对第一像素块210中的所有对象进行索引编号。这里,第一像素块210包括两个对象,其中一个对象211的索引可为1,另外一个对象212的索引可为2。
应当说明的是,终端可以通过第一像素块中对象的索引将该对象(object)占用的第二像素块归为一类,这里,第二像素块可包括至少一个像素点。
举例来说,如图3所示,终端可将输入图像300进行分割获得第一像素块301,其中,第一像素块301的显示内容包括对象302以及对象303。其中,对象302与对象303各自具有不同的索引。一方面,对象302的索引用于终端根据该索引将对象302占用的第二像素块归为一类,另一方面,对象303的索引用于终端根据该索引将对象303占用的第二像素块归为另一类。
图2以及图3仅仅用于进行解释本申请,不应作出限制。
S102、针对于每一个第一像素块,终端可利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块,根据对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象关联的第一参数(A,B,C),第一参数用于结合第一像素块中对象占用的第二像素块的平面坐标(X,Y)确定出第二像素块的深度估计值(Z1),其中,第二像素块的深度估计值(Z1)与第二像素块的Z坐标的值的差值不超过第一阈值。
本申请实施例中,终端利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块是一个复杂的过程。
首先,例举一个示例阐述终端如何根据第一像素块中对象关联的遮罩信息确定对象占用的第二像素块。
如图4所示,一个8*8的第一像素块40的显示内容包括两个对象(object),其中一个为对象401,另一个为对象402(背景)。第一像素块中的对象401关联的遮罩信息可为第一像素块中对象401占用的第二像素块(例如:可由对象401占用的4个相互毗邻的像素点构成)对应的比特的取值(例如:0或1),应当说明的,像素点4010被对象401占用。
具体的,对象401关联的遮罩信息可如下图4a所示。
终端可根据对象401关联的遮罩信息(图4a)确定出对象401占用的第二像素块(例如:对象401占用的四个相互毗邻的像素点构成)。
进一步的,下面详细阐述如何确定上述对象401关联的遮罩信息。
图4b示例性示出了第一像素块40中对象401占用的像素点的比特取值。
具体的,如图4c所示,将由4个比特取值分别为1的相互毗邻的像素点组成的第二像素块的比特取值可置为1,可以理解的,将由4个比特取值分别为0的相互毗邻的像素点组成的第二像素块的比特取值可置为0。从而,终端可确定第一像素块40中对象401关联的遮罩信息。
进一步的,在一些更为复杂的情形下,终端如何确定一个由4个相互毗邻的像素点构成的第二像素块的比特取值。下面针对以下五种情形分别进行阐述。
第一种情形:
如图4d所示,如果4个相互毗邻的像素点分别对应的比特取值都为0,则该由4个比特取值分别为0的相互毗邻的像素点构成的第二像素块的比特取值可置为0。
第二种情形:
如图4e所示,如果4个相互毗邻的像素点分别对应的比特取值为0的个数为3,像素点对应的比特取值为1的个数为1,则由该4个相互毗邻的像素点构成的第二像素块的比特取值可置为0。
第三种情形:
如图4e所示,如果4个相互毗邻的像素点分别对应的比特取值为0的个数位1,像素点对应的比特取值为1的个数为3,则像素点对应的比特取值为1的个数超过了50%(第一比例),则由该4个相互毗邻的像素点构成的第二像素块的比特取值可置为1。
第四种情形:
如图4f所示,如果4个相互毗邻的像素点分别对应的比特取值都为1,则像素点对应的比特取值为1的个数超过了50%(第一比例),则该由4个比特取值分别为1的相互毗邻的像素点构成的第二像素块的比特取值可置为1。
第五种情形:
如图4g所示,如果4个相互毗邻的像素点分别对应的比特取值为0的个数为2,像素点对应的比特取值为1的个数为2,则终端此刻不易确定由该4个比特取值分别为1的相互毗邻的像素点构成的第二像素块的比特取值。因此,终端需要进一步确定由该4个比特取值分别为1的相互毗邻的像素点构成的第二像素块的比特取值。
具体的,通过判断上述由4个相互毗邻的像素点构成的第二像素块周围的与第二像素块毗邻的12个像素点对应的比特取值为1的个数在第二像素块周围的与第二像素块毗邻的12个像素点中所占的比例是否超过第一比例来确定第二像素块的取值。以图4g中一个子图4i为例,下面介绍两种方式进一步确定上述第二像素块的比特取值,这里,第一比例可为50%。
第一种方式:
如图4j所示,a、b、c、d、e、f、g、h、i、j、k、l取值“0”或“1”。假设第二像素块的取值用z表示。x表示a、b、c、d、e、f、g、h、i、j、k、l中取值为1的个数。那么,第二像素块的取值z可表示为:
当第二像素块周围的与第二像素块毗邻的像素点对应的比特取值为1的个数大于一半(6个)时,第二像素块的比特取值置为为1。否则,第二像素块的比特取值置为0。也即是说,第二像素块周围的与第二像素块毗邻的像素点对应的比特取值为1的个数在第二像素块周围的与第二像素块毗邻的像素点中所占的比例超过50%时,终端可确定第二像素块的比特取值为1。
第二种方式:
结合图4j,a、b、c、d、e、f、g、h、i、j、k、l取值“0”或“1”。这里,av表示第二像素块周围12个像素点分别对应的比特取值的累加和的平均值。那么,平均值av可表示为:
第二像素块的比特取值z可表示为:
当第二像素块的周围的与第二像素块毗邻的12个像素点分别对应的比特取值的累加和的平均值大于0.5时,第二像素块的比特取值置为1。否则,第二像素块的比特取值置为0。也即是说,第二像素块周围的与第二像素块毗邻的像素点对应的比特取值为1的个数在第二像素块周围的与第二像素块毗邻的像素点中所占的比例超过50%时,终端可确定第二像素块的比特取值为1。
综上所述,终端可通过上述实现方式确定第一像素块中对象占用的第二像素块。下面详细阐述终端如何根据对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象关联的第一参数(A,B,C)。
应当说明的,假设第二像素块包括4个相互毗邻的像素点且该4个像素点的空间坐标分别为(X1,Y1,Z1)、(X2,Y2,Z2)、(X3,Y3,Z3)及(X4,Y4,Z4)。那么,第二像素块的空间坐标可为(X,Y,Z),其中,X=(X1+X2+X3+X4)/4、Y=(Y1+Y2+Y3+Y4)/4、Z=(Z1+Z2+Z3+Z4)/4。
可以理解的,一个对象占用的第二像素块的深度值一般集中在一个较小的范围内。例如,假设输入图像中一个第一像素块的显示内容包括有一个苹果(object),该苹果占用至少一个第二像素块,这里,第二像素块包括至少一个像素点,因为同属于一个对象(苹果)占用的第二像素块的深度值是连续分布的,因此,终端可确定第一像素块中对象占用的第二像素块的深度值与对象占用的第二像素块的平面坐标之间的定量关系。
具体的,终端可利用第一像素块中对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象占用的第二像素块的深度估计值(Z1)与对象占用的第二像素块的平面坐标(X,Y)之间的定量关系,其中,第一像素块中对象关联的第一参数(A,B,C)为定量关系关联的参数。
应当说明的,假设第二像素块包括4个相互毗邻的像素点且该4个像素点的平面坐标分别为(X1,Y1)、(X2,Y2)、(X3,Y3)及(X4,Y4)。那么,第二像素块的平面坐标可为(X,Y),其中,X=(X1+X2+X3+X4)/4、Y=(Y1+Y2+Y3+Y4)/4。
其中,上述确定出的第二像素块的深度估计值(Z1)与第二像素块的平面坐标(X,Y)之间的定量关系可包括但不限定以下两种方式:
第一种方式:可通过线性回归函数进行预测的方式。
第二种方式:可通过非线性回归函数进行预测的方式。
下面结合图5A-5C,列举3个实例对上述定量关系进行详细阐述。
第一个实例,图5A示例性示出了输入图像的一个第一像素块中对象占用的第二像素块的深度值的散点图(空间分布图)。如图5A所示,针对给出的对象占用的第二像素块的深度值的散点图,终端通过线性回归的方式对该对象占用的第二像素块的深度值进行预测,获得一个最佳近似平面(Z=A*X+B*Y+C),进而,终端可将对象对应的最佳平面公式与对象占用的第二像素块的平面坐标(X,Y)可获得该对象占用的第二像素块的深度估计值Z1,这里,A、B及C为第一参数,应当说明的,C=CC1+CC2,这里,CC2为第一参数中的随机误差项,如果随机误差项CC2的值越小,那么该对象占用的第二像素块的深度估计值与该对象占用的第二像素块的深度值之间的误差越小,也即是说,该对象对应的当前最佳近似平面公式对该对象占用的第二像素块的深度值的拟合效果越优,可理解的,对象占用的第二像素块的深度值与该对象占用的第二像素块的深度估计值之间的误差是可控的,终端可对该对象占用的第二像素块的深度值进行多次统计与处理,最终可获得一个最佳近似平面公式(获得一个对应的第一参数A1,B1以及C1),使得对象占用的第二像素块的深度值与对象占用的第二像素块的深度估计值的误差控制在第一阈值范围内。这里,第一阈值的大小可以根据实际需求来设置,本申请不作限制。
进一步的,为了更直观地第二像素块的深度值与第二像素块的深度估计值之间的关系,这里,只考虑第二像素块的深度值的平面分布的散点图。下面介绍第二个实例。
具体的,对于一副图像来说,结合图3,图5B示例性示出了图3中输入图像300的第二像素块的深度值的散点图(平面分布)。如图5B所示,应当说明的,纵轴为Z轴,横轴为X轴或Y轴,这里,只考虑了输入图像300的第二像素块的深度值的平面分布的散点图。输入图像300的第二像素块的深度值的平面分布的散点图可分为以下两种情况。
第一种情况:针对于输入图像300的第二像素块的空间坐标(X,Y,Z),当输入图像300的所有第二像素块的X取值皆为定值X1(常量)时,考虑X1平面上,输入图像300的第二像素块的深度值Z随着坐标(X1,Y)的变化而变化,这里Y为变量(例如:此处Y的变化范围为(0,63))。这里,灰点206可表示一定的平面坐标(X1,Y)下,输入图像300的第二像素块的深度值Z的散点分布图。直线207表示对该输入图像300的第二像素块的深度值的线性回归预测。
第二种情况:针对于输入图像300的第二像素块的空间坐标(X,Y,Z),当输入图像300的所有第二像素块的Y取值皆为定值Y1(常量)时,考虑Y1平面上,输入图像300的第二像素块的深度值Z随着坐标(X,Y1)的变化而变化,这里X为变量(例如:此处X的变化范围为(0,63))。这里,灰点206可表示一定的平面坐标(X,Y1)下,输入图像300的第二像素块的深度值Z的散点分布图。直线207表示对该输入图像300的第二像素块的深度值的线性回归预测。
结合图5B可知,输入图像300的第二像素块的深度值分布在一个较大的范围内,终端如果对输入图像300的第二像素块的深度值进行线性回归预测(估计),输入图像300的第二像素块的深度值与输入图像300的第二像素块的深度估计值之间将存在较大的误差。可以理解的,倘若,终端如果对该输入图像的第二像素块的深度值进行非线性预测(估计),输入图像300的第二像素块的深度值与输入图像300的第二像素块的深度估计值之间的误差将会减小。但是,一定程度上会增加终端的运算负载(极大地增加GPU的运算负载)。
如前文所述,一个对象占用的第二像素块的深度值般集中在一个较小的范围内。因此,终端可确定第一像素块中对象占用的第二像素块的深度估计值与对象占用的第二像素块的平面坐标(X,Y)之间的定量关系。
类似的,为了更直观地第二像素块的深度值与第二像素块的深度估计值之间的关系,这里,也只考虑第二像素块的深度值的平面分布的散点图。下面介绍第三个实例。
具体的,对于一幅图像中的一个第一像素块来说,图5C示例性示出了输入图像300的第一像素块301中对象303占用的第二像素块的深度值分布。如图5C所示,应当说明的,纵轴为Z轴,Z轴表示对象303占用的第二像素块的深度值,便于阐述,横轴为X轴或Y轴。这里,只考虑了对象303占用的第二像素块的深度值的平面分布的散点图。对象303占用的第二像素块的深度值的平面分布的散点图可分为以下两种情况。
第一种情况:针对于对象303占用的第二像素块的空间坐标(X,Y,Z),当对象303占用的第二像素块的X取值皆为定值X1(常量)时,考虑X1平面上,对象303占用的第二像素块的深度值Z随着坐标(X1,Y)的变化而变化,这里Y为变量(例如:此处Y的变化范围为(0,63))。这里,灰点208可表示一定的平面坐标(X1,Y)下,对象303占用的第二像素块的深度值Z的散点分布图。直线209表示对象303占用的第二像素块的深度值的线性回归预测。
第二种情况:针对于对象303占用的第二像素块的空间坐标(X,Y,Z),当对象303占用的第二像素块的Y取值皆为定值Y1(常量)时,考虑Y1平面上,对象303占用的第二像素块的深度值Z随着坐标(X,Y1)的变化而变化,这里X为变量(例如:此处X的变化范围为(0,63))。这里,灰点208可表示一定的平面坐标(X,Y1)下,对象303占用的第二像素块的深度值Z的散点分布图。直线209表示对象303占用的第二像素块的深度值的线性回归预测。
结合图5C可知,对象303占用的第二像素块的深度值分布在一个较小的范围内,终端如果对对象303占用的第二像素块的深度值进行线性回归预测(估计),对象303占用的第二像素块的深度值与对象303占用的第二像素块的深度估计值之间将存在较小的误差。也即是说,终端获取到一个线性回归函数(Z1=A*X+B*Y+C)来估计对象303占用的第二像素块的深度值,其中A、B及C可为第一参数。可以理解的,对象303占用的第二像素块的深度估计值Z1与对象303占用的第二像素块的深度值Z的差值是可控的,终端可对第一像素块301中对象303占用的第二像素块的深度值进行多次统计与处理,最终可获得一个最佳近似平面公式(获得一个对应的第一参数A2,B2以及C2),使得对象303占用的第二像素块的深度值与对象303占用的第二像素块的深度估计值的误差控制在第一阈值范围内。
图4、图4a-4g及5A-5C仅仅用于解释本申请,不应作出限制。
S103、终端可存储用于确定出输入图像的第二像素块的深度估计值的第一信息,其中,第一信息包括第一参数。
本申请实施例中,第一信息可通过但不限于以下两种方式进行存储。
第一种方式:第一信息可存储于终端内部中的存储器。
第二种方式:第一信息可存储于与终端相连的云端数据库。
终端可通过第一信息来恢复输入图像的第二像素块的深度估计值。其中,
第一信息可以包括第一参数和第二信息。这里,第二信息可包括输入图像中的第一像素块的数量N、第一像素块中对象的数量N1、第一像素块中对象的索引(根据第一像素块中对象的数量N1,对第一像素块中N1个对象分别给定一个索引)以及第一像素块中对象各自关联的遮罩信息。
下面主要介绍终端如何根据用于确定输入图像的第二像素块的深度估计值的第一信息恢复输入图像的第二像素块的深度估计值。
具体的,首先,终端可通过存储的输入图像的第一像素块的数量N获知终端将输入图像分割成了N个第一像素块以及N个第一像素块中每一个第一像素块的大小(第一像素块的长度以及第一像素块的宽度)。进而,终端可根据存储的每一个第一像素块中对象的索引(根据第一像素块中对象的数量N1,对第一像素块中N1个对象分别给定一个索引)搜索到特定索引的对象。然后,终端可根据该对象关联的遮罩信息确定出第一像素块中该对象占用的第二像素块,也即是说,终端可根据对象关联的遮罩信息获知第一像素块中该对象占用的第二像素块的平面坐标(X,Y)。最后,终端可根据第一像素块中对象的数量N1以及第一像素块中各个对象各自关联的第一参数结合第一像素块中该对象占用的第二像素块的平面坐标(X,Y)恢复出第一像素块中所有对象(object)占用的第二像素块的深度值。进一步的,终端可根据输入图像中第一像素块的数量N,恢复出输入图像的所有第二像素块的深度估计值。
下面结合表1至表5详细阐述通过本申请实施例方法与现有技术分别存储相同大小的第一像素块的深度值信息所占用的存储空间的对比情况。应当说明的,对于本申请实施例方法来说,该深度值信息可为第一像素块中第二像素块的深度估计值的第一信息,对于现有技术来说,该深度值信息可为第一像素块的像素点的深度值。
具体的,首先以64*64大小的第一像素块为例。其中,第一像素块中包括两个对象(object),每一个对象对应一个子像素块。应当说明的,结合步骤2所述,终端可根据一个第二像素块的比特取值,确定出对象占用的第二像素块。进而根据对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象关联的第一参数(A,B,C)。因而,对于一个64*64大小的第一像素块来说,第一像素块中对象关联的遮罩信息需占用的内存可为:(64/2)*(64/2)。如下表所示:
表1
由表1可知,对于本申请实施例方法来说,一个64*64的第一像素块的深度估计值的第一信息所占的存储空间为2264bits(比特)。
现有技术中,一个64*64的第一像素块的深度值所占的存储空间,即如下表所示:
表2
结合表1以及表2可知,相对于现有技术,针对于相同大小的第一像素块,本申请实施例方法极大地减小了第一像素块的深度值信息所占用的存储空间。可理解的,相对于现有技术,本申请实施例方法的存储空间压缩率可为:压缩率V=(8+2*1128)/131072=0.017272949。
下面介绍另外几种第一像素块(16*16、32*32、64*64以及128*128)的压缩率。
以第一像素块只包括一个对象为例,如下表所示:
表3
以第一像素块包括两个对象为例,如下表所示:
表4
以第一像素块包括三个对象为例,如下表所示:
表5
以输入图像为例,终端存储第一像素块的数量N*M的一种具体实现形式可为:存储X方向第一像素块的数量、Y方向第一像素块的数量、第一像素块的宽度以及第一像素块的长度。下面结合表6详细阐述终端对输入图像(包括N*M个第一像素块)的深度值信息进行存储所占用的存储空间,如下表所示:
表6
以一个第一像素块(大小为W*H)中一个对象为例,通过本申请实施例方法,终端存储一个第一像素块(大小为W*H)中一个对象的深度值信息所需的存储空间表示,如下表所示:
表7
以一个第一像素块(大小为W*H)为例,终端存储一个第一像素块(大小为W*H)的深度值信息所需的存储空间表示,如下表所示:
表8
综上所述,本申请实施例方法中,首先,终端将输入图像分割成至少一个第一像素块,其中,一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。然后,针对于每一个第一像素块,终端利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块,根据对象占用的第二像素块的空间坐标确定出对象关联的第一参数,第一参数用于结合第一像素块中对象占用的第二像素块的平面坐标确定出第二像素块的深度估计值。最后,终端存储用于确定出输入图像的第二像素块的深度估计值的第一信息,第一信息包括第一参数。与现有技术相比,采用本申请实施例方法,有效地减小了存储输入图像的第二像素块的深度值信息所需的存储空间,提升了用户体验。
参见图6,是本申请提供的另一种图像处理方法的示意流程图。在图6实施例中,终端可以基于整幅输入图像对整幅图像中的所有对象分别进行索引编号,可参考图7。如图6所示,该方法可以至少包括以下几个步骤:
S201、终端将输入图像分割成至少一个第一像素块,所述输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个所述对象的索引,其中,所述一个第一像素块包括至少一个第二像素块,所述一个第二像素块包括至少一个像素点。
S202、针对于每一个第一像素块,终端利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块,根据对象占用的第二像素块的空间坐标确定出对象关联的第一参数,第一参数用于结合第一像素块中对象占用的第二像素块的平面坐标确定出第二像素块的深度估计值,第二像素块的深度估计值与第二像素块的Z坐标的值的差值不超过第一阈值。
S203、终端存储用于确定出输入图像的第二像素块的深度估计值的第一信息,其中,第一信息包括第一参数以及第二信息,第二信息包括输入图像中第一像素块的数量、第一像素块中对象的索引以及第一像素块中对象关联的遮罩信息。
本申请实施例中,第一信息可通过但不限于以下两种方式进行存储。
第一种方式:第一信息可存储于终端内部中的存储器。
第二种方式:第一信息可存储于与终端相连的云端数据库。
终端可通过第一信息来恢复输入图像的第一像素块的深度估计值。其中,
第一信息包括第一参数和第二信息。
这里,第二信息可包括输入图像中的第一像素块的数量N、第一像素块中对象的索引、第一像素块中对象关联的遮罩信息。这里,终端对输入图像进行分割之前,终端基于整幅输入图像对该输入图像中的所有对象分别进行索引编号,应当说明的,终端对输入图像进行分割之后,分布在输入图像的多个第一像素块中的对象的索引编号相同。
举例来说,输入图像的显示内容包括N个对象(object),首先,终端对输入图像进行分割之前,对该N个对象分别给定一个索引,一个对象对应唯一的一个索引。进而,在终端将该输入图像分割成N个第一像素块之后(分布在输入图像的第一像素块中的对象的索引编号相同),对于每一个第一像素块来说,根据第一像素块中所有对象的索引可知该第一像素块中所有对象的数量总数为N1。下面结合图6进详细阐述。
具体的,如图7所示,输入图像70的显示内容包括5个对象(object),例如:索引为1的背景、索引为2的菱形、索引为3的圆形、索引为4的六边形以及索引为5的梯形。将输入图像70分割成5*5第一像素块,这里,输入图像70中的第一像素块710包括对象711(对象711的索引为1)以及对象712(对象712的索引为2)。根据第一像素块中710中对象711的索引以及对象712的索引可获知第一像素块710中对象(object)的数量为2。
下面主要介绍终端如何根据用于确定输入图像的第二像素块的深度估计值的第一信息恢复输入图像的第二像素块的深度估计值。
具体的,首先,终端可通过存储的输入图像的第一像素块的数量N获知终端将输入图像分割成了N个第一像素块以及N个第一像素块中每一个第一像素块的大小(第一像素块的长度以及第一像素块的宽度)。进而,终端可根据存储的每一个第一像素块中对象的索引搜索到特定索引的对象。然后,终端可根据对象关联的遮罩信息确定出第一像素块中该对象占用的第二像素块,也即是说,终端可根据对象关联的遮罩信息获知第一像素块中该对象占用的第二像素块的平面坐标(X,Y)。最后,终端可根据第一像素块中对象的数量N1以及第一像素块中各个对象各自关联的第一参数结合第一像素块中该对象占用的第二像素块的平面坐标(X,Y)恢复出第一像素块中所有对象(object)占用的第二像素块的深度值。进一步的,终端可再根据输入图像中像素块的数量N,可恢复出输入图像的所有第二像素块的深度估计值。
下面结合表9至表12详细阐述通过本实施例方法与现有技术分别存储相同大小的第一像素块的深度值信息所占用的存储空间的对比情况。应当说明的,对于本实施例方法来说,该深度值信息可为输入图像的第二像素块的深度估计值的第一信息,对于现有技术来说,该深度值信息可为输入图像的像素点的深度值。
具体的,首先以64*64大小的第一像素块为例。其中,第一像素块中包括两个对象(object),每一个对象对应一个子像素块。应当说明的,结合步骤2所述,终端可根据一个第二像素块的比特取值,确定出对象占用的第二像素块。进而根据对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象关联的第一参数(A,B,C)。因而,对于一个64*64大小的第一像素块来说,第一像素块中对象关联的遮罩信息需占用的内存可为:(64/2)*(64/2)。如下表所示:
表9
由表9可知,对于本申请实施例方法来说,一个64*64第一像素块的深度估计值的第一信息所占的存储空间为2256bits(比特)。
现有技术中,一个64*64的第一像素块的深度值所占的存储空间,如表2所示。
结合表9以及表2可知,相对于现有技术,针对于相同大小的第一像素块,本申请实施例方法极大地减小了第一像素块的深度值信息所占用的存储空间。可理解的,相对于现有技术,本申请实施例方法的存储空间压缩率可为:
压缩率V=2*1128/131072=0.017211914。
下面介绍另外几种第一像素块(16*16、32*32、64*64以及128*128)的压缩率。
以第一像素块只包括一个对象为例,如下表所示:
表10
以第一像素块包括两个对象为例,如下表所示:
表11
以第一像素块包括三个对象为例,如下表所示:
表12
以输入图像为例,终端存储第一像素块的数量N*M的一种具体实现形式可为:存储X方向第一像素块的数量、Y方向第一像素块的数量、第一像素块的宽度以及第一像素块的长度。下面结合表13详细阐述终端对输入图像(包括N*M个第一像素块)的深度值信息进行存储所占用的存储空间,如下表所示:
表13
结合以一个第一像素块(大小为W*H)中一个对象为例,通过本申请实施例方法,终端存储一个第一像素块(大小为W*H)中一个对象的深度值信息所需的存储空间表示,如表7表示。
以一个第一像素块(大小为W*H)为例,终端存储一个第一像素块(大小为W*H)的深度值信息所需的存储空间表示,如下表所示:
表14
可理解的,关于图6方法的具体实现方式,可参考前述图1方法实施例,此处不再赘述。
综上所述,针对输入图像中的一个第一像素块来说,相比于图1实施例方法,本申请实施例方法未存储第一像素块中对象(object)的数量,可理解的,本申请实施例方法进一步减小了存储输入图像的第二像素块的深度值信息所需的存储空间,进一步提升了用户体验。
可理解的,图6方法实施例中未提供的相关定义和说明可参考图1的方法实施例,此处不再赘述。
为了便于实施本申请实施例,本申请提供了一种终端,用于实现图1或图6实施例所述的方法。图8所示的终端可以用于执行上述全部内容所述的分别对应的实施例中的描述。如图8所示,终端800可包括:分割单元801、确定单元802以及存储单元803,其中:
分割单元801,可用于将输入图像分割成至少一个第一像素块,输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个对象的索引,其中,一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点。
确定单元802,可用于针对于每一个第一像素块,终端利用第一像素块中对象关联的遮罩信息确定对象占用的第二像素块,根据对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象关联的第一参数(A,B,C),第一参数用于结合第一像素块中所述对象占用的第二像素块的平面坐标(X,Y)确定出第二像素块的深度估计值(Z1),该深度估计值(Z1)与第二像素块的Z坐标的值的差值不超过第一阈值。
存储单元803,可用于存储用于确定出输入图像的第二像素块的深度估计值的第一信息,其中,第一信息包括第一参数。
具体的,分割单元801可用于将输入图像分割成至少一个像素块可包括但不限定以下两种方式:
第一种方式:可通过一次分割将输入图像分割成至少一个第一像素块。
第二种方式:可通过多次分割将输入图像分割成至少一个第一像素块。
本申请实施例中,输入图像中的背景和显示内容均可以为本申请实施例中所指的对象。
因此,可以理解的,一个像素块的显示内容包括至少一个对象。
应当说明的是,可以通过第一像素块中对象的索引将该对象(object)占用的第二像素块归为一类,这里,第二像素块包括至少一个像素点。
具体的,确定单元802可用于,可以理解的,一个对象占用的第二像素块的深度值的分别一般集中在一个较小的范围内。例如,假设输入图像中一个第一像素块的显示内容包括有一个苹果(object),该苹果占用至少一个第二像素块,这里,第二像素块包括至少一个像素点,因为同属于一个对象(苹果)的第二像素块的深度值是连续分布的,因此,终端可确定第一像素块中对象占用的第二像素块的深度估计值与对象占用的第二像素块的平面坐标之间的定量关系。
具体的,确定单元802可利用第一像素块中对象占用的第二像素块的空间坐标(X,Y,Z)确定出对象占用的第二像素块的深度估计值(Z1)与对象占用的第二像素块的平面坐标(X,Y)之间的定量关系,其中,第一像素块中对象关联的第一参数(A,B,C)为定量关系关联的参数。
其中,上述确定单元802确定出第二像素块的深度估计值(Z1)与第二像素块的平面坐标(X,Y)之间的定量关系可包括但不限定以下两种方式:
第一种方式:可通过线性回归函数进行预测的方式。
第二种方式:可通过非线性回归函数进行预测的方式。
可理解的,对象占用的第二像素块的深度值与该对象占用的第二像素块的由确定单元802确定出的深度估计值之间的误差是可控的,终端可对该对象占用的第二像素块的深度值进行多次统计与处理,最终,确定单元802可确定出一个最佳近似平面公式(获得一个对应的第一参数A1,B1以及C1),使得对象占用的第二像素块的深度值与对象占用的第二像素块的由确定单元802确定出的深度估计值的误差控制在第一阈值范围内。这里,第一阈值的大小可以根据实际需求来设置,本申请不作限制。
确定单元802,还可用于:
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例超过第一比例时,则确定将所述第二像素块对应的比特的取值置为所述第一值;或
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例等于所述第一比例且所述第二像素块周围的与所述第二像素块毗邻的被所述对象占用的像素点的个数在所述第二像素块周围的与所述第二像素块毗邻的像素点中所占的比例超过第一比例时,则确定将所述第二像素块对应的比特的取值置为所述第一值。
具体的,存储单元803可用于对第一信息进行存储。
第一信息包括第一参数和第二信息。这里,第二信息包括但不限于两种信息形式。
第一种信息形式:第二信息包括输入图像中的第一像素块的数量N、第一像素块中对象的数量N1、第一像素块中对象的索引(根据第一像素块中对象的数量N1,对第一像素块中N1个对象给定一个索引)以及第一像素块中对象关联的遮罩信息。
第二种信息形式:第二信息可包括输入图像中的第一像素块的数量N、第一像素块中对象的索引、第一像素块中对象关联的遮罩信息。这里,在输入图像进行分割之前,针对输入图像中的一个对象(object),给定一个索引。分割单元801将该输入图像分割成N个第一像素块之后(对象的物件索引保持不变),对于每一个第一像素块来说,根据第一像素块中的对象的索引可获取第一像素块中的对象的数量N1。
下面主要介绍终端根据确定出输入图像的第二像素块的深度估计值的第一信息如何恢复输入图像的第二像素块的深度值。
具体的,首先,存储单元803可通过存储的输入图像的第一像素块的数量N获知分割单元801将输入图像分割成了N个第一像素块以及N个第一像素块中每一个第一像素块的大小(第一像素块的长度以及第一像素块的宽度)。进而,确定单元802可根据存储的每一个第一像素块中对象的索引搜索到特定索引的对象。然后,确定单元802可根据对象关联的遮罩信息确定出第一像素块中该对象占用的像素点,也即是说,终端可根据对象关联的遮罩信息获知第一像素块中该对象占用的第二像素块的平面坐标(X,Y)。最后,终端可根据第一像素块中对象的数量N1以及第一像素块中各个对象各自关联的第一参数结合第一像素块中该对象占用的第二像素块的平面坐标(X,Y)恢复出第一像素块中所有对象(object)占用的第二像素块的深度值。进一步的,终端可根据输入图像中第一像素块的数量N,恢复出输入图像的所有第二像素块的深度估计值。
可理解的,关于图8的终端800包括的功能块的具体实现方式,可参考图1或图6的方法实施例,此处不再赘述。
图9是本申请提供的另一种终端的结构示意图。本申请实施例中,终端可以包括移动手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、移动互联网设备(Mobile Internet Device,MID)、智能穿戴设备(如智能手表、智能手环)等各种设备,本申请实施例不作限定。如图9所示,终端900可包括:处理器901、存储器902(一个或多个计算机可读存储介质)、图形处理器903及外围系统904。这些部件可在一个或多个通信总线905上通信。
存储器902与处理器901耦合,可用于存储各种软件程序和/或多组指令。具体实现中,存储器902可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器902可以存储操作系统(下述简称系统),例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器902还可以存储网络通信程序,该网络通信程序可用于与一个或多个附加设备,一个或多个终端设备,一个或多个网络设备进行通信。存储器902还可以存储用户接口程序,该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来,并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
可理解的,存储器902可用于存储用于确定出输入图像的第二像素块的深度估计值的第一信息,其中,所述第一信息包括所述第一参数。
存储器902还可以存储一个或多个应用程序。如图9所示,这些应用程序可包括:社交应用程序(例如Facebook),图像管理应用程序(例如相册),地图类应用程序(例如谷歌地图),浏览器(例如Safari,Google Chrome)等等。
应当说明的,图形处理器(GPU)903可包括一个或多个图形处理器。其中,图形处理器906可用于对输入图像进行处理。
外围系统904主要用于实现终端900和用户/外部环境之间的交互功能,主要包括终端900的输入输出装置。具体实现中,外围系统904可包括:显示屏控制器906、摄像头控制器907、鼠标-键盘控制器908以及音频控制器909。其中,各个控制器可与各自对应的外围设备(如显示屏910、摄像头911、鼠标-键盘912以及音频电路913)耦合。在一些实施例中,显示屏可以配置有自电容式的悬浮触控面板的显示屏,也可以是配置有红外线式的悬浮触控面板的显示屏。在一些实施例中,摄像头911可以是3D摄像头。需要说明的,外围系统904还可以包括其他I/O外设。
应当理解,终端900仅为本申请实施例提供的一个例子,并且,终端900可具有比示出的部件更多或更少的部件,可以组合两个或更多个部件,或者可具有部件的不同配置实现。
可理解的,关于图9的终端900包括的功能模块的具体实现方式,可参考图1或图6的方法实施例,此处不再赘述。
本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现。
该计算机可读存储介质可以是前述任一实施例所述的终端的内部存储单元,例如终端的硬盘或内存。该计算机可读存储介质也可以是终端的外部存储设备,例如终端上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步的,该计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储计算机程序以及终端所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的终端和方法,可以通过其它的方式实现。例如,以描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
上述描述的终端实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、终端或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
终端将输入图像分割成至少一个第一像素块,所述输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个所述对象的索引,其中,所述一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点;
针对于每一个第一像素块,所述终端利用所述第一像素块中所述对象关联的遮罩信息确定所述对象占用的第二像素块,根据所述对象占用的第二像素块的空间坐标确定出所述对象关联的第一参数,所述第一参数用于结合所述第一像素块中所述对象占用的第二像素块的平面坐标确定出所述第二像素块的深度估计值,所述第二像素块的深度估计值与所述第二像素块的Z坐标的值的差值不超过第一阈值;
所述终端存储用于确定出所述输入图像的第二像素块的深度估计值的第一信息,其中,所述第一信息包括所述第一参数。
2.如权利要求1所述的方法,其特征在于,所述第一信息还包括第二信息,所述第二信息用于确定所述输入图像的第二像素块的平面坐标。
3.如权利要求2所述的方法,其特征在于,所述第二信息包括:
所述输入图像中的第一像素块的数量N、所述第一像素块中所述对象的数量、所述第一像素块中所述对象的索引、所述第一像素块中所述对象关联的遮罩信息,其中,所述遮罩信息用于指示所述第一像素块中所述对象占用的第二像素块。
4.如权利要求2所述的方法,其特征在于,所述第二信息包括:
所述输入图像中的第一像素块的数量N,所述第一像素块中所述对象的索引、所述第一像素块中所述对象关联的遮罩信息,其中,所述遮罩信息用于指示所述第一像素块中所述对象占用的第二像素块。
5.如权利要求3或4所述的方法,其特征在于,所述遮罩信息,具体包括:
所述第一像素块中各个第二像素块对应的比特,其中,所述第一像素块中各个第二像素块对应的比特用于当所述比特取值为第一值时,指示所述第二像素块被所述第一像素块中所述对象占用。
6.如权利要求5所述的方法,其特征在于,还包括:
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例超过第一比例时,则所述终端确定将所述第二像素块对应的比特的取值置为所述第一值;或
对于所述第二像素块,如果所述第二像素块中被所述对象占用的像素点的个数在所述第二像素块中像素点的个数中所占的比例等于所述第一比例且所述第二像素块周围的与所述第二像素块毗邻的被所述对象占用的像素点的个数在所述第二像素块周围的与所述第二像素块毗邻的像素点中所占的比例超过第一比例时,则所述终端确定将所述第二像素块对应的比特的取值置为所述第一值。
7.如权利要求1所述的方法,其特征在于,所述终端利用所述第一像素块中所述对象占用的第二像素块的空间坐标确定出所述第一像素块中所述对象关联的第一参数,具体包括:
所述终端利用所述第一像素块中所述对象占用的第二像素块的空间坐标确定出所述第二像素块的深度估计值与所述第二像素块的平面坐标之间的定量关系,其中,所述第一像素块中所述对象关联的第一参数为所述定量关系关联的参数。
8.一种终端,其特征在于,包括:
分割单元,用于将输入图像分割成至少一个第一像素块,所述输入图像的显示内容包括至少一个对象,一个第一像素块关联至少一个所述对象的索引,其中,所述一个第一像素块包括至少一个第二像素块,一个第二像素块包括至少一个像素点;
确定单元,用于针对于每一个第一像素块,利用所述第一像素块中所述对象关联的遮罩信息确定所述对象占用的第二像素块,根据所述对象占用的第二像素块的空间坐标确定出所述对象关联的第一参数,所述第一参数用于结合所述第一像素块中所述对象占用的第二像素块的平面坐标确定出所述第二像素块的深度估计值,所述第二像素块的深度估计值与所述第二像素块的Z坐标的值的差值不超过第一阈值;
存储单元,用于存储用于确定出所述输入图像的第二像素块的深度估计值的第一信息,其中,所述第一信息包括所述第一参数。
9.一种终端,其特征在于,包括:显示装置、存储器以及耦合于所述存储器的处理器,其中,所述存储器用于存储应用程序代码,所述处理器被配置用于调用所述程序代码,执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810125710.5A CN108389223B (zh) | 2018-02-06 | 2018-02-06 | 一种图像处理方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810125710.5A CN108389223B (zh) | 2018-02-06 | 2018-02-06 | 一种图像处理方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108389223A CN108389223A (zh) | 2018-08-10 |
CN108389223B true CN108389223B (zh) | 2020-08-25 |
Family
ID=63075396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810125710.5A Active CN108389223B (zh) | 2018-02-06 | 2018-02-06 | 一种图像处理方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108389223B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7944442B2 (en) * | 2006-09-26 | 2011-05-17 | Qualcomm Incorporated | Graphics system employing shape buffer |
CN105335950A (zh) * | 2014-05-28 | 2016-02-17 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
CN107610057A (zh) * | 2017-08-22 | 2018-01-19 | 努比亚技术有限公司 | 一种深度图修复方法、终端及计算机可读存储介质 |
-
2018
- 2018-02-06 CN CN201810125710.5A patent/CN108389223B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7944442B2 (en) * | 2006-09-26 | 2011-05-17 | Qualcomm Incorporated | Graphics system employing shape buffer |
CN105335950A (zh) * | 2014-05-28 | 2016-02-17 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
CN107610057A (zh) * | 2017-08-22 | 2018-01-19 | 努比亚技术有限公司 | 一种深度图修复方法、终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108389223A (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9715750B2 (en) | System and method for layering using tile-based renderers | |
US9645782B2 (en) | Multiple displays for displaying workspaces | |
KR20190020197A (ko) | 중간-분류 아키텍처에서 프레임 대 프레임 일관성의 활용 | |
CN108961267B (zh) | 图片处理方法、图片处理装置及终端设备 | |
CN109857573B (zh) | 一种数据共享方法、装置、设备及系统 | |
CN110102048B (zh) | 一种虚拟服装渲染方法及装置 | |
CN109718554B (zh) | 一种实时渲染方法、装置及终端 | |
CN114529658A (zh) | 一种图形渲染方法及其相关设备 | |
JP2019057320A (ja) | 方法、コンピュータプログラム、コンピュータ可読記録媒体および装置 | |
US9489771B2 (en) | Techniques for spatially sorting graphics information | |
US9262841B2 (en) | Front to back compositing | |
CN109358927B (zh) | 应用程序显示的方法、装置及终端设备 | |
CN109559319B (zh) | 一种法线贴图的处理方法及终端 | |
CN108182656B (zh) | 一种图像处理方法及终端 | |
CN111553962A (zh) | 一种图表显示方法、系统及显示设备 | |
CN108389223B (zh) | 一种图像处理方法及终端 | |
RU2666300C2 (ru) | Технологии уменьшения пиксельного шейдинга | |
CN113625923A (zh) | 基于远程云桌面的鼠标处理方法、装置、存储介质及设备 | |
CN108932704B (zh) | 图片处理方法、图片处理装置及终端设备 | |
CN113487704B (zh) | 一种燕尾箭头标的绘制方法、装置、存储介质及终端设备 | |
CN109754450B (zh) | 一种赛道生成方法、装置及设备 | |
CN112102483B (zh) | 电子教学白板动态显示三维模型的方法及装置 | |
CN114432695A (zh) | 粒子系统渲染方法、装置、电子设备及可读存储介质 | |
CN118196257A (zh) | 引擎的对象渲染方法、装置、可读存储介质和电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 518000 unit 01, 16 / F, unit 2, building a, Kexing Science Park, Keyuan Road, Central District, Nanshan District, Shenzhen City, Guangdong Province Patentee after: SHENZHEN IDREAMSKY TECHNOLOGY Co.,Ltd. Address before: 518000 unit 01, 16 / F, unit 2, building a, Kexing Science Park, Keyuan Road, Central District, Nanshan District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN IDREAMSKY TECHNOLOGY Co.,Ltd. |
|
CP03 | Change of name, title or address |