CN113470155B - 纹理图像处理方法和装置、电子设备和存储介质 - Google Patents

纹理图像处理方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113470155B
CN113470155B CN202111029105.6A CN202111029105A CN113470155B CN 113470155 B CN113470155 B CN 113470155B CN 202111029105 A CN202111029105 A CN 202111029105A CN 113470155 B CN113470155 B CN 113470155B
Authority
CN
China
Prior art keywords
image
processed
texture image
texture
information entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111029105.6A
Other languages
English (en)
Other versions
CN113470155A (zh
Inventor
程谟方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202111029105.6A priority Critical patent/CN113470155B/zh
Publication of CN113470155A publication Critical patent/CN113470155A/zh
Application granted granted Critical
Publication of CN113470155B publication Critical patent/CN113470155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping

Abstract

本公开实施例公开了一种纹理图像处理方法和装置、电子设备和存储介质,其中,方法包括:利用预设方式,获取待处理纹理图像的信息熵;基于所述信息熵,确定所述待处理纹理图像的图像类型;若所述待处理纹理图像的图像类型为纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染;若所述待处理纹理图像的图像类型为非纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值用于重建模型渲染。本公开实施例可以去除纹理图像的冗余信息,提高模型渲染速度。

Description

纹理图像处理方法和装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术,尤其是一种纹理图像处理方法和装置、电子设备和存储介质。
背景技术
在三维重建技术领域,通过将纹理图像映射到场景的模型表面以对模型进行渲染,能够使模型看起来更加真实。在移动端对模型进行渲染时,由于移动端的性能有限,导致当场景的模型或纹理图像较大时,会出现模型渲染不流畅或崩溃的情况。
因此,如何去除纹理图像的冗余信息,以避免模型渲染不流畅或崩溃的情况,是目前亟待解决的问题。
发明内容
本公开实施例提供一种纹理图像处理方法和装置、电子设备和存储介质,能够去除纹理图像的冗余信息,提高模型渲染速度。
本公开实施例的一个方面,提供一种纹理图像处理方法,包括:
利用预设方式,获取待处理纹理图像的信息熵;
基于所述信息熵,确定所述待处理纹理图像的图像类型;
若所述待处理纹理图像的图像类型为纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染。
若所述待处理纹理图像的图像类型为非纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值用于重建模型渲染。
可选地,在本公开上述任一方法实施例中,所述基于所述信息熵,确定所述待处理纹理图像的图像类型,包括:
确定所述信息熵是否小于第一预设阈值;
若所述信息熵不小于所述第一预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
可选地,在本公开上述任一方法实施例中,所述基于所述信息熵,确定所述待处理纹理图像的图像类型,还包括:
若所述信息熵小于所述第一预设阈值,将所述待处理纹理图像划分为互不相交的多个图像区域;
分别计算所述多个图像区域中每个图像区域的纹理方差;
获取所述多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值;
确定所述差值是否小于所述第二预设阈值;
若所述差值小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为纯色;
否则,若所述差值不小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
可选地,在本公开上述任一方法实施例中,所述确定所述差值是否小于所述第二预设阈值包括:
对所述差值进行归一化处理;
确定所述归一化处理后的差值是否小于所述第二预设阈值。
可选地,在本公开上述任一方法实施例中,所述将所述待处理纹理图像划分为互不相交的多个图像区域包括:
确定所述待处理纹理图像的图像分辨率;
选取与所述图像分辨率匹配的预设区域对所述待处理纹理图像进行划分,得到所述互不相交多个图像区域。
可选地,在本公开上述任一方法实施例中,所述方法还包括:
若所述待处理纹理图像的图像类型为纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值至目标设备;
若所述待处理纹理图像的图像类型为非纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值至目标设备。
本公开实施例的一个方面,提供一种纹理图像处理装置,包括:
获取模块,用于利用预设方式,获取待处理纹理图像的信息熵;
确定模块,用于基于所述信息熵,确定所述待处理纹理图像的图像类型;
渲染模块,用于若所述待处理纹理图像的图像类型为纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染;若所述待处理纹理图像的图像类型为非纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值用于重建模型渲染。
可选地,在本公开上述任一装置实施例中,所述确定模块包括:
第一确定单元,用于确定所述信息熵是否小于第一预设阈值;
第二确定单元,用于若所述信息熵不小于所述第一预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
可选地,在本公开上述任一装置实施例中,所述确定模块还包括:
划分单元,用于若所述信息熵小于所述第一预设阈值,将所述待处理纹理图像划分为互不相交的多个图像区域;
计算单元,用于分别计算所述多个图像区域中每个图像区域的纹理方差;
获取单元,用于获取所述多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值;
第三确定单元,用于确定所述差值是否小于所述第二预设阈值;
第四确定单元,用于若所述差值小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为纯色;否则,若所述差值不小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
可选地,在本公开上述任一装置实施例中,所述第三确定单元包括:
归一化子单元,用于对所述差值进行归一化处理;
第一确定子单元,用于确定所述归一化处理后的差值是否小于所述第二预设阈值。
可选地,在本公开上述任一装置实施例中,所述划分单元包括:
第二确定子单元,用于确定所述待处理纹理图像的图像分辨率;
划分子单元,用于选取与所述图像分辨率匹配的预设区域对所述待处理纹理图像进行划分,得到所述互不相交多个图像区域。
可选地,在本公开上述任一装置实施例中,所述装置还包括:
传输模块,用于若所述待处理纹理图像的图像类型为纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值至目标设备;否则,若所述待处理纹理图像的图像类型为非纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值至目标设备。
本公开实施例的又一个方面,提供一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的方法。
本公开实施例的再一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现本公开上述任一实施例所述的方法。
基于本公开上述实施例提供的纹理图像处理方法和装置、电子设备和存储介质,首先利用预设方式,获取待处理纹理图像的信息熵,然后基于信息熵,确定待处理纹理图像的图像类型,若待处理纹理图像的图像类型为纯色,获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值用于重建模型渲染。由于纹理图像的信息熵能够反映纹理图像中信号频率的复杂程度,本公开实施例基于纹理图像的信息熵,确定图像的图像类型为纯色时,获取纹理图像的分辨率和纹理图像中部分像素点的像素值用于重建模型渲染,相对于利用纹理图像中全部像素点的像素值进行重建模型渲染,能够去除纹理图像的冗余信息,有助于提高模型渲染速度,尤其是当场景的模型或纹理图像较大时,能够有效避免模型渲染不流畅或崩溃的情况。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开纹理图像处理方法一个实施例的流程图;
图2为本公开纹理图像处理方法另一个实施例的流程图;
图3为本公开纹理图像处理装置一个实施例的结构示意图;
图4为本公开纹理图像处理装置另一个实施例的结构示意图;
图5为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开纹理图像处理方法一个实施例的流程图。如图1所示,该实施例的方法包括:
步骤102,利用预设方式,获取待处理纹理图像的信息熵。
在本公开实施例中,纹理图像可以是针对展示场景拍摄的、用于表示展示场景的表面信息的二维图像,例如灰度图像,或RGB(红绿蓝)图像等,当把纹理图像按照特定的方式映射到展示场景的三维模型的表面上时,能使展示场景的三维模型看上去更加真实。
在本公开实施例中,展示场景可以是任何室内场景、室外场景等,例如,在房产领域,展示场景可以为房间,纹理图像用于表示房间的表面信息。本公开实施例对展示场景的具体范围和类型不做限制。
在本公开实施例中,在利用预设方式,获取待处理纹理图像的信息熵之前,可以确定待处纹理图像是否为灰度图像,若待处理纹理图像为灰度图像,利用预设方式,获取待处理纹理图像的信息熵;若待处理纹理图像为RGB图像,将待处理纹理图像转换为灰度图像,并利用预设方式,获取待处理纹理图像的信息熵。
在本公开实施例中,待处理纹理图像的信息熵可以反映待处理纹理图像中平均信息量的多少,也即待处理纹理图像的信息熵可以反映待处理纹理图像的不确定度。待处理纹理图像的信息熵越大,表示待处理纹理图像中信息量越多,待处理纹理图像的不确定度越高,待处理纹理图像的信息熵越小,表示待处理纹理图像中信息量越少,待处理纹理图像的不确定度越低。
步骤104,基于信息熵,确定该待处理纹理图像的图像类型。
在本公开实施例中,纹理图像的图像类型可以包括纯色和非纯色,纯色纹理图像为视觉上图像中只有一种颜色的纹理图像,非纯色纹理图像为视觉上图像中有两种或以上颜色的纹理图像。相对于纯色纹理图像,非纯色纹理图像中信息量更大,不确定度更高。
在本公开实施例中,可以基于步骤102中获取的待处理纹理图像的信息熵的大小,确定待处理纹理图像的图像类型。若待处理纹理图像的图像类型为纯色,执行步骤106的操作;若待处理纹理图像的图像类型为非纯色,执行步骤108的操作。
步骤106,获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值用于重建模型渲染。
在本公开实施例中,重建模型可以是对展示场景的点云数据进行表面重建得到的,其中的展示场景的点云数据可以是利用3D扫描设备(如激光雷达、立体摄像头等)对展示场景进行扫描得到的点云数据。
在本公开实施例中,对展示场景的点云数据进行表面重建得到重建模型,可以利用预设表面重建方法或预设表面重建工具对展示场景的点云数据进行表面重建得到重建模型。需要说明的是,本公开实施例对预设表面重建方法和预设表面重建工具不做具体限定,例如预设表面重建方法可以是泊松重建、MC(MarchingCube,移动立方体),三角剖分Delaunay,等表面重建方法中的任意一项,预设表面重建工具可以是网格模型处理软件MeshLab、PCL(PointCloudLibrary,点云库)等表面重建工具中的任意一项。
在本公开实施例中,将待处理纹理图像用于重建模型渲染可以包括:根据待处理纹理图像的图像分辨率和预设投影方法,确定重建模型中的各顶点与待处理纹理图像中的各像素的对应关系;针对重建模型中的各顶点,将与顶点对应的待处理纹理图像中的像素的像素值作为该顶点的属性值;在对重建模型进行展示时,将重建模型中的各顶点的属性值进行可视化。需要说明的是,本公开实施例对预设投影方法不做具体限定,例如预设投影方法可以是正交投影、平面投影、圆柱投影、球形投影等投影方法中的任意一项。
作为一个示例,可以设定待处理纹理图像的图像分辨率为256*256,重建模型中的一个顶点为P(-2.3,7.1,88.2),预设投影方法为正交投影,在利用待处理纹理图像对重建模型进行渲染时,先利用正交投影函数将顶点P(-2.3,7.1,88.2)转换为一个二元向量(0.32,0.29),然后使用待处理纹理图像的图像分辨率256*256分别乘以(0.32,0.29)并取整数后,可以得到待处理纹理图像上与顶点P对应的像素点Q的坐标(81,74),进而获取像素点Q的像素值(0.99,0.88,0.77)作为顶点P的属性值,并在对重建模型进行展示时,将重建模型中的各顶点的属性值进行可视化。
在本公开实施例中,纯色纹理图像为视觉上图像中只有一种颜色的纹理图像,也即在纹理图像上的每一个像素点的像素值相同,因而可以通过纯色纹理图像的图像分辨率和纯色纹理图像中一个像素点的像素值来表示纯色纹理图像。
基于此,在将图像类型为纯色的待处理纹理图像用于重建模型渲染时,可以只获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值用于重建模型渲染。其中的部分像素点可以为以下任意一项:左上角像素点、左下角像素点、右上角像素点、右下角像素点、中心像素点等。
步骤108,获取待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值用于重建模型渲染。
在本公开实施例中,非纯色纹理图像为视觉上图像中有两种或以上颜色的纹理图像,相对于纯色纹理图像,非纯色纹理图像中信息量更大,不确定度更高,因而将图像类型为非纯色的待处理纹理图像用于重建模型渲染时,需要获取待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值,以避免纹理图像的信息遗失,保证重建模型渲染的真实度。
基于本公开上述实施例提供的纹理图像处理方法,首先利用预设方式,获取待处理纹理图像的信息熵,然后基于信息熵,确定待处理纹理图像的图像类型,若待处理纹理图像的图像类型为纯色,获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值用于重建模型渲染。由于纹理图像的信息熵能够反映纹理图像中信号频率的复杂程度,本公开实施例基于纹理图像的信息熵,确定图像的图像类型为纯色时,获取纹理图像的分辨率和纹理图像中部分像素点的像素值用于重建模型渲染,相对于利用纹理图像中全部像素点的像素值进行重建模型渲染,能够去除纹理图像的冗余信息,有助于提高模型渲染速度,尤其是当场景的模型或纹理图像较大时,能够有效避免模型渲染不流畅或崩溃的情况。
可选地,在本公开其中一些可能的实现方式中,待处理纹理图像的信息熵可以包括一维信息熵和二维信息熵。相应的,该步骤102中,用于获取待处理纹理图像的信息熵的预设方式可以包括获取纹理图像的一维信息熵和获取纹理图像的二维信息熵。
在本公开实施例中,可以采用下述公式(1),获取纹理图像的一维信息熵:
Figure 738380DEST_PATH_IMAGE001
(1)
其中,
Figure 783696DEST_PATH_IMAGE002
表示纹理图像的一维信息熵,
Figure 710064DEST_PATH_IMAGE003
表示像素的灰度值,
Figure 55595DEST_PATH_IMAGE004
Figure 409216DEST_PATH_IMAGE005
表示纹理图像中灰度值为
Figure 207408DEST_PATH_IMAGE003
的像素所占的比例,
Figure 674817DEST_PATH_IMAGE006
表示底数为2的对数运算。
可以采用下述公式(2),获取纹理图像的二维信息熵:
Figure 874854DEST_PATH_IMAGE007
(2)
其中,
Figure 133797DEST_PATH_IMAGE008
表示纹理图像的二维信息熵,
Figure 419285DEST_PATH_IMAGE003
表示像素的灰度值,
Figure 687455DEST_PATH_IMAGE009
Figure 741999DEST_PATH_IMAGE010
表示邻域的灰度值,
Figure 703001DEST_PATH_IMAGE011
Figure 210206DEST_PATH_IMAGE012
表示纹理图像中像素的灰度值为
Figure 16488DEST_PATH_IMAGE003
且邻域的灰度值为
Figure 191117DEST_PATH_IMAGE010
的像素所占的比例,
Figure 791863DEST_PATH_IMAGE006
表示底数为2的对数运算,其中的邻域的灰度值可以为邻域中多个像素的像素值的平均值。
需要说明是,本公开实施例对获取纹理图像的一维信息熵所采用的公式,以及获取纹理图像二维信息熵所采用的公式不做具体限定。
作为一个示例,待处理纹理图像中每个像素的像素值均为(125,125,125),采用上述公式(1)可以获取到该待处理纹理图像的一维信息熵为0,采用上述公式(2)可以获取到该待处理纹理图像的二维信息熵为0。
可选地,在本公开其中一些可能的实现方式中,上述步骤104中,可以基于信息熵、第一预设阈值和第二预设阈值,确定待处理纹理图像的图像类型。具体地,可以确定信息熵是否小于第一预设阈值,若信息熵不小于第一预设阈值,确定待处理纹理图像的图像类型为非纯色;若信息熵小于第一预设阈值,基于待处理纹理图像的纹理方差和第二预设阈值,确定待处理纹理图像的图像类型。
需要说明的是,在该可能的实现方式中,第一预设阈值和第二预设阈值可以根据实际需要确定,第一预设阈值与第二预设阈值可以相同,也可以不同,本公开实施例对第一预设阈值和第二预设阈值的具体取值不做限制。
基于该可选的实现方式,在待处理纹理图像的信息熵不小于第一预设阈值的情况下,确定待处理纹理图像为非纯色,在待处理纹理图像的信息熵小于第一预设阈值的情况下,并不直接将待处理纹理图像的图像类型确定为纯色,而是进一步基于待处理纹理图像的纹理方差和第二预设阈值,确定待处理纹理图像的图像类型,有助于提高纹理图像的图像类型确定准确度。
在一个可选示例中,第一预设阈值可以为0.85,待处理纹理图像的信息熵可以为0.87,待处理纹理图像的信息熵大于第一预设阈值,因此可以确定待处理纹理图像的图像类型为非纯色。
在另一个可选示例中,第一预设阈值可以为0.85,待处理纹理图像的信息熵可以为0.67,待处理纹理图像的信息熵小于第一预设阈值,这种情况下,并不直接将待处理纹理图像的图像类型确定为纯色,而是进一步基于待处理纹理图像的纹理方差和第二预设阈值,进一步确定待处理纹理图像的图像类型。
基于此,在本公开其中一些可能的实现方式中,上述步骤104中,若信息熵小于第一预设阈值,可以将待处理纹理图像划分为互不相交的多个图像区域;分别计算多个图像区域中每个图像区域的纹理方差;获取多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值;确定差值是否小于第二预设阈值;若差值小于第二预设阈值,确定待处理纹理图像的图像类型为纯色;否则,若差值不小于第二预设阈值,确定待处理纹理图像的图像类型为非纯色。
在该可能的实现方式中,图像区域的纹理方差可以为图像区域的每个像素点的像素值与图像区域的全部像素点的平均像素值之差的平方值的平均数。针对纹理图像的多个图像区域,分别计算多个图像区域中每个图像区域的纹理方差,并获取多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值,所获得的差值的大小反映了纹理图像的多个图像区域之间的纹理差异的大小,纹理图像的多个图像区域之间的纹理差异越小,纹理图像的图像类型为纯色的可能性越高,纹理图像的多个图像区域之间的纹理差异越大,纹理图像的图像类型为非纯色的可能性越高,因而可以根据该差值是否小于第二预设阈值,确定待处理纹理图像的图像类型。
作为一个示例,第二预设阈值可以为0.1,若最大纹理方差与最小纹理方差之间的差值为0.05,可以确定差值小于第二预设阈值,待处理纹理图像的图像类型为纯色,若最大纹理方差与最小纹理方差之间的差值为0.3,可以确定差值不小于第二预设阈值,待处理纹理图像的图像类型为非纯色。
可选地,在本公开其中一些可能的实现方式中,上述步骤104中,确定差值是否小于第二预设阈值可以包括:对差值进行归一化处理,确定归一化处理后的差值是否小于第二预设阈值。
在该可能的实现方式中,可以利用预设区域的面积大小对差值进行归一化处理,进而根据归一化处理后的差值是否小于第二预设阈值,确定待处理纹理图像的图像类型。其中利用预设区域的面积大小对差值进行归一化处理的公式如下:
Figure 51943DEST_PATH_IMAGE013
(3)
其中,
Figure DEST_PATH_IMAGE014
表示差值,
Figure 927495DEST_PATH_IMAGE015
表示最大纹理方差,
Figure 691052DEST_PATH_IMAGE016
表示最小纹理方差,
Figure 993857DEST_PATH_IMAGE017
表示预设区域的面积大小。
基于该可能的实现方式,利用归一化处理后的差值确定待处理纹理图像的图像类型,能够减少预设区域的面积大小对纹理图像的图像类型确定准确度的影响,有助于提高纹理图像的图像类型确定准确度。
可选地,在本公开其中一些可能的实现方式中,上述步骤104中,将待处理纹理图像划分为互不相交的多个图像区域可以包括:确定待处理纹理图像的图像分辨率,选取与图像分辨率匹配的预设区域对待处理纹理图像进行划分,得到互不相交的多个图像区域。
待处理纹理图像的图像分辨率越高,表示待处理纹理图像所包含的像素点的数量越多,因而选取与图像分辨率匹配的预设区域可以包括:针对分辨率高的待处理纹理图像选取面积大的预设区域,针对分别率低的待处理纹理图像选取面积小的预设区域。需要说明的是,预设区域的面积大小和数量可以根据实际需要确定,本公开实施例对预设区域的面积大小和数量不做限制。
基于该可能的实现方式,可以选取与图像分辨率匹配的预设区域对纹理图像进行划分,有助于提高划分纹理图像的灵活性。
图2为本公开纹理图像处理方法另一个实施例的流程图。如图2所示,在图1所示实施例的基础上,通过步骤106获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值之后,还可以包括:
步骤110,将获取到的待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值传输至目标设备用于重建模型渲染。
在本公开实施例中,上述目标设备可以为移动端,也可以为服务端,目标设备接收到纹理图像的相关信息后,可以基于该纹理图像的相关信息进行重建模型的渲染。另外,目标设备接收到纹理图像的相关信息后,也可以存储该纹理图像的相关信息以用于后续其他设备进行重建模型的渲染时,可以直接从目标设备获取该纹理图像的相关信息。需要说明的是,本公开实施例对于目标设备的设备类型和纹理图像的相关信息的用途不做限制。
在本公开实施例中,纯色纹理图像为视觉上图像中只有一种颜色的纹理图像,也即在纹理图像上的每一个像素点的像素值相同,因而可以通过纯色纹理图像的图像分辨率和纯色纹理图像中一个像素点的像素值来表示纯色纹理图像。
基于此,在将图像类型为纯色的待处理纹理图像传输至目标设备时,可以只传输待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值。其中的部分像素点可以为以下任意一项:左上角像素点、左下角像素点、右上角像素点、右下角像素点、中心像素点等。
另外,再参见图2,在图1所示实施例的基础上,通过步骤108获取待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值之后,还可以包括:
步骤112,将获取到的待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值传输至目标设备用于重建模型渲染。
在本公开实施例中,非纯色纹理图像为视觉上图像中有两种或以上颜色的纹理图像,相对于纯色纹理图像,非纯色纹理图像中信息量更大,不确定度更高,因而将图像类型为非纯色的待处理纹理图像传输至目标设备时,需要传输待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值。
本公开实施例中,可以根据待处理纹理图像的图像类型,确定向目标设备传输待处理纹理图像的传输方式,若待处理图像的图像类型为纯色,可以仅传输纹理图像的分辨率和待处理纹理图像中部分像素点的像素值至目标设备,若纹理图像的图像类型为非纯色,可以传输待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值至目标设备,相对于采用统一的传输方式传输不同类型的纹理图像,具有更好的灵活性,并且有助于节省传输资源。
本公开实施例提供的任一种纹理图像处理方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本公开实施例提供的任一种纹理图像处理方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种纹理图像处理方法。下文不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本公开纹理图像处理装置一个实施例的结构示意图。该实施例的纹理图像处理装置可用于实现本公开上述各纹理图像处理方法实施例。如图3所示,该实施例的装置包括:获取模块301,确定模块302和渲染模块303。其中:
获取模块301,用于利用预设方式,获取待处理纹理图像的信息熵。
确定模块302,用于基于信息熵,确定待处理纹理图像的图像类型。
渲染模块303,用于若待处理纹理图像的图像类型为纯色,获取待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染;
若待处理纹理图像的图像类型为非纯色,获取待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值用于重建模型渲染。
可选地,在本公开其中一些可能的实现方式中,确定模块302可以包括:第一确定单元和第二确定单元。其中,
第一确定单元,用于确定信息熵是否小于第一预设阈值。
第二确定单元,用于若信息熵不小于第一预设阈值,确定待处理纹理图像的图像类型为非纯色。
可选地,在本公开其中一些可能的实现方式中,确定模块302还可以包括:划分单元,计算单元,获取单元,第三确定单元和第四确定单元。其中,
划分单元,用于若信息熵小于第一预设阈值,将待处理纹理图像划分为互不相交的多个图像区域。
计算单元,用于分别计算多个图像区域中每个图像区域的纹理方差。
获取单元,用于获取多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值。
第三确定单元,用于确定差值是否小于第二预设阈值。
第四确定单元,用于若差值小于第二预设阈值,确定待处理纹理图像的图像类型为纯色;否则,若差值不小于第二预设阈值,确定待处理纹理图像的图像类型为非纯色。
可选地,在本公开其中一些可能的实现方式中,第三确定单元可以包括:归一化子单元和第一确定子单元。其中,
归一化子单元,用于对差值进行归一化处理。
第一确定子单元,用于确定归一化处理后的差值是否小于第二预设阈值。
可选地,在本公开其中一些可能的实现方式中,所述划分单元包括:第二确定子单元和划分子单元。其中,
第二确定子单元,用于确定待处理纹理图像的图像分辨率。
划分子单元,用于选取与图像分辨率匹配的预设区域对待处理纹理图像进行划分,得到互不相交多个图像区域。
图4为本公开纹理图像处理装置另一个实施例的结构示意图。该另一个实施例的纹理图像处理装置,在图3所示纹理图像处理装置的基础上,还可以包括传输模块304。其中,
传输模块304,用于若待处理纹理图像的图像类型为纯色,传输待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值至目标设备;否则,若待处理纹理图像的图像类型为非纯色,传输待处理纹理图像的分辨率和待处理纹理图像中全部像素点的像素值至目标设备。
基于本公开上述实施例提供的纹理图像处理装置,首先利用预设方式,获取待处理纹理图像的信息熵,然后基于信息熵,确定待处理纹理图像的图像类型,若待处理纹理图像的图像类型为纯色,获取待处理纹理图像的分辨率和待处理纹理图像中部分像素点的像素值用于重建模型渲染。由于纹理图像的信息熵能够反映纹理图像中信号频率的复杂程度,本公开实施例基于纹理图像的信息熵,确定图像的图像类型为纯色时,获取纹理图像的分辨率和纹理图像中部分像素点的像素值用于重建模型渲染,相对于利用纹理图像中全部像素点的像素值进行重建模型渲染,能够去除纹理图像的冗余信息,有助于提高模型渲染速度,尤其是当场景的模型或纹理图像较大时,能够有效避免模型渲染不流畅或崩溃的情况。
另外,本公开实施例还提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的纹理图像处理方法。
图5为本公开电子设备一个应用实施例的结构示意图。下面,参考图5来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
如图5所示,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所述的本公开的各个实施例的纹理图像处理方法以及/或者其他期望的功能。
在一个示例中,电子设备还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的纹理图像处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的纹理图像处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种纹理图像处理方法,其特征在于,包括:
利用预设方式,获取待处理纹理图像的信息熵;
基于所述信息熵,确定所述待处理纹理图像的图像类型;
若所述待处理纹理图像的图像类型为纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染;其中,所述待处纹理图像的图像类型为纯色,包括:所述信息熵小于第一预设阈值,且所述待处理图像划分为的互不相交的多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值小于第二预设阈值;
若所述待处理纹理图像的图像类型为非纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值用于重建模型渲染。
2.根据权利要求1所述的方法,其特征在于,所述基于所述信息熵,确定所述待处理纹理图像的图像类型,包括:
确定所述信息熵是否小于第一预设阈值;
若所述信息熵不小于所述第一预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
3.根据权利要求2所述的方法,其特征在于,所述基于所述信息熵,确定所述待处理纹理图像的图像类型,还包括:
若所述信息熵小于所述第一预设阈值,将所述待处理纹理图像划分为互不相交的多个图像区域;
分别计算所述多个图像区域中每个图像区域的纹理方差;
获取所述多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值;
确定所述差值是否小于第二预设阈值;
若所述差值小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为纯色;
若所述差值不小于所述第二预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
4.根据权利要求3所述的方法,其特征在于,所述确定所述差值是否小于所述第二预设阈值包括:
对所述差值进行归一化处理;
确定所述归一化处理后的差值是否小于所述第二预设阈值。
5.根据权利要求3或4所述的方法,其特征在于,所述将所述待处理纹理图像划分为互不相交的多个图像区域包括:
确定所述待处理纹理图像的图像分辨率;
选取与所述图像分辨率匹配的预设区域对所述待处理纹理图像进行划分,得到所述互不相交多个图像区域。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待处理纹理图像的图像类型为纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值至目标设备;
若所述待处理纹理图像的图像类型为非纯色,传输所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值至目标设备。
7.一种纹理图像处理装置,其特征在于,包括:
获取模块,用于利用预设方式,获取待处理纹理图像的信息熵;
确定模块,用于基于所述信息熵,确定所述待处理纹理图像的图像类型;
渲染模块,用于若所述待处理纹理图像的图像类型为纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中部分像素点的像素值用于重建模型渲染;若所述待处理纹理图像的图像类型为非纯色,获取所述待处理纹理图像的分辨率和所述待处理纹理图像中全部像素点的像素值用于重建模型渲染;其中,所述待处纹理图像的图像类型为纯色,包括:所述信息熵小于第一预设阈值,且所述待处理图像划分为的互不相交的多个图像区域的纹理方差中,最大纹理方差与最小纹理方差之间的差值小于第二预设阈值。
8.根据权利要求7所述的装置,其特征在于,所述确定模块包括:
第一确定单元,用于确定所述信息熵是否小于第一预设阈值;
第二确定单元,用于若所述信息熵不小于所述第一预设阈值,确定所述待处理纹理图像的图像类型为非纯色。
9.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现权利要求1-6任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现权利要求1-6任一所述的方法。
CN202111029105.6A 2021-09-03 2021-09-03 纹理图像处理方法和装置、电子设备和存储介质 Active CN113470155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111029105.6A CN113470155B (zh) 2021-09-03 2021-09-03 纹理图像处理方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111029105.6A CN113470155B (zh) 2021-09-03 2021-09-03 纹理图像处理方法和装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113470155A CN113470155A (zh) 2021-10-01
CN113470155B true CN113470155B (zh) 2021-11-23

Family

ID=77867236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111029105.6A Active CN113470155B (zh) 2021-09-03 2021-09-03 纹理图像处理方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113470155B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517317A (zh) * 2015-01-08 2015-04-15 东华大学 一种车载红外图像三维重建方法
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN109427051A (zh) * 2017-08-28 2019-03-05 北京微美云息软件有限公司 基于自适应非局部均值的全息投影数据噪声估计算法
CN111434115B (zh) * 2017-12-08 2021-09-14 华为技术有限公司 用于对包括像素点的视频图像进行编解码的方法和相关装置
CN110473242B (zh) * 2019-07-09 2022-05-27 平安科技(深圳)有限公司 一种纹理特征提取方法、纹理特征提取装置及终端设备
CN112801882B (zh) * 2019-11-14 2022-11-08 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN110889809B9 (zh) * 2019-11-28 2023-06-23 RealMe重庆移动通信有限公司 图像处理方法及装置、电子设备、存储介质
CN111197976A (zh) * 2019-12-25 2020-05-26 山东唐口煤业有限公司 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN112785674A (zh) * 2021-01-22 2021-05-11 北京百度网讯科技有限公司 纹理贴图的生成方法、渲染方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113470155A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN108038897B (zh) 阴影贴图生成方法及装置
CN101853268B (zh) 图像检索系统及图像检索方法
KR102232724B1 (ko) 복수의 모델들에 근거하는 객체들의 디스플레이
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
EP3594907B1 (en) Method and apparatus for augmenting reality
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
CN111402404B (zh) 全景图补全方法、装置、计算机可读存储介质及电子设备
CN113689508A (zh) 点云标注方法、装置、存储介质及电子设备
US20160035127A1 (en) Three-dimensional image display system, server for three-dimensional image display system, and three-dimensional image display method
CN113470155B (zh) 纹理图像处理方法和装置、电子设备和存储介质
CN113129346A (zh) 深度信息获取方法和装置、电子设备和存储介质
EP4107601A1 (en) Planar deviation based image reprojection
CN113592994B (zh) 用于纹理贴图的方法、装置和存储介质
CN113628286B (zh) 视频色域检测方法、装置、计算设备及计算机存储介质
CN114549303B (zh) 图像显示、处理方法、装置、设备和存储介质
CN114677280A (zh) 生成全景图像的方法、装置、设备和程序产品
CN114329032A (zh) 图像匹配像素检索方法、装置以及存储介质
KR20200010824A (ko) 적응적 삼차원 공간 생성방법 및 그 시스템
CN113888635A (zh) 视觉定位方法、相关装置及计算机程序产品
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112446933A (zh) 金融资产的图像化方法、装置、电子设备及可读存储介质
CN111429568A (zh) 点云处理方法和装置、电子设备和存储介质
US20230009413A1 (en) Analysis apparatus, communication system, non-transitory computer readable medium
CN117635875B (zh) 一种三维重建方法、装置及终端
CN111898395B (zh) 一种数据处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant