CN114782616B - 模型处理方法、装置、存储介质及电子设备 - Google Patents
模型处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114782616B CN114782616B CN202210699848.2A CN202210699848A CN114782616B CN 114782616 B CN114782616 B CN 114782616B CN 202210699848 A CN202210699848 A CN 202210699848A CN 114782616 B CN114782616 B CN 114782616B
- Authority
- CN
- China
- Prior art keywords
- target
- shadow
- dimensional model
- pixels
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开涉及一种模型处理方法、装置、存储介质及电子设备,该模型处理方法通过获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型,能够通过少量的人工介入,达到有效提升阴影检测结果准确性的同时,降低阴影检测所需计算量的效果。
Description
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种模型处理方法、装置、存储介质及电子设备。
背景技术
目前的阴影检测方法大多是基于机器学习,通过构建多层卷积神经网络,在全局和局部进行图像特征提取,进而实现阴影检测。虽然,机器学习模型尤其是神经网络模型能够在很多场景中,表现出令人惊喜的效果,但是不可否认机器学习模型在进行模型训练时,不仅需要大量的训练数据,而且涉及到的计算量也非常庞大,并且,也并不是在所有场景中都能完美胜任,例如针对倾斜摄影这种复杂自然场景图像的阴影检测,由于仅依靠图像信息很难得到精确的阴影边界,因此经常表现出阴影边界识别过程需要的计算量大,识别结果准确性差的问题。
发明内容
本公开的目的是提供一种模型处理方法、装置、存储介质及电子设备。
为了实现上述目的,本公开第一方面提供一种模型处理方法,所述方法包括:
获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;
响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;
根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;
响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型。
可选地,所述方法还包括:
构建所述目标三维模型对应的三角网格拓扑图;
获取所述目标网格拓扑图中近似平面的三角网格连通域;
根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型;
根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型。
可选地,所述区域类型包括亮部区域、暗部区域和明暗混合区域,所述根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型,包括:
统计每个所述三角网格连通域中阴影像素与非阴影像素的目标比例,所述阴影像素为所述目标三维模型中带有阴影标注数据的像素,所述非阴影像素为所述目标三维模型中不带有阴影标注数据的像素;
在所述目标比例大于或者等于第一比例阈值的情况下,确定所述三角网格连通域为所述暗部区域;
在所述目标比例小于或者等于第二比例阈值的情况下,确定所述三角网格连通域为所述亮部区域,所述第一比例阈值大于所述第二比例阈值;
在所述目标比例小于所述第一比例阈值,且大于所述第二比例阈值的情况下,确定所述三角网格连通域为所述明暗混合区域。
可选地,所述根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型,包括:
获取所述亮部区域内的第一颜色直方图和所述暗部区域内的第二颜色直方图;
根据所述第一颜色直方图和所述第二颜色直方图调整所述目标三维模型,以得到初级优化模型;
根据所述初级优化模型确定所述目标优化模型。
可选地,所述根据所述第一颜色直方图和所述第二颜色直方图调整所述目标三维模型,以得到初级优化模型,包括:
根据所述第一颜色直方图调整所述暗部区域中颜色值,以更新所述暗部区域对应的第二颜色直方图;
在确定更新后的第二颜色直方图与所述第一颜色直方图相同的情况下,停止调整所述暗部区域中颜色值,并将所述更新后的第二颜色直方图对应的目标三维模型作为所述初级优化模型。
可选地,所述根据所述初级优化模型确定所述目标优化模型,还包括:
获取明暗混合区域内阴影像素对应像素值的第一均值和第一标准差,以及非阴影像素对应像素值的第二均值和第二标准差;
根据所述第二均值和所述第二标准差调整所述明暗混合区域内所述阴影像素对应的像素值;
在确定所述明暗混合区域内阴影像素对应像素值的第一均值与所述非阴影像素对应像素值的第二均值的差值小于第一预设阈值,和/或,所述明暗混合区域内阴影像素对应像素值的第一标准差与所述非阴影像素对应像素值的第二标准差的差值小于第二预设阈值的情况下,调整所述明暗混合区域内所述阴影像素对应的像素值,根据调整后的所述初级优化模型确定所述目标优化模型。
可选地,所述根据调整后的所述初级优化模型确定所述目标优化模型,包括:
获取所述目标三维模型中所述明暗混合区域内的明暗边界位置;
根据所述明暗边界位置在所述调整后的初级优化模型中构建缓冲区域;
根据所述缓冲区域确定所述目标优化模型。
可选地,所述根据所述缓冲区域确定所述目标优化模型,包括:
对所述调整后的初级优化模型中所述缓冲区域及所述缓冲区域以外的区域进行泊松无缝融合,以得到所述目标优化模型。
可选地,所述根据所述缓冲区域确定所述目标优化模型,包括:
获取所述缓冲区域内每个像素与所述明暗边界位置的目标距离;
获取所述缓冲区域对应的缓冲边界位置,所述缓冲边界位置的第一预设透明度和所述明暗边界位置的第二预设透明度;
获取所述第二预设透明度与所述第一预设透明度的目标差值;
根据目标距离通过逆距离加权插值的方式确定所述缓冲区域内每个像素对应透明度的目标权重;
根据所述目标差值和所述目标权重设置所述缓冲区域内每个像素的透明度,以得到所述目标优化模型。
在本公开的第二方面提供一种模型处理装置,所述装置包括:
第一获取模块,被配置为获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;
第一生成模块,被配置为响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;
第一确定模块,被配置为根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;
第二生成模块,被配置为响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型。
可选地,所述装置还包括:
构建模块,被配置为构建所述目标三维模型对应的三角网格拓扑图;
第二获取模块,被配置为获取所述目标网格拓扑图中近似平面的三角网格连通域;
第二确定模块,被配置为根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型;
第三生成模块,被配置为根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型。
可选地,所述区域类型包括亮部区域、暗部区域和明暗混合区域,所述第二确定模块,被配置为:
统计每个所述三角网格连通域中阴影像素与非阴影像素的目标比例,所述阴影像素为所述目标三维模型中带有阴影标注数据的像素,所述非阴影像素为所述目标三维模型中不带有阴影标注数据的像素;
在所述目标比例大于或者等于第一比例阈值的情况下,确定所述三角网格连通域为所述暗部区域;
在所述目标比例小于或者等于第二比例阈值的情况下,确定所述三角网格连通域为所述亮部区域,所述第一比例阈值大于所述第二比例阈值;
在所述目标比例小于所述第一比例阈值,且大于所述第二比例阈值的情况下,确定所述三角网格连通域为所述明暗混合区域。
可选地,所述第三生成模块,被配置为:
获取所述亮部区域内的第一颜色直方图和所述暗部区域内的第二颜色直方图;
根据所述第一颜色直方图和所述第二颜色直方图调整所述目标三维模型,以得到初级优化模型;
根据所述初级优化模型确定所述目标优化模型。
可选地,所述第三生成模块,被配置为:
根据所述第一颜色直方图调整所述暗部区域中颜色值,以更新所述暗部区域对应的第二颜色直方图;
在确定更新后的第二颜色直方图与所述第一颜色直方图相同的情况下,停止调整所述暗部区域中颜色值,并将所述更新后的第二颜色直方图对应的目标三维模型作为所述初级优化模型。
可选地,所述第三生成模块,被配置为:
获取明暗混合区域内阴影像素对应像素值的第一均值和第一标准差,以及非阴影像素对应像素值的第二均值和第二标准差;
根据所述第二均值和所述第二标准差调整所述明暗混合区域内所述阴影像素对应的像素值;
在确定所述明暗混合区域内阴影像素对应像素值的第一均值与所述非阴影像素对应像素值的第二均值的差值小于第一预设阈值,和/或,所述明暗混合区域内阴影像素对应像素值的第一标准差与所述非阴影像素对应像素值的第二标准差的差值小于第二预设阈值的情况下,调整所述明暗混合区域内所述阴影像素对应的像素值,根据调整后的所述初级优化模型确定所述目标优化模型。
可选地,所述第三生成模块,被配置为:
获取所述目标三维模型中所述明暗混合区域内的明暗边界位置;
根据所述明暗边界位置在所述调整后的初级优化模型中构建缓冲区域;
根据所述缓冲区域确定所述目标优化模型。
可选地,所述第三生成模块,被配置为:
对所述调整后的初级优化模型中所述缓冲区域及所述缓冲区域以外的区域进行泊松无缝融合,以得到所述目标优化模型。
可选地,所述第三生成模块,被配置为:
获取所述缓冲区域内每个像素与所述明暗边界位置的目标距离;
获取所述缓冲区域对应的缓冲边界位置,所述缓冲边界位置的第一预设透明度和所述明暗边界位置的第二预设透明度;
获取所述第二预设透明度与所述第一预设透明度的目标差值;
根据目标距离通过逆距离加权插值的方式确定所述缓冲区域内每个像素对应透明度的目标权重;
根据所述目标差值和所述目标权重设置所述缓冲区域内每个像素的透明度,以得到所述目标优化模型。
在本公开的第三方面提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以上第一方面所述方法的步骤。
在本公开的第四方面提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现以上第一方面所述方法的步骤。
上述技术方案,通过获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型,这样,能够通过少量的人工介入,达到有效提升阴影检测结果准确性的同时,降低阴影检测所需计算量的效果。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开一示例性实施例示出的一种模型处理方法的流程图;
图2是本公开另一示例性实施例示出的一种模型处理方法的流程图;
图3是根据本公开图2所示实施例示出的一种模型处理的流程图;
图4是本公开又一示例性实施例示出的一种模型处理方法的流程图;
图5是本公开一示例性实施例示出的一种模型处理装置的框图;
图6是根据本公开图5所示实施例示出的一种模型处理装置的框图;
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
需要说明的是,本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
在详细介绍本公开的实施方式之前,首先对本公开的应用场景进行以下说明,本公开可以应用于阴影检测场景,通常利用倾斜摄影的纹理图像直接生成的三维模型,由于拍摄角度的问题,都会存在阴影,为了不影响三维模型的展示效果,就需要对该三维模型中的阴影进行去除操作,在阴影去除操作之前需要先准确地找到阴影所在区域,然而目前的阴影检测方法通常存在涉及计算量较大,检测结果准确性较低的问题。
为了解决以上技术问题,本公开提供了一种模型处理方法、装置、存储介质及电子设备,该模型处理方法通过获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型,这样,能够通过少量的人工介入,达到有效提升阴影检测结果准确性的同时,降低阴影检测所需计算量的效果。
下面结果具体实施例对本公开的技术方案进行详细阐述。
图1是本公开一示例性实施例示出的一种模型处理方法的流程图;如图1所示,该方法可以包括:
步骤101,获取目标建筑的待定三维模型,该待定三维模型是根据该目标建筑的多帧纹理图像生成的三维模型。
其中,该多帧纹理图像可以是通过无人机从多个拍摄角度拍摄目标建筑的图像,根据多帧纹理图像生成三维模型的技术在现有技术中较为成熟,本公开对此不作限定。
步骤102,响应于接收用户指定的待定光照方向,根据该待定光照方向生成该待定三维模型对应的深度图。
本步骤中,可以使用该待定光照方向上的平行光源渲染出该待定三维模型在该待定光照方向上的深度图。
需要说明的是,目前的三维图像处理软件中,通常都具有设置光照方向以及设置光照类型的功能,本步骤中,可以在三维图像处理软件中设置该待定光照方向,且在已知该待定光照方向的情况下,渲染出该待定光照方向上的深度图也是目前三维图像处理软件中所具备的功能,该功能在现有技术中应用较多,本公开在此不再赘述。
步骤103,根据该深度图和该纹理图像对应的相机参数,确定并展示该待定三维模型中该待定光照方向对应的待定阴影像素。
本步骤中,在确定该待定三维模型中该待定光照方向对应的待定阴影像素时,可以先根据该纹理图像对应的相机参数确定该纹理图像中每个像素在世界坐标系中的坐标位置,然后根据正射投影方式拍摄深度图时的相机视觉矩阵和投影变换矩阵来计算该坐标位置的投影坐标,根据该投影坐标中的Z轴坐标值和深度图上该像素的深度值,确定该像素的深度差,根据该深度差确定是否为待定阴影像素。
示例地,可以构建该待定三维模型的三角网格拓扑图,得到三角形在纹理图像上对应的纹理三角形,采用重心坐标插值的方式,计算出每个在该纹理三角形的内部像素对应的世界坐标(Xworld,Yworld,Zworld);然后对于三角形网格使用到的纹理像素,根据该纹理像素的世界坐标和使用正射投影方式拍摄深度图时的相机视觉矩阵(MView)和投影变换矩阵(MProjection)通过以下公式1来计算在该相机视矩阵对应的相机姿态下该点(Xworld,Yworld,Zworld)的投影坐标(XProjection,YProjection,ZProjection):
以上公式1中MView表示相机视觉矩阵,该MProjection表示投影变换矩阵,(XProjection,YProjection,ZProjection)表示在该相机姿态下对应的坐标系下纹理三角形对应像素点的坐标,该(Xworld,Yworld,Zworld)表示在世界坐标系下纹理三角形对应像素点的坐标。
在获取到该投影坐标之后,可以根据该投影坐标中的Z轴坐标值和深度图上该像素的深度值,通过以下公式2获取每个像素的深度值(ZCal_Depth):
ZCal_Depth=2.0* ZProjection-1.0 公式2
获取到该纹理三角形中每个像素的深度值(ZCal_Depth)之后,可以读取深度图上该像素的深度值(ZRead_Depth),通过以下公式3,计算深度差(ZDiff_Depth):
可以根据每个像素的深度差ZDiff_Depth确定该像素是否为被遮挡的像素,其中在ZDiff_Depth大于预设深度差阈值(例如为0.02)的情况下,确定该像素被遮挡,属于待定阴影像素,在ZDiff_Depth小于或者等于预设深度差阈值的情况下,确定该像素未被遮挡,不属于待定阴影像素。
另外,通过以上方式确定了每个纹理像素对应的待定阴影像素之后,可以在该待定阴影像素上生成掩膜,以展示该待定阴影像素所在位置。
需要说明的是,在本步骤之后,可以相应于用户触发的更新待定光照方向的目标指令,接收用户重新指定的待定光照方向,以根据用户重新指定的待定光照方向更新该待定阴影像素。
步骤104,响应于接收到用户根据展示的该待定阴影像素输入的阴影确认指令,在该待定三维模型中标注该待定阴影像素,以得到带有阴影标注数据的目标三维模型。
其中,该阴影确认指令可以通过点击预设确认按键触发。
需要说明的是,当展示的该待定阴影像素之后,用户可以肉眼观察该待定阴影像素所在位置是否与待定三维模型中的阴影区域重合,在确定重合时,可以通过点击预设确认按键触发阴影确认指令。若在展示该待定三维模型中该待定光照方向对应的待定阴影像素后的预设时长内,没有接收到该阴影确认指令,则可以输出预设提示信息,该预设提示信息用于提示用户重新指定该待定光照方向,以更新该待定阴影像素。
以上技术方案,能够通过少量的人工介入,保证阴影检测结果准确性的同时,大幅降低阴影检测过程所需的计算量,提升阴影检测效率。
在通过以上步骤101至步骤104所示的方法完成阴影检测之后,可以通过以下图2所示方法进行阴影消除,如图2所示,图2是本公开另一示例性实施例示出的一种模型处理方法的流程图,该模型处理方法还可以包括:
步骤105,构建该目标三维模型对应的三角网格拓扑图。
本步骤中,可以采用现有技术中生成模型对应三角网格网络的实施方式,现有技术中生成一个三维模型对应的三角网格网络的技术比较成熟,本公开对此不作限定。
步骤106,获取该目标网格拓扑图中近似平面的三角网格连通域。
步骤107,根据该目标三维模型中的阴影标注数据确定每个该三角网格连通域所属的区域类型。
其中,该区域类型可以包括亮部区域、暗部区域和明暗混合区域。
本步骤中,可以统计每个该三角网格连通域中阴影像素与非阴影像素的目标比例,该阴影像素为该目标三维模型中带有阴影标注数据的像素,该非阴影像素为该目标三维模型中不带有阴影标注数据的像素;在该目标比例大于或者等于第一比例阈值的情况下,确定该三角网格连通域为该暗部区域;在该目标比例小于或者等于第二比例阈值的情况下,确定该三角网格连通域为该亮部区域,该第一比例阈值大于该第二比例阈值;在该目标比例小于该第一比例阈值,且大于该第二比例阈值的情况下,确定该三角网格连通域为该明暗混合区域。
步骤108,根据该区域类型对该目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型。
本步骤可以通过图3中S1至S3所示的步骤实施,图3是根据本公开图2所示实施例示出的一种模型处理的流程图;如图3所示,该阴影消除过程可以包括:
S1,获取该亮部区域内的第一颜色直方图和该暗部区域内的第二颜色直方图。
其中,该第一颜色直方图和该第二颜色直方图可以是RGB通道直方图,也可以是其他颜色通道直方图。
S2,根据该第一颜色直方图和该第二颜色直方图调整目标三维模型,以得到初级优化模型。
本步骤,可以根据该第一颜色直方图调整该暗部区域中颜色值,以更新该暗部区域对应的第二颜色直方图;在确定更新后的第二颜色直方图与该第一颜色直方图相同的情况下,停止调整该暗部区域中颜色值,并将该更新后的第二颜色直方图对应的目标三维模型作为该初级优化模型。
需要说明的是,在根据该第一颜色直方图调整该暗部区域中颜色值时,可以逐通道进行直方图匹配,即依次调整该暗部区域内红色通道的颜色值,调整该暗部区域内绿色通道的颜色值,以及该暗部区域内蓝色通道的颜色值,以使该第二颜色直方图中每个通道的颜色直方图均与该第一颜色直方图相同,从而达到使暗部区域向亮部区域整体匀光匀色的效果。
S3,根据该初级优化模型确定该目标优化模型。
本步骤,可以获取明暗混合区域内阴影像素对应像素值的第一均值和第一标准差,以及非阴影像素对应像素值的第二均值和第二标准差;根据该第二均值和该第二标准差调整该明暗混合区域内该阴影像素对应的像素值;
在确定该明暗混合区域内阴影像素对应像素值的第一均值与该非阴影像素对应像素值的第二均值的差值小于第一预设阈值,和/或,该明暗混合区域内阴影像素对应像素值的第一标准差与该非阴影像素对应像素值的第二标准差的差值小于第二预设阈值的情况下,调整该明暗混合区域内该阴影像素对应的像素值,根据调整后的该初级优化模型确定该目标优化模型。
另外,在完成颜色值的调整,得到调整后的初级优化模型之后,还可以对该调整后的该初级优化模型进行透明度的调整,以得到该目标优化模型。上述根据调整后的该初级优化模型确定该目标优化模型的实施方式可以包括以下图4中S31至S34所示的步骤,图4是本公开又一示例性实施例示出的一种模型处理方法的流程图,如图4所示:
S31,获取该目标三维模型中该明暗混合区域内的明暗边界位置。
需要说明的是,在通过以上步骤101至步骤104中,得到带有阴影标注数据的目标三维模型之后,能够根据该阴影标注数据很容易地确定出该明暗边界位置,例如,可以通过八邻域搜索算法确定该明暗混合区域内的明暗边界位置,也可以将与非阴影像素相邻的阴影像素确定为明暗边界像素,该明暗边界像素对应的位置坐标即为该明暗边界位置。
S32,根据该明暗边界位置在该调整后的初级优化模型中构建缓冲区域。
示例地,可以将距离该明暗边界位置预设距离(例如距离5个像素)的位置作为该缓冲区域边界,例如,可以将该明暗边界位置向内5个像素,以及向外5个像素的区域作为该缓冲区域。
S33,根据该缓冲区域确定所述目标优化模型。
本步骤中,一种可能的实施方式为:对所述调整后的初级优化模型中所述缓冲区域及所述缓冲区域以外的区域进行泊松无缝融合,以得到所述目标优化模型。
需要说明的是,泊松无缝融合在现有技术中应用较多,本步骤中具体的泊松无缝融合实施过程可以参考现有技术的相关描述,本公开对此不作限定。
另一种可能的实施方式为:获取该缓冲区域内每个像素与该明暗边界位置的目标距离,获取该缓冲区域对应的缓冲边界位置,该缓冲边界位置的第一预设透明度和该明暗边界位置的第二预设透明度;获取该第二预设透明度与该第一预设透明度的目标差值;根据目标距离通过逆距离加权插值的方式确定该缓冲区域内每个像素对应透明度的目标权重;根据该目标差值和该目标权重设置该缓冲区域内每个像素的透明度,以得到所述目标优化模型。
其中,可以将调整后的该初级优化模型中该缓冲区域以外的其他像素的透明度设置为该第一预设透明度,该逆距离加权插值为现有技术中确定权重的常用方式,本公开中通过该逆距离加权插值的方式确定该目标权重,能够保证随着目标距离的增大,使该缓冲区域内像素对应的透明度逐渐减小,从而达到明暗像素颜色过渡平滑的目的。
示例地,可以将该明暗边界位置的不透明度设置为0.8(对应透明度为0.2,即第二预设透明度为0.2),将缓冲边界位置的第一预设透明度设置为0(即缓冲边界位置以及缓冲区域以外的其他像素的不透明度为1),则该第二预设透明度与第一预设透明度的目标差值为0.2,则在缓冲区域内某像素距离该明暗边界位置的距离为4个像素(明暗边界位置与该缓冲边界位置的最大距离为5个像素)时,则该像素对应的目标权重可以是0.2,该像素对应的透明度为0.2×0.2,另一个像素距离该明暗边界位置的距离为2个像素时,该像素对应的目标权重可以是0.6,从而该像素对应的透明度为0.2×0.6。以上数据仅用于示例性说明如何确定缓冲区域内的透明度,并不用于限定具体的保护范围。
以上技术方案,能够通过根据亮部区域的第一颜色直方图调整该暗部区域中颜色值,以使该暗部区域与该亮部区域的直方图一直,通过根据明暗混合区域内非阴影像素对应像素值的第二均值和/或第二标准差,调整该明暗混合区域内阴影像素对应像素值,能够自动有效地消除阴影,同时能够保证去掉阴影的阴影像素与非阴影像素色调一致,从而能够有效提升模型展示效果。
图5是本公开一示例性实施例示出的一种模型处理装置的框图;如图5所示,该模型处理装置可以包括:
第一获取模块501,被配置为获取目标建筑的待定三维模型,该待定三维模型是根据该目标建筑的多帧纹理图像生成的三维模型;
第一生成模块502,被配置为响应于接收用户指定的待定光照方向,根据该待定光照方向生成该待定三维模型对应的深度图;
第一确定模块503,被配置为根据该深度图和该纹理图像对应的相机参数,确定并展示该待定三维模型中该待定光照方向对应的待定阴影像素;
第二生成模块504,被配置为响应于接收到用户根据展示的该待定阴影像素输入的阴影确认指令,在该待定三维模型中标注该待定阴影像素,以得到带有阴影标注数据的目标三维模型。
以上技术方案,能够通过少量的人工介入,保证阴影检测结果准确性的同时,大幅降低阴影检测过程所需的计算量,提升阴影检测效率。
图6是根据本公开图5所示实施例示出的一种模型处理装置的框图;如图6所示,该装置还可以包括:
构建模块505,被配置为构建该目标三维模型对应的三角网格拓扑图;
第二获取模块506,被配置为获取该目标网格拓扑图中近似平面的三角网格连通域;
第二确定模块507,被配置为根据该目标三维模型中的阴影标注数据确定每个该三角网格连通域所属的区域类型;
第三生成模块508,被配置为根据该区域类型对该目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型。
可选地,该区域类型包括亮部区域、暗部区域和明暗混合区域,该第二确定模块507,被配置为:
统计每个该三角网格连通域中阴影像素与非阴影像素的目标比例,该阴影像素为该目标三维模型中带有阴影标注数据的像素,该非阴影像素为该目标三维模型中不带有阴影标注数据的像素;
在该目标比例大于或者等于第一比例阈值的情况下,确定该三角网格连通域为该暗部区域;
在该目标比例小于或者等于第二比例阈值的情况下,确定该三角网格连通域为该亮部区域,该第一比例阈值大于该第二比例阈值;
在该目标比例小于该第一比例阈值,且大于该第二比例阈值的情况下,确定该三角网格连通域为该明暗混合区域。
可选地,该第三生成模块508,被配置为:
获取该亮部区域内的第一颜色直方图和该暗部区域内的第二颜色直方图;
根据该第一颜色直方图和该第二颜色直方图调整该目标三维模型,以得到初级优化模型;
根据该初级优化模型确定该目标优化模型。
可选地,该第三生成模块508,被配置为:
根据该第一颜色直方图调整该暗部区域中颜色值,以更新该暗部区域对应的第二颜色直方图;
在确定更新后的第二颜色直方图与该第一颜色直方图相同的情况下,停止调整该暗部区域中颜色值,并将该更新后的第二颜色直方图对应的目标三维模型作为该初级优化模型。
可选地,该第三生成模块508,被配置为:
获取明暗混合区域内阴影像素对应像素值的第一均值和第一标准差,以及非阴影像素对应像素值的第二均值和第二标准差;
根据该第二均值和该第二标准差调整该明暗混合区域内该阴影像素对应的像素值;
在确定该明暗混合区域内阴影像素对应像素值的第一均值与该非阴影像素对应像素值的第二均值的差值小于第一预设阈值,和/或,该明暗混合区域内阴影像素对应像素值的第一标准差与该非阴影像素对应像素值的第二标准差的差值小于第二预设阈值的情况下,调整该明暗混合区域内该阴影像素对应的像素值,根据调整后的该初级优化模型确定该目标优化模型。
可选地,该第三生成模块508,被配置为:
获取该目标三维模型中该明暗混合区域内的明暗边界位置;
根据该明暗边界位置在该调整后的初级优化模型中构建缓冲区域;
根据该缓冲区域确定所述目标优化模型。
可选地,该第三生成模块508,被配置为:
对所述调整后的初级优化模型中该缓冲区域及该缓冲区域以外的区域进行泊松无缝融合,以得到该目标优化模型。
可选地,该第三生成模块508,被配置为:
获取该缓冲区域内每个像素与该明暗边界位置的目标距离;
获取该缓冲区域对应的缓冲边界位置,该缓冲边界位置的第一预设透明度和该明暗边界位置的第二预设透明度;
获取该第二预设透明度与该第一预设透明度的目标差值;
根据目标距离通过逆距离加权插值的方式确定该缓冲区域内每个像素对应透明度的目标权重;
根据该目标差值和该目标权重设置该缓冲区域内每个像素的透明度,以得到该目标优化模型。
以上技术方案,能够通过根据亮部区域的第一颜色直方图调整该暗部区域中颜色值,以使该暗部区域与该亮部区域的直方图一直,通过根据明暗混合区域内非阴影像素对应像素值的第二均值和/或第二标准差,调整该明暗混合区域内阴影像素对应像素值,能够自动有效地消除阴影,同时能够保证去掉阴影的阴影像素与非阴影像素色调一致,从而能够有效提升模型展示效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备的框图。如图7所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出接口704,以及通信组件705中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的模型处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输出音频信号。输入/输出接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearField Communication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的模型处理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的模型处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的模型处理方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (11)
1.一种模型处理方法,其特征在于,所述方法包括:
获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;
响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;
根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;
响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型;
所述方法还包括:
构建所述目标三维模型对应的三角网格拓扑图;
获取所述三角网格拓扑图中近似平面的三角网格连通域;
根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型;
根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型;
其中,所述根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型,包括:
统计每个所述三角网格连通域中阴影像素与非阴影像素的目标比例,所述阴影像素为所述目标三维模型中带有阴影标注数据的像素,所述非阴影像素为所述目标三维模型中不带有阴影标注数据的像素;
根据所述目标比例确定所述区域类型。
2.根据权利要求1所述的方法,其特征在于,所述区域类型包括亮部区域、暗部区域和明暗混合区域,所述根据所述目标比例确定所述区域类型,包括:
在所述目标比例大于或者等于第一比例阈值的情况下,确定所述三角网格连通域为所述暗部区域;
在所述目标比例小于或者等于第二比例阈值的情况下,确定所述三角网格连通域为所述亮部区域,所述第一比例阈值大于所述第二比例阈值;
在所述目标比例小于所述第一比例阈值,且大于所述第二比例阈值的情况下,确定所述三角网格连通域为所述明暗混合区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型,包括:
获取所述亮部区域内的第一颜色直方图和所述暗部区域内的第二颜色直方图;
根据所述第一颜色直方图和所述第二颜色直方图调整所述目标三维模型,以得到初级优化模型;
根据所述初级优化模型确定所述目标优化模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一颜色直方图和所述第二颜色直方图调整所述目标三维模型,以得到初级优化模型,包括:
根据所述第一颜色直方图调整所述暗部区域中颜色值,以更新所述暗部区域对应的第二颜色直方图;
在确定更新后的第二颜色直方图与所述第一颜色直方图相同的情况下,停止调整所述暗部区域中颜色值,并将所述更新后的第二颜色直方图对应的目标三维模型作为所述初级优化模型。
5.根据权利要求3所述的方法,其特征在于,所述根据所述初级优化模型确定所述目标优化模型,包括:
获取明暗混合区域内阴影像素对应像素值的第一均值和第一标准差,以及非阴影像素对应像素值的第二均值和第二标准差;
根据所述第二均值和所述第二标准差调整所述明暗混合区域内所述阴影像素对应的像素值;
在确定所述明暗混合区域内阴影像素对应像素值的第一均值与所述非阴影像素对应像素值的第二均值的差值小于第一预设阈值,和/或,所述明暗混合区域内阴影像素对应像素值的第一标准差与所述非阴影像素对应像素值的第二标准差的差值小于第二预设阈值的情况下,调整所述明暗混合区域内所述阴影像素对应的像素值,根据调整后的所述初级优化模型确定所述目标优化模型。
6.根据权利要求5所述的方法,其特征在于,所述根据调整后的所述初级优化模型确定所述目标优化模型,包括:
获取所述目标三维模型中所述明暗混合区域内的明暗边界位置;
根据所述明暗边界位置在所述调整后的初级优化模型中构建缓冲区域;
根据所述缓冲区域确定所述目标优化模型。
7.根据权利要求6所述的方法,其特征在于,所述根据所述缓冲区域确定所述目标优化模型,包括:
对所述调整后的初级优化模型中所述缓冲区域及所述缓冲区域以外的区域进行泊松无缝融合,以得到所述目标优化模型。
8.根据权利要求6所述的方法,其特征在于,所述根据所述缓冲区域确定所述目标优化模型,包括:
获取所述缓冲区域内每个像素与所述明暗边界位置的目标距离;
获取所述缓冲区域对应的缓冲边界位置,所述缓冲边界位置的第一预设透明度和所述明暗边界位置的第二预设透明度;
获取所述第二预设透明度与所述第一预设透明度的目标差值;
根据目标距离通过逆距离加权插值的方式确定所述缓冲区域内每个像素对应透明度的目标权重;
根据所述目标差值和所述目标权重设置所述缓冲区域内每个像素的透明度,以得到所述目标优化模型。
9.一种模型处理装置,其特征在于,所述装置包括:
第一获取模块,被配置为获取目标建筑的待定三维模型,所述待定三维模型是根据所述目标建筑的多帧纹理图像生成的三维模型;
第一生成模块,被配置为响应于接收用户指定的待定光照方向,根据所述待定光照方向生成所述待定三维模型对应的深度图;
第一确定模块,被配置为根据所述深度图和所述纹理图像对应的相机参数,确定并展示所述待定三维模型中所述待定光照方向对应的待定阴影像素;
第二生成模块,被配置为响应于接收到用户根据展示的所述待定阴影像素输入的阴影确认指令,在所述待定三维模型中标注所述待定阴影像素,以得到带有阴影标注数据的目标三维模型;
所述装置还包括:
构建模块,被配置为构建所述目标三维模型对应的三角网格拓扑图;
第二获取模块,被配置为获取所述三角网格拓扑图中近似平面的三角网格连通域;
第二确定模块,被配置为根据所述目标三维模型中的阴影标注数据确定每个所述三角网格连通域所属的区域类型;
第三生成模块,被配置为根据所述区域类型对所述目标三维模型进行阴影消除,以得到消除阴影后的目标优化模型;
所述第二确定模块,被配置为统计每个所述三角网格连通域中阴影像素与非阴影像素的目标比例,所述阴影像素为所述目标三维模型中带有阴影标注数据的像素,所述非阴影像素为所述目标三维模型中不带有阴影标注数据的像素;根据所述目标比例确定所述区域类型。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
11.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699848.2A CN114782616B (zh) | 2022-06-20 | 2022-06-20 | 模型处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210699848.2A CN114782616B (zh) | 2022-06-20 | 2022-06-20 | 模型处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114782616A CN114782616A (zh) | 2022-07-22 |
CN114782616B true CN114782616B (zh) | 2022-09-20 |
Family
ID=82421488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210699848.2A Active CN114782616B (zh) | 2022-06-20 | 2022-06-20 | 模型处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114782616B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205586A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100468462C (zh) * | 2007-09-26 | 2009-03-11 | 腾讯科技(深圳)有限公司 | 阴影绘制方法及渲染装置 |
CN103714552B (zh) * | 2012-09-29 | 2016-08-24 | 浙江大华技术股份有限公司 | 运动阴影消除方法及装置和智能视频分析系统 |
US9633467B2 (en) * | 2012-12-26 | 2017-04-25 | Adshir Ltd. | Stencil mapped shadowing system |
JP6440836B2 (ja) * | 2015-06-10 | 2018-12-19 | 株式会社Pfu | 画像処理システム、画像読取装置、領域検出方法及びコンピュータプログラム |
CN110349099B (zh) * | 2019-06-17 | 2021-04-02 | 武汉大学 | 一种复杂场景视频阴影检测与消除方法 |
-
2022
- 2022-06-20 CN CN202210699848.2A patent/CN114782616B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205586A (zh) * | 2021-04-19 | 2021-08-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114782616A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106296621B (zh) | 图像处理方法和装置 | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
CN105303514A (zh) | 图像处理方法和装置 | |
CN113301320B (zh) | 图像信息处理方法、装置和电子设备 | |
CN111105347B (zh) | 一种生成带深度信息的全景图的方法、装置及存储介质 | |
CN101136108A (zh) | 阴影绘制方法及渲染装置 | |
CN112634414B (zh) | 地图显示方法及装置 | |
CN110033507B (zh) | 模型贴图的内描线绘制方法、装置、设备及可读存储介质 | |
WO2021136224A1 (zh) | 图像分割方法以及图像分割装置 | |
CN106682652B (zh) | 基于增强现实的结构表面病害巡检和分析方法 | |
CN112348841B (zh) | 虚拟对象的处理方法、装置、电子设备及存储介质 | |
CN115272604A (zh) | 立体图像获取方法及装置、电子设备、存储介质 | |
JP2015075920A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2022105277A1 (zh) | 投影控制方法、装置、投影光机及可读存储介质 | |
WO2022022260A1 (zh) | 图像风格迁移方法及其装置 | |
CN112308768B (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
CN112149745B (zh) | 确定难例样本的方法、装置、设备及存储介质 | |
CN111597963B (zh) | 用于图像中人脸的补光方法、系统、介质以及电子设备 | |
CN114782616B (zh) | 模型处理方法、装置、存储介质及电子设备 | |
CN114782611B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN114520903B (zh) | 渲染显示方法、装置、电子设备和存储介质 | |
CN114792354B (zh) | 模型处理方法、装置、存储介质及电子设备 | |
CN108734671B (zh) | 三维纹理修饰方法及其系统、自动贴图方法及其系统 | |
CN108280887B (zh) | 一种阴影图确定方法及装置 | |
CN112465692A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: Room Y579, 3rd Floor, Building 3, No. 9 Keyuan Road, Daxing District Economic Development Zone, Beijing 102600 Patentee after: Beijing Feidu Technology Co.,Ltd. Address before: 100162 608, floor 6, building 1, courtyard 15, Xinya street, Daxing District, Beijing Patentee before: Beijing Feidu Technology Co.,Ltd. |