CN114022620B - 一种三维场景重建中散乱纹理的剔除方法和系统 - Google Patents

一种三维场景重建中散乱纹理的剔除方法和系统 Download PDF

Info

Publication number
CN114022620B
CN114022620B CN202210008199.7A CN202210008199A CN114022620B CN 114022620 B CN114022620 B CN 114022620B CN 202210008199 A CN202210008199 A CN 202210008199A CN 114022620 B CN114022620 B CN 114022620B
Authority
CN
China
Prior art keywords
texture
image
information
dimensional scene
scattered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210008199.7A
Other languages
English (en)
Other versions
CN114022620A (zh
Inventor
杨冲
高云龙
闫碎玉
纪双艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202210008199.7A priority Critical patent/CN114022620B/zh
Publication of CN114022620A publication Critical patent/CN114022620A/zh
Application granted granted Critical
Publication of CN114022620B publication Critical patent/CN114022620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及测绘技术领域，具体涉及一种三维场景重建中散乱纹理的剔除方法和系统。该方法包括：基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息。本发明充分利用了深度学习方法的优势，识别影像数据中的目标纹理信息，并标记散乱纹理信息，保证了影像数据中纹理特征信息识别的准确性和高效性。在三维重建的纹理映射过程中，通过引入多个视角的影像信息进行错误纹理特征的综合判定，将错误的纹理特征从三维场景的候选纹理中删除，利用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。实现了散乱纹理的全自动剔除。

Description

一种三维场景重建中散乱纹理的剔除方法和系统
技术领域
本发明涉及测绘技术领域，具体涉及一种三维场景重建中散乱纹理的剔除方法和系统。
背景技术
基于影像的三维场景重建一直以来是摄影测量与计算机视觉中的热门研究话题。利用影像进行三维重建的方法可以直接从影像中获取目标对象的几何结构与纹理信息，所构建出的三维模型具有较高的逼真度。
近些年，随着无人机的广泛使用，基于无人机平台的摄影技术可以为多视图三维重建提供快速获取充足影像数据的条件，从而大大降低了多视图三维重建数据获取成本。因此，基于多视影像的三维场景的重建就变得更加的广泛。
尽管基于多视影像的三维重建方法具有许多的优点，然而该方法在实际的三维建模应用中仍然存在一些问题需要解决。例如，对于场景中树枝这类“细条状”的目标对象来说，由于通过影像密集匹配出来的点云密度和精度不够，导致重建出来的三维模型很容易出现缺失的情况，从而造成在纹理映射过程中由于遮挡检测不准确出现纹理映射错误的问题，例如：三维场景重建结果中“细条状”树枝模型缺失，三维场景重建结果中，导致散乱的树枝纹理映射到了路面和汽车上，这样整个重建出的三维场景看起来就很杂乱，视觉效果不佳。
因此，为了解决以上问题，通常需要人工的方式对重建后的三维场景模型进行纹理修复，但这个修复过程，往往需要花费大量的人力和物力，从而严重影响三维场景模型的重建效率。
发明内容
针对需要人工的方式对重建后的三维场景模型进行纹理修复，导致修复过程费时费力且严重影响三维场景模型的重建效率的问题，本发明实施例的目的在于提供了一种三维场景重建中散乱纹理的剔除方法和系统，针对三维场景重建中诸如散乱树枝纹理等进行全自动剔除，以降低三维场景重建过程中散乱树枝对重建结果质量的影响，减少人工修复模型的工作量。
为实现上述目的，本发明实施例提供了如下的技术方案：
第一方面，在本发明提供的一个实施例中，提供了一种三维场景重建中散乱纹理的剔除方法，包括以下步骤：
基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；
结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息。
在本发明提供的一些实施例中，标记散乱纹理信息的方法为：
获取预先标记好的纹理样本数据；
将获取的纹理样本数据输入深度学习网络框架进行训练；
利用训练好的深度学习模型分别对获取的影像数据的影像块进行目标纹理的识别，得到影像块中散乱纹理的位置框信息；
将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
在本发明提供的一些实施例中，所述深度学习网络框架训练至损失值曲线趋于稳定时，深度学习模型接近收敛，完成深度学习网络框架的训练。
在本发明提供的一些实施例中，所述深度学习网络框架训练时，还包括：
获取三维场景重建所需的影像数据；
将获取的单张影像数据裁切成若干矩形块的影像块；
将裁切的影像块输入训练好的深度学习模型，对输入的影像块分别进行纹理特征的识别。
在本发明提供的一些实施例中，错误的候选散乱纹理信息进行判定的方法，包括以下步骤：
获取重建的三维场景模型，并采用三角网格表征三维场景模型；
获取采集的多个视角的影像集合及对应的位置信息；
将三角网格中的每个三角面根据位置信息的投影矩阵依次投影到影像集合的每张影像上，获取影像上可见的三角面合集；
其中，三角面在影像上的可见性利用投影产生的深度图进行判断，深度图进行判断的方法为：选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合。
在本发明提供的一些实施例中，根据影像集合判断三角面所对应场景的类别信息的方法包括：
根据三角面在对应的可视影像集合中的每张影像上投影位置处所对应的识别信息，统计标记为目标纹理特征的影像张数；
当标记为目标纹理特征的影像张数与影像集合的比值小于设定阈值时，则判定标记的纹理特征的影像为错误的候选纹理；否则三角面所对应的场景是正确的候选纹理。
在本发明提供的一些实施例中，判定错误的候选散乱纹理信息时，还包括对每个三角面的类别进行校正，每个三角面的类别校正方法，包括：
根据三角面在影像中的投影位置，并结合影像中所标记的纹理特征的标记框范围，对属于同一纹理特征区域的三角面进行聚类；
对每个纹理特征区域标记框中聚类所包含的三角面的类别信息进行统计，统计计数最多的作为当前聚类的类别；
校正当前聚类的类别中所对应的三角面的场景类别信息。
在本发明提供的一些实施例中，错误目标纹理的剔除方法，包括：
获取每个三角面对应的一组可视的影像集合；
根据三角面在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合；
基于纹理特征与所在影像的背景颜色差异，剔除候选纹理集合中颜色差异较大的候选纹理；
使用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。
第二方面，在本发明提供的另一个实施例中，提供了一种三维场景重建中散乱纹理的剔除系统，所述三维场景重建中散乱纹理的剔除系统采用前述三维场景重建中散乱纹理的剔除方法对三维场景重建中散乱纹理进行全自动剔除；所述三维场景重建中散乱纹理的剔除系统，包括：
纹理标记模块，用于基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；
错误纹理判定模块，用于结合多视角影像对错误的候选散乱纹理信息进行判定；以及
错误纹理剔除模块，用于将错误的纹理从影像的候选纹理中删除，使用剩余正确的候选纹理进行纹理映射，以得到三维场景重建结果。
在本发明提供的一些实施例中，该剔除系统还包括：
标记框生成模块，用于将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
本发明提供的技术方案，具有如下有益效果：
1、本发明提供的三维场景重建中散乱纹理的剔除方法和系统，充分利用了深度学习方法的优势，识别影像数据中的目标纹理信息，并标记散乱纹理信息，保证了影像数据中纹理特征信息识别的准确性和高效性。
2、本发明提供的三维场景重建中散乱纹理的剔除方法和系统，在三维重建的纹理映射过程中，通过引入多个视角的影像信息进行错误纹理特征的综合判定，并对部分可能存在判断错误的情况进行校正，判断出错误的候选树枝纹理。然后根据判定结果以及每个影像块所属的场景类别，将错误的纹理特征从三维场景的候选纹理中删除，利用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。实现了散乱纹理的全自动剔除，降低了三维场景重建过程中散乱纹理对重建结果质量的影响，减少人工修复模型的工作量。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对示例性实施例或相关技术描述中所需要使用的附图作简单地介绍，附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法的流程图。
图2为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中标记散乱纹理信息的流程图。
图3为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中深度学习网络框架训练的流程图。
图4为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中影像中树枝信息标记结果图。
图5为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中错误树枝纹理判定的流程图。
图6为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中每个三角面的类别校正的流程图。
图7为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中错误树枝纹理剔除的流程图。
图8为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中错误树枝纹理剔除前的结果示意图。
图9为本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法中错误树枝纹理剔除后的结果示意图。
图10为本发明实施例提供的一种三维场景重建中散乱纹理的剔除系统的系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明示例性实施例中的附图，对本发明示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对三维场景重建结果中“细条状”树枝模型缺失，三维场景重建结果中，导致散乱的树枝纹理映射到了路面和汽车上，这样整个重建出的三维场景看起来就很杂乱，视觉效果不佳。而通过人工的方式对重建后的三维场景模型进行纹理修复时，修复过程需要花费大量的人力和物力，从而严重影响三维场景模型的重建效率。
为解决上述问题，本发明实施例提供的一种三维场景重建中散乱纹理的剔除方法和系统，针对三维场景重建中诸如散乱树枝纹理等进行全自动剔除，以降低三维场景重建过程中散乱树枝对重建结果质量的影响，减少人工修复模型的工作量。
以下结合附图并通过具体实施方式来进一步说明本发明的技术方案。
实施例1
图1为本发明提供的一种三维场景重建中散乱纹理的剔除方法的流程图。参阅图1所示，本发明实施例提供了一种三维场景重建中散乱纹理的剔除方法，包括以下步骤：
S1、基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息。
本实施例中，以影像中的树枝纹理信息为例。在对树枝纹理标记时，基于深度学习的方法对影像中的树枝纹理信息进行识别。
其中，参阅图2所示，标记散乱纹理信息的方法为：
S101、获取预先标记好的纹理样本数据；
S102、将获取的纹理样本数据输入深度学习网络框架进行训练；
S103、利用训练好的深度学习模型分别对获取的影像数据的影像块进行目标纹理的识别，得到影像块中散乱纹理的位置框信息；
S104、将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
在本实施例中，在深度学习网络框架进行训练时，深度学习网络框架训练至损失值曲线趋于稳定，此时，深度学习模型接近收敛，则完成深度学习网络框架的训练。
其中，参阅图3所示，所述深度学习网络框架训练时，还包括：
S1021、获取三维场景重建所需的影像数据；
S1022、将获取的单张影像数据裁切成若干矩形块的影像块；
S1023、将裁切的影像块输入训练好的深度学习模型，对输入的影像块分别进行纹理特征的识别。
以树枝纹理的标记为例，在树枝纹理标记时，为了保证影像中树枝纹理信息识别的准确性和高效性。在本实施例中，采用深度学习的方法对影像进行标记，标记的过程采用上述方法。树枝纹理标记的过程为：
首先，利用预先标记好的不同树枝样本数据对深度学习网络框架（例如YOLOv4）进行训练。当训练过程中的损失值曲线趋于稳定时，说明深度学习模型已接近收敛。
然后，根据模型训练时的参数设置将单张影像数据裁切成一定大小的矩形块（例如1024*1024），利用训练好的深度学习模型分别对影像块进行树枝纹理的识别，从而得到影像块中树枝纹理的位置框信息。
最后，将相同影像中的影像块识别结果进行统计，从而可以得到每张影像所对应的树枝纹理信息的标记框(Box)。
在本实施例中，树枝纹理的识别结果如图4所示，图中标记出的矩形框区域就是被识别出的树枝。
S2、结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息。
在本实施例中，以错误树枝纹理的剔除为例。主要包括错误树枝纹理的判定和错误树枝纹理的剔除两个步骤。
错误树枝纹理的判定时，参阅图5所示，错误的候选散乱纹理信息进行判定的方法，包括以下步骤：
S201、获取重建的三维场景模型，并采用三角网格表征三维场景模型；
S202、获取采集的多个视角的影像集合及对应的位置信息；
S203、将三角网格中的每个三角面根据位置信息的投影矩阵依次投影到影像集合的每张影像上，获取影像上可见的三角面合集；
其中，三角面在影像上的可见性利用投影产生的深度图进行判断，深度图进行判断的方法为：选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合。
在三维重建的纹理映射过程中，为了判断出错误的候选树枝纹理，仅仅靠单张影像是无法完成的。因此，错误树枝纹理的判定时，本实施例引入多个视角的影像信息进行综合判定。
假设此时所获取的三维场景模型用三角网格表示为
Figure 253537DEST_PATH_IMAGE001
（
Figure 671880DEST_PATH_IMAGE002
表示第i个三角面），采集的影像集合
Figure 839687DEST_PATH_IMAGE003
（
Figure 458687DEST_PATH_IMAGE004
表示第i张影像）对应的位置信息为
Figure 28340DEST_PATH_IMAGE005
（
Figure 617584DEST_PATH_IMAGE006
表示第i张影像的投影矩阵）。
将三角网格中的每个三角面
Figure 538266DEST_PATH_IMAGE002
根据其投影矩阵
Figure 871159DEST_PATH_IMAGE006
依次投影到每张影像
Figure 357635DEST_PATH_IMAGE004
上，这样就可以获取影像
Figure 321043DEST_PATH_IMAGE004
上可见的三角面集合
Figure 525759DEST_PATH_IMAGE007
。
其中，三角面在影像上的可见性是利用投影产生的深度图进行判断，即选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合
Figure 334446DEST_PATH_IMAGE008
。同理，也可以统计出每个三角面
Figure 941008DEST_PATH_IMAGE002
在哪些影像上可见，即
Figure 75318DEST_PATH_IMAGE009
。下面，就可以根据影像集合
Figure 501751DEST_PATH_IMAGE010
来判断三角面
Figure 442025DEST_PATH_IMAGE002
所对应场景的类别信息。
在本实施例中，根据影像集合判断三角面所对应场景的类别信息的方法包括：
根据三角面在对应的可视影像集合中的每张影像上投影位置处所对应的识别信息，统计标记为目标纹理特征的影像张数；
当标记为目标纹理特征的影像张数与影像集合的比值小于设定阈值时，则判定标记的纹理特征的影像为错误的候选纹理；否则三角面所对应的场景是正确的候选纹理。
在进行判断三角面所对应场景的类别信息时，根据三角面
Figure 840776DEST_PATH_IMAGE002
在其可视影像集合
Figure 942725DEST_PATH_IMAGE010
中的每张影像上投影位置处所对应的识别信息，统计其中标记为树枝的影像张数
Figure 59716DEST_PATH_IMAGE011
，如果
Figure 538102DEST_PATH_IMAGE012
（
Figure 853677DEST_PATH_IMAGE013
与深度学习方法识别树枝的正确率成正相关），则说明三角面
Figure 329789DEST_PATH_IMAGE002
只在部分影像中对应的场景信息是树枝，那么则判定这些影像中的树枝纹理是错误的候选纹理，否则，三角面
Figure 730814DEST_PATH_IMAGE002
所对应的场景是树枝区域，那么则判定这些树枝纹理是正确的候选纹理。
判定错误的候选散乱纹理信息时，参阅图6所示，还包括对每个三角面的类别进行校正，每个三角面的类别校正方法，包括：
S211、根据三角面在影像中的投影位置，并结合影像中所标记的纹理特征的标记框范围，对属于同一纹理特征区域的三角面进行聚类；
S212、对每个纹理特征区域标记框中聚类所包含的三角面的类别信息进行统计，统计计数最多的作为当前聚类的类别；
S213、校正当前聚类的类别中所对应的三角面的场景类别信息。
通过判断三角面所对应场景的类别信息后，可以初步判定每个三角面
Figure 950574DEST_PATH_IMAGE002
所对应的三维场景类别：树枝区域和非树枝区域。
但由于每个三角面都是独立进行的判断，未顾及区域连续性，部分三角面可能存在判断错误的情况，所以这里需要对每个三角面
Figure 386235DEST_PATH_IMAGE002
的类别作进一步的校正。
在本实施例中，对每个三角面
Figure 755950DEST_PATH_IMAGE002
的类别作进一步的校正时,校正过程如下：
首先，根据三角面
Figure 909851DEST_PATH_IMAGE002
在影像中的投影位置并结合影像中所标记的树枝的Box范围，对属于同一树枝区域的三角面进行聚类
Figure 730039DEST_PATH_IMAGE014
；
然后，对每个树枝区域框中
Figure 957889DEST_PATH_IMAGE015
所包含的
Figure 572541DEST_PATH_IMAGE016
个三角面的类别信息进行统计，利用“胜者为王”的原理，计数最多的作为当前
Figure 948159DEST_PATH_IMAGE015
的类别；
最后，校正
Figure 509722DEST_PATH_IMAGE015
中所对应的
Figure 654395DEST_PATH_IMAGE016
个三角面的场景类别信息。
参见图7所示，在步骤2中的错误树枝纹理剔除时，错误目标纹理的剔除方法，包括：
S221、获取每个三角面对应的一组可视的影像集合；
S222、根据三角面在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合；
S223、基于纹理特征与所在影像的背景颜色差异，剔除候选纹理集合中颜色差异较大的候选纹理；
S224、使用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。
在本实施例中，以错误树枝纹理的剔除为例，根据前述错误树枝纹理的判定结果以及每个三角面
Figure 643211DEST_PATH_IMAGE002
所属的场景类别，可以将错误的树枝纹理从三角面
Figure 506125DEST_PATH_IMAGE002
的候选纹理中删除。
但由于利用深度学习进行树枝纹理识别部分可能存在漏识别的情况，这就会导致部分错误的树枝纹理信息仍会出现在重建的三维场景中。为了剔除这些漏识别的错误纹理，本发明实施例本发明采用RANSAC的算法。
在剔除错误树枝纹理时，每个三角面
Figure 605799DEST_PATH_IMAGE002
都会对应一组可视的影像集合
Figure 870558DEST_PATH_IMAGE009
，从而可以根据三角面
Figure 30275DEST_PATH_IMAGE002
在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合，由于树枝的颜色往往与其所在地面的颜色差异较大，所以这里可以剔除候选纹理集合中那些与其它候选纹理颜色差异较大的候选纹理，那么少量漏识别的错误树枝纹理就被去掉了，最后使用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。三维场景模型中错误树枝纹理剔除前的结果参见图8所示，三维场景模型中错误树枝纹理剔除后，所得到的三维场景重建结果参见图9所示。
在本发明的一种三维场景重建中散乱纹理的剔除方法中，充分利用了深度学习方法的优势，识别影像数据中的目标纹理信息，并标记散乱纹理信息，保证了影像数据中纹理特征信息识别的准确性和高效性。
本发明在三维重建的纹理映射过程中，通过引入多个视角的影像信息进行错误纹理特征的综合判定，并对部分可能存在判断错误的情况进行校正，判断出错误的候选树枝纹理。然后根据判定结果以及每个影像块所属的场景类别，将错误的纹理特征从三维场景的候选纹理中删除，利用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。实现了散乱纹理的全自动剔除，降低了三维场景重建过程中散乱纹理对重建结果质量的影响，减少人工修复模型的工作量。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
实施例2
参见图10所示，在本发明提供的优选实施方式中，一种三维场景重建中散乱纹理的剔除系统，包括纹理标记模块100、错误纹理判定模块200、错误纹理剔除模块300以及标记框生成模块400。其中：
所述纹理标记模块100，用于基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息。
在本实施例中，纹理标记模块100是基于深度学习的方法对影像中的树枝等纹理信息进行识别。其中，标记散乱纹理信息时，首先，利用预先标记好的不同树枝样本数据对深度学习网络框架（例如YOLOv4）进行训练。当训练过程中的损失值曲线趋于稳定时，说明深度学习模型已接近收敛；然后，根据模型训练时的参数设置将单张影像数据裁切成一定大小的矩形块（例如1024*1024），利用训练好的深度学习模型分别对影像块进行树枝纹理的识别，从而得到影像块中树枝纹理的位置框信息；最后，将相同影像中的影像块识别结果进行统计，从而可以得到每张影像所对应的树枝纹理信息的标记框(Box)。
所述错误纹理判定模块200，用于结合多视角影像对错误的候选散乱纹理信息进行判定。
在本实施例中，采用错误纹理判定模块200进行错误的候选散乱纹理信息进行判定时，获取重建的三维场景模型，并采用三角网格表征三维场景模型以及采集的多个视角的影像集合及对应的位置信息，将三角网格中的每个三角面根据位置信息的投影矩阵依次投影到影像集合的每张影像上，获取影像上可见的三角面合集。
其中，三角面在影像上的可见性利用投影产生的深度图进行判断，深度图进行判断的方法为：选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合。
在进行错误纹理判定时，获取的三维场景模型用三角网格表示为
Figure 114906DEST_PATH_IMAGE001
，其中，
Figure 18271DEST_PATH_IMAGE002
表示第i个三角面；采集的影像集合
Figure 137536DEST_PATH_IMAGE003
，其中，
Figure 468155DEST_PATH_IMAGE004
表示第i张影像；对应的位置信息为
Figure 305661DEST_PATH_IMAGE005
，其中，
Figure 747138DEST_PATH_IMAGE006
表示第i张影像的投影矩阵。
将三角网格中的每个三角面
Figure 720910DEST_PATH_IMAGE002
根据其投影矩阵
Figure 284746DEST_PATH_IMAGE006
依次投影到每张影像
Figure 281652DEST_PATH_IMAGE004
上，这样就可以获取影像
Figure 589137DEST_PATH_IMAGE004
上可见的三角面集合
Figure 632397DEST_PATH_IMAGE007
。
三角面在影像上的可见性是利用投影产生的深度图进行判断，即选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合
Figure 367134DEST_PATH_IMAGE008
。同理，也可以统计出每个三角面
Figure 851337DEST_PATH_IMAGE002
在哪些影像上可见，即
Figure 634616DEST_PATH_IMAGE009
。下面，就可以根据影像集合
Figure 582980DEST_PATH_IMAGE010
来判断三角面
Figure 488619DEST_PATH_IMAGE002
所对应场景的类别信息。
错误纹理剔除模块300，用于将错误的纹理从影像的候选纹理中删除，使用剩余正确的候选纹理进行纹理映射，以得到三维场景重建结果。
在本实施例中，错误纹理剔除模块300对每个三角面
Figure 460118DEST_PATH_IMAGE002
的类别作进一步的校正时，首先，根据三角面
Figure 109405DEST_PATH_IMAGE002
在影像中的投影位置并结合影像中所标记的树枝的Box范围，对属于同一树枝区域的三角面进行聚类
Figure 115538DEST_PATH_IMAGE014
；然后，对每个树枝区域框中
Figure 192078DEST_PATH_IMAGE015
所包含的
Figure 385294DEST_PATH_IMAGE016
个三角面的类别信息进行统计，利用“胜者为王”的原理，计数最多的作为当前
Figure 838272DEST_PATH_IMAGE015
的类别；最后，校正
Figure 698911DEST_PATH_IMAGE015
中所对应的
Figure 946353DEST_PATH_IMAGE016
个三角面的场景类别信息。
在本实施例中，该剔除系统还包括标记框生成模块400，用于将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
在将相同影像中的影像块识别结果进行统计，从而可以得到每张影像所对应的树枝纹理信息的标记框(Box)。
在本实施例中，三维场景重建中散乱纹理的剔除系统执行时采用如前述实施例的一种三维场景重建中散乱纹理的剔除方法的步骤。因此，本实施例中对三维场景重建中散乱纹理的剔除系统的运行过程不再详细介绍。
综上所述，本发明提供的技术方案具有以下优点：
1、本发明提供的三维场景重建中散乱纹理的剔除方法和系统，充分利用了深度学习方法的优势，识别影像数据中的目标纹理信息，并标记散乱纹理信息，保证了影像数据中纹理特征信息识别的准确性和高效性。
2、本发明提供的三维场景重建中散乱纹理的剔除方法和系统，在三维重建的纹理映射过程中，通过引入多个视角的影像信息进行错误纹理特征的综合判定，并对部分可能存在判断错误的情况进行校正，判断出错误的候选树枝纹理。然后根据判定结果以及每个影像块所属的场景类别，将错误的纹理特征从三维场景的候选纹理中删除，利用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。实现了散乱纹理的全自动剔除，降低了三维场景重建过程中散乱纹理对重建结果质量的影响，减少人工修复模型的工作量。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种三维场景重建中散乱纹理的剔除方法，其特征在于，包括：
基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；
结合多视角影像对错误的候选散乱纹理信息进行判定与删除，剔除错误纹理信息;
其中，错误的候选散乱纹理信息进行判定的方法，包括以下步骤：
获取重建的三维场景模型，并采用三角网格表征三维场景模型；
获取采集的多个视角的影像集合及对应的位置信息；
将三角网格中的每个三角面根据位置信息的投影矩阵依次投影到影像集合的每张影像上，获取影像上可见的三角面合集；
其中，三角面在影像上的可见性利用投影产生的深度图进行判断，深度图进行判断的方法为：选取深度图中每个像素上存储的最小深度值所对应的三角面组成集合；
根据影像集合判断三角面所对应场景的类别信息的方法包括：
根据三角面在对应的可视影像集合中的每张影像上投影位置处所对应的识别信息，统计标记为目标纹理特征的影像张数；
当标记为目标纹理特征的影像张数与影像集合的比值小于设定阈值时，则判定标记的纹理特征的影像为错误的候选纹理；否则三角面所对应的场景是正确的候选纹理；
判定错误的候选散乱纹理信息时，还包括对每个三角面的类别进行校正，每个三角面的类别校正方法，包括：
根据三角面在影像中的投影位置，并结合影像中所标记的纹理特征的标记框范围，对属于同一纹理特征区域的三角面进行聚类；
对每个纹理特征区域标记框中聚类所包含的三角面的类别信息进行统计，统计计数最多的作为当前聚类的类别；
校正当前聚类的类别中所对应的三角面的场景类别信息；
错误目标纹理的剔除方法，包括：
获取每个三角面对应的一组可视的影像集合；
根据三角面在影像集合中的投影位置处的颜色得到一组候选的纹理信息集合；
基于纹理特征与所在影像的背景颜色差异，剔除候选纹理集合中颜色差异较大的候选纹理；
使用剩余正确的候选纹理进行纹理映射，得到三维场景重建结果。
2.如权利要求1所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述标记散乱纹理信息的方法，包括以下步骤：
获取预先标记好的纹理样本数据；
将获取的纹理样本数据输入深度学习网络框架进行训练；
利用训练好的深度学习模型分别对获取的影像数据的影像块进行目标纹理的识别，得到影像块中散乱纹理的位置框信息；
将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
3.如权利要求2所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述深度学习网络框架训练至损失值曲线趋于稳定时，深度学习模型接近收敛，完成深度学习网络框架的训练。
4.如权利要求3所述的三维场景重建中散乱纹理的剔除方法，其特征在于，所述深度学习网络框架训练时，还包括：
获取三维场景重建所需的影像数据；
将获取的单张影像数据裁切成若干矩形块的影像块；
将裁切的影像块输入训练好的深度学习模型，对输入的影像块分别进行纹理特征的识别。
5.一种三维场景重建中散乱纹理的剔除系统，其特征在于，所述三维场景重建中散乱纹理的剔除系统采用权利要求1-4中任意一项所述三维场景重建中散乱纹理的剔除方法对三维场景重建中散乱纹理进行全自动剔除；所述三维场景重建中散乱纹理的剔除系统，包括：
纹理标记模块，用于基于深度学习的方法对影像中的目标纹理信息进行识别，标记散乱纹理信息；
错误纹理判定模块，用于结合多视角影像对错误的候选散乱纹理信息进行判定；以及
错误纹理剔除模块，用于将错误的纹理从影像的候选纹理中删除，使用剩余正确的候选纹理进行纹理映射，以得到三维场景重建结果。
6.如权利要求5所述的三维场景重建中散乱纹理的剔除系统，其特征在于，还包括：
标记框生成模块，用于将相同影像中的影像块识别结果进行统计，得到每张影像所对应的散乱纹理信息的标记框。
CN202210008199.7A 2022-01-06 2022-01-06 一种三维场景重建中散乱纹理的剔除方法和系统 Active CN114022620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210008199.7A CN114022620B (zh) 2022-01-06 2022-01-06 一种三维场景重建中散乱纹理的剔除方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210008199.7A CN114022620B (zh) 2022-01-06 2022-01-06 一种三维场景重建中散乱纹理的剔除方法和系统

Publications (2)

Publication Number Publication Date
CN114022620A CN114022620A (zh) 2022-02-08
CN114022620B true CN114022620B (zh) 2022-03-29

Family

ID=80069898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210008199.7A Active CN114022620B (zh) 2022-01-06 2022-01-06 一种三维场景重建中散乱纹理的剔除方法和系统

Country Status (1)

Country Link
CN (1) CN114022620B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115564661B (zh) * 2022-07-18 2023-10-10 武汉大势智慧科技有限公司 建筑物玻璃区域立面自动修复方法及系统
CN117272758B (zh) * 2023-11-20 2024-03-15 埃洛克航空科技（北京）有限公司 基于三角格网的深度估计方法、装置、计算机设备和介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844064B (zh) * 2016-05-23 2019-03-01 厦门亿力吉奥信息科技有限公司 基于激光点云数据的三维变电站半自动重建方法
US10282898B1 (en) * 2017-02-23 2019-05-07 Ihar Kuntsevich Three-dimensional scene reconstruction
CN107067429A (zh) * 2017-03-17 2017-08-18 徐迪 基于深度学习的人脸三维重建和人脸替换的视频编辑系统及方法
CN111476890B (zh) * 2020-04-28 2023-04-11 武汉大势智慧科技有限公司 一种基于影像的三维场景重建中移动车辆的修复方法

Also Published As

Publication number Publication date
CN114022620A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN114022620B (zh) 一种三维场景重建中散乱纹理的剔除方法和系统
CN108492281B (zh) 一种基于生成式对抗网络的桥梁裂缝图像障碍物检测与去除的方法
CN109658412B (zh) 一种面向拆垛分拣的包装箱快速识别分割方法
EP3341753B1 (en) Method for identifying individual trees in airborne lidar data and corresponding computer program product
CN114419028A (zh) 融合空间多视角的输电线路绝缘子缺陷去重方法及装置
JP6936961B2 (ja) 情報提供装置、端末、本人確認システム、情報提供方法及びプログラム
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN111310835A (zh) 目标对象的检测方法及装置
CN111476890B (zh) 一种基于影像的三维场景重建中移动车辆的修复方法
CN111696059B (zh) 一种车道线光滑连接处理方法和装置
CN111127376A (zh) 一种数字视频文件修复方法及装置
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN111178445A (zh) 图像处理方法及装置
CN112950565A (zh) 一种数据中心漏水检测与定位的方法、设备和数据中心
CN115880683B (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN115311885B (zh) 一种评测方法、系统、电子设备及存储介质
CN115619796A (zh) 获取光伏组件模板的方法及装置、非易失性存储介质
CN115660939B (zh) 光学遥感数据批量处理的方法、系统、设备及存储介质
CN117455936B (zh) 点云数据处理方法、装置及电子设备
CN110827243A (zh) 网格梁覆盖区域异常检测方法和装置
CN108596936A (zh) 一种基于多层级slic的图像超像素分割方法
CN117036636B (zh) 一种基于纹理替换的实景建筑物三维模型纹理重构方法
CN116912429B (zh) 高清晰度视景ig材质三维重建方法与系统
CN117152753B (zh) 图像标注方法、计算机设备和存储介质
CN113536860B (zh) 关键帧提取方法、道路交通设备和设施的矢量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant