CN113160392A - 基于深度神经网络的光学建筑目标三维重建方法 - Google Patents
基于深度神经网络的光学建筑目标三维重建方法 Download PDFInfo
- Publication number
- CN113160392A CN113160392A CN202110526719.9A CN202110526719A CN113160392A CN 113160392 A CN113160392 A CN 113160392A CN 202110526719 A CN202110526719 A CN 202110526719A CN 113160392 A CN113160392 A CN 113160392A
- Authority
- CN
- China
- Prior art keywords
- image
- optical
- count
- dimensional
- entropy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003287 optical effect Effects 0.000 title claims abstract description 66
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 71
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 claims 1
- 238000011161 development Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 14
- 238000003709 image segmentation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 229910052582 BN Inorganic materials 0.000 description 5
- PZNSFCLAULLKQX-UHFFFAOYSA-N Boron nitride Chemical compound N#B PZNSFCLAULLKQX-UHFFFAOYSA-N 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度神经网络的光学建筑目标三维重建方法，通过标注构建光学图像建筑数据集，同时构建深度神经网络用来提取光学建筑物；对输入图像通过预处理，增强光学图像的品质，利用基于OTSU准则及图像熵的局部递归方法对处理后的光学图像分割，通过对其数据集的训练，使深度神经网络具备了较好的提取能力；通过SENSOR仿真软件快速模拟光学目标光‑目标三维点云建立数据集的方法，利用3D‑R2N2网络对得到的光学目标图像三维数据进行一个集中的学习，使二维图像映射到三维模型，从而以端到端的方式获取对象的实例，取得光学图像的三维重建结果，为建筑领域的发展提供了很好的价值。
Description
技术领域
本发明涉及三维重建技术领域，特别是一种基于深度神经网络的光学建筑目标三维重建方法。
背景技术
随着现代科技的发展，建筑三维重建技术在当今社会越来越受关注，人们利用计算机将二维图像转换成三维数据，三维数据是指生成后的三维图像以数字模型的形式储存在计算机的图像，然而传统建筑已经满足不了人们的需求，并且三维建筑在城市规划、智能建筑、灾害监测、数字化城市等邻域或场景中产生的作用越来越大。至今国内外主要对基于建筑的三维结构重建图像技术应用方面中建筑图像的三维特征信号检测、特征信号匹配、摄像机特征标定几个部分问题展开了深入研究，还开发产生了许多基于建筑图像三维结构重建的应用软件。例如国内的cvcvsuite，一个足够能直接利用立体场景视觉技术进行三维场景重建，能够绘制和输出三维模型和真实场景交互建模系统。国外利用参数和几何体模型相结合来表示一个初始模型(Paul E.Debevec)、颜色不发生改变且顺序显而易见的规则重建场景模型及三维重建系统PhotoBuilder等研究成果。
现如今基于SAR图像建筑三维技术已经存在，但在用SAR技术处理流程中，影像匹配对最终结果的精度的影响较大，不仅要确保控制点均匀分布在影像区域中，还要让点尽量在地势较平坦的区域，避免地形特征造成影响。目前，基于光学图像的三维结构重建建筑技术在国内外也已经有大量的相关研究成果，有基于光学图像的三维建筑重建技术理论与应用技术的相关专业书籍已经出刊，且这些研究成果表明光学图像技术能够较好地适用于现代建筑三维重建。相较而言，光学图像的效率较SAR图像的效率要高，随着人们生活节奏的加快，光学图像更适用于如今的建筑领域的。
三维信息重建模型是泛指对用户输入连接到虚拟计算机网络中的文字图片信息进行三维处理、操作、分析的一种数学三维模型，也是通过虚拟计算机三维表达自然客观现实世界的一种虚拟主义现实的重要基础技术。三维建筑重建在现代城市规划、智能建筑、医学、施工工程管理等应用场景中广泛发挥这重要的技术作用，也是当前建筑工程领域的一个重要学术研究发展方向。
发明内容
本发明所要解决的技术问题是提供一种基于深度神经网络的光学建筑目标三维重建方法，通过深度神经网络在光学建筑物图像三维重建结构中的应用，利用SENSOR仿真软件对建筑模仿真及点云生成方法，以及基于OTSU准则的图像熵的局部递归方法进行图像分割，利用3D-R2N2网络对光学建筑目标三维重建，得出理想的建筑物三维重建结果，为建筑领域的发展提供了很好的价值。
为解决上述技术问题，本发明采用的技术方案是：
一种基于深度神经网络的光学建筑目标三维重建方法，包括以下步骤：
步骤一：通过标注构建光学图像建筑数据集，同时构建深度神经网络用于提取光学建筑物；
步骤二：对输入光学图像进行预处理，消除输入光学图像信息中的无用信息，并及时恢复输入光学图像中真实有用的图像信息；
步骤三：利用基于OTSU准则及图像熵的局部递归方法对处理后的光学图像进行分割，通过对光学图像建筑数据集的训练，提升深度神经网络的提取能力；
其中，局部递归分割的终止条件确定方法如下：
1)计算整个图像的灰度均值IM和熵IE，令M0＝IM，E0＝IE；
2)使用OTSU计算整个图像的首次分割门限t；
3)当图像的目标灰度大于背景灰度，分割算法向上递归；根据首次分割门限t计算图像中大于首次分割门限t的像素的灰度均值和熵，赋值SM＝图像中大于首次分割门限t的像素的灰度均值，SE＝图像中大于首次分割门限t的像素的熵；
若(SM-IM)/M0>20％且(IE-SE)/E0>10％，则继续递归，否则结束；
步骤四：通过SENSOR仿真软件快速模拟光学目标光-目标三维点云建立数据集的方法，再利用仿真得到的数据对网络进行训练；
步骤五：利用3D-R2N2网络对得到的光学目标图像三维数据进行集中的学习，使二维图像映射到三维模型，从而以端到端的方式获取对象的实例，取得光学图像的三维重建结果。
进一步地，在步骤二中，对输入光学图像进行预处理包括灰度化、几何变换、去噪和增强图像。
进一步地，采用全物理噪声谐波变换部分图像进行去噪。
进一步地，采用直方灰度图均衡拉伸方法对图像进行增强，即采用直方灰度图均衡拉伸法，将一个输入的直方图像通过灰度化从某个集中的所有灰度区域空间分布延伸到整个所有灰度区域空间中的范围中，实现对输入图像的非均匀延长拉伸，然后重新分配输入图像中的像素；
上述函数中，k表示给定图像中灰度的物体像素数所标注的整数值，n为图像像素数的总数，p(k)表示频率；
再计算直方图累计的各项：
其中，Pk表示变量i在[0，L-1]所得的频率之和；
再对其进行取整扩展：Pk＝int[(L-1)Pk+0.5]，Pk表示频率之和；
最后映射对应关系：k→Pk，k表示给定图像中灰度的物体像素数所标注的整数值。
进一步地，在步骤三中，利用基于OTSU准则及图像熵的局部递归方法对处理后的光学图像进行分割，具体如下：
1)设原始图像f，f(x,y)为图像像素点(x,y)灰度值；count1＝1记t＝Otsu(f)为用Otsu算法对f分割，得到首次分割门限t，计算原始图像f的灰度均值和熵，使得M0＝IM，E0＝IE；
2)将图像中大于门限t1的像素保留，count2＝2，记Scount＝{(x,y)|f(x,y)>t1}，计算Scount的灰度均值和熵，使得SM＝Scount的灰度均值，SE＝Scount的熵；
3)判断中止条件：如果(SM-IM)/M0>20％且(IE-SE)/E0>10％，然后计算新的递归门限th，th＝Otsu(Scount)，countN＝countN-1+1，N表示次数；
记Scount＝{(x,y)∣f(x,y)＞th∩Scount-1}，IM＝SM，IE＝SE；计算Scount的灰度均值和熵，得SM＝Scount的灰度均值，SE＝Scount的熵；若满足以上条件，重复步骤3)，否则进行下一步；
4)分割结果：
f(x,y)为像素点的灰度值，fseg(x,y)表示图像的分割结果。
与现有技术相比，本发明的有益效果是：对输入的图像进行预处理，保证图像的品质，有利于图像分割，再引入OTSU准则及图像熵的局部递归分割方法实现对处理过后的图像分割，基于SENSOR仿真获得光学图像及对应的三维点云对数据集的训练，利用深度神经网络和3D-R2N2结合实现三维建模，更加有利于提高建模的准确性。
附图说明
图1是本发明方法三维重建整体流程示意图。
图2是本发明中局部递归分割方法原理图。
图3是本发明中遥感成像(左)和仿真(右)对比图。
图4是本发明中3D-R2N2网络结构图。
图5是本发明中空洞卷积示意图。
图6是本发明中标准卷积示意图。
图7是本发明中采用OTSU分割图像示意图。
图8是本发明中迭代式分割图像示意图。
图9是利用上述方法对几组红外目标的灰度图像进行了分割，并且与OTSU单门限分割结果进行了对比图，其中c为长波红外焦平面探测器录取的民航机的图像，a、b为用SGI工作站和SENSOR仿真软件仿真的某空间目标的红外图像。
图10是本发明中建模图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的说明。
一、基于OSTU准则及图像熵的局部递归的光学图像建筑物分割
1、光学图像预处理
图像处理效果的好坏往往对图像的准确分割率和效果与否产生直接性的影响。图像分割预处理通常需要在一个图像开始分割前进行完成。图像信息预处理技术是广泛指对用户输入有关图像的每个重要部分信息进行图像识别，消除输入图像信息中的无用信息，并及时恢复输入图像中真实有用的图像信息，增强输入有关图像信息的准确性、可靠性和检测性，同时可以使图像数据分割达到最优简便化，从而提高图像分割的准确可靠性。图像预处理包含灰度化、几何变换、去噪、增强等。
1)、灰度化
灰度通俗说就是没有色彩，另外灰度处理图像也能通过反应显示出灰度图像的不同色度和亮度不同等级的变化分布和灰度特征。将计算输入一个图像的彩色的三分量高度上的R、G、B(三原色)分别以不同的次加权值方式进行二次加权计算平均值，得到更为理想的灰度结构图像。
Gray(x,y)＝(R(x,y)+G(x,y)+B(x,y))/3 (1)
其中，(x,y)表示像素点的位置。
2)、去噪
去噪是指消除图像中随机噪声的技术，保持图像的平滑。本发明主要利用全物理噪声谐波变换部分(TV)图像去噪，其原理是用物理噪声自然谐波解释噪声图像内在的物理噪声自然正则性，易于从真实自然噪声图和自然谐波图像的内在物理噪声解反中准确性地反映真实自然噪声图像的真实性和噪声自然特性。
fo(x,y)＝f(x,y)+s(x,y) (2)
其中，f为原始的清晰模拟噪声高频图像，fo为被高频噪声污染的清晰噪声图像，s为具有零均值特性，(x，y)表示像素点的位置。通常无噪声图像的全变分明显小于有噪声图像，为了消除噪声采用的是最小话全变分(TV)，因此图像降噪使用的全变分方法可归于以下最小化问题：
满足约束条件：
∫Ωfdxdy＝∫Ωf0dxdy (4)
其中，σ2表示噪声的方差，δ表示目标区域的定义域，像素点(x,y)∈δ。上式为系统数据保真项，它主要能够起到于保留原有的图像失真特性和大幅降低系统图像噪声失真度的重要作用；其中推导出的方程为:
该方程为参数正则值变化项，参数为λ为正规整数的参数，对图像平衡噪声去噪与平滑噪声起重要影响作用，它主要依赖于平衡噪声失真水平。从该方程可以看出，扩散系数为在图像边缘处，
较大，扩散系数较小，因此沿边缘方向的扩散较弱，从而保留了边缘；在平滑区域，
较小，扩散系数较大，因此在图像平滑区域的扩散能力较强，从而去除了噪声。
3)、图像增强
增强图像响应过程中的有用特征信息，它其实就是一个图像失真的处理过程，可以有效的改善图像的视觉效果，让目标图像与视觉效果图像响应过程中的有用特征信息更加相匹配。针对某些给定特殊图像，有目的地强调特殊图像的某一整体或某个局部象征特性，将原来模糊的特殊图像特征变得清晰或强调某些特殊的图象特征，使特殊图像中不同象征物体图像特征之间的特性差别明显扩大，去除图象中不敏感的特性，从而改善图像的品质，增强目标图像特性，有利于对特征图像的特性识别与图像分析。
直方灰度图均衡拉伸方法主要是将一个输入的直方图像通过灰度化，从特定的一个比较集中的所有灰度区域空间分布延伸到整个所有灰度区域空间中的范围中，实现对输入图像的非均匀延长拉伸，然后重新分配输入图像中的像素。
该函数中，k表示给定图像中灰度的物体像素数所标注的整数值，n为图像像素数的总数，p(k)表示频率。
然后计算直方图累计的各项：
其中，ni为对应灰度数量级i的像素数，Pk表示灰度数量级i在[0，L-1]所得的频率之和；
再对Pk进行取整扩展：Pk＝int[(L-1)Pk+0.5] (9)Pk表示频率之和。
最后映射对应关系：k→Pk，k表示给定图像中灰度的物体像素数所标注的整数值。
2、OTSU算法
OTSU算法又称为灰度级方差法，它的主要思想是把得到的目标特征聚类，根据目标图像的灰度级可以把灰度数分为两大板块，将这两大板块的不同灰度值通过训练达到最大，又使每个不同小板块之间的不同灰度值经过学习达到最小，然后将得到的灰度值通过方差的计算，可以得到合适的灰度级。在建筑物领域图像分割中，OTSU是最适合的一种图像分割自动确定阈值算法，此算法简单、快速、容易计算，不受环境的影响，是一种常用的阈值图像分割方法。OTSU概率算法为：
该算法中，n表示一个图像中的像素数，灰度范围为[0，L-1]，ni为对应灰度数量级i的像素数，pi表示概率。
根据每个灰度级的平均值和每个像素矢量阈值的平均值作为T值的函数，把图像中的每个像素按灰度值用阈值T分成C0和C1两类，C0由灰度值在[0，T]之间的像素组成，C1由灰度值在[T+1，L-1]之间的像素组成，对于灰度分布概率，整幅图像的均值为：
其中，uT表示整幅图像的灰度分布概率的均值，pi表示概率，i表示灰度数量级。
则C0和C1的均值为：
上述函数中，u0、u1分别表示C0、C1的均值，pi表示概率，i表示灰度数量级，ω0表示灰度值在[0，T]范围内的概率之和，ω1表示灰度值在[T+1，L-1]范围内的概率之和。
由上面式可得：
uT＝ω0u0+ω1u1 (15)
其中，uT表示整幅图像的灰度分布概率的均值，u0、u1分别表示C0、
C1的均值，ω0表示灰度值在[0，T]范围内的概率之和，ω1表示灰度值在[T+1，L-1]范围内的概率之和。
类间方差定义为：
其中，
表示图像的均值方差，uT表示整幅图像的灰度分布概率的均值，u0、u1分别表示C0、C1的均值，ω0表示灰度值在[0，T]范围内的概率之和，ω1表示灰度值在[T+1，L-1]范围内的概率之和。OTSU法的最佳取值计算区间阈下的值即最后的σ值。
1)、引入算法
计算V×W图像某一点的计算值，灰度级为L，取值范围设为[0，L－1]：
该算法中，f(x，y)表示图像某一(x，y)点处的灰度值，p(r)表示灰度值为r的频率，VW表示图像大小。
假设用T为灰度差的值和以Th阈限的值来作分割线的图像,此时的图片背景与图像目标分别定义为:{f(x,y)≤T}和{f(x,y)＞T}，于是：
背景部分所占的比例:
ω0(T)＝∑0≤x≤Tp(x) (18)
表示灰度值在[0,T]范围内的频率之和，p(x)表示所对应灰度值的频率。
目标部分所占的比例：
ω1(T)＝∑T≤x≤L-1p(x) (19)
ω1表示灰度值在[T，L-1]范围内的频率之和，p(x)表示所对应灰度值的频率。
背景均值：
u0(T)＝{∑0≤x≤Txp(x)}/ω0(T) (20)
u0表示灰度值在[0,T]之间的像素组成的均值，ω0表示灰度值在[0,T]范围内的频率之和，p(x)表示所对应灰度值的频率。
目标均值：
u1(T)＝{∑T≤x≤L-1xp(x)}/ω1(T) (21)
u1表示灰度值在[T，L-1]之间的像素组成的均值，ω1表示灰度值在[T，L-1]范围内的频率之和，p(x)表示所对应灰度值的频率。
图像的总均值：
u＝ω0(T)u0(T)+ω1(T)u1(T) (22)
u表示图像像素总均值，u0、u1分别表示灰度值在[0,T]和[T,L-1]之间的像素组成的均值，ω0、ω1分别表示灰度值在[0,T]和[T,L-1]范围内的频率之和。
OTSU准则给出的图像最佳阈值Th的公式为：
Th＝ArgMax0≤T≤L-1|ω0(T)(u0(T)-u)2+ω1(T)(u1(T)-u)2 (23)
找到图像最佳阈值Th后，将图像按下面的规则分割：
式中：g(x,y)表示分割后的图像。
3、熵函数
标准信息量又称为“熵”，它指的是一种对信息模糊性的精确度量。
用n个二维空间概率矢量q＝(q1,q2,…,qn)来表示。
则熵H定义为：
因此，熵H可以看作是n维概率矢量q＝(q1,q2,…,qn)的函数，称为H(q)熵函数。本发明中的图像的熵的定义为：设
为图像灰度概率密度的估计值，其中ni表示灰度值为i的像素点的个数，VW表示图像大小，图像的熵计算公式：
其中qi为图像灰度概率密度的估计值，HT表示图像熵。由于一些qi的值很小或者为零，所以在计算qilnqi的时候必须十分的小心，如果计算上出现大的失误那么就无法得到最优的门限值。
4、基于OTSU准则及图像熵的局部递归分割
局部递归分割方法原理如图2所示。递归算法中的最后一个终止条件对于局部递归分割而言非常关键。分割的目标图像不，递归结束条件的可能也就不一样。为了更好地适应递归的终止条件，运用了局部图像灰度与上述图像熵之间的变化，来判断如何确定一个局部递归分割的终止条件。具体方法介绍如下:
(1)计算整个图像的灰度均值和熵：IM(灰度均值)、IE(熵)，令M0＝IM，E0＝IE；
(2)使用OTSU计算整个图像的首次分割门限t；
(3)当图像的目标灰度大于背景灰度，分割方法向上递归。根据t，计算图像中大于首次分割门限t的像素的灰度均值和熵，赋值SM＝图像中大于首次分割门限t的像素的灰度均值，SE＝图像中大于首次分割门限t的像素的熵。
如果(SM-IM)/M0>20％且(IE-SE)/E0>10％继续递归，否则结束。得到局部递归分割方法的终止条件后，我们就更容易地使用局部递归分割方法对图像进行递归分割，从而得到分割的最终结果。由此总结该方法的步骤如下：
步骤一：设原始图像f，f(x,y)为图像像素点(x,y)灰度值。count1＝1，记t＝Otsu(f)为用Otsu算法对f分割，得到首次分割门限t。计算原始图像f的灰度均值和熵，使得M0＝IM，E0＝IE。
步骤二：将图像中大于首次分割门限t的像素保留。count2＝2，记Scount＝{(x,y)|f(x,y)>t}。计算Scount的灰度均值和熵，使得SM＝Scount的灰度均值，SE＝Scount的熵。
步骤三：
判断中止条件：
如果(SM-IM)/M0>20％且(IE-SE)/E0>10％，然后计算新的递归门限th，th＝Otsu(Scount)，countN＝countN-1+1，N表示次数。
记Scount＝{(x,y)∣f(x,y)＞th∩Scount-1}，IM＝SM，IE＝SE；计算Scount的灰度均值和熵，得SM＝Scount的灰度均值，SE＝Scount的熵。若满足以上条件，重复步骤三，否则进行下一步。
步骤四：分割结果：
f(x,y)为像素点的灰度值，fseg(x,y)表示图像的分割结果。
二、三维目标的光学图像仿真
面向光学图像目标三维模型仿真技术对于各国来说都非常重视，本发明希望光学目标图像仿真可以在图像结构特征、散射中心分布方面取得与输入图像相似度99％的仿真结果。为此，本发明采用了由德国研究人员开发的SENSOR仿真软件。此前，该软件在欧航局APEX项目中进行应用，获得了极大的成功，为项目的参数优化等提供了极大的帮助。SENSOR由多种模块集成，将不同功能模块聚集在同一个平台。相比以往仿真软件，该软件实现了全链路的仿真流程。从几何和辐射两个方面，系统化地仿真光学，电子学成像模型。SENSOR的仿真主要分为三大模块，分别是光线追踪模块，辐射传输模块以及成像系统特性模块。三个模块分别负责对不同的影响条件进行建模，最后将影响结果加入现有图像之中，输出最终结果。
SENSOR在建立一个完整的系统时，会将整个空间全链路的图像生产过程与整个地面信号处理算法结合在一起，并通过数据分析和设计出相应的指标，同时把数据分析结果通过数据反馈给实际的建筑工程生产中。目前，SENSOR的技术开发者正在不断地改进和完善它，使SENSOR能够尽量获得在对多种遥感器、各种环境的要求下进行遥感成像和仿真，如图3所示。
本发明基于谷歌地球卫星软件公布模型集，利用这些模型集，对不同类别的建筑物，不同材质的建筑物，不同形状的建筑物采用三组典型的镜面反射系数、漫反射系数等仿真参数进行仿真。
三、光学仿真图像对应的三维点云生成
在图像的仿真过程中利用obj(3D模型文件格式)格式获取输入图像时的一种三维模型格式，且该格式数学表达的方式复杂，因此难以直接输出三维生成网络。本发明得到的三维点云结构既包具有较好的完整性又包含建筑物的信息，也可以最大程度上从真实光学图像建筑目标恢复建筑物完整的空间三维结构，拥有检验三维生成网络在结构生成方面的能力。
四、基于3D-R2N2网络的光学图像三维重建
目前光学图像的三维重建领域与也是当今研究的热点，基于深度学习的建筑物三维重建是本发明研究的方向，现在也有很多学者研究并拥有自己的研究成果。如2015年，Wu等提出3D shapenets，2016年Choy等为了解决物体特征匹配问题提出了以端到端的方式自动学习的3D-R2N2方法。Kanazawa等提出了基于卷积神经网络的WarpNet网络框架，Wu等为更好的利用先验知识，提出在真实图像上进行端到端训练的MarrNet模型。Fan等提出PSGN生成点云表示的三维模型，Wang等提出了利用卷积神经网络来表示三维网格的Pixel2Mesh。经探讨，由于3D-R2N2更符合此次研究所需要的要求，本发明决定采用3D-R2N2网络对光学图像进行三维重建。
3D-R2N2是一种基于标准LSTM的扩展网络结构，集中学习二维图像到三维模型间的映射，是以端到端的方式获取一个或多个的对象实例。如图4所示，3D-R2N2结构分为Encoder(2D-CNN)、LSTM(3D-LSTM)和Decoder(3D-DCNN)三部分。
用一个标准的CNN结构对预处理后的图像进行编码，使图像成为低维的特征矩阵，为了有效的提升深度神经网络的作用，CNN在每两个卷积层之间都会增加一个残余连接，并将低维的特征矩阵送入3D-LSTM进行过渡连接并循环学习，有选择性的调整它们的单元状态或保持状态，从而3D-LSTM的每个单元排列会形成三维网格结构，同时每个单元都要接受一个由编码器中计算得到的特征矢量，并将这些特征矢量的数据输送给DCNN中。最后每个3D-LSTM单元重构输出体素的一部分，利用DCNN卷积层采取3*3*3的的一个相等大小的卷积核，来实现对被赋予建筑物图像特征信息的各种像素数据进行处理，再对像素数据进行解码lstm，从而可以得到建筑物的三维图形重建。可以得到建筑物的三维图形重建。
五、实验分析
1、实验环境
经过数据的预处理，本实验所用到的数据集共有1720张图像，图像大小为300x100。数据集的类别总数为128，其中900个类别作为本发明的训练样本，128个类别作为测试样本。实验环境为Windows 10操作系统，内存为16GB，训练所用显卡为NVIDIA GeForce RTX 2080，训练框架为Tensor Flow。
2、数据集训练
1)归一化方法
为了更有效率的训练数据集，本发明采用归一化方法对图像数据进行处理。目前语义分割网络使用的归一化方法均为BN，BN是在批量图像的每通道上进行归一化，批量值设置太小意义不大，而在风格迁移任务中广泛使用的归一化方法为IN，IN是在每个图像上进行归一化，不受批量值和通道影响，两种方法各异。因此本发明结合BN和IN，归一化方法BN的定义：
式中，
表示输入特征图像；
表示批量归一化结果；m为批量值；C表示通道数；ε为常量；α和β为可学习参数。IN的定义：
式中，H和W表示特征图像的高度和宽度(尺寸)；
表示实例归一化结果。PBIN方法的定义：
2)、可分离空洞卷积
本发明基于3D-R2N2后的解码结构采用可分离空洞卷积，空洞卷积如图5所示，卷积核为3*3，空洞卷积率(Rate)为1时，卷积为标准的3x3卷积，而Rate为2时，在3x3卷积核之间插入一个为0的值，卷积的感受野与标准的5x5卷积相同，以此类推，在语义分割任务中，卷积核相同时，感受也极大的提高了语义分割效果。
标准卷积如图6所示，特征图像的每个通道特征都与卷积核进行运算，然后将每个通道特征融合为一个完整的通道特征图像，经过卷积后通道数成为卷积核数。特征图像的每个通道特征单独与每个卷积核进行卷积运算完成卷积后不改变特征图像的通道数加入1x1卷积改变通道数，到达与标准卷积同步的输出。
设可分离的卷积核数量为3，而经过快速训练残差网络(ResNet101网络)后的三层的通道数分别为512，1024和2048，则减少了可分离卷积的计算量8～9倍，因此采用此模型在训练、验证和预测的时间上比采用标准卷积要少。
3、实验结果与分析
1)分割算法对比
基于OTSU准则的图像熵的局部递归分割法与迭代式阈值分割法，采用两种方法来分割提取图像，并进行对比。基于新的OTSU分割准则的光学图像分割采用了一种局部函数递归进行分割处理方法,先在每幅图中依次输入一张经过图像预处理后的光学图像,用OTSU对应一整幅图的光学物理图像再按照一定量的标准分割顺序依次进行递归分割,在递归分割的进行过程中,如果不保证完全符合局部递归进行分割的最终选择条件,则我们可能会一直继续使用新的OTSU分割准则对图像进行递归分割,直至完全满足局部递归进行分割的最终终止分割条件。迭加替代式的初始阈计估值准则分割估计方法,通过某些估计算法不断地进行调整和不断改进初始值的估计值(在这些估计值中可以选择新的阈值准则作为最终的初始估计值),直至最终达到阈值完全符合一个系统给定初始估计阈值准则时的需求。
对图像分割提取的基于OTSU准则的图像熵的局部递归分割法和迭代式阈值分割法结果如图7、图8所示，测试结果实验中，基于OTSU准则的图像熵的局部递归分割法分割后的图像更加清晰，迭代式阈值对图像分割的图像虽然能够法分割的图像性能更好。这两种方法在图像分割提取上各有各的优势，但基于OTSU准则的图像熵的局部递归分割法的均根误差最小，图像分割效果更好，更精确，而迭代式阈值法分割的图像噪音较大，所以基于OTSU准则的图像熵的局部递归分割法较适合此次研究。
2)基于OTSU准则的图像熵的局部递归方法
利用上述方法对几组红外目标的灰度图像进行了分割，并且与OTSU单门限分割结果进行了对比，其中c为长波红外焦平面探测器录取的民航机的图像，a、b为用SGI工作站和SENSOR仿真软件仿真的某空间目标的红外图像，结果显示如图9所示，图中，1为原始图像，2为Otsu单门限分割结果，3为本发明方法分割结果。
从以上实验结果可得出，OTSU方法适用于简单的单峰、多峰图像或者可二分图像。因为在对复杂的图像进行分割时，如果只用OTSU一种方法去分割，那么分割出来的效果不好，如图9的a图像。基于OTSU和局部递归方法的结合，剔除背景区域，可以对目标图像进行有效的分割。但根据以上实验也发现在图像的信噪比低的情况下，OTSU以及本发明中的方法对图像分割的效果都不太理想，所以在分割之前对输入的图像进行预处理，从而提高图像的信噪比或对比度，然后再进行分割。
图像分割是图像特征提取及目标识别的重要基础，所以要对目标进行有效的分割，针对不同的图像要合理的选用分割算法。本发明在OTSU门限目标选择函数算法和局部图像目标熵相关性结合的理论基础上，采用一种局部渐进递归目标分割算法对红外图像目标进行了递归分割，通过递归函数对图像目标和局部背景两个区域分别进行不断地局部递归分割，从而有效地剔除背景区域，利用算法提取的图像目标和局部背景区域的差异特性的多与少决定递归分割的次数和分割时进行的局部区域的大小。由实验的结果表明该分割算法更有效。
3)基于点云生成网络的光学典型建筑物三维模型重建
为了验证三维重建方法对于实际光学图像的有效性，本发明选择了近似不规则形状建筑物，来作为实验的研究对象，如图10所示。
实验基于OTSU准则的图像熵的局部递归分割和迭代式阈值分割对光图像建筑目标进行分割，然后对两种方式的分割结果用改进后的归一化函数计算生成三维点云模型，并结合分割图像与光的入射角信息来计算建筑物的高度，对三维点云模型进行实际尺寸缩放，从而得到包含尺寸信息的三维重建结果。
yi表示测图像的概率值，xi和xj表示第i类和第j类的值，r表示常量。
表1光学图像建筑物三维重建模型相似度量结果对比
从表1的实验结果可得知，基于OTSU准则的图像熵的局部递归分割和迭代式阈值分割两种方法加上改进后的归一化函数，效果比之前较好。
Claims (5)
1.一种基于深度神经网络的光学建筑目标三维重建方法，包括以下步骤：其特征在于，
步骤一：通过标注构建光学图像建筑数据集，同时构建深度神经网络用于提取光学建筑物；
步骤二：对输入光学图像进行预处理，消除输入光学图像信息中的无用信息，并及时恢复输入光学图像中真实有用的图像信息；
步骤三：利用基于OTSU准则及图像熵的局部递归方法对处理后的光学图像进行分割，通过对光学图像建筑数据集的训练，提升深度神经网络的提取能力；
其中，局部递归分割的终止条件确定方法如下：
1)计算整个图像的灰度均值IM和熵IE，令M0＝IM，E0＝IE；
2)使用OTSU计算整个图像的首次分割门限t；
3)当图像的目标灰度大于背景灰度，分割算法向上递归；根据首次分割门限t计算图像中大于首次分割门限t的像素的灰度均值和熵，赋值SM＝图像中大于首次分割门限t的像素的灰度均值，SE＝图像中大于首次分割门限t的像素的熵；
若(SM-IM)/M0>20％且(IE-SE)/E0>10％，则继续递归，否则结束；
步骤四：通过SENSOR仿真软件快速模拟光学目标光-目标三维点云建立数据集的方法，再利用仿真得到的数据对网络进行训练；
步骤五：利用3D-R2N2网络对得到的光学目标图像三维数据进行集中的学习，使二维图像映射到三维模型，从而以端到端的方式获取对象的实例，取得光学图像的三维重建结果。
2.如权利要求1所述的一种基于深度神经网络的光学建筑目标三维重建方法，其特征在于，在步骤二中，对输入光学图像进行预处理包括灰度化、几何变换、去噪和增强图像。
3.如权利要求2所述的一种基于深度神经网络的光学建筑目标三维重建方法，其特征在于，采用全物理噪声谐波变换部分图像进行去噪。
4.如权利要求2所述的一种基于深度神经网络的光学建筑目标三维重建方法，其特征在于，采用直方灰度图均衡拉伸方法对图像进行增强，即采用直方灰度图均衡拉伸法，将一个输入的直方图像通过灰度化从某个集中的所有灰度区域空间分布延伸到整个所有灰度区域空间中的范围中，实现对输入图像的非均匀延长拉伸，然后重新分配输入图像中的像素；
上述函数中，k表示给定图像中灰度的物体像素数所标注的整数值，n为图像像素数的总数，p(k)表示频率；
再计算直方图累计的各项：
其中，Pk表示变量i在[0，L-1]所得的频率之和；
再对其进行取整扩展：Pk＝int[(L-1)Pk+0.5]，Pk表示频率之和；
最后映射对应关系：k→Pk，k表示给定图像中灰度的物体像素数所标注的整数值。
5.如权利要求1所述的一种基于深度神经网络的光学建筑目标三维重建方法，其特征在于，在步骤三中，利用基于OTSU准则及图像熵的局部递归方法对处理后的光学图像进行分割，具体如下：
1)设原始图像f，f(x,y)为图像像素点(x,y)灰度值；count1＝1记t＝Otsu(f)为用Otsu算法对f分割，得到首次分割门限t，计算原始图像f的灰度均值和熵，使得M0＝IM，E0＝IE；
2)将图像中大于门限t1的像素保留，count2＝2，记Scount＝{(x,y)|f(x,y)>t1}，计算Scount的灰度均值和熵，使得SM＝Scount的灰度均值，SE＝Scount的熵；
3)判断中止条件：如果(SM-IM)/M0>20％且(IE-SE)/E0>10％，然后计算新的递归门限th，th＝Otsu(Scount)，countN＝countN-1+1，N表示次数；
记Scount＝{(x,y)∣f(x,y)＞th∩Scount-1}，IM＝SM，IE＝SE；计算Scount的灰度均值和熵，得SM＝Scount的灰度均值，SE＝Scount的熵；若满足以上条件，重复步骤3)，否则进行下一步；
4)分割结果：
f(x,y)为像素点的灰度值，fseg(x,y)表示图像的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526719.9A CN113160392B (zh) | 2021-05-14 | 2021-05-14 | 基于深度神经网络的光学建筑目标三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110526719.9A CN113160392B (zh) | 2021-05-14 | 2021-05-14 | 基于深度神经网络的光学建筑目标三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160392A true CN113160392A (zh) | 2021-07-23 |
| CN113160392B CN113160392B (zh) | 2022-03-01 |
Family
ID=76875073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110526719.9A Expired - Fee Related CN113160392B (zh) | 2021-05-14 | 2021-05-14 | 基于深度神经网络的光学建筑目标三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160392B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393579A (zh) * | 2022-10-27 | 2022-11-25 | 长春理工大学 | 一种基于加权块对比度的红外小目标检测方法 |
| CN116468744A (zh) * | 2023-06-19 | 2023-07-21 | 武汉大水云科技有限公司 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364296A (zh) * | 2018-02-09 | 2018-08-03 | 重庆东渝中能实业有限公司 | 基于多层全息重建与聚焦策略的细胞群空间分布构建方法 |
| CN110443882A (zh) * | 2019-07-05 | 2019-11-12 | 清华大学 | 基于深度学习算法的光场显微三维重建方法及装置 |
| CN111767809A (zh) * | 2020-06-18 | 2020-10-13 | 湖南理工学院 | 一种基于激光共聚焦显微技术的细胞智能识别方法 |
| CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
-
2021
- 2021-05-14 CN CN202110526719.9A patent/CN113160392B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364296A (zh) * | 2018-02-09 | 2018-08-03 | 重庆东渝中能实业有限公司 | 基于多层全息重建与聚焦策略的细胞群空间分布构建方法 |
| CN110443882A (zh) * | 2019-07-05 | 2019-11-12 | 清华大学 | 基于深度学习算法的光场显微三维重建方法及装置 |
| CN111767809A (zh) * | 2020-06-18 | 2020-10-13 | 湖南理工学院 | 一种基于激光共聚焦显微技术的细胞智能识别方法 |
| CN112734727A (zh) * | 2021-01-11 | 2021-04-30 | 安徽理工大学 | 一种基于改进深度神经网络的苹果采摘方法 |
Non-Patent Citations (3)
| Title |
|---|
| JOOWON LIM 等: "Three-dimensional tomography of red blood cells using deep learning", 《ADVANCED PHOTONICS》 * |
| 潘志颖: "基于多视图的三维重建及其模型重拓扑", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 郑凯等: "基于深度神经网络的图像语义分割综述", 《测绘与空间地理信息》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393579A (zh) * | 2022-10-27 | 2022-11-25 | 长春理工大学 | 一种基于加权块对比度的红外小目标检测方法 |
| CN116468744A (zh) * | 2023-06-19 | 2023-07-21 | 武汉大水云科技有限公司 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
| CN116468744B (zh) * | 2023-06-19 | 2023-09-05 | 武汉大水云科技有限公司 | 一种面向水域场景的双分布匹配多域适应分割方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160392B (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Attribute-aware face aging with wavelet-based generative adversarial networks | |
| CN113240691B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN111612754B (zh) | 基于多模态图像融合的mri肿瘤优化分割方法及系统 | |
| US20070223815A1 (en) | Feature Weighted Medical Object Contouring Using Distance Coordinates | |
| CN113160392B (zh) | 基于深度神经网络的光学建筑目标三维重建方法 | |
| Spirkovska | A summary of image segmentation techniques | |
| CN1739119A (zh) | 全深度图采集 | |
| CN113269862A (zh) | 场景自适应的精细三维人脸重建方法、系统、电子设备 | |
| CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
| CN107680110B (zh) | 基于统计形状模型的内耳三维水平集分割方法 | |
| CN112270697B (zh) | 一种结合超分辨率重建的卫星序列影像运动目标检测方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN110246171B (zh) | 一种实时单目视频深度估计方法 | |
| CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
| CN113486894B (zh) | 一种卫星图像特征部件语义分割方法 | |
| CN111275686A (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN108596881A (zh) | 一种爆破后岩石粒度的智能图像统计方法 | |
| CN108765540B (zh) | 一种基于图像与集成学习的重光照方法 | |
| CN116416376A (zh) | 一种三维头发的重建方法、系统、电子设备及存储介质 | |
| CN116310219A (zh) | 一种基于条件扩散模型的三维脚型生成方法 | |
| CN113297988A (zh) | 一种基于域迁移和深度补全的物体姿态估计方法 | |
| CN113643297B (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
| CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
| CN110363792A (zh) | 一种基于光照不变性特征提取的遥感图像变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220301 |