CN115049864A - 一种基于阴影图像处理的目标三维重建方法 - Google Patents

一种基于阴影图像处理的目标三维重建方法 Download PDF

Info

Publication number
CN115049864A
CN115049864A CN202210734157.1A CN202210734157A CN115049864A CN 115049864 A CN115049864 A CN 115049864A CN 202210734157 A CN202210734157 A CN 202210734157A CN 115049864 A CN115049864 A CN 115049864A
Authority
CN
China
Prior art keywords
target
coordinate
points
point
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210734157.1A
Other languages
English (en)
Inventor
尚士泽
周洋
成立
杨予昊
李大圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 14 Research Institute
Original Assignee
CETC 14 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 14 Research Institute filed Critical CETC 14 Research Institute
Priority to CN202210734157.1A priority Critical patent/CN115049864A/zh
Publication of CN115049864A publication Critical patent/CN115049864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于阴影图像处理的目标三维重建方法，包括以下步骤：获得目标的阴影图像；对阴影图像预处理；目标运动方向计算；构建目标模型；坐标信息变换；对目标模型进行多余点剔除，得到目标的三维重建结果。本发明利用不同角度下运动目标的阴影图像序列恢复目标的三维结构，不依赖于目标特征点的高精度配准，算法复杂度低，能够实现实时处理。

Description

一种基于阴影图像处理的目标三维重建方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于阴影图像处理的目标三维重建方法。
背景技术
太赫兹SAR图像由于其频段优势，SAR图像中的阴影能够用于动目标的检测、跟踪和定位，阴影形状也能够反映雷达波照射目标投影到地面的形状信息。因此在太赫兹频段的SAR图像中，通过阴影尺寸、形状等特征对运动目标进行分类或识别成为可能。SAR图像中目标阴影的形成与光学图像中阴影形成类似，为可见光或电磁波被目标遮挡所产生的。当目标运动方向相对于雷达视线方向存在一定角度变化时，运动目标在地面上能形成不同形状的阴影。因此，利用阴影信息进行运动目标的三维重建能够综合多个角度或姿态下的阴影信息，获取更多信息，为动目标识别提供新的思路。
现有利用图像序列进行目标三维重建的方法如下：
邓宝松在“基于点线特征的大基线图像序列三维重建技术研究”中公开了一种目标模型三维重建方法，该方法利用点、线特征从大基线光学图像序列中恢复目标模型表面拓扑网格及纹理信息。
刘晓龙在“基于图像序列的欧式三维重建理论与方法研究”中公开了一种目标三维重建方法，该方法需要人工标定、图像配准和精确的摄像机位姿，使用欧式三维重建方法对光学目标进行重建，鲁棒性较高。
崔德靖在“基于图像序列的运动目标三维重建方法研究”公开了一种运动物体的三维重建方法，该方法利用时频特征提高图像配准精度，利用改进三角形法对离散点构建三维网格模型，重建三维目标。
总之现有基于图像序列的三维重建方法中，绝大部分基于光学图像序列，并需要高精度配准。而SAR图像的目标阴影只有轮廓特征，不符合光学图像三维重建要求。因此，需要研究SAR图像序列中基于阴影信息的动目标三维重建方法。
发明内容
为了解决上述问题，本发明提出了一种基于阴影图像处理的目标三维重建方法，
获得目标的阴影图像，所述目标为运动目标，所述阴影图像为SAR图像；
对阴影图像预处理，所述预处理包括图像插值、图像二值化和图像边缘平滑，得到边缘平滑后的二值图像；
目标运动方向计算：利用运动目标的方位向速度和距离向速度计算目标运动方向；
构建目标模型，所述目标模型为三维点阵模型，目标模型的三维尺寸大于其实际尺寸；
坐标信息变换：根据雷达姿态角度信息和目标运动方向并利用坐标变换方法，将目标模型投影到地面得到二维坐标信息；
对目标模型进行多余点剔除，得到目标的三维重建结果，所述多余点剔除包括投影冗余点剔除、先验冗余点剔除和模型内部点剔除，所述投影冗余点剔除是将坐标信息变换得到的二维坐标信息进行坐标尺度调整后与边缘平滑后的二值图像进行匹配从而删除二维坐标信息中部分点的信息。
进一步地，所述坐标信息转换具体包括以下步骤：
计算得到坐标旋转矩阵Mrot，
Figure BDA0003714622870000021
其中，θ为目标运动方向角度；
对初始的目标模型的坐标集合P进行旋转，得到旋转后的坐标集合为Prot；
Prot＝P×Mrot
设雷达与目标的斜距为R，坐标用(x′,y′,z′)(x1,y1,z1)表示，根据雷达下视角α，计算雷达坐标为：
Figure BDA0003714622870000022
目标模型中点的坐标用(x″i,y″i,z″i)表示，该点在地面的投影坐标为(x″′i,y″′i,z″′i)，三个点(x′,y′,z′)，(x″i,y″i,z″i)和(x″′i,y″′i,z″′i)在一条直线上；针对Prot中的每个点，计算其在地面的投影点坐标为(x″′i,y″′i,z″′i)，得到目标模型点在地面投影的坐标集合为Pproj；
其中，
Figure BDA0003714622870000023
(x″i,y″i,z″i)为旋转后的坐标集合Prot中的第i个点的坐标；
选择多个θ值，重复上述步骤，得到不同角度θ下目标在地面的投影坐标集合，即得到不同角度θ下的目标在地面的阴影信息。
进一步地，在进行坐标信息变换之后多余点剔除之前还进行下列操作：
对目标模型点在地面投影的坐标集合Pproj进行以分辨率ρ为基准的比例缩放，将Pproj单位调整为像素，计算公式如下：
P′proj＝Pproj/ρ
进一步地，投影冗余点剔除具体包括以下步骤：
生成第一目标点删除标记变量D1，元素初始化全部为0，其元素与初始的目标模型的坐标集合P中的点一一对应；
将P′proj中所有坐标的质心和边缘平滑后的二值图像Ibw_s中阴影的质心调整至相同，得到质心与边缘平滑后的二值图像Ibw_s中相同的点坐标集合P′proj2；遍历边缘平滑后的二值图像Ibw_s中坐标位置在P′proj2的所有像素点，如果边缘平滑后的二值图像Ibw_s中某个像素点的像素值为0，将则第一目标点删除标记变量D1中对应的元素赋值为1；
针对多个角度θ下的P′proj，分别进行质心调整和D1赋值工作，最终得到满足各个角度条件下的最终的第一目标点删除标记变量D1；将最终的第一目标点删除标记变量D1数值为1的元素与初始的目标模型的坐标集合P中点对应，将被对应的初始的目标模型的坐标集合P中点的坐标全部删除，得到投影冗余点剔除后的目标模型的坐标集合P′；
所述对应根据位置关系进行。
进一步地，将P′proj坐标质心进行调整的具体步骤为：设P′proj质心坐标为(xpc,ypc,zpc)，边缘平滑后的二值图像Ibw_s中阴影的质心坐标为(xbwc,ybwc,zbwc)，将P′proj中每个点的坐标与(xbwc-xpc,ybwc-ypc,zbwc-zpc)相加。
进一步地，所述先验冗余点剔除具体包括以下步骤：
生成第二目标点删除标记变量D2，其元素与初始的目标模型的坐标集合P中的点一一对应，初始化K个元素的值为0；
假设目标沿xOz平面对称，计算初始的目标模型的坐标集合P中沿xOz平面对称的点的坐标，并寻找两个对称点坐标对应的目标点删除第二目标点删除标记变量D2中的数值，如果数值分别为0和1，则将数值0赋值为1；
将投影冗余点剔除后的目标模型的坐标集合P′中点坐标在宽高xOz平面显示，找到目标顶部三角锥体，计算该椎体底部的高度坐标，找出投影冗余点剔除后的目标模型的坐标集合P′中所有的z坐标超出椎体底部高度坐标的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1；
计算目标的宽度的坐标范围，找出投影冗余点剔除后的目标模型的坐标集合P′中所有的y坐标超出目标的宽度的坐标范围的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1；
将投影冗余点剔除后的目标模型的坐标集合P′中对应的第二目标点删除标记变量D2数值为1的坐标全部删除，得到先验冗余点剔除后的目标模型的坐标集合P″；
其中，所述x轴、y轴和z轴所在的坐标系为以目标的质心为原点，目标的对称面为xOz平面所建立的三维直角坐标系，x轴、y轴和z轴分别对应目标的长、宽、高方向；所述对应根据位置关系进行。
进一步地，所述模型内部点剔除具体包括以下步骤：
生成第三目标点删除标记变量D3，初始化所有元素为1，其元素与初始的目标模型的坐标集合P中的点一一对应；
构建三维矩阵T，其大小为
Figure BDA0003714622870000041
其元素的值初始化全部为1，将先验冗余点剔除后的目标模型的坐标集合P″中的点与三维矩阵T中的元素对应，将三维矩阵T中被对应的元素赋值为0，所述对应根据位置关系进行；
对三维矩阵T中每一个元素进行遍历搜索，找出所有的3×3×3邻域内元素的数值均为0的元素，将找出的元素与第三目标点删除标记变量D3中的元素对应，将被对应的第三目标点删除标记变量D3中的元素赋值为1；所述对应根据位置关系进行；
将第三目标点删除标记变量D3中元素值为1的元素与先验冗余点剔除后的目标模型的坐标集合P″中点对应，将先验冗余点剔除后的目标模型的坐标集合P″中被对应的点的坐标全部删除，得到模型内部点剔除后的目标模型的坐标集合P″′，模型内部点剔除后的目标模型的坐标集合P″′构成的三维点阵结构为目标的三维重建结果。
进一步地，目标运动方向计算具体包括以下步骤：
假设运动方向用角度信息代替，以雷达视线方向为0°顺时针旋转，目标运动方向角度范围为[0°,360°)；
采用邻域均值方法对速度信息进行平滑处理，计算目标的运动方向角度θ为：
Figure BDA0003714622870000042
其中，Vr和Va分别为经过平滑处理后的目标的距离向速度和方位向速度。
进一步地，所述阴影图像预处理具体包括：
假设阴影图像用I表示，根据雷达下视角，将阴影图像I重新插值，使得图像的距离向信息为实际场景的距离信息，得到图像Iins；
设二值化阈值Tbw，对图像Iins进行二值化后进行先腐蚀再膨胀操作，减少阴影边缘粗糙度，最后保留图像中最大连通域作为阴影区域，得到二值图像Ibw；
提取二值图像中阴影边缘，通过平滑操作对阴影边缘平滑，再对边缘内部进行填充，得到边缘平滑后的二值图像Ibw_s。
本发明与现有技术相比，其显著优点为：
(1)本发明利用不同角度下运动目标的阴影图像序列恢复目标的三维结构。
(2)本发明不依赖于动目标的成像或者三维成像方法，仅通过多个角度下运动目标的阴影信息即可恢复目标的三维结构，为SAR图像中动目标识别提供新的思路。
(3)与其他目标三维重建方法相比，本发明不依赖于目标特征点的高精度配准，算法复杂度低，能够实现实时处理。
附图说明
图1为动目标阴影SAR图像。
图2为阴影二值图像。
图3为阴影二值边缘图像。
图4为边缘经过平滑后的二值边缘图像。
图5为动目标速度曲线。
图6为经过平滑处理的动目标速度曲线。
图7为目标运动方向角度。
图8为投影冗余点剔除后的长宽俯视图。
图9为投影冗余点剔除后的高宽正视图。
图10为投影冗余点剔除后的长高侧视图。
图11为目标模型高宽正视图中删除先验信息冗余点。
图12为目标模型长宽俯视图中删除先验信息冗余点。
图13为先验冗余点剔除后的长宽俯视图。
图14为先验冗余点剔除后的高宽正视图。
图15为先验冗余点剔除后的长高侧视图。
图16为内部点剔除后的车辆三维点阵模型。
具体实施方式
以下结合附图对本发明的一种基于阴影图像处理的目标三维重建方法的具体实施方式做详细说明。
实施例一
本发明在目标阴影跟踪结果以及目标方位向和距离向速度已知的基础上展开讨论。从目标方位向和距离向速度能够计算出目标相对于雷达视线的运动方向，再利用对应时刻的阴影图像获得目标模型在地面的投影，最后剔除目标模型中多余的点。通过多个角度下目标模型的投影与点的剔除，得到目标三维重建结果，具体包括以下步骤：设阴影图像I，图像距离向和方位向点数分别为M,N，本发明中M为行数，N为列数，雷达下视角为α，图像方位向和距离向分辨率均为ρ；设阴影图像I距离向和方位向点数分别为M＝100,N＝100，雷达下视角为α＝30°，图像方位向和距离向分辨率均为ρ＝0.15m。
1.阴影信息预处理
阴影信息预处理包括阴影图像插值，图像二值化，图像边缘平滑三个步骤。
由于雷达存在一定下视角，阴影图像中距离向信息反映为雷达视线的距离，将阴影图像I重新插值，使得图像在距离向信息为实际场景的距离信息。
对阴影图像I的距离向插值得到Iins，使行列数为
Figure BDA0003714622870000061
其中round()表示四舍五入取整。带入具体竖直得到行列数为[116,100]，如图1所示。
设二值化阈值Tbw＝0.5，对Iins进行二值化其中阴影部分数值为1，背景部分数值为0。由于斑点噪声的影响，二值化后的图像存在很多小的连通域，对其进行先腐蚀再膨胀的形态学操作，减少阴影边缘的粗糙度。提取图像中每个连通域，保留连通域最大的，其余全部删除，删除方法为将连通域的所有像素值置0，使图像中的唯一连通域为阴影区域，得到二值图像Ibw，如图2所示。
由于二值图像中阴影的边缘仍然比较粗糙，需要对阴影边缘进行平滑，先提取二值图像中阴影边缘，然后通过平滑操作对边缘平滑，降低粗糙度，阴影边缘如图3所示。由于阴影边缘是闭合区间，再对边缘内部进行填充，得到边缘平滑后的二值图像Ibw_s，如图4所示。
2.目标运动方向计算
已知目标的距离向和方位向速度，能够计算出目标的运动方向，本发明中使用的SAR图像，其雷达视线方向为平行纸面向上。假设运动方向用角度信息表示，以平行纸面向上为0°顺时针旋转，目标运动方向角度范围为[0°,360°)。
由于目标速度估计存在一定误差，相邻帧间速度信息偏差较大，如图5所示。因此采用邻域均值方法先对速度信息进行平滑处理，再计算运动方向角度，平滑后的速度信息如图6所示。设目标距离向速度和方位向速度经过平滑处理后为Vr和Va，则目标的运动方向角度θ为：
Figure BDA0003714622870000071
根据式(1)计算出目标的运动速度方向角度θ，如图7所示。
3.目标模型初始化
将运动目标模型设置为三维点阵结构，三维尺寸应大于目标实际尺寸，设目标模型的长宽高分别为L＝20m,W＝8m,H＝4m。根据SAR图像的实际分辨率和三维重建的实际需求，设置点与点之间距离为r＝0.15m，在长度方向点数为
Figure BDA0003714622870000072
宽度方向的点数为
Figure BDA0003714622870000073
高度方向点数为
Figure BDA0003714622870000074
目标模型初始化为长宽高点数为
Figure BDA0003714622870000075
(带入具体数值后为[133,53,27])的长方体结构。设初始的目标模型的点的坐标集合为P，P为K×3的矩阵，K表示点的总个数，3表示每个点的坐标的维度，三个维度分别表示长宽高坐标值，其中
Figure BDA0003714622870000076
Figure BDA0003714622870000077
4.坐标信息变换
在雷达成像过程中，目标和雷达都在运动，通过雷达视线方向与目标运动方向夹角可以确定二者之间的位置关系。本发明中使用的SAR图像均为雷达平行纸面从下向上照射，因此雷达视线方向与目标运动方向的夹角即为θ。坐标信息变换是按照雷达与目标的位置关系，模拟对应位置关系条件下目标在地面产生的阴影，定义为目标投影阴影。通过目标运动方向角度θ，对目标模型中点的坐标进行旋转计算，使之满足雷达与目标位置关系，再通过坐标计算得到目标投影阴影。
(1)坐标旋转
根据目标运动方向角度θ计算得坐标旋转矩阵：
Figure BDA0003714622870000081
目标模型中点的坐标经过旋转后得到Prot：
Prot＝P×Mrot (3)
(2)坐标变换
设SAR雷达与目标斜距为R，坐标用(x′,y′,z′)表示，根据雷达下视角α，计算雷达坐标为：
Figure BDA0003714622870000082
目标模型中点的坐标用(x″i,y″i,z″i)表示，该点在地面的投影坐标为(x″′i,y″′i,z″′i)，当i为同一个值时，三个点(x′,y′,z′)，(x″i,y″i,z″i)和(x″′i,y″′i,z″′i)在一条直线上，i∈{1,2,…,K}。
针对Prot中的每个点，均计算其在地面投影点坐标为(x″′i,y″′i,z″′i)，则该坐标集合构成的形状能够表示目标在地面的阴影，用Pproj表示。
Figure BDA0003714622870000083
选择多个典型θ值，分别进行坐标旋转和坐标变换，则能得到不同角度下目标在地面的投影坐标集合，即得到不同角度下的阴影信息。
本实施例中分别选择角度θ＝170°和θ＝269°的阴影图像进行坐标信息变换。利用式(2)-(3)对P坐标进行旋转得到Prot。再通过式(4)-(6)对Prot进行坐标变换，得到投影到地面的坐标集合Pproj。
5.多余目标点剔除
本发明中多余目标点剔除主要包括三个部分：
第一，投影冗余点剔除：通过坐标变换得到的目标投影阴影，将其与二值图像中阴影进行匹配，删除多余点的信息；
第二，先验冗余点剔除：雷达视线方向存在一定下视角，导致目标模型经过冗余点剔除后车身仍存在冗余结构，根据车辆的先验信息，车身大多为长方体结构，通过先验知识将一部分冗余点剔除；
第三，模型内部点剔除：在以上两步完成后，对目标模型内部的点剔除，保留目标模型表面的点。
将Pproj中点的坐标与图像中点的坐标尺度调整至相同，前者单位为m，后者单位为像素，因此对Pproj进行以分辨率ρ为基准的比例缩放，将Pproj单位调整为像素，计算如下：
P′proj＝Pproj/ρ (7)
(1)投影冗余点剔除
生成第一目标点删除标记变量D1，元素初始化全部为0，其元素与初始的目标模型的坐标集合P中的点一一对应，如果某一点坐标保留则第一目标点删除标记变量D1对应元素数值为0，否则为1。
首先，将P′proj坐标质心和Ibw_s中阴影的质心调整至相同。设P′proj质心坐标为(xpc,ypc,zpc)，Ibw_s中阴影的质心坐标为(xbwc,ybwc,zbwc)，将P′proj中每个点的坐标与(xbwc-xpc,ybwc-ypc,zbwc-zpc)相加，得到质心与Ibw_s相同的点坐标集合P′proj2。遍历图像Ibw_s中坐标位置在P′proj2的所有像素点，如果图像中像素值为0，表示该位置无阴影信息，则第一目标点删除标记变量D1中对应的元素赋值为1。
其次，针对多个角度θ下的P′proj，分别进行质心调整和D1赋值工作，最终得到满足各个角度条件下的最终的第一目标点删除标记变量D1(假设有m个θ，每个θ均对应一个第一目标点删除标记变量D1，只有当m个第一目标点删除标记变量D1的第i个元素均为0时，最终的标记变量D1的第i个元素赋值为0，其他情况下第i个元素均赋值为1，i∈{1,2,…,K})。
最后，将最终的第一目标点删除标记变量D1数值为1的元素与初始的目标模型的坐标集合P中的点对应，将被对应的初始的目标模型的坐标集合P中点的坐标全部删除，得到投影冗余点剔除后的目标模型的坐标集合P′。
本实施例中针对两个角度θ＝170°和θ＝269°下的P′proj，分别进行质心调整和D1赋值工作，最终得到满足各个角度条件下的标记变量D1。将P中对应的D1数值为1的坐标全部删除，得到投影冗余点剔除后的目标模型的坐标集合P′。将坐标集合P′中点位置显示出来，图8表示投影冗余点剔除后的长宽俯视图，图9为投影冗余点剔除后的高宽正视图，图10为投影冗余点剔除后的高长侧视图。
(2)先验冗余点剔除
生成目标点删除标记变量D2，初始化K个元素的值为0；其元素与初始的目标模型的坐标集合P中的点一一对应，如果某一点坐标保留则D2对应元素数值为0，否则为1。
由于车辆多为对称结构，本发明中假设车辆沿xOz平面对称，计算初始的目标模型的坐标集合P中沿xOz平面对称的点的坐标，并寻找两个对称点坐标对应的目标点删除第二目标点删除标记变量D2中的数值，如果数值分别为0和1，则将数值0赋值为1。
将投影冗余点剔除后的目标模型的坐标集合P′中点坐标在宽高xOz平面显示，如图11所示，能够看到目标顶部三角锥体的存在，该椎体与雷达下视角有关，计算该椎体底部的高度坐标，找出投影冗余点剔除后的目标模型的坐标集合P′中所有的z坐标超出椎体底部高度坐标的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1。
将投影冗余点剔除后的目标模型的坐标集合P′中点坐标在长宽xOy平面显示，如图12所示，能够看到目标侧面三角锥体的存在，该椎体与角度θ有关，计算目标的宽度的坐标范围，找出投影冗余点剔除后的目标模型的坐标集合P′中所有的y坐标超出目标的宽度的坐标范围的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1。
其中，所述x轴、y轴和z轴所在的坐标系为以目标的质心为原点，目标的对称面为xOz平面所建立的三维直角坐标系。
将投影冗余点剔除后的目标模型的坐标集合P′中对应的第二目标点删除标记变量D2数值为1的坐标全部删除，得到先验冗余点剔除后的目标模型的坐标集合P″。
将坐标集合P″中点位置显示出来，图13表示先验冗余点剔除后的长宽俯视图，图14为先验冗余点剔除后的高宽正视图，图15为先验冗余点剔除后的高长侧视图。
(3)模型内部点剔除
生成第三目标点删除标记变量D3，初始化所有元素为1，其元素与初始的目标模型的坐标集合P中的点一一对应，如果某一点坐标保留则第三目标点删除标记变量D3对应元素数值为0，否则为1。
构建三维矩阵T，其尺寸为
Figure BDA0003714622870000101
其元素的值初始化全部为1，将先验冗余点剔除后的目标模型的坐标集合P″中的点与三维矩阵T中的元素对应，将三维矩阵T中被对应的元素赋值为0，所述对应根据位置关系进行。
对三维矩阵T中每一个元素进行遍历搜索，找出所有的3×3×3邻域内元素的数值均为0的元素，将找出的元素与第三目标点删除标记变量D3中的元素对应，将被对应的第三目标点删除标记变量D3中的元素赋值为1；所述对应根据位置关系进行；
将第三目标点删除标记变量D3中元素值为1的元素与先验冗余点剔除后的目标模型的坐标集合P″中点对应，将先验冗余点剔除后的目标模型的坐标集合P″中被对应的点的坐标全部删除，得到模型内部点剔除后的目标模型的坐标集合P″′，模型内部点剔除后的目标模型的坐标集合P″′构成的三维点阵结构为目标的三维重建结果。将坐标集合P″′中点位置显示出来，如图16所示。
本发明与现有技术相比，其显著优点为：
利用不同角度下运动目标的阴影图像序列恢复目标的三维结构。该发明不依赖于动目标的成像或者三维成像方法，仅通过多个角度下运动目标的阴影信息即可恢复目标的三维结构，为SAR图像中动目标识别提供新的思路。与其他目标三维重建方法相比，本发明不依赖于目标特征点的高精度配准，算法复杂度低，能够实现实时处理。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于阴影信息处理的目标三维重建方法，其特征在于：
获得目标的阴影图像，所述目标为运动目标，所述阴影图像为SAR图像；
对阴影图像预处理，所述预处理包括图像插值、图像二值化和图像边缘平滑，得到边缘平滑后的二值图像；
目标运动方向计算：利用运动目标的方位向速度和距离向速度计算目标运动方向；
构建目标模型，所述目标模型为三维点阵模型，目标模型的三维尺寸大于其实际尺寸；
坐标信息变换：根据雷达姿态角度信息和目标运动方向并利用坐标变换方法，将目标模型投影到地面得到二维坐标信息；
对目标模型进行多余点剔除，得到目标的三维重建结果，所述多余点剔除包括投影冗余点剔除、先验冗余点剔除和模型内部点剔除，所述投影冗余点剔除是将坐标信息变换得到的二维坐标信息进行坐标尺度调整后与边缘平滑后的二值图像进行匹配从而删除二维坐标信息中部分点的信息。
2.根据权利1要求的基于阴影信息处理的目标三维重建方法，其特征在于，所述坐标信息转换具体包括以下步骤：
计算得到坐标旋转矩阵Mrot，
Figure FDA0003714622860000011
其中，θ为目标运动方向角度；
对初始的目标模型的坐标集合P进行旋转，得到旋转后的坐标集合为Prot；
Prot＝P×Mrot
设雷达与目标的斜距为R，坐标用(x′,y′,z′)(x1,y1,z1)表示，根据雷达下视角α，计算雷达坐标为：
Figure FDA0003714622860000012
目标模型中点的坐标用(x″i,y″i,z″i)表示，该点在地面的投影坐标为(x″′i,y″′i,z″′i)，三个点(x′,y′,z′)，(x″i,y″i,z″i)和(x″′i,y″′i,z″′i)在一条直线上；针对Prot中的每个点，计算其在地面的投影点坐标为(x″′i,y″′i,z″′i)，得到目标模型点在地面投影的坐标集合为Pproj；
其中，i∈{1,2,…,K}；
Figure FDA0003714622860000013
(x″i,y″i,z″i)为旋转后的坐标集合Prot中的第i个点的坐标；
选择多个θ值，重复上述步骤，得到不同角度θ下目标在地面的投影坐标集合，即得到不同角度θ下的目标在地面的阴影信息。
3.根据权利2要求的基于阴影信息处理的目标三维重建方法，其特征在于，在进行坐标信息变换之后多余点剔除之前还进行下列操作：
对目标模型点在地面投影的坐标集合Pproj进行以分辨率ρ为基准的比例缩放，将Pproj单位调整为像素，计算公式如下：
P′proj＝Pproj/ρ。
4.根据权利3要求的基于阴影信息处理的目标三维重建方法，其特征在于，投影冗余点剔除具体包括以下步骤：
生成第一目标点删除标记变量D1，元素初始化全部为0，其元素与初始的目标模型的坐标集合P中的点一一对应；
将P'proj中所有坐标的质心和边缘平滑后的二值图像Ibw_s中阴影的质心调整至相同，得到质心与边缘平滑后的二值图像Ibw_s中相同的点坐标集合P'Proj2；遍历边缘平滑后的二值图像Ibw_s中坐标位置在P'proj2的所有像素点，如果边缘平滑后的二值图像Ibw_s中某个像素点的像素值为0，将则第一目标点删除标记变量D1中对应的元素赋值为1；
针对多个角度θ下的P'proj，分别进行质心调整和D1赋值工作，最终得到满足各个角度条件下的最终的第一目标点删除标记变量D1；将最终的第一目标点删除标记变量D1数值为1的元素与初始的目标模型的坐标集合P中点对应，将被对应的初始的目标模型的坐标集合P中点的坐标全部删除，得到投影冗余点剔除后的目标模型的坐标集合P'；
所述对应根据位置关系进行。
5.根据权利4要求的基于阴影信息处理的目标三维重建方法，其特征在于，将P'proj坐标质心进行调整的具体步骤为：设P'proj质心坐标为(xpc,ypc,zpc)，边缘平滑后的二值图像Ibw_s中阴影的质心坐标为(xbwc,ybwc,zbwc)，将P'proj中每个点的坐标与(xbwc-xpc,ybwc-ypc,zbwc-zpc)相加。
6.根据权利4要求的基于阴影信息处理的目标三维重建方法，其特征在于，所述先验冗余点剔除具体包括以下步骤：
生成第二目标点删除标记变量D2，其元素与初始的目标模型的坐标集合P中的点一一对应，初始化K个元素的值为0；
假设目标沿xOz平面对称，计算初始的目标模型的坐标集合P中沿xOz平面对称的点的坐标，并寻找两个对称点坐标对应的目标点删除第二目标点删除标记变量D2中的数值，如果数值分别为0和1，则将数值0赋值为1；
将投影冗余点剔除后的目标模型的坐标集合P'中点坐标在宽高xOz平面显示，找到目标顶部三角锥体，计算该椎体底部的高度坐标，找出投影冗余点剔除后的目标模型的坐标集合P'中所有的z坐标超出椎体底部高度坐标的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1；
计算目标的宽度的坐标范围，找出投影冗余点剔除后的目标模型的坐标集合P'中所有的y坐标超出目标的宽度的坐标范围的点，将找出的点与第二目标点删除标记变量D2中的元素对应，将第二目标点删除标记变量D2中被对应的元素赋值为1；
将投影冗余点剔除后的目标模型的坐标集合P'中对应的第二目标点删除标记变量D2数值为1的坐标全部删除，得到先验冗余点剔除后的目标模型的坐标集合P″；
其中，所述x轴、y轴和z轴所在的坐标系为以目标的质心为原点，目标的对称面为xOz平面所建立的三维直角坐标系，x轴、y轴和z轴分别对应目标的长、宽、高方向；所述对应根据位置关系进行。
7.根据权利6要求的基于阴影信息处理的目标三维重建方法，其特征在于，所述模型内部点剔除具体包括以下步骤：
生成第三目标点删除标记变量D3，初始化所有元素为1，其元素与初始的目标模型的坐标集合P中的点一一对应；
构建三维矩阵T，其大小为
Figure FDA0003714622860000031
其元素的值初始化全部为1，将先验冗余点剔除后的目标模型的坐标集合P″中的点与三维矩阵T中的元素对应，将三维矩阵T中被对应的元素赋值为0，所述对应根据位置关系进行；
对三维矩阵T中每一个元素进行遍历搜索，找出所有的3×3×3邻域内元素的数值均为0的元素，将找出的元素与第三目标点删除标记变量D3中的元素对应，将被对应的第三目标点删除标记变量D3中的元素赋值为1；所述对应根据位置关系进行；
将第三目标点删除标记变量D3中元素值为1的元素与先验冗余点剔除后的目标模型的坐标集合P″中点对应，将先验冗余点剔除后的目标模型的坐标集合P″中被对应的点的坐标全部删除，得到模型内部点剔除后的目标模型的坐标集合Pm，模型内部点剔除后的目标模型的坐标集合Pm构成的三维点阵结构为目标的三维重建结果。
8.根据权利7要求的基于阴影信息处理的目标三维重建方法，其特征在于，目标运动方向计算具体包括以下步骤：
假设运动方向用角度信息代替，以雷达视线方向为0°顺时针旋转，目标运动方向角度范围为[0°,360°)；
采用邻域均值方法对速度信息进行平滑处理，计算目标的运动方向角度θ为：
Figure FDA0003714622860000041
其中，Vr和Va分别为经过平滑处理后的目标的距离向速度和方位向速度。
9.根据权利8要求的基于阴影信息处理的目标三维重建方法，其特征在于，所述阴影图像预处理具体包括：
假设阴影图像用I表示，根据雷达下视角，将阴影图像I重新插值，使得图像的距离向信息为实际场景的距离信息，得到图像Iins；
设二值化阈值Tbw，对图像Iins进行二值化后进行先腐蚀再膨胀操作，减少阴影边缘粗糙度，最后保留图像中最大连通域作为阴影区域，得到二值图像Ibw；
提取二值图像中阴影边缘，通过平滑操作对阴影边缘平滑，再对边缘内部进行填充，得到边缘平滑后的二值图像Ibw_s。
CN202210734157.1A 2022-06-27 2022-06-27 一种基于阴影图像处理的目标三维重建方法 Pending CN115049864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210734157.1A CN115049864A (zh) 2022-06-27 2022-06-27 一种基于阴影图像处理的目标三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210734157.1A CN115049864A (zh) 2022-06-27 2022-06-27 一种基于阴影图像处理的目标三维重建方法

Publications (1)

Publication Number Publication Date
CN115049864A true CN115049864A (zh) 2022-09-13

Family

ID=83163563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210734157.1A Pending CN115049864A (zh) 2022-06-27 2022-06-27 一种基于阴影图像处理的目标三维重建方法

Country Status (1)

Country Link
CN (1) CN115049864A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291213A (zh) * 2022-09-28 2022-11-04 中国电子科技集团公司第十四研究所 一种基于双波束sar的动目标方位速度估计方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291213A (zh) * 2022-09-28 2022-11-04 中国电子科技集团公司第十四研究所 一种基于双波束sar的动目标方位速度估计方法
CN115291213B (zh) * 2022-09-28 2022-12-20 中国电子科技集团公司第十四研究所 一种基于双波束sar的动目标方位速度估计方法

Similar Documents

Publication Publication Date Title
CN106780524B (zh) 一种三维点云道路边界自动提取方法
CN111882612B (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN109272537B (zh) 一种基于结构光的全景点云配准方法
Sampath et al. Building boundary tracing and regularization from airborne LiDAR point clouds
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和系统
CN113178009B (zh) 一种利用点云分割和网格修补的室内三维重建方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN108052942B (zh) 一种飞机飞行姿态的视觉图像识别方法
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN107330281B (zh) 全自动骨折钢板模型个性化重构方法
Gao et al. Ground and aerial meta-data integration for localization and reconstruction: A review
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN115690138A (zh) 一种融合车载影像与点云的道路边界提取与矢量化方法
CN108960267A (zh) 用于模型调整的系统和方法
CN110288620B (zh) 基于线段几何特征的图像匹配方法及飞行器导航方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN111968224A (zh) 船舶3d扫描点云数据处理方法
CN110174109B (zh) 一种基于海空协同的无人船多元联合导航方法
CN115049864A (zh) 一种基于阴影图像处理的目标三维重建方法
CN112070800A (zh) 一种基于三维点云极化地图表征的智能车定位方法及系统
CN115908539A (zh) 一种目标体积自动测量方法和装置、存储介质
Wang Automatic extraction of building outline from high resolution aerial imagery
CN109064473B (zh) 一种2.5d超声宽景图像分割方法
Yuan et al. 3D point cloud recognition of substation equipment based on plane detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination