CN113096058B - 空间目标多源数据参数化仿真与MixCenterNet融合检测方法 - Google Patents

空间目标多源数据参数化仿真与MixCenterNet融合检测方法 Download PDF

Info

Publication number
CN113096058B
CN113096058B CN202110441799.8A CN202110441799A CN113096058B CN 113096058 B CN113096058 B CN 113096058B CN 202110441799 A CN202110441799 A CN 202110441799A CN 113096058 B CN113096058 B CN 113096058B
Authority
CN
China
Prior art keywords
image
target
model
matrix
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110441799.8A
Other languages
English (en)
Other versions
CN113096058A (zh
Inventor
张云
化青龙
冀振元
李宏博
姜义成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110441799.8A priority Critical patent/CN113096058B/zh
Publication of CN113096058A publication Critical patent/CN113096058A/zh
Application granted granted Critical
Publication of CN113096058B publication Critical patent/CN113096058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

空间目标多源数据参数化仿真与MixCenterNet融合检测方法，涉及ISAR图像处理领域。本发明是为了解决目前的多源数据融合检测方法存在可操作性低、检测精度不高从而导致的在实际中难以应用的问题。本发明包括：获取光学渲染图像；获取空间目标ISAR仿真图像；将光学渲染图像和ISAR仿真图像进行MixCenterNet融合检测；融合检测时将成对的光学渲染图像和ISAR仿真图像输入MixCenterNet中；光学图像经34层ResNet骨干网络处理，ISAR图像经16层的VGG骨干网络处理，然后分别通过级联角点池化与中心池化生成角点热图与中心点热图确定目标在光学图像中的位置；ISAR图像经16层的VGG骨干网络处理所得特征图，连同光学图像经34层的ResNet骨干网络处理所得特征图一并输入到全连接层，再经Softmax层输出目标类别信息。

Description

空间目标多源数据参数化仿真与MixCenterNet融合检测方法
技术领域
本发明属于ISAR图像处理领域，特别涉及空间目标多源数据参数化仿真与MixCenterNet融合检测方法。
背景技术
随着卫星等空间目标在现代科技、经济领域的地位提升，针对空间目标的检测识别技术已成为研究热点。空间目标的探测手段多种多样，主要包括光学、雷达、红外等，因此空间目标多源融合检测也逐渐成为了一个重要课题。
目前在实际空间探测情况下主要采用传感器获取数据，但是多源传感器易受外部条件与自身限制，使得获取的数据质量较差。例如：光学图像虽然分辨率高，成像细节丰富，但是容易受到光源的影响；ISAR虽然不受光源影响，但是成像分辨率相对于光学图像较低。为了避免单一传感器的缺点，充分利用多源传感器优势，经过多年的发展，国内外研究学者已经提出了诸多多源图像融合检测识别方法，主要包括像素级融合、特征级融合与决策级融合，其中具有代表性的是基于小波变换的图像融合，但是这种基于网络学习与数据驱动的方法一般是通过人工设计的卷积神经网络提取多源图像特征，再经特征级融合，最后利用神经网络完成检测识别任务，因此还存在可操作性低、检测精度不高从而导致在实际中难以应用的问题。
发明内容
本发明目的是为了解决目前的多源数据融合检测方法存在可操作性低、检测精度不高从而导致的在实际中难以应用的问题，而提出了空间目标多源数据参数化仿真与MixCenterNet融合检测方法。
空间目标多源数据参数化仿真与MixCenterNet融合检测方法具体过程为：
步骤一、获取光学渲染图像；
步骤二、获得空间目标ISAR仿真图像，包括以下步骤：
步骤二一、对3D空间目标模型进行预处理；
步骤二二、将预处理后的3D空间目标模型进行射线追踪获得ISAR仿真图像；
步骤三、将光学渲染图像和ISAR仿真图像进行MixCenterNet融合检测，包括以下步骤：
步骤三一、根据步骤一和步骤二获得成对的光学渲染图像与ISAR仿真图像，构成仿真样本库；
步骤三二、选取全部仿真样本中的一部分作为训练样本，输入MixCenterNet进行训练，获得训练好的MixCenterNet网络模型；
步骤三三、将剩余的全部仿真样本中的另一部分作为测练样本，输入步骤三二获得的训练好的MixCenterNet网络模型进行测试，若得到的空间目标融合检测结果准确率大于预设阈值则执行步骤三四，若得到的空间目标融合检测结果准确率小于预设阈值则重新获取成对的光学渲染图像与ISAR仿真图像继续训练；
步骤三四、将待检测的仿真的光学图像和仿真的ISAR图像输入训练好的MixCenterNet网络模型中获得空间目标融合检测结果，包括以下步骤：
步骤三四一、将成对的光学渲染图像和ISAR仿真图像输入MixCenterNet网络模型中；
步骤三四二、光学图像经34层的ResNet骨干网络处理，ISAR图像经16层的VGG骨干网络处理；
步骤三四三、光学图像经骨干网络处理后，分别利用级联角点池化与中心池化两种方式生成角点热图与中心点热图，通过角点热图与中心点热图确定目标在光学图像中的位置；
步骤三四四、ISAR图像经16层的VGG骨干网络处理所得特征图，连同光学图像经34层的ResNet骨干网络处理所得特征图一并输入到全连接层，再经Softmax层输出目标类别信息。
本发明的有益效果为：
本发明通过推导出模型处理与射线追踪公式，给出了基于3D模型进行ISAR图像参数化仿真的全部流程，为后续多源融合处理提出坚实的数据基础。本发明提出了MixCenterNet网络，MixCenterNet网络具备融合处理光学图像与ISAR图像的能力，通过训练进行空间目标多源融合检测，为空间目标的进一步处理提供了基础实现了对空间目标的高精度检测。本发明给出了基于3D模型进行光学图像参数化渲染的详细步骤，并推导出坐标、姿态变换公式与参数化渲染公式，具有很高的可操作性，符合实际，易于实现。
附图说明
图1为是光学图像渲染示意图；
图2为ISAR图像仿真示意图；
图3为光学图像渲染流程图；
图4为ISAR图像仿真流程图；
图5为MixCenterNet网络架构；
图6为MixCenterNet融合检测流程图。
具体实施方式
具体实施方式一：本实施方式空间目标多源数据参数化仿真与MixCenterNet融合检测方法，具体过程为：
步骤一、获取光学渲染图像，包括以下步骤(图3)：
步骤一一、获得3D空间目标模型的数字化表示：
所述空间目标3D模型可看作若干个三角面元组成的封闭曲面，故可以用面元矩阵F、顶点矩阵V、颜色矩阵C三个矩阵共同描述：
Figure GDA0003530666530000031
式中，
Figure GDA0003530666530000032
为3D模型中第i个三角面元中a顶点的空间坐标，
Figure GDA0003530666530000033
代表3D模型中第i个三角面元中a顶点的空间坐标
Figure GDA0003530666530000034
在顶点矩阵V中的行号，
Figure GDA0003530666530000035
为3D模型其中第i个三角面元的a、b、c三个顶点集合，i＝1,2,...,N，模型共计N个三角面元，(Ri,Gi,Bi)为3D模型其中第i个三角面元的在RGB颜色空间颜色值。
步骤一二、利用空间目标坐标、姿态参数对3D空间目标模型进行相对坐标求解，包括以下步骤：
步骤一二一、获取观测点(传感器所在位置)指向目标中心时观测点法线方向
Figure GDA0003530666530000036
(观测方向向量)：
Figure GDA0003530666530000037
其中，
Figure GDA0003530666530000041
为观测点在笛卡尔坐标系下的坐标，
Figure GDA0003530666530000042
是目标在笛卡尔坐标系下的坐标；
步骤一二二、建立以观测点Saxis为坐标原点、以观测方向向量
Figure GDA0003530666530000043
为x轴正方向的相对坐标系，获取目标在相对坐标系下的相对坐标为
Figure GDA0003530666530000044
和目标在相对坐标系下的相对姿态为
Figure GDA0003530666530000045
包括以下步骤：
所述获取目标在相对坐标系下的相对坐标为
Figure GDA0003530666530000046
包括以下步骤：
S101、将观测方向向量
Figure GDA0003530666530000047
从笛卡尔坐标转换为球面坐标得：
Figure GDA0003530666530000048
其中arctan2(y,x)为四象限反正切函数。
S102、根据S101获得的
Figure GDA0003530666530000049
的球面坐标获取目标在相对坐标系下的相对坐标为
Figure GDA00035306665300000410
Figure GDA00035306665300000411
其中，Rx、Ry、Rz是将目标笛卡尔坐标Eaxis转换为相对坐标
Figure GDA00035306665300000412
在x、y、z三轴方向上的旋转矩阵：
Figure GDA00035306665300000413
Figure GDA00035306665300000414
Figure GDA0003530666530000051
所述获取目标在相对坐标系下的相对姿态为
Figure GDA0003530666530000052
Figure GDA0003530666530000053
其中，
Figure GDA0003530666530000054
是目标在笛卡尔坐标系下的姿态；
步骤一三、利用步骤一二获得相对坐标对空间目标3D模型进行预处理，包括以下步骤：
步骤一三一、对空间目标3D模型进行放缩处理获得放缩后模型顶点矩阵V′，包括以下步骤：
V′＝VPscale
其中，Pscale是放缩矩阵；
Figure GDA0003530666530000055
其中，Rmax是最远观测距离；
步骤一三二、将步骤一三一处理后的空间目标3D模型进行旋转处理，获取旋转处理后模型顶点矩阵V″，包括以下步骤：
Figure GDA0003530666530000056
其中，
Figure GDA0003530666530000057
分别是在x、y、z三轴方向上的旋转矩阵；
Figure GDA0003530666530000061
Figure GDA0003530666530000062
Figure GDA0003530666530000063
步骤一三三、将步骤一三二处理后的空间目标3D模型进行平移处理，获得平移处理后模型顶点矩阵V″′，包括以下步骤：
V″′＝V″+Ptrans
其中，Ptrans为平移矩阵；
Figure GDA0003530666530000064
步骤一三四、获得最终预处理后的空间目标3D模型顶点矩阵：
Figure GDA0003530666530000071
步骤一四、将步骤一三预处理后的模型向yOz平面投影获得光学渲染图像，包括以下步骤：
步骤一四一、根据面元矩阵F、顶点矩阵V″′、颜色矩阵C三个矩阵计算模型每个三角面元的法向量，获得法向量矩阵M：
Figure GDA0003530666530000072
其中，
Figure GDA0003530666530000073
步骤一四二、选取法向量与x轴正方向为钝角的三角面元进行投影，获得保留下的三角面元：
所述保留下的三角面元用面元矩阵F2、顶点矩阵V2、颜色矩阵C2三个矩阵共同描述；
Figure GDA0003530666530000081
式中，i′＝1,2,...,N′，N′为法向量与x轴正方向为钝角的三角面元总数目；
步骤一四三、将步骤一四二获取的模型{F2,V2,C2}向yOz平面投影，获得投影后的顶点矩阵V′2：
模型{F2,V2,C2}向yOz平面投影水平投影范围为
Figure GDA0003530666530000082
垂直投影范围为
Figure GDA0003530666530000083
则：
Figure GDA0003530666530000084
其中，θaz为观测水平视场角，θel观测垂直视场角，
Figure GDA0003530666530000085
为水平观测最大范围，
Figure GDA0003530666530000086
为垂直观测最大范围；
步骤一四四、根据步骤一四三获得的矩阵V′2获取渲染图像矩阵：
首先，获取图像的水平分辨率和竖直分辨率：
渲染图像水平分辨率
Figure GDA0003530666530000091
渲染图像垂直分辨率
Figure GDA0003530666530000092
式中，渲染图像高为IH，宽为IW；
其次，设渲染图像矩阵为：
Figure GDA0003530666530000093
然后，获取Ihw对应像素值：
Figure GDA0003530666530000094
其中，Ihw像素点所对应空间坐标为(0,dazw,delh)，h是渲染图像在渲染图像矩阵中的行数，w是渲染图像在渲染图像矩阵中的列数，；
最后，根据获得的Ihw即可获得渲染图像(图1)的矩阵。
步骤二、获得空间目标ISAR仿真图像(图4)，包括以下步骤：
其中光学相机载荷与ISAR载荷均在卫星上，且两者同轴；
步骤二一、对3D空间目标模型进行预处理：
将3D空间目标模型进行旋转、平移处理获得模型顶点矩阵
Figure GDA0003530666530000095
Figure GDA0003530666530000101
步骤二二、将预处理后的3D空间目标模型进行射线追踪获得ISAR仿真图像，包括以下步骤(图4)：
步骤二二一、根据面元矩阵F、顶点矩阵V3、颜色矩阵C计算3D模型每个三角面元的法向量M:
Figure GDA0003530666530000102
步骤二二二、获得光学相机成像范围：
所述光学相机成像范围为：水平成像范围为Ymin～Ymax，垂直成像范围为Zmin～Zmax；
其中，
Figure GDA0003530666530000103
Figure GDA0003530666530000104
Figure GDA0003530666530000105
Figure GDA0003530666530000106
步骤二二三、在yOZ区域以ISAR图像的水平分辨率dY和竖直分辨率dZ为间隔均匀划分网格，获得网格点坐标集合：
{(0,Ymin,Zmin),(0,Ymin+dY,Zmin+dZ),...,(0,Ymin+pdY,Zmin+qdZ),...,(0,Ymax,Zmax)}
其中，
Figure GDA0003530666530000107
是水平方向累积量，
Figure GDA0003530666530000108
竖直方向累积量，INT(·)表示取整函数；
步骤二二四、获得相对坐标系原点指向各个网格点的射线方向向量集合：
Figure GDA0003530666530000111
式中，k＝1,2,...,K，
Figure GDA0003530666530000112
是射线方向向量的总个数；
步骤二二五、计算射线和三角面元交点坐标：
Step1、计算三角面元法向量
Figure GDA0003530666530000113
与射线
Figure GDA0003530666530000114
的夹角
Figure GDA0003530666530000115
若
Figure GDA0003530666530000116
则执行step2；
Step2、计算射线
Figure GDA0003530666530000117
与三角面元
Figure GDA0003530666530000118
所在平面的交点P；
Figure GDA0003530666530000119
其中，
Figure GDA00035306665300001110
是相对坐标系原点到交点P的距离；
Figure GDA00035306665300001111
Step3、若P在三角面元内部，则记录该点并计算相应RCS，根据所有交点空间坐标与RCS即可利用距离-多普勒算法(Range Dopper，RD)得到ISAR仿真图像(图2)。
步骤三、将光学渲染图像和ISAR仿真图像进行MixCenterNet融合检测，包括以下步骤(图6)：
步骤三一、根据步骤一和步骤二获得成对的光学渲染图像与ISAR仿真图像，构成仿真样本库；
步骤三二、选取全部仿真样本中的80％作为训练样本，输入MixCenterNet进行训练，获得训练好的MixCenterNet网络模型；
步骤三三、将剩余的全部仿真样本中的20％作为测练样本，输入步骤三二获得的训练好的MixCenterNet网络模型进行测试，若得到的空间目标融合检测结果准确率大于预设阈值则执行步骤三四，若得到的空间目标融合检测结果准确率小于预设阈值则重新获取成对的光学渲染图像与ISAR仿真图像继续训练；
步骤三四、将待检测的仿真的光学图像和仿真的ISAR图像输入训练好的MixCenterNet网络模型中获得空间目标融合检测结果，包括以下步骤(图5)：
步骤三四一、将成对的光学渲染图像和ISAR仿真图像输入MixCenterNet网络模型中；
步骤三四二、光学图像经34层的ResNet骨干网络处理，ISAR图像经16层的VGG骨干网络处理；
步骤三四三、光学图像经骨干网络处理后，分别利用级联角点池化与中心池化两种方式生成角点热图与中心点热图，通过角点热图与中心点热图确定目标在光学图像中的位置；
步骤三四四、ISAR图像经16层的VGG骨干网络处理所得特征图，连同光学图像经34层的ResNet骨干网络处理所得特征图一并输入到全连接层，再经Softmax层输出目标类别信息。

Claims (10)

1.空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于所述方法具体过程包括以下步骤：
步骤一、获取光学渲染图像；
步骤二、获得空间目标ISAR仿真图像，包括以下步骤：
步骤二一、对3D空间目标模型进行预处理；
步骤二二、将预处理后的3D空间目标模型进行射线追踪获得ISAR仿真图像；
步骤三、将光学渲染图像和ISAR仿真图像进行MixCenterNet融合检测，包括以下步骤：
步骤三一、根据步骤一和步骤二获得成对的光学渲染图像与ISAR仿真图像，构成仿真样本库；
步骤三二、选取全部仿真样本中的一部分样本作为训练样本，输入MixCenterNet进行训练，获得训练好的MixCenterNet网络模型；
步骤三三、将剩余的全部仿真样本中的另一部分作为测练样本，输入步骤三二获得的训练好的MixCenterNet网络模型进行测试，若得到的空间目标融合检测结果准确率大于预设阈值则执行步骤三四，若得到的空间目标融合检测结果准确率小于预设阈值则重新获取成对的光学渲染图像与ISAR仿真图像继续训练；
步骤三四、将待检测的仿真的光学图像和仿真的ISAR图像输入训练好的MixCenterNet网络模型中获得空间目标融合检测结果，包括以下步骤：
步骤三四一、将成对的光学渲染图像和ISAR仿真图像输入MixCenterNet网络模型中；
步骤三四二、光学图像经34层的ResNet骨干网络处理，ISAR图像经16层的VGG骨干网络处理；
步骤三四三、光学图像经骨干网络处理后，分别利用级联角点池化与中心池化两种方式生成角点热图与中心点热图，通过角点热图与中心点热图确定目标在光学图像中的位置；
步骤三四四、ISAR图像经16层的VGG骨干网络处理所得特征图，连同光学图像经34层的ResNet骨干网络处理所得特征图一并输入到全连接层，再经Softmax层输出目标类别信息。
2.根据权利要求1所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤一中获取光学渲染图像，包括以下步骤：
步骤一一、获得3D空间目标模型的数字化表示：
所述空间目标3D模型用面元矩阵F、顶点矩阵V、颜色矩阵C三个矩阵共同描述：
Figure FDA0003530666520000021
式中，
Figure FDA0003530666520000022
为3D模型中第i个三角面元中a顶点的空间坐标，
Figure FDA0003530666520000023
代表3D模型中第i个三角面元中a顶点的空间坐标
Figure FDA0003530666520000024
在顶点矩阵V中的行号，
Figure FDA0003530666520000025
为3D模型其中第i个三角面元的a、b、c三个顶点集合，i＝1,2,...,N，模型共计N个三角面元，(Ri,Gi,Bi)为3D模型其中第i个三角面元的在RGB颜色空间颜色值；
步骤一二、利用空间目标坐标、姿态参数对3D空间目标模型进行相对坐标求解；
步骤一三、利用步骤一二获得相对坐标对空间目标3D模型进行预处理；
步骤一四、将步骤一三预处理后的模型向yOz平面投影获得光学渲染图像。
3.根据权利要求2所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤一二中利用空间目标坐标、姿态参数对3D空间目标模型进行相对坐标求解，包括以下步骤：
步骤一二一、获取观测点指向目标中心时观测点法线方向
Figure FDA0003530666520000026
Figure FDA0003530666520000027
其中，
Figure FDA0003530666520000028
为观测点在笛卡尔坐标系下的坐标，
Figure FDA0003530666520000029
是目标在笛卡尔坐标系下的坐标；
步骤一二二、建立以观测点Saxis为坐标原点、以观测方向向量
Figure FDA0003530666520000031
为x轴正方向的相对坐标系，获取目标在相对坐标系下的相对坐标为
Figure FDA0003530666520000032
和目标在相对坐标系下的相对姿态为
Figure FDA0003530666520000033
4.根据权利要求3所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述获取目标在相对坐标系下的相对坐标为
Figure FDA0003530666520000034
包括以下步骤：
S101、将观测方向向量
Figure FDA0003530666520000035
从笛卡尔坐标转换为球面坐标得：
Figure FDA0003530666520000036
其中arctan2(y,x)为四象限反正切函数；
S102、根据S101获得的
Figure FDA0003530666520000037
的球面坐标获取目标在相对坐标系下的相对坐标为
Figure FDA0003530666520000038
Figure FDA0003530666520000039
其中，Rx、Ry、Rz是将目标笛卡尔坐标Eaxis转换为相对坐标
Figure FDA00035306665200000310
在x、y、z三轴方向上的旋转矩阵：
Figure FDA00035306665200000311
Figure FDA00035306665200000312
Figure FDA00035306665200000313
5.根据权利要求4所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述获取目标在相对坐标系下的相对姿态为
Figure FDA0003530666520000041
Figure FDA0003530666520000042
其中，
Figure FDA0003530666520000043
是目标在笛卡尔坐标系下的姿态。
6.根据权利要求5所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤一三中利用步骤一二获得相对坐标对空间目标3D模型进行预处理，包括以下步骤：
步骤一三一、对空间目标3D模型进行放缩处理获得放缩后模型顶点矩阵V′，包括以下步骤：
V′＝VPscale
其中，Pscale是放缩矩阵；
Figure FDA0003530666520000044
其中，Rmax是最远观测距离；
步骤一三二、将步骤一三一处理后的空间目标3D模型进行旋转处理，获取旋转处理后模型顶点矩阵V″，包括以下步骤：
Figure FDA0003530666520000045
其中，
Figure FDA0003530666520000046
分别是在x、y、z三轴方向上的旋转矩阵；
Figure FDA0003530666520000051
Figure FDA0003530666520000052
Figure FDA0003530666520000053
步骤一三三、将步骤一三二处理后的空间目标3D模型进行平移处理，获得平移处理后模型顶点矩阵V″′，包括以下步骤：
V″′＝V″+Ptrans
其中，Ptrans为平移矩阵；
Figure FDA0003530666520000054
步骤一三四、获得最终预处理后的空间目标3D模型顶点矩阵：
Figure FDA0003530666520000061
7.根据权利要求6所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤一四中将步骤一三预处理后的模型向yOz平面投影获得光学渲染图像，包括以下步骤：
步骤一四一、根据面元矩阵F、顶点矩阵V″′、颜色矩阵C三个矩阵计算模型每个三角面元的法向量，获得法向量矩阵M：
Figure FDA0003530666520000062
其中，
Figure FDA0003530666520000063
步骤一四二、选取法向量与x轴正方向为钝角的三角面元进行投影，获得保留下的三角面元：
所述保留下的三角面元用面元矩阵F2、顶点矩阵V2、颜色矩阵C2三个矩阵共同描述为：
Figure FDA0003530666520000071
式中，i′＝1,2,...,N′，N′为法向量与x轴正方向为钝角的三角面元总数目；
步骤一四三、将步骤一四二获取的模型{F2,V2,C2}向yOz平面投影，获得投影后的顶点矩阵V′2：
模型{F2,V2,C2}向yOz平面投影水平投影范围为
Figure FDA0003530666520000072
垂直投影范围为
Figure FDA0003530666520000073
则：
Figure FDA0003530666520000074
其中，θaz为观测水平视场角，θel观测垂直视场角，
Figure FDA0003530666520000075
为水平观测最大范围，
Figure FDA0003530666520000076
为垂直观测最大范围；
步骤一四四、根据步骤一四三获得的矩阵V′2获取渲染图像矩阵：
首先，获取图像的水平分辨率和竖直分辨率：
渲染图像水平分辨率
Figure FDA0003530666520000081
渲染图像垂直分辨率
Figure FDA0003530666520000082
式中，渲染图像高为IH，宽为IW；
其次，设渲染图像矩阵为：
Figure FDA0003530666520000083
然后，获取Ihw对应像素值：
Figure FDA0003530666520000084
其中，Ihw像素点所对应空间坐标为(0,dazw,delh)；
最后，根据获得的Ihw即可获得渲染图像的矩阵。
8.根据权利要求7所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤二一中对3D空间目标模型进行预处理，包括以下步骤：
将3D空间目标模型进行旋转、平移处理获得模型顶点矩阵
Figure FDA0003530666520000085
Figure FDA0003530666520000086
9.根据权利要求8所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤二二中将预处理后的3D空间目标模型进行射线追踪获得ISAR仿真图像，包括以下步骤：
步骤二二一、根据面元矩阵F、顶点矩阵V3、颜色矩阵C计算3D模型每个三角面元的法向量M:
Figure FDA0003530666520000091
步骤二二二、获得光学相机成像范围：
所述光学相机成像范围为：水平成像范围为Ymin～Ymax，垂直成像范围为Zmin～Zmax；
其中，
Figure FDA0003530666520000092
Figure FDA0003530666520000093
Figure FDA0003530666520000094
Figure FDA0003530666520000095
步骤二二三、在yOZ区域以ISAR图像的水平分辨率dY和竖直分辨率dZ为间隔均匀划分网格，获得网格点坐标集合：
{(0,Ymin,Zmin),(0,Ymin+dY,Zmin+dZ),...,(0,Ymin+pdY,Zmin+qdZ),...,(0,Ymax,Zmax)}
其中，
Figure FDA0003530666520000096
是水平方向累积量，
Figure FDA0003530666520000097
是竖直方向累积量，INT(·)表示取整函数；
步骤二二四、获得相对坐标系原点指向各个网格点的射线方向向量集合：
Figure FDA0003530666520000098
式中，k＝1,2,...,K，
Figure FDA0003530666520000099
步骤二二五、计算射线和三角面元交点坐标P；
步骤二二六、若P在三角面元内部，则记录该点并计算相应RCS，根据所有交点空间坐标与RCS即可利用距离-多普勒算法得到ISAR仿真图像。
10.根据权利要求9所述的空间目标多源数据参数化仿真与MixCenterNet融合检测方法，其特征在于：所述步骤二二中计算射线和三角面元交点坐标P，包括以下步骤：
Step1、计算三角面元法向量
Figure FDA0003530666520000101
与射线
Figure FDA0003530666520000102
的夹角
Figure FDA0003530666520000103
若
Figure FDA0003530666520000104
则执行step2；
Step2、计算射线
Figure FDA0003530666520000105
与三角面元
Figure FDA0003530666520000106
所在平面的交点P；
Figure FDA0003530666520000107
其中，
Figure FDA0003530666520000108
是相对坐标系原点到交点P的距离；
Figure FDA0003530666520000109
CN202110441799.8A 2021-04-23 2021-04-23 空间目标多源数据参数化仿真与MixCenterNet融合检测方法 Active CN113096058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110441799.8A CN113096058B (zh) 2021-04-23 2021-04-23 空间目标多源数据参数化仿真与MixCenterNet融合检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110441799.8A CN113096058B (zh) 2021-04-23 2021-04-23 空间目标多源数据参数化仿真与MixCenterNet融合检测方法

Publications (2)

Publication Number Publication Date
CN113096058A CN113096058A (zh) 2021-07-09
CN113096058B true CN113096058B (zh) 2022-04-12

Family

ID=76679749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110441799.8A Active CN113096058B (zh) 2021-04-23 2021-04-23 空间目标多源数据参数化仿真与MixCenterNet融合检测方法

Country Status (1)

Country Link
CN (1) CN113096058B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673444B (zh) * 2021-08-19 2022-03-11 清华大学 一种基于角点池化的路口多视角目标检测方法及系统
CN117523063B (zh) * 2024-01-05 2024-03-08 速度科技股份有限公司 基于三维空间的高性能射线追踪仿真的渲染方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118463A (zh) * 2018-07-27 2019-01-01 中国科学院国家空间科学中心 一种基于hsl和图像熵的sar图像和光学图像融合方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940450B2 (en) * 2003-09-03 2005-09-06 The United States Of America As Represented By The Secretary Of The Navy Robust predictive deconvolution system and method
FR3042283B1 (fr) * 2015-10-09 2019-07-19 Thales Methode de traitement d'une image radar de type sar et methode de detection de cible associee
CN105427304B (zh) * 2015-11-19 2018-04-06 北京航空航天大学 基于多种特征联合的目标sar图像和光学图像配准方法
CN109188384B (zh) * 2018-08-31 2023-03-21 西安电子科技大学 空间目标回波动态观测的电磁仿真方法
CN109544575B (zh) * 2018-11-15 2021-11-16 西北工业大学 一种基于isar序列多边形匹配的三维轮廓重构方法
CN112465880B (zh) * 2020-11-26 2023-03-10 西安电子科技大学 基于多源异构数据认知融合的目标检测方法
CN112434745B (zh) * 2020-11-27 2023-01-24 西安电子科技大学 基于多源认知融合的遮挡目标检测识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118463A (zh) * 2018-07-27 2019-01-01 中国科学院国家空间科学中心 一种基于hsl和图像熵的sar图像和光学图像融合方法

Also Published As

Publication number Publication date
CN113096058A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN113096058B (zh) 空间目标多源数据参数化仿真与MixCenterNet融合检测方法
CN111369630A (zh) 一种多线激光雷达与相机标定的方法
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN112818990B (zh) 目标检测框的生成方法、图像数据自动标注方法及系统
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN115908708B (zh) 基于Kinect的植物群体全局三维重建方法
CN115861546B (zh) 一种基于神经体渲染的作物几何感知与三维表型重建方法
CN115908554A (zh) 一种高精度亚像素模拟星图以及亚像素提取方法
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN113723389A (zh) 一种支柱式绝缘子定位方法及装置
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法
Mo et al. Soft-aligned gradient-chaining network for height estimation from single aerial images
CN114782556B (zh) 相机与激光雷达的配准方法、系统及存储介质
CN113077518B (zh) 一种相机参数标定方法、装置及存储介质
CN113313741B (zh) 一种基于标定球的点云自配准方法
CN115908562A (zh) 一种异面点合作标志器及测量方法
Wang et al. Automatic measurement of grid structures displacement through fusion of panoramic camera and laser scanning data
CN117456364B (zh) 一种基于SfM和草地高度因子的草地地上生物量估测方法及系统
CN112345084B (zh) 基于数字孪生环境的三维温度场构建方法及装置
CN110223250B (zh) 基于单应变换的sar几何校正方法
CN115077419A (zh) 一种双线交叉结构光三维视觉测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Yun

Inventor after: Hua Qinglong

Inventor after: Ji Zhenyuan

Inventor after: Li Hongbo

Inventor after: Jiang Yicheng

Inventor before: Zhang Yun

Inventor before: Hua Qinglong

Inventor before: Li Hongbo

Inventor before: Jiang Yicheng

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant