CN113326924B - 基于深度神经网络的稀疏图像内关键目标测光定位方法 - Google Patents

基于深度神经网络的稀疏图像内关键目标测光定位方法 Download PDF

Info

Publication number
CN113326924B
CN113326924B CN202110635241.3A CN202110635241A CN113326924B CN 113326924 B CN113326924 B CN 113326924B CN 202110635241 A CN202110635241 A CN 202110635241A CN 113326924 B CN113326924 B CN 113326924B
Authority
CN
China
Prior art keywords
loss
target
photometric
network
astronomical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110635241.3A
Other languages
English (en)
Other versions
CN113326924A (zh
Inventor
贾鹏
孙永阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202110635241.3A priority Critical patent/CN113326924B/zh
Publication of CN113326924A publication Critical patent/CN113326924A/zh
Application granted granted Critical
Publication of CN113326924B publication Critical patent/CN113326924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及计算机视觉、光电成像、天文和空间目标监测及视频监控领域，一种基于深度神经网络的稀疏图像内关键目标测光定位方法，根据光电系统观测特点以及观测目标特征，基于深度学习算法采用目标检测深度卷积神经网络建立对光电系统获取图像内的关键目标进行端到端的位置和光度测量数据处理网络框架，该网络框架由天文目标检测和天文精准测光定位两部分组成在目标密度低和背景噪声干扰小的模拟数据下训练网络框架后，基于迁移学习策略，把学习到的经验和权重迁移到包含更多目标且更复杂环境下进行迁移训练，将训练好的模型方法部署嵌入式设备中，根据部署环境对模型进行剪枝优化提高测光定位算法速度。

Description

基于深度神经网络的稀疏图像内关键目标测光定位方法
技术领域
本发明涉及计算机视觉、光电成像、天文和空间目标监测及视频监控领域，具体是光电系统观测数据实时处理方面。
背景技术
用于视频监控或天文观测等领域的光电成像设备，随着社会经济发展，爆炸式地应用到工业、日常生活以及科学研究中。为充分利用光电成像设备产生的海量数据，避免巨大的资源浪费，我们必须加以处理，实现数据资产化。海量数据不仅在数量上还是复杂程度上给人工分析或传统分析方法带来巨大挑战。随着深度学习、计算机视觉和硬件设备等领域的持续发展，海量数据处理不再需要传输至终端工作站供人工分析处理，利用神经网络代替传统经典方法，即可实现在观测端实时检测和实时分析，把人力从繁重简单的重复性工作中解放出来，同时提升目标检测精度。
发明内容
本发明所要解决的问题是：根据光电系统(如天文望远镜、遥感检测和视频监控等)观测特点以及观测目标特征，基于深度学习算法，在通用目标检测基础上进一步针对关键目标实现高精度位置和光度测量，并且能够保证算法对不同环境下不同亮度目标测量的准确度和稳定性。
本发明所采用的技术方案是：一种基于深度神经网络的稀疏图像内关键目标测光定位方法，包括以下步骤：
步骤一：根据光电系统(如天文望远镜、遥感检测和视频监控等)观测特点以及观测目标特征，基于深度学习算法采用目标检测深度卷积神经网络(如Faster-RCNN、YOLO等系列)建立对光电系统获取图像内的关键目标进行端到端的位置和光度测量数据处理网络框架，该网络框架由天文目标检测和天文精准测光定位两部分组成，如附图说明中图1所示。该网络框架损失函数：Loss(org，pred)＝LossA(org，pred)+LossC(org，pred)+Lossp(org，pred)，其中：LossA(org，pred)为位置测量损失，LossC(org，pred)为分类损失，LossP(org，pred)为光度测量损失；
步骤二：在目标密度低和背景噪声干扰小的模拟数据下训练网络框架后，基于迁移学习策略，把学习到的经验和权重迁移到包含更多目标且更复杂环境下进行迁移训练，具体为：针对点扩散函数变化的情况，通过对不同图像内提取的点扩散函数聚类分析获得平均点扩散函数，利用平均点扩散函数产生模拟数据训练网络，增强模型抵抗大气湍流扰动或设备状态变化造成的干扰，使关键目标测光定位算法适用于不同设备和不同噪声条件，提高测光定位方法鲁棒性和通用性；
步骤三：将训练好的模型方法部署嵌入式设备中，根据部署环境对模型进行剪枝优化提高测光定位算法速度。
所述步骤一中天文目标检测和天文精准测光定位两部分不同于通用目标检测网络对目标轮廓进行盒子回归(用四个边界像素表示其位置)，通过包围盒几何中心处获取目标近似坐标的方法，为了满足光学系统图像中点状目标精确到超越像素级的精确度，在通用目标检测算法下根据目标轮廓特征获取目标粗略位置范围后，利用回归网络学习该范围内目标特征预测出更精准的星等值和二维位置坐标(精确度小于0.1像素)。
所述步骤一中网络框架损失函数中的位置测量损失和光度测量损失从光电系统获取图像的物理限制出发，根据图像中目标亮度不同设置神经网络动态损失函数，当某一亮度的目标位置或光度预测值与真实值的残差值小于根据物理极限所设定的阈值时，损失函数中此部分权重变为零，通过损失函数的动态调整使整体网络框架学习更加智能化，自动平衡不同亮度目标的测量精度，加快模型收敛节省训练时间。
本发明的有益效果是：第一，在目标检测神经网络基础上，进一步设计了分支网络，实现高精度位置和光度测量；第二，从物理限制出发，在神经网络训练过程中设计了与目标光度相关的损失函数，使得算法能够平衡不同光亮度目标的测量精度；第三，从影响光电系统物理因素出发，提出以实测图像点扩散函数聚类为基础，利用平均点扩散函数生成模拟图像进一步迁移学习训练网络，使得算法处理不同质量图像时获取的结果稳定；第四，可在观测端对数据进行实时处理与分析，选择性对海量数据存储和传输，节省时间经济成本和提高传输效率。
附图说明
图1基于深度神经网络的天文目标检测与测光网络框架结构。
具体实施方式
我们将在下面通过构建一种基于深度神经网络的稀疏图像内关键目标测光定位方法进行详细的说明。实施包含如下的步骤：
步骤一：以大视场小口径望远镜为例，搭建由天文目标检测和天文精准测光定位两部分组成的数据处理网络框架，采用端到端思想由输入端直接输入天文图片输出端直接输出所有候选目标的精确星等值和二维位置坐标，如附图说明中图1所示。由于大视场小口径望远镜的空间采样率低(几角秒/像素)和曝光时间短(几十秒到几秒)，其检测到的天文目标分布稀疏且面积小。对于目标检测部分我们采用对小尺寸目标具有更好检测性能的Faster R-CNN为网络模板。Faster R-CNN主要由特征提取、兴趣区域生成、兴趣区域对齐和包围框回归四部分组成。我们选择残差网络和由卷积层、ReLU激活层和池化层组成的特征金字塔网络对于输入的天文图片进行特征提取，我们在Resnet-50中使用大小为3×3的卷积内核替换为大小为7×7的卷积内核。在我们的框架中，我们使用ROI(Region OfInterest)对齐而不是ROI池化去解决天文目标尺度小带来的信息损失严重问题。在精准测光部分，测光网络前部由11个卷积层组成，每个卷积层拥有一个3X3的可训练卷积核，使用ReLU激活每个卷积层的输出。最后一个卷积层的输出被拥有41472个神经元的全连接层展平，经过3层隐藏层并都经过ReLU激活后，预测出输入候选天文目标的星等值。精准定位回归网络和测光子网络采用相似结构，输出由预测星等值变为预测平面二维坐标值。该网络框架可在输入一张600*600大小天文图片后，输出图片内所有检测到目标的星等值和精确二维位置坐标(精准度误差至少小于0.1个像素)。
框架损失函数：Loss(org，pred)＝LossA(org，pred)+LossC(org，pred)+Lossp(org，pred)，其中：LossA(org，pred)为位置测量损失，LossC(org，pred)为分类损失，LossP(org，pred)为光度测量损失。需要注意的是，其中不同星等的天体的位置测量损失和光度测量损失的贡献是不同的。由于天体定位和测光精度的物理局限性(又称Cramér-Rao极限)，导致对较亮恒星预测的星等或位置与真实星等或位置之间的误差更小。为了保证位置测量和光度测量结果的稳定性，我们分别定义如下：
位置测量损失：
Figure BDA0003102774430000041
其中，Ap，threshold是位置测量误差对应星等为p的天体理论极限，Aorg，i是第i个天体位置真实值，Apred，i是第i个天体位置预测值，LossA(org，pred)是位置测量真实值与预测值之间损失值。
光度测量损失：
Figure BDA0003102774430000042
其中，Pp，threshold是光度测量误差对应星等为p的天体理论极限，Porg，i是第i个天体位置真实值，Ppred，i是第i个天体位置预测值，LossP(org，pred)是位置测量真实值与预测值之间损失值。
步骤二：为了解决直接使用真实天文数据因星等分布不均(一张真实天文图片中暗星数量远多于亮星数量)从而导致的测光网络只对暗星有较好的测光精度问题，在相同点扩散函数条件下，既把SkyMaker配置文件中的*_D80参数(其中包括DEFOC_D80、SPHER_D80、COMAX_D80、COMAY_D80、AST00_D80、AST45_D80、TRI00_D80、TRI30_D80、QUA00_D80、QUA22_D80)都设定为0，通过SkyMaker在10到23星等范围内生成每张大约80个以1星等为跨度的星体数据集。在10到23星等间我们得到13个这样的数据集后，再把13个数据集中所有点状星处理成9X9小图随机打乱在一起组成测光子网络的训练集，作为测光子网络的训练集。在这种密度稀疏且目标只有点状星的数据下进行40次迭代训练，当对10到23星等范围内所有星等可准确预测出星等值后(预测值与真实值的差值小于0.3)，把学习到的权重作为预训练权重加载到综合网络的测光子网络部分以供综合框架训练。
在不改变点扩散函数前提下(参数*_D80都为0)，使用SkyMaker模拟真实天文数据分布生成每张大小为600*600随机含有10到23星等天体的天文图片5000张作为综合网络框架的训练集，对综合网络进行30次迭代训练，实现在该点扩散函数下可准确地对输入的天文图片进行高精度位置和光度测量。
获取一批大视场小口径望远镜拍摄到的真实天文图像，我们首先将图像中高于一定信噪比的星象提取，利用主成分分析方法处理这些星象；将主成分作为星象点扩散函数的系数，通过自组织图将这些点扩散函数进行聚类，将具有同一类点扩散函数的部分作为种子；通过区域增长法，将图像分割为具有相同类别的图像子块，将这些图像子块作为一批待处理图像。将待处理图像内的星象主成分分析第零项作为图像子块内的平均点扩散函数。在SkyMaker中依据这个平均点扩散函数生成数据集1000张作为训练集，把对某一点扩散函数已有准确测光定位的综合网络在这个数据集下进行20次迭代训练。，保证算法可对这一类点扩散函数相近的数据集准确和稳定的测光定位。
步骤三：在实际应用中，部署观测端的嵌入设备硬件性能(比如CPU核数、GPU大小和内存大小等)是无法与实验室训练使用的服务器性能比拟的。而且为了使网络达到对天文望远镜拍摄数据实时处理，我们选择对训练好的网络模型进行剪枝处理。我们采用的剪枝策略是对网络中神经元数据量较多的全连接层加入一个与参数矩阵尺寸一致的Mask矩阵，该矩阵中只有0和1。重新训练网络并且在参数更新时先乘以该Mask，则Mask位为1的参数值将通过训练继续得到更新，而Mask位为0的部分因为输出始终为0则无法得到更新。输出模型参数储存的时候，仅储存非零值以及其矩阵位置。最后，在大视场小口径望远镜上安装NVIDIA公司开发的NVIDIA Jetson AGX Xaiver嵌入式设备，该嵌入式设备是一种体积小、低功耗，可处理多个神经单元并可用于高性能计算实时处理数据的嵌入式设备。将剪枝好的模型方法部署在该设备上，对天文望远镜拍摄到的天文图片进行实时数据处理，把生成的坐标、类别和星等值等数据生成list文件传回数据中心，以供科研人员进一步研究。
实验数据：设置所有模拟数据为SkyMaker模拟一个视野为10弧分和每个像素1弧秒的大视场小口径望远镜所拍摄的天文图片，天空背景为24星等，每帧曝光时间为1s，读出噪声为1e-，暗电流为1e-/s。
整个训练过程是在一个拥有NVIDIA RTX3090 GPU的Linux环境服务器下进行。无论最后的综合网络还是预训练的子网络，都是在Pytorch下实现。测光网络选择了SGD作为优化器。目标检测网络优化器选用了Adam并采用了随机初始化网络权重。学习率的设置采用了Warming Up Method，测光网络和检测网络学习率初始值分别设为0.0003和0.00003。

Claims (3)

1.一种基于深度神经网络的稀疏图像内关键目标测光定位方法，其特征在于包括以下步骤：
步骤一：根据光电系统观测特点以及观测目标特征，基于深度学习算法采用目标检测深度卷积神经网络建立对光电系统获取图像内的关键目标进行端到端的位置和光度测量数据处理网络框架，该网络框架由天文目标检测和天文精准测光定位两部分组成，该网络框架损失函数Loss(org,pred)＝LossA(org,pred)+LossC(org,pred)+Lossp(org,pred)，
其中：LossA(org,pred)为位置测量损失，是位置测量真实值与预测值之间损失值，
Figure FDA0003633662550000011
Ap,threshold是位置测量误差对应星等为p的天体理论极限，Aorg,i是第i个天体位置真实值，Apred,i是第i个天体位置预测值；LossC(org,pred)为分类损失；
LossP(org,pred)为光度测量损失，是位置测量真实值与预测值之间损失值，
Figure FDA0003633662550000012
Pp,threshold是光度测量误差对应星等为p的天体理论极限，Porg,i是第i个天体位置真实值，Ppred,i是第i个天体位置预测值；
步骤二：在目标密度低和背景噪声干扰小的模拟数据下训练网络框架后，基于迁移学习策略，把学习到的经验和权重迁移到包含更多目标且更复杂环境下进行迁移训练，具体为：针对点扩散函数变化的情况，通过对不同图像内提取的点扩散函数聚类分析获得平均点扩散函数，利用平均点扩散函数产生模拟数据训练网络，增强模型抵抗大气湍流扰动或设备状态变化造成的干扰，使关键目标测光定位算法适用于不同设备和不同噪声条件，提高测光定位方法鲁棒性和通用性；
步骤三：将训练好的模型方法部署嵌入式设备中，根据部署环境对模型进行剪枝优化提高测光定位算法速度。
2.根据权利要求1所述的一种基于深度神经网络的稀疏图像内关键目标测光定位方法，其特征在于：所述步骤一中由天文目标检测和天文精准测光定位两部分组成的网络框架不同于通用目标检测网络对目标轮廓进行盒子回归，通过包围盒几何中心处获取天文目标近似坐标的方法，为了满足天文图像中点状目标精确到超越像素级的精确度，在通用目标检测算法下根据目标轮廓特征获取目标粗略位置范围后，利用回归网络学习该范围内目标特征预测出更精准的星等值和精准度误差小于0.1像素的二维位置坐标。
3.根据权利要求1所述的一种基于深度神经网络的稀疏图像内关键目标测光定位方法，其特征在于：所述步骤一中网络框架损失函数中的位置测量损失和光度测量损失从光电系统获取图像的物理限制出发，根据图像中目标亮度不同设置神经网络动态损失函数，当某一亮度的目标位置或光度预测值与真实值的残差值小于根据物理极限所设定的阈值时，损失函数中此部分权重变为零，通过损失函数的动态调整使整体网络框架学习更加智能化，自动平衡不同亮度目标的测量精度，加快模型收敛节省训练时间。
CN202110635241.3A 2021-06-07 2021-06-07 基于深度神经网络的稀疏图像内关键目标测光定位方法 Active CN113326924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110635241.3A CN113326924B (zh) 2021-06-07 2021-06-07 基于深度神经网络的稀疏图像内关键目标测光定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110635241.3A CN113326924B (zh) 2021-06-07 2021-06-07 基于深度神经网络的稀疏图像内关键目标测光定位方法

Publications (2)

Publication Number Publication Date
CN113326924A CN113326924A (zh) 2021-08-31
CN113326924B true CN113326924B (zh) 2022-06-14

Family

ID=77419923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110635241.3A Active CN113326924B (zh) 2021-06-07 2021-06-07 基于深度神经网络的稀疏图像内关键目标测光定位方法

Country Status (1)

Country Link
CN (1) CN113326924B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051391B (zh) * 2022-08-27 2023-09-22 荣耀终端有限公司 一种图像处理方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN109993224A (zh) * 2019-03-27 2019-07-09 中国人民解放军战略支援部队航天工程大学 基于深度学习与多核学习的geo卫星形状与姿态识别方法
US10740609B1 (en) * 2019-08-30 2020-08-11 Numerica Corporation System and method for space object detection in daytime sky images
CN111553866A (zh) * 2020-05-11 2020-08-18 西安工业大学 一种大视场自适应光学系统点扩散函数估计方法
CN112365497A (zh) * 2020-12-02 2021-02-12 上海卓繁信息技术股份有限公司 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112818836A (zh) * 2021-01-29 2021-05-18 国网江苏省电力有限公司电力科学研究院 一种变电站场景的人员目标检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
US11288818B2 (en) * 2019-02-19 2022-03-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107609525A (zh) * 2017-09-19 2018-01-19 吉林大学 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN109993224A (zh) * 2019-03-27 2019-07-09 中国人民解放军战略支援部队航天工程大学 基于深度学习与多核学习的geo卫星形状与姿态识别方法
US10740609B1 (en) * 2019-08-30 2020-08-11 Numerica Corporation System and method for space object detection in daytime sky images
CN111553866A (zh) * 2020-05-11 2020-08-18 西安工业大学 一种大视场自适应光学系统点扩散函数估计方法
CN112365497A (zh) * 2020-12-02 2021-02-12 上海卓繁信息技术股份有限公司 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112818836A (zh) * 2021-01-29 2021-05-18 国网江苏省电力有限公司电力科学研究院 一种变电站场景的人员目标检测方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Detection and classification of astronomical targets with deep neural networks in wide-field small aperture telescopes;Peng Jia 等;《arXiv:2002.09211v2》;20200314;第1-15页 *
PSF–NET: A Non-parametric Point Spread Function Model for Ground Based Optical Telescopes;Peng Jia等;《arXiv:2003.00615v1》;20200303;第1-14页 *
基于支持向量机的云图自动识别;王利文 等;《天文学报》;20180731;第59卷(第4期);第1-12页 *
多光谱目标探测与识别技术研究;段泽伟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150415(第04期);第I138-851页 *
深度学习在天文学中的应用与改进;陶一寒 等;《天文学进展》;20200731;第38卷(第2期);第168-188页 *
空间目标光电观测技术研究;李振伟;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20141215(第12期);第C031-52页 *

Also Published As

Publication number Publication date
CN113326924A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN108985238B (zh) 联合深度学习和语义概率的不透水面提取方法及系统
CN105488528B (zh) 基于改进自适应遗传算法的神经网络图像分类方法
CN110120020A (zh) 一种基于多尺度空洞残差注意力网络的sar图像去噪方法
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN111126134B (zh) 基于非指纹信号消除器的雷达辐射源深度学习识别方法
CN108764250B (zh) 一种运用卷积神经网络提取本质图像的方法
CN112465057B (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN109086663A (zh) 基于卷积神经网络的尺度自适应的自然场景文本检测方法
Qi et al. A new heterogeneous neural network model and its application in image enhancement
Ma et al. Image-based air pollution estimation using hybrid convolutional neural network
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
Satilmis et al. A machine-learning-driven sky model
CN113344956A (zh) 基于无人机航摄三维建模的地物轮廓提取分类方法
CN113326924B (zh) 基于深度神经网络的稀疏图像内关键目标测光定位方法
CN115512247A (zh) 基于图像多参数提取的区域建筑损伤等级评定方法
CN114708517B (zh) 一种基于注意力的自适应元学习岩性识别方法及装置
CN117079132A (zh) 基于高斯距离损失的遥感图像目标检测方法
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN112766381A (zh) 有限样本下属性引导的sar图像生成方法
CN110826691A (zh) 基于yolo和lstm的地震速度谱智能拾取方法
CN116994071A (zh) 一种基于自适应光谱残差的多光谱激光雷达点云分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant