CN111105428B - 一种星敏感器前向滤波硬件图像处理方法 - Google Patents

一种星敏感器前向滤波硬件图像处理方法 Download PDF

Info

Publication number
CN111105428B
CN111105428B CN201911088145.0A CN201911088145A CN111105428B CN 111105428 B CN111105428 B CN 111105428B CN 201911088145 A CN201911088145 A CN 201911088145A CN 111105428 B CN111105428 B CN 111105428B
Authority
CN
China
Prior art keywords
pixel
background
star
current
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911088145.0A
Other languages
English (en)
Other versions
CN111105428A (zh
Inventor
余路伟
毛晓楠
朱虹
宋卿争
安双新
吴永康
吕进剑
曹卫卫
武斌
翟正一
赵旸
韩圣升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201911088145.0A priority Critical patent/CN111105428B/zh
Publication of CN111105428A publication Critical patent/CN111105428A/zh
Application granted granted Critical
Publication of CN111105428B publication Critical patent/CN111105428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Abstract

本发明公开了一种星敏感器前向滤波硬件图像处理方法,本发明逐一为当前像素的背景估值,辅以阈值偏移量作为像素有效性判断,若像素为目标像素,则打包目标特征量信息;若像素为背景像素,则注入FIFO储存器,实时更新背景估值,利用实时更新的背景估值对逐个输入的像素点进行辨识判断,直至图像中所有像素点辨识判断结束。本发明采用FPGA并行处理图像采集和像素辨识判断,最终输出打包的目标段特征量信息。本发明具备实时处理的性能,可将一帧窗口图像的采集和处理时间控制在帧周期的10%以内,可将图像有效信息大幅压缩至50%左右,节省了大量的存储空间,且具备兼顾弱目标提取和一定的抗杂散光的能力。

Description

一种星敏感器前向滤波硬件图像处理方法
技术领域
本发明涉及航空航天领域,具体涉及一种星敏感器前向滤波硬件图像处理方法。
背景技术
作为卫星上测量精度最高的姿态敏感器,星敏感器起着卫星“眼睛”一般的作用。随着星敏感器日益系统化、功能日渐复杂化,星敏感器内部运算规模越来越庞大。图像处理,就是星敏感器整个处理流程中运算量最大的环节之一。因此,压缩星敏感器图像处理时间,提高图像处理的实时性,成为了提升星敏感器整体性能的一种基础设施建设。
星图处理具有数据量大、有效数据稀疏、原始数据更新速度快、处理过程机械性等特点。因而,不宜大面积存储原始数据,进行事后处理。针对星图数据的这些特征,存在两条解决路径:一、存储以星点为中心的小窗口图像,仅获取感兴趣区域,减少数据量,以空间换时间,进行二次处理,常见的有窗口内均值图像处理方法;二、利用在线的实时处理方法,从稀疏的原始数据中提取特征量,仅保存少量的有效信息。第一条路径具有逻辑简单、易于实现的特点,但需事后处理,时间较长,限制了星敏感器实时性的提升。第二条路径则可以最大限度压缩图像处理时间,使星敏感器能够拥有更好的实时性。
发明内容
本发明的目的是提供一种星敏感器前向滤波硬件图像处理方法,在驱动采集窗口图像的同时,利用硬件进行滤波,实时估计背景值,依此对像素有效性做出判断。分割、提取有效像素,打包输出星点特征量,为后端处理节省时间,且节省储存空间。
为了达到上述目的,本发明提供了一种星敏感器前向滤波硬件图像处理方法,该方法包含如下步骤:
S1:启动探测器采集星图中以星点为中心的窗口图像;
S2:前向滤波器对当前输入像素的前向有限个背景像素进行滤波处理,计算当前背景估值;
S3:将当前背景估值,加上阈值偏移量T0,构成当前分割阈值,对当前输入的像素点进行辨识判断:
若当前输入像素值高于分割阈值时,判断当前像素为目标像素,则打包压缩目标像素的星点特征量信息;即在判断得到目标像素后,暂停背景估值的更新;
若当前输入像素值小于等于分割阈值时,判断当前像素为背景像素,按照FIFO原则注入FIFO储存器,实时更新背景估值;
S4:循环重复步骤S2与S3,逐点逐行遍历窗口图像的所有像素,直至窗口图像的所有像素辨识判断结束;
S5:目标像素的星点特征量信息经过聚类,求得星点质心坐标。
其中,利用FPGA将S1步骤、S2步骤和S3步骤并行处理。
较佳地,该方法一边输入像素点至滤波器进行背景估值,一边对像素点进行辨识判断。
较佳地,S3步骤中,每一次辨识判断得到背景像素,则更新一次背景估值,并用此背景估值与下一个像素点进行辨识判断。
较佳地,所述更新背景估值,是采用前向滤波器以当前的已经判别为背景像素的所有像素点进行加权滤波,计算灰度值,得到新的背景估值。
较佳地,所述前向滤波器为FIR滤波器。
较佳地,所述FIR滤波器实时更新背景估值可表达为:
其中,g(t)为t时刻背景估值;S为柔化系数,一般S=4,8,…2n;t0为像素转移周期;δ(t)为Dirac(狄拉克)冲击函数。
较佳地,S2步骤中还包含延迟环节,即从第2个像素点开始计算时刻背景估值。
本发明取得如下有益效果:
1.本发明采用FPGA进行并行的、流水线作业,在像素输出的同时,完成背景估计和像素处理,相比现有的CPU串行处理方法,处理速度更快。本发明具备实时处理的性能,可将一帧窗口图像的采集和处理时间控制在帧周期的10%以内,极大地缩短了图像处理中星敏感器系统应用中消耗的时间,为后端复杂算法的处理拓展了广阔的空间。
2.本发明对像素数据进行了聚类处理,提取了相邻像素的特征信息,相比存储每个像素值的方法,大大降低了数据量。本发明前向滤波器可将图像有效信息大幅压缩至50%左右,节省了大量的存储空间。
3.本发明的前向滤波器,相比现有技术,具备兼顾弱目标提取和一定的抗杂散光的能力,能够应对较为复杂的工况。
附图说明
图1为本发明的前向滤波器的算法流程。
图2为本发明的前向滤波算法硬件逻辑。
图3为本发明的前向滤波算法的处理时序。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实时目标检测最大的困难在于恰当的背景估计。星图中的星点具有去除周围背景值之后又高于特定阈值的目标特征,此类目标像素不同于杂光目标、低频噪声及暗电流不均匀造成的空间低频噪声。这就意味着背景估计需跟随像素转移实时评估。探测器像素一般以逐行、逐点的形式输出,在行内相继输出的像素具有空间上的连续性。因此,按照像素依次输出的顺序进行处理,设计一种在线的背景估计滤波器,是实时星图处理的关键思路。
现有技术中,星敏感器前向滤波硬件的图像处理方法为:
S1:启动探测器采集星图中以星点为中心的窗口图像;
S2:将采集到的窗口图像中的各个像素点输出至前向滤波器,前向滤波器为窗口图像的每一个像素点评估背景估值Tbkg;并且初始化阈值偏移量T0
S3:将每个像素点的背景估值Tbkg,加上阈值偏移量T0,构成各个像素的分割阈值T,即T=Tbkg+T0;该分割阈值T用于对窗口图像的各个像素点进行逐行逐帧的辨识判断;
若当前输入的像素值高于该像素的分割阈值T时,该像素判断为目标像素,则打包压缩该目标像素的星点特征量信息;
若当前输入的像素值小于等于分割阈值T时,该像素判断为背景像素;
S4:反复执行S2和S3,直至逐点逐行逐帧完成对窗口图像的处理;
S5:目标像素的星点特征量信息经过聚类,求得星点质心坐标,并输出姿态数据。
现有技术S2步骤中,在线的背景估计的算法原理可以理解为一种数字信号滤波方法,采用FIR滤波器的原理。FIR(Finite Impulse Response,有限长单位冲激响应)滤波器又称为非递归型滤波器,是数字信号处理系统中最基本的元件,它可以在保证任意幅频特性的同时具有严格的线性相频特性,同时其单位抽样响应是有限长的,因而滤波器是稳定的系统。
现有技术中基于FIR滤波器的背景估值具体如下:
其中,g(t)为t时刻背景估值;S为柔化系数,一般S=4,8,…2n;t0为像素转移周期;δ(t)为Dirac(狄拉克)冲击函数,n表示前向的第n个像素。
FIR滤波器的输出将跟随低频背景的趋势变化,跟随程度与柔化系数S有关。但是仅利用公式(1)无法获得理想效果,原因在于FIR滤波器会在目标位置跟随目标像素灰度值形成错误的背景估值。
如图1和图2所示,为本发明提供的算法处理流程,针对上述问题,本发明提供了一种触发限制,干预滤波器的背景估计,即在判断检测到第一个像素后,暂停背景估值的更新,同时若该像素的像素灰度值相对背景估值变化过大,则认为该像素属于目标像素,不属于背景像素,则限制该像素注入FIFO储存器,并打包压缩目标像素的星点特征量信息。本发明通过加入延迟环节和触发限制,规避目标像素点进入背景估计,与此同时使用均值滤波器评价背景,使滤波器输出背景值具有实时性。
具体地,本发明提供的前向滤波的背景估值的计算公式为:
其中,g(t)为t时刻背景估值;S为柔化系数,一般S=4,8,…2n;t0为像素转移周期(两个像素的时间差);δ(t)为Dirac冲击函数,T0为阈值偏移量,可依据图像噪声水平设置(T0跟噪声的强弱相关,噪声水平越高,T0越大。),δ(t-t0)为前一个像素的像素值,g(t-t0)为前一像素时刻的背景估值。
进一步地,本发明设置了延迟环节,即上述公式中,n从第二个像素点开始计算滤波器的背景估值(即n-2),而不是从1开始计算。
本发明中的滤波器允许背景估值跟随图像中低频部分缓慢变化,而不会受到星点这种高频信号的影响,因此本发明的前向滤波器具备抗杂光干扰并能提取暗星点的能力。
本发明提供一种星敏感器前向滤波硬件图像处理方法,该方法包含以下步骤:
S1:启动探测器采集星图中以星点为中心的窗口图像;
S2、前向滤波器对当前输入像素的前向有限个背景像素进行滤波处理,计算当前背景估值Tbkg(初始背景估值采用设置的经验值,每次处理前将背景估值储存至FIFO);此步骤采用本发明提供的滤波器进行背景估值;
S3:将当前背景估值,加上阈值偏移量T0,构成当前分割阈值T,即T=Tbkg+T0,对当前输入的像素点进行辨识判断:
若当前输入像素值高于当前分割阈值T时,判断当前像素为目标像素,则打包压缩目标像素的星点特征量信息;此处采用触发限制,即在判断得到目标像素后,暂停背景估值的更新;
若当前输入像素值小于等于当前分割阈值T时,判断当前像素为背景像素,按照FIFO原则注入FIFO储存器,实时更新背景估值;
S4:循环重复步骤S2与S3,逐点逐行遍历窗口图像的所有像素,直至窗口图像的所有像素辨识判断结束;
S5:目标像素的星点特征量信息经过聚类,求得星点质心坐标。
进一步,本发明利用FPGA实现流水线并行处理,S1步骤中的窗口图像的采集与S2步骤中像素的算法处理流程同时并行执行,保障背景估计及像素辨识的实时性。
在本发明中,一方面,基于FIR滤波器设计前向滤波器;且设计的前向滤波器采用当前像素前向的有限个像素的灰度值,进行加权滤波,并添加延迟环节,规避目标像素点进入背景估计,优化滤波器背景跟随趋势。
第二方面,设计像素辨识规则和算法处理流程;利用前向滤波器的结果作为当前像素的背景估值,辅以阈值偏移量作为像素有效性判断的准则;若像素为目标像素,则打包目标特征量信息;若像素为背景像素,则注入FIFO储存器,实时更新背景估计结果。因此,所有计算均在下一像素输入之前完成,做到实时处理。
第三方面,采用FPGA实现硬件逻辑电路并行处理;设计并行处理流水线,在像素逐一输出的同时,完成上述全部操作,最终输出打包的目标段特征量信息。
前向滤波器的设置使得在像素逐一输出的同时,即可完成对图像的处理,便于利用FPGA实现流水线并行处理。如图3所示,为星敏感器的主要功能时序,包括曝光、探测器驱动采集、图像预处理和姿态解算。具体地,一帧曝光完成后,启动探测器驱动,采集指定的窗口图像。利用滤波器的背景估值,对输出像素做在线辨识。若为目标像素,则打包得到压缩的星点特征量信息;若为背景像素,则更新背景估值。窗口图像采集完毕,星点特征量信息也压缩、存储完毕。目标像素的星点特征量信息经过聚类,即可求得星点质心坐标。
综上所述,本发明提供的星敏感器前向滤波硬件图像处理方法,采用FPGA进行并行的、流水线作业,在像素输出的同时,完成背景估计和像素处理,相比现有的CPU串行处理方法,具备实时处理的性能,可将一帧窗口图像的采集和处理时间控制在帧周期的10%以内,极大地缩短了图像处理中星敏感器系统应用中消耗的时间,为后端复杂算法的处理拓展了广阔的空间。本发明对像素数据进行了聚类处理,提取了相邻像素的特征信息,相比存储每个像素值的方法,大大降低了数据量,且本发明具备兼顾弱目标提取和一定的抗杂散光的能力,能够应对较为复杂的工况。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (4)

1.一种星敏感器前向滤波硬件图像处理方法,其特征在于,该方法包含如下步骤:
S1:启动探测器采集星图中以星点为中心的窗口图像;
S2:前向滤波器对当前输入像素的前向有限个背景像素进行滤波处理,计算当前背景估值;
S3:将当前背景估值,加上阈值偏移量T0,构成当前分割阈值,对当前输入的像素点进行辨识判断:
若当前输入像素值高于分割阈值时,判断当前像素为目标像素,则打包压缩目标像素的星点特征量信息;即在判断得到目标像素后,暂停背景估值的更新;
若当前输入像素值小于等于分割阈值时,判断当前像素为背景像素,按照FIFO原则注入FIFO储存器,实时更新背景估值;
所述更新背景估值,是采用前向滤波器以当前的已经判别为背景像素的有限个像素点进行加权滤波,计算灰度值,得到新的背景估值;所述前向滤波器为FIR滤波器;
所述FIR滤波器实时更新背景估值可表达为:
其中,g(t)为t时刻背景估值;S为柔化系数,一般S=4,8,…2n;t0为像素转移周期;δ(t)为Dirac(狄拉克)冲击函数;
S4:循环重复步骤S2与S3,逐点逐行遍历窗口图像的所有像素,直至窗口图像的所有像素辨识判断结束;
S5:目标像素的星点特征量信息经过聚类,求得星点质心坐标;
其中,采用FPGA将S1步骤、S2步骤和S3步骤并行处理。
2.如权利要求1所述的星敏感器前向滤波硬件图像处理方法,其特征在于,该方法一边输入像素点至滤波器进行背景估值,一边对像素点进行辨识判断。
3.如权利要求1所述的星敏感器前向滤波硬件图像处理方法,其特征在于,
S3步骤中,每一次辨识判断得到背景像素,则更新一次背景估值,并用此背景估值与下一个像素点进行辨识判断。
4.如权利要求1所述的星敏感器前向滤波硬件图像处理方法,其特征在于,
S2步骤中还包含延迟环节,即从第2个像素点开始计算时刻背景估值。
CN201911088145.0A 2019-11-08 2019-11-08 一种星敏感器前向滤波硬件图像处理方法 Active CN111105428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911088145.0A CN111105428B (zh) 2019-11-08 2019-11-08 一种星敏感器前向滤波硬件图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911088145.0A CN111105428B (zh) 2019-11-08 2019-11-08 一种星敏感器前向滤波硬件图像处理方法

Publications (2)

Publication Number Publication Date
CN111105428A CN111105428A (zh) 2020-05-05
CN111105428B true CN111105428B (zh) 2023-11-14

Family

ID=70421459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911088145.0A Active CN111105428B (zh) 2019-11-08 2019-11-08 一种星敏感器前向滤波硬件图像处理方法

Country Status (1)

Country Link
CN (1) CN111105428B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894381A (zh) * 2010-08-05 2010-11-24 上海交通大学 动态视频序列中多目标跟踪系统
CN102278990A (zh) * 2010-06-11 2011-12-14 上海航天控制工程研究所 基于fpga的星敏感器图像处理方法
CN104931044A (zh) * 2015-06-16 2015-09-23 上海新跃仪表厂 一种星敏感器图像处理方法及系统
CN105957058A (zh) * 2016-04-21 2016-09-21 华中科技大学 一种星图的预处理方法
CN106548458A (zh) * 2016-10-19 2017-03-29 上海航天控制技术研究所 一种星敏感器抗杂光背景滤波图像处理方法
CN107507123A (zh) * 2017-06-20 2017-12-22 上海航天控制技术研究所 星敏感器快速波门图像处理系统及方法
CN109214996A (zh) * 2018-08-29 2019-01-15 深圳市元征科技股份有限公司 一种图像处理方法及装置
CN109685782A (zh) * 2018-12-18 2019-04-26 北京遥感设备研究所 一种基于fpga的高速星点检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6116765B1 (ja) * 2015-12-02 2017-04-19 三菱電機株式会社 物体検出装置及び物体検出方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102278990A (zh) * 2010-06-11 2011-12-14 上海航天控制工程研究所 基于fpga的星敏感器图像处理方法
CN101894381A (zh) * 2010-08-05 2010-11-24 上海交通大学 动态视频序列中多目标跟踪系统
CN104931044A (zh) * 2015-06-16 2015-09-23 上海新跃仪表厂 一种星敏感器图像处理方法及系统
CN105957058A (zh) * 2016-04-21 2016-09-21 华中科技大学 一种星图的预处理方法
CN106548458A (zh) * 2016-10-19 2017-03-29 上海航天控制技术研究所 一种星敏感器抗杂光背景滤波图像处理方法
CN107507123A (zh) * 2017-06-20 2017-12-22 上海航天控制技术研究所 星敏感器快速波门图像处理系统及方法
WO2018233200A1 (zh) * 2017-06-20 2018-12-27 上海航天控制技术研究所 星敏感器快速波门图像处理系统及方法
CN109214996A (zh) * 2018-08-29 2019-01-15 深圳市元征科技股份有限公司 一种图像处理方法及装置
CN109685782A (zh) * 2018-12-18 2019-04-26 北京遥感设备研究所 一种基于fpga的高速星点检测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wei Xu.Rapid star locating method for CCD image based on cross projection and differential extremum algorithm.《6th International Symposium on Advanced Optical Manufacturing and Testing Technologies: Optoelectronic Materials and Devices for Sensing, Imaging, and Solar Energy》.2012,84190O. *
秦天沐.实时星图预处理的并行流水线算法.《半导体光电》.2017,第257-263页. *

Also Published As

Publication number Publication date
CN111105428A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
JP6226876B2 (ja) 非同期光センサに基づいてオプティカルフローを推定する方法
US9396523B2 (en) Image restoration cascade
EP2015252A1 (en) Visual background extractor
EP2560368B1 (en) Blur correction device and blur correction method
CN108320017B (zh) 卷积神经网络优化方法、系统、设备及介质
JP5874039B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
CN110232359B (zh) 滞留物检测方法、装置、设备及计算机存储介质
CN107437258A (zh) 特征提取方法、运动状态估计方法以及运动状态估计装置
Aung et al. Event-based plane-fitting optical flow for dynamic vision sensors in FPGA
WO2018028102A1 (zh) 一种仿记忆引导的模式识别方法
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
CN112884671A (zh) 一种基于无监督生成对抗网络的模糊图像复原方法
CN116563146A (zh) 基于可学习曲率图的图像增强方法与系统
CN111105428B (zh) 一种星敏感器前向滤波硬件图像处理方法
CN108846427A (zh) 非线性系统任意延迟步数的单个失序量测集中式融合方法
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
US11866056B2 (en) Ballistic estimation of vehicle data
CN109389624B (zh) 基于相似度度量的模型漂移抑制方法及其装置
CN115511918A (zh) 一种基于并行处理的目标跟踪方法及装置
CN114170113B (zh) 一种无人机航空测绘三维建模方法及系统
He et al. Feature aggregation convolution network for haze removal
CN116541668B (zh) 一种游泳划水次数确定方法、装置、设备及存储介质
WO2021224959A1 (ja) 推定方法、推定装置及びプログラム
EP3080776B1 (en) Data processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant