CN109708662A - 一种基于目标识别的高帧频高精度注入式星图仿真测试平台 - Google Patents
一种基于目标识别的高帧频高精度注入式星图仿真测试平台 Download PDFInfo
- Publication number
- CN109708662A CN109708662A CN201811478909.2A CN201811478909A CN109708662A CN 109708662 A CN109708662 A CN 109708662A CN 201811478909 A CN201811478909 A CN 201811478909A CN 109708662 A CN109708662 A CN 109708662A
- Authority
- CN
- China
- Prior art keywords
- star
- image
- unit
- video
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 93
- 238000012360 testing method Methods 0.000 title claims abstract description 26
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 57
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims description 53
- 238000002347 injection Methods 0.000 claims description 43
- 239000007924 injection Substances 0.000 claims description 43
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 18
- 239000006002 Pepper Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 235000002566 Capsicum Nutrition 0.000 claims description 13
- 235000016761 Piper aduncum Nutrition 0.000 claims description 13
- 235000017804 Piper guineense Nutrition 0.000 claims description 13
- 235000008184 Piper nigrum Nutrition 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000003702 image correction Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 150000003839 salts Chemical class 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 241000722363 Piper Species 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 12
- 239000000654 additive Substances 0.000 description 8
- 230000000996 additive effect Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100370202 Arabidopsis thaliana PTPMT1 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
一种基于目标识别的高帧频高精度注入式星图仿真测试平台，根据星载识别系统的特点，提出DSP图像处理模块与FPGA图像合成模块相结合的模式，分别通过图像的抓取采集、图像合成、图层叠加及灰度修正得到高精度的图像序列，同时于图像抓取过程中，提出了基于星图灰度值的表示方法，保证了精确的空间目标识别与跟踪的星图仿真测试需求，精度可靠，处理速度快，稳定性高。
Description
技术领域
本发明涉及一种基于目标识别的高帧频高精度注入式星图仿真测试平台， 属于高速数字视频处理领域。
背景技术
精确的空间目标识别与跟踪，是空间对接，空间光通信，空间对抗的基础。 对于星载识别跟踪系统在方案论证、系统测试以及在轨定标时，往往仅采用提 取恒星库的星图加入目标作为仿真图像，进行系统参数设计、测试、定标。然 而，实际星载系统获取的星图往往包括背景恒星、目标、各种复杂的系统噪声 (覆盖性噪声、加性噪声等)以及旋转、投影、光学畸变，因此需要设计一种 星图仿真平台精确地反映这些因素对星图的影响。同时，为保证空间目标识别 与跟踪的可靠性，星载系统往往采用高速相机。因此仿真平台必须满足高速实 时的要求。
目前的星图仿真多采用MATLAB生成固定星图，无法实时根据指令完成恒 星库生成、随机目标生成、噪声添加以及畸变仿真，同时空间观测器与目标以 及恒星的相对位置也是实时变化的，采用MATLAB生成也无法进行实时像面投 影，造成仿真结果不准确、失真。另外目标识别跟踪系统需要高速、高帧频的 星图仿真视频，以满足其测试要求，而当前的星图视频生成系统多为低速低帧 频(工业级30Hz)，视频接口单一，不能满足进行全面、精确、高速的空间识 别与跟踪的需求。
发明内容
本发明解决的技术问题是：针对目前现有技术中，传统MATLAB生成的固 定星图无法实时根据指令完成恒星库生成、随机目标生成、噪声添加以及畸变 仿真，同时无法应对实时变化的空间观测器与目标以及恒星的相对位置的问题， 提出了一种基于目标识别的高帧频高精度注入式星图仿真测试平台。
本发明解决上述技术问题是通过如下技术方案予以实现的：
一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于： 包括DSP图像数据处理模块、FPGA图像合成模块、视频转换模块，其中：
DSP图像处理模块：接收外部管理控制器发送的指令信号，所述指令信号 包括星图区域选取指令、噪声注入指令、畸变模拟指令，根据星图区域选取指 令抓取满足指令恒星星等需求的所选区域星图并添加观测目标，根据噪声注入 指令、畸变模拟指令模拟观测目标于真实成像过程中产生的畸变及噪声，将模 拟所得添加观测目标、畸变及噪声数据后的图像数据于指定视频周期内发送至 FPGA图像合成模块；
FPGA图像合成模块：接收DSP图像处理模块发送的图像数据进行图像合 成，并将合成后图像通过归一化运算进行图层叠加，再将图层叠加后所得多个 视频周期图片合成为星图监视视频并发送至视频转换模块；
视频转换模块：接收FPGA图像合成模块发送的合成后星图监视视频并转 换为外部目标识别平台所需的视频格式并向外发送。
还包括看门狗模块，用于监测DSP图像处理模块及FPGA图像合成模块 运行过程中的核心电压，当核心电压低于DSP和FPGA处理器能够正常工作 的电压时，对DSP图像处理模块及FPGA图像合成模块进行复位重启，并生 成错误代码并发送至外部管理控制器。
所述DSP图像处理模块包括噪声注入单元、恒星选择单元、像面定位单元、 畸变仿真单元，其中：
恒星选择单元：接收外部管理控制器发送的星图区域选取指令，抓取所选 区域的星图数据并发送至像面定位单元；
像面定位单元：接收恒星选择单元发送的星图数据并根据星图区域选取指 令添加待观测目标，并将更新后星图数据发送至畸变仿真单元；
畸变仿真单元：接收像面定位单元发送的更新后星图数据及外部管理控制 器发送的畸变模拟指令，并根据畸变模拟指令于实际成像系统中进行模拟运算， 获取恒星实际位置与恒星理想位置畸变值，进行畸变仿真及特定方向投影，生 成畸变仿真后数据；
噪声注入单元：接收外部管理控制器发送的噪声注入指令，并根据噪声注 入指令进行噪声数据仿真运算，生成特定噪声数据，并与畸变仿真单元产生的 畸变仿真后数据共同发送至FPGA图像合成模块。
所述FPGA图像合成模块包括图像合成单元、图层叠加单元、图像修正单 元、视频合成单元，其中：
图像合成单元：接收畸变仿真单元发送的畸变仿真后数据及噪声注入单元 发送的特定噪声数据，并将当前时刻添加数据及原星图数据合成为单张待观测 星图同时发送至图层叠加单元；
图层叠加单元:接收图像合成单元于一个视频周期内发送的N张不同的待 观测星图，通过归一化计算叠加为单张合成星图并发送至图像修正单元；
图像修正单元：接收图层叠加单元发送的单张合成星图进行灰度修正，将 修正后的合成星图发送至视频合成单元；
视频合成单元：接收图像修正单元于视频指令周期内发送的合成星图图像 序列进行视频合成并发送至视频转换模块。
所述恒星选择单元抓取所选区域的星图数据为星图灰度值，计算方法如下：
其中，G(x,y)为(x,y)坐标上对应的灰度值，A为恒星最大光强值，由恒星 的星等、焦面灰度值量化级数决定。(x0,y0)为图像内恒星的质心位置。σ2为高 斯函数的方差，σ为标准差，取1.5。
所述指令恒星星等需求的范围为SAO星表所收录的星等9.0等及以上的恒 星。
所述噪声注入单元注入的噪声数据种类包括高斯噪声、椒盐噪声。
所述特定方向投影为恒星选择单元抓取的星图内待成像仿真的恒星从天球 坐标系经由成像传感器坐标系，再到空间观测相机成像传感器图像坐标系的投 影，其中，恒星由天球坐标系到成像传感器坐标系的转换矩阵M为：
式中，α0为赤经，δ0为赤纬，φ0为滚转角，(α0,δ0,φ0)为仿真成像传感器姿 态角；
所选恒星于成像传感器图像坐标系下的方向矢量坐标(xi,yi,zi)的计算方法 如下：
式中，(αi,βi)为所选恒星于天球坐标系下的坐标，MT为M的转置矩阵；
所选恒星于图像坐标系的投影成像点坐标计算方法如下：
式中，f为相机焦距，(Xi,Yi)为所选恒星于图像坐标系下的成像点坐标。
在成像相机光学系统存在畸变的情况下，所选恒星于图像坐标系下的投影 成像点实际坐标的计算方法如下：
式中，(Xi',Yi')为光学系统畸变情况下恒星实际成像点坐标，dx、dy为坐标 偏差值，(u0,v0)、(q1,q2,q3,p1,p2,p3)为投影成像畸变参数，r为畸变中间变量。
优选的，当图像数据传输带宽为250MHz、图像像元数为1k×1k时，DSP 图像数据处理模块、FPGA图像合成模块、视频转换模块传输的成像视频最大 帧频为250Hz；当DSP主频为1GHz、图像像元数为1k×1k时，能够生成的 仿真成像视频最大帧频为250Hz
本发明与现有技术相比的优点在于：
(1)一种基于目标识别的高帧频高精度注入式星图仿真测试平台，该采用 FPGA与DSP双处理器的工作模式，其中DSP具有多核处理能力，使恒星选 择单元、像面定位单元、畸变仿真单元、噪声注入单元可实时并行运算，解决 了使用单一的处理芯片无法实现的多种仿真要求下，高精度星图实时仿真运算 的难题。同时利用FPGA的高速并行处理能力，高速运行图像合成单元、图像 叠加单元等算法，并加入图像修正单元，进一步对仿真图像进行灰度修正，进 一步提高仿真视频的准确性。并利用FPGA对外接口多、配置灵活的特点，通过视频合成单元、视频转换模块，生成不同格式的仿真视频以满足多种测试要 求
(2)本发明利用FPGA进行实时图像显示，监视图像处理效果。充分发 挥了芯片特性，提高算法实现效率，实现功能的多样化。
(3)本发明利用DSP缓存的读存速度快、易于实现复杂运算的特点，实 现恒星库选取、噪声添加、目标生成及畸变仿真等复杂算法，确保仿真准确性 与实时性。
(4)本发明采用注入式图层的理念，并根据仿真要求引入加性、优先级图 层的概念，简化了图层叠加的运算。同时对仿真图像进行归一化、灰度级修正 处理，提高了仿真的准确性。
(5)本发明的方法可以广泛应用于需要进行目标识别与跟踪的数字视频稳 像、光电跟瞄和机器视觉等图像处理专业领域。
附图说明
图1为发明提供的仿真测试平台示意图；
具体实施方式
为保证星图仿真图的准确性，每帧所包含的信息量很大，同时为满足目标 识别跟踪系统实时性要求，仿真图帧频需要较高。使用单一处理芯片无法实现 包含恒星库、目标、噪声、畸变等信息的高帧频图像实时输出。因此需要多片 高速芯片的协同并行处理来提高整个系统的处理速度。DSP适合图像数据的运 算；FPGA适合做图像数据的传输、缓冲及接口输出。因此将这两种高速处理 芯片结合起来可更好地发挥各自的效用，提高系统的整体运行速度。
本发明提出的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，TMS320C6678(DSP)+XC5VLX110T(FPGA)硬件仿真系统，其中德州仪器TI 推出的TMS320C6678是基于其最新DSP系列器件TMS320C66x之上，采 用8个1.25GHz浮点运算DSP内核构建而成，适用于多个图像信息的独立处 理；XC5VLX110T支持DDR2，可与数据乒乓缓存模块高速无缝连接。本发明 主要包括硬件系统及软件仿真算法，具体如下：
如图1所示，包括电源模块、DSP图像数据处理模块、FPGA图像合成模 块、视频转换模块、看门狗模块，其中：1)电源模块将管理控制器的输入电压 转换为硬件系统内各个芯片所需要电压，进行芯片供电。
2)DSP最小系统是星图仿真算法的运行核心。DSP接收管理控制器的控制 信息，包括当前待仿真的星图区域、恒星等级、噪声类型及等级、光学系统成 像旋转投影畸变情况等信息，生成图像的属性信息(包括由恒星亮度、光学系 统等获得的最终仿真图的灰度级)，由DSP控制核心分配给处理核独立进行区 域内恒星库生成、目标生成、噪声添加及畸变仿真的运算。根据成像要求，主 要算法包括恒星选择、像面定位分布；高斯噪声、椒盐噪声的添加；光学成像 所产生的旋转、投影、畸变运算等。对运算获得的图像数据及图像的属性信息 编码，通过数据总线发送至FPGA。
3)FPGA最小系统读入DSP运算后的图像数据并存入DDR中。FPGA控 制数据的乒乓缓冲，在一个DDR写入数据的同时，FPGA对另一个DDR中缓 存的数据进行运算。主要算法包括各独立信息的图像进行图层注入式叠加；根 据图像的属性信息，对叠加后的图像进行归一化及灰度级修正，获取最终的仿 真图像。通过图像数据转换模块，将TTL电平转化为LVDS信号，输出至待测 目标跟踪识别系统。同时FPGA将仿真图像数据输出至液晶屏，进行当前图像 的实时监视显示。
4)视频转换模块将FPGA输出的仿真图像数据转换为待测目标跟踪识别 系统的接口数据，实际使用16位LVDS视频图像输出信号。
5)看门狗模块对DSP与FPGA的喂狗信号进行判断，当程序跑飞时，看 门狗产生复位信号，让FPGA或DSP复位。同时看门狗可以检测DSP与FPGA 的核心电压，当核心电压过低时，看门狗可以输出遥测信号给外部管理器。
本系统使用数据乒乓输入形式可以有效缓冲图像数据。使用乒乓缓冲时， 其中一个存储空间进行数据写入时，对另一存储空间进行运算。这样做可以避 免数据传输冲突，有效利用存储空间，提高数据输入输出速度和图像处理速度。 使用数据总线扩展技术，将8位数据总线合并和扩展到32位，进而提高每个 周期的数据吞吐量，缩短数据传输时间，保证图像实时处理。
其中，各模块的功能分布如下：
DSP图像处理模块：接收外部管理控制器发送的指令信号，所述指令信号 包括星图区域选取指令、噪声注入指令、畸变模拟指令、视频周期指令，根据 星图区域选取指令抓取满足指令恒星等级需求的所选区域星图并添加观测目标， 根据噪声注入指令、畸变模拟指令模拟观测目标于真实成像过程中产生的畸变 及噪声，将模拟后所得图像数据于指定视频周期内发送至FPGA图像合成模块；
其中，DSP图像处理模块包括噪声注入单元、恒星选择单元、像面定位单 元、畸变仿真单元，其中：
恒星选择单元：接收外部管理控制器发送的星图区域选取指令，抓取所选 区域的星图数据并发送至像面定位单元；
像面定位单元：接收恒星选择单元发送的星图数据并根据星图区域选取指 令添加待观测目标，并将更新后星图数据发送至畸变仿真单元；
畸变仿真单元：接收像面定位单元发送的更新后星图数据及外部管理控制 器发送的畸变模拟指令，并根据畸变模拟指令进行畸变仿真及特定方向投影， 生成畸变仿真后数据；
噪声注入单元：接收外部管理控制器发送的噪声注入指令，并根据噪声注 入指令生成特定噪声数据，并与畸变仿真单元产生的畸变仿真后数据共同发送 至FPGA图像合成模块；
FPGA图像合成模块：接收DSP图像处理模块发送的图像数据进行图像合 成，并将合成后图像通过归一化运算进行图层叠加，再将图层叠加后所得多个 视频周期图片合成为星图监视视频并发送至视频转换模块；
其中，所述FPGA图像合成模块包括图像合成单元、图层叠加单元、图像 修正单元、视频合成单元，其中：
图像合成单元：接收畸变仿真单元发送的畸变仿真后数据及噪声注入单元 发送的特定噪声数据，并将所有数据合成为单张待观测星图同时发送至图层叠 加单元；
图层叠加单元:接收图像合成单元于一个视频周期内发送的N张待观测星 图，通过归一化计算叠加为单张合成星图并发送至图像修正单元；
图像修正单元：接收图层叠加单元发送的单张合成星图进行灰度修正，将 修正后的合成星图发送至视频合成单元；
视频合成单元：接收图像修正单元于视频指令周期内发送的合成星图图像 序列进行视频合成并发送至视频转换模块。
视频转换模块：接收FPGA图像合成模块发送的合成后星图监视视频并转 换为外部目标识别平台所需的视频格式并向外发送。
电源模块：为DSP图像处理模块及FPGA图像合成模块供电。
看门狗模块：监测DSP图像处理模块及FPGA图像合成模块运行过程中 的核心电压，当核心电压低于DSP和FPGA处理器能够正常工作的电压时， 对DSP图像处理模块及FPGA图像合成模块进行复位重启，并生成错误代码 并发送至外部管理控制器。
本发明的软件算法及性能评估具体如下：
软件算法采用图层注入式的理念处理，同时针对噪声特性提出两种图层方 式：加性图层和优先级图层，分别针对加性噪声(探测器模态噪声，例如高斯 噪声等)和针对覆盖性噪声(如探测器坏点、椒盐噪声等)。加性图层将多个图 层数值相加(判断大于成像最大值时，就取最大值)；优先级图层将图层分为不 同的优先级，最高优先级的图层进行输出显示，如果最高优先级没有数据、则 显示下一个优先级的图层，直到最低的优先级图层显示。(高优先级的图层如果 数据为零就不显示，只有不为零的时候才会显示)。最终根据成像系统的设计指 标及目标、恒星的亮度等级等参数，对叠加后的图层进行归一化及灰度级修正， 以满足成像系统的实际需求。
为保证高帧频仿真图像的实时输出，以下对主要算法及时钟性能进行说明 评估(1K×1K图像像元数，250Hz帧频)。
1)高斯噪声的仿真运算：
高斯噪声是图像中的加性噪声，属于加性图层。高斯噪声的公式为：
其中，Gg为高斯噪声，Vg为噪声方差，rand(x,y)为(x,y)位置对应的随 机数，Mg为噪声均值。由此可以获得单个像素点噪声的计算时间：
性能评估：rand(x,y)需要约66个时钟周期；的结果可在初始化时单次 计算，需要4200个时钟周期；浮点乘法需要约94个时钟周期浮点加法需要约 80个时钟周期；每个像素对应位置需要约320个时钟周期
2)椒盐噪声的仿真运算：
图像加入椒盐噪声的公式为
其中，Gs为椒盐噪声，Ps为噪声密度，rand(x,y)为(x,y)位置对应的随 机数。
性能评估：单个像素点噪声的计算时间为：rand(x,y)需要约66个时钟周期； 比较与赋值需要约4个时钟周期。每个像素对应位置需要约70个时钟周期
3)星点光强分布的仿真运算
恒星星点在焦面所成图像的灰度值分布可以用高斯函数表示：
其中，G(x,y)为(x,y)坐标上对应的灰度值，A为恒星最大光强值，由恒星 的星等、焦面灰度值量化级数决定。(x0,y0)为图像内恒星的质心位置。σ2为高 斯函数的方差，σ为标准差。在实际工作中，σ取1.5。
性能评估：星敏感器或者其它利用恒星定位、定姿的设备在成像焦面上恒 星的尺寸不大于5x5个像素，则可以计算出模拟一颗恒星灰度分布所用的时间： 浮点加减运算需要3x80个时钟周期；浮点乘除法运算需要4x94个时钟周期； 自然对数求幂运算需要4200个时钟周期；因此耽搁恒星仿真需要4816个时钟 周期。
一般而言，图像内恒星个数不超过40个就可以满足利用恒星进行定位的 功能需求。因此，产生一帧恒星图像所需要的时钟周期约为192640个。经过8 级流水线优化后需24080个时钟周期。
4)旋转、投影、光学畸变的仿真运算：
设恒星在天球坐标系下的坐标为(αi,βi)，在成像传感器坐标系下的方向矢 量为(xi,yi,zi)，在图像坐标系下的成像点坐标为(Xi,Yi)。成像传感器对导航恒星 成像包含：恒星由天球坐标系到成像传感器坐标系的旋转变换，成像传感器坐 标系到图像坐标系的透视投影变换，以及实际光学系统存在的成像畸变。
设需要仿真的成像传感器姿态角为(α0,δ0,φ0)，其中α0为赤经，δ0为赤纬，φ0为滚转角。则由天球坐标系到成像传感器坐标系的旋转变换矩阵M可以表示为：
在成像传感器坐标系下的方向矢量可以表示为
其中MT M为M的转置矩阵。
经过透视投影，在图像中的恒星成像点坐标为
其中f为成像系统的焦距。
实际的成像系统中的光学镜头并非理想的透视成像，而是存在一定的畸变， 使得恒星位置并非理想模型下的所在位置(Xi,Yi)，而是存在一定偏差的位置 (Xi',Yi')，有
其中dx与dy为畸变值，与星点位置有关。一般而言，光学镜头存在径向 畸变和切向畸变。一般考虑到三阶径向畸变和二阶切向畸变，dx与dy有
其中，
前面式子中的(u0,v0)，(q1,q2,q3,p1,p2,p3)为畸变参数，描述光学镜头的畸变 情况。
性能评估：正余弦运算所需时钟周期约为3800个，则每一个恒星进行旋 转、投影、光学畸变计算的运算量约为54168个时钟周期，40颗星的计算量 总共为2166720个时钟周期。经过8级流水线优化后，约为270840个周期。
综上所述，单个像素的旋转、投影、光学畸变运算最长时间为320个周期。 经过DSP8级的流水线优化后，速度可以达到优化前的8倍，因此实际每个像 素位置计算噪声仅需要40个时钟周期。采用的多核DSP主频为1GHz，因此 对于1kx1k像素数的图像而言，可以达到约250帧。
5)图像传输
图像传输所需要的时间与图像的像素个数有关，与传输总线位数有关。在 仿真测试平台图像数据传输带宽、DSP主频确定的情况下，成像帧频受到图像 像元数约束。在本系统中，使用32位的数据总线进行DSP与FPGA的内部数 据传送，传送图像尺寸为1kx1k，图像像素对应灰度级为8bit，因此图像的传 输时间约为262144个周期。FPGA对外图像传输使用8位数据位方式，图像 传输时间约为1048510个时钟周期，对应FPGA的250MHz传输频率而言， 1k×1k图像像元数条件下，当DSP主频1GHz时，连续视频图像可以达到250 帧。
6)图层叠加、归一化及灰度级修正运算
前文获得的高斯噪声图像、椒盐噪声图像以及经过加入旋转、投影、光学 畸变的星图可以认为是不同的图层，针对这些图层可以进行叠加。对于椒盐噪 声使用优先级图层，将椒盐噪声作为最高的优先级，当椒盐噪声图层对应的像 素灰度值不为零时，累加的结果就是用椒盐噪声图层内像素的灰度值。当椒盐 噪声图层的像素灰度值为零时，就对高斯噪声使用加性图层，直接对高斯噪声 图层以及星图图层进行灰度值的累加。在图层叠加过程中，可以同时进行最大 灰度值和最小灰度值的求取。
像素最大灰度值的结果可以应用于归一化与灰度级修正。图像归一化及灰 度级修正的公式如下：
其中g(x,y)为归一化前图层累加后(x,y)坐标对应的灰度值，g'(x,y)为归 一化与灰度级修正后的灰度值，k为灰度值级数。在实际系统中，k取8。
由对算法的分析可知，该仿真测试平台对于1kx1k像元数的视频仿真可以 达到250帧，能够仿真多种噪声和畸变，完全满足目前高帧频高精度星图识别 的需求。
在整个系统的工作过程中，DSP主要涉及到的算法有星表选取与目标生成， 引入高斯噪声，引入椒盐噪声，加入旋转、投影、光学畸变，以及图像数据传 输。
对于这些算法，为了提高图像的仿真速度，使用软件流水线的方法进行运 算优化。例如，将星表选取与目标生成，引入高斯噪声，引入椒盐噪声作为运 算步骤1，将加入噪声、旋转、投影、光学畸变作为运算步骤2，将图像数据 传输作为运算步骤3，在进行第n帧图像运算步骤1的同时，进行第n-1帧图 像的运算步骤2和第n-2帧图像的运算步骤三，这样保证了图像仿真运算的实 时性。
FPGA主要涉及的算法是图层的叠加，归一化运算及灰度级修正，图像输 出。对于这三种算法也使用软件流水线的方式提高程序的执行速度。
说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (10)
1.一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：包括DSP图像数据处理模块、FPGA图像合成模块、视频转换模块，其中：
DSP图像处理模块：接收外部管理控制器发送的指令信号，所述指令信号包括星图区域选取指令、噪声注入指令、畸变模拟指令，根据星图区域选取指令抓取满足指令恒星星等需求的所选区域星图并添加观测目标，根据噪声注入指令、畸变模拟指令模拟观测目标于真实成像过程中产生的畸变及噪声，将模拟所得添加观测目标、畸变及噪声数据后的图像数据于指定视频周期内发送至FPGA图像合成模块；
FPGA图像合成模块：接收DSP图像处理模块发送的图像数据进行图像合成，并将合成后图像通过归一化运算进行图层叠加，再将图层叠加后所得多个视频周期图片合成为星图监视视频并发送至视频转换模块；
视频转换模块：接收FPGA图像合成模块发送的合成后星图监视视频并转换为外部目标识别平台所需的视频格式并向外发送。
2.根据权利要求1所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：还包括看门狗模块，用于监测DSP图像处理模块及FPGA图像合成模块运行过程中的核心电压，当核心电压低于DSP和FPGA处理器能够正常工作的电压时，对DSP图像处理模块及FPGA图像合成模块进行复位重启，并生成错误代码并发送至外部管理控制器。
3.根据权利要求1或2所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：
所述DSP图像处理模块包括噪声注入单元、恒星选择单元、像面定位单元、畸变仿真单元，其中：
恒星选择单元：接收外部管理控制器发送的星图区域选取指令，抓取所选区域的星图数据并发送至像面定位单元；
像面定位单元：接收恒星选择单元发送的星图数据并根据星图区域选取指令添加待观测目标，并将更新后星图数据发送至畸变仿真单元；
畸变仿真单元：接收像面定位单元发送的更新后星图数据及外部管理控制器发送的畸变模拟指令，并根据畸变模拟指令于实际成像系统中进行模拟运算，获取恒星实际位置与恒星理想位置畸变值，进行畸变仿真及特定方向投影，生成畸变仿真后数据；
噪声注入单元：接收外部管理控制器发送的噪声注入指令，并根据噪声注入指令进行噪声数据仿真运算，生成特定噪声数据，并与畸变仿真单元产生的畸变仿真后数据共同发送至FPGA图像合成模块。
4.根据权利要求1或2所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：
所述FPGA图像合成模块包括图像合成单元、图层叠加单元、图像修正单元、视频合成单元，其中：
图像合成单元：接收畸变仿真单元发送的畸变仿真后数据及噪声注入单元发送的特定噪声数据，并将当前时刻添加数据及原星图数据合成为单张待观测星图同时发送至图层叠加单元；
图层叠加单元:接收图像合成单元于一个视频周期内发送的N张不同的待观测星图，通过归一化计算叠加为单张合成星图并发送至图像修正单元；
图像修正单元：接收图层叠加单元发送的单张合成星图进行灰度修正，将修正后的合成星图发送至视频合成单元；
视频合成单元：接收图像修正单元于视频指令周期内发送的合成星图图像序列进行视频合成并发送至视频转换模块。
5.根据权利要求3所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：所述恒星选择单元抓取所选区域的星图数据为星图灰度值，计算方法如下：
其中，G(x,y)为(x,y)坐标上对应的灰度值，A为恒星最大光强值，由恒星的星等、焦面灰度值量化级数决定。(x0,y0)为图像内恒星的质心位置。σ2为高斯函数的方差，σ为标准差，取1.5。
6.根据权利要求3所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：所述指令恒星星等需求的范围为SAO星表所收录的星等9.0等及以上的恒星。
7.根据权利要求3所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：所述噪声注入单元注入的噪声数据种类包括高斯噪声、椒盐噪声。
8.根据权利要求3所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：所述特定方向投影为恒星选择单元抓取的星图内待成像仿真的恒星从天球坐标系经由成像传感器坐标系，再到空间观测相机成像传感器图像坐标系的投影，其中，恒星由天球坐标系到成像传感器坐标系的转换矩阵M为：
式中，α0为赤经，δ0为赤纬，φ0为滚转角，(α0,δ0,φ0)为仿真成像传感器姿态角；
所选恒星于成像传感器图像坐标系下的方向矢量坐标(xi,yi,zi)的计算方法如下：
式中，(αi,βi)为所选恒星于天球坐标系下的坐标，MT为M的转置矩阵；
所选恒星于图像坐标系的投影成像点坐标计算方法如下：
式中，f为相机焦距，(Xi,Yi)为所选恒星于图像坐标系下的成像点坐标。
9.根据权利要求8所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：在成像相机光学系统存在畸变的情况下，所选恒星于图像坐标系下的投影成像点实际坐标的计算方法如下：
式中，(Xi',Yi')为光学系统畸变情况下恒星实际成像点坐标，dx、dy为坐标偏差值，(u0,v0)、(q1,q2,q3,p1,p2,p3)为投影成像畸变参数，r为畸变中间变量。
10.根据权利要求1所述的一种基于目标识别的高帧频高精度注入式星图仿真测试平台，其特征在于：当图像数据传输带宽为250MHz、图像像元数为1k×1k时，DSP图像数据处理模块、FPGA图像合成模块、视频转换模块传输的成像视频最大帧频为250Hz；当DSP主频为1GHz、图像像元数为1k×1k时，能够生成的仿真成像视频最大帧频为250Hz。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811478909.2A CN109708662B (zh) | 2018-12-05 | 2018-12-05 | 一种基于目标识别的高帧频高精度注入式星图仿真测试平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811478909.2A CN109708662B (zh) | 2018-12-05 | 2018-12-05 | 一种基于目标识别的高帧频高精度注入式星图仿真测试平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109708662A true CN109708662A (zh) | 2019-05-03 |
| CN109708662B CN109708662B (zh) | 2020-11-20 |
Family
ID=66255472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811478909.2A Active CN109708662B (zh) | 2018-12-05 | 2018-12-05 | 一种基于目标识别的高帧频高精度注入式星图仿真测试平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109708662B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110108303A (zh) * | 2019-05-24 | 2019-08-09 | 山东航天电子技术研究所 | 一种在轨空间目标探测识别仿真系统及方法 |
| CN111105488A (zh) * | 2019-12-20 | 2020-05-05 | 成都纵横自动化技术股份有限公司 | 成像仿真方法、装置、电子设备和存储介质 |
| CN113970327A (zh) * | 2021-11-01 | 2022-01-25 | 北京微纳星空科技有限公司 | 一种电子星图模拟器、电子模拟星图生成方法和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1869589A (zh) * | 2006-06-27 | 2006-11-29 | 北京航空航天大学 | 一种捷联惯性/天文组合导航半实物仿真系统 |
| CN101308210A (zh) * | 2008-04-25 | 2008-11-19 | 深圳市亿威尔信息技术有限公司 | 雷达显示图像产生方法及系统 |
| CN103033196A (zh) * | 2012-12-11 | 2013-04-10 | 北京控制工程研究所 | 一种aps星敏感器电子星空模拟器 |
| CN103968845A (zh) * | 2014-04-15 | 2014-08-06 | 北京控制工程研究所 | 一种用于星敏感器的dsp与fpga并行多模式星图处理方法 |
| CN104239271A (zh) * | 2014-09-16 | 2014-12-24 | 中国科学院光电技术研究所 | 一种采用fpga和dsp实现的仿真图像播放器 |
| CN106767919A (zh) * | 2016-12-12 | 2017-05-31 | 长春理工大学 | 用于星模拟器的多参数高精度星图检测装置 |
| CN107101637A (zh) * | 2017-05-27 | 2017-08-29 | 电子科技大学天府协同创新中心 | 数字星图仿真方法及装置 |
| CN107967198A (zh) * | 2017-12-12 | 2018-04-27 | 华中科技大学 | 一种星上图像处理仿真评估装置 |
-
2018
- 2018-12-05 CN CN201811478909.2A patent/CN109708662B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1869589A (zh) * | 2006-06-27 | 2006-11-29 | 北京航空航天大学 | 一种捷联惯性/天文组合导航半实物仿真系统 |
| CN101308210A (zh) * | 2008-04-25 | 2008-11-19 | 深圳市亿威尔信息技术有限公司 | 雷达显示图像产生方法及系统 |
| CN103033196A (zh) * | 2012-12-11 | 2013-04-10 | 北京控制工程研究所 | 一种aps星敏感器电子星空模拟器 |
| CN103968845A (zh) * | 2014-04-15 | 2014-08-06 | 北京控制工程研究所 | 一种用于星敏感器的dsp与fpga并行多模式星图处理方法 |
| CN104239271A (zh) * | 2014-09-16 | 2014-12-24 | 中国科学院光电技术研究所 | 一种采用fpga和dsp实现的仿真图像播放器 |
| CN106767919A (zh) * | 2016-12-12 | 2017-05-31 | 长春理工大学 | 用于星模拟器的多参数高精度星图检测装置 |
| CN107101637A (zh) * | 2017-05-27 | 2017-08-29 | 电子科技大学天府协同创新中心 | 数字星图仿真方法及装置 |
| CN107967198A (zh) * | 2017-12-12 | 2018-04-27 | 华中科技大学 | 一种星上图像处理仿真评估装置 |
Non-Patent Citations (4)
| Title |
|---|
| MALAK A. SAMAAN等: "《STAR TRACKER REAL-TIME HARDWARE IN THE LOOP》", 《2011 SPACE FLIGHT MEETING》 * |
| 吴小明: "基于DSP和FPGA电子星空模拟器设计", 《计算机测量与控制》 * |
| 赵杨等: "基于FPGA和DSP的红外图像信号发生器设计与实现", 《电视技术》 * |
| 郭敬明等: "CCD星图模拟器的设计及验证", 《中国光学与应用光学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110108303A (zh) * | 2019-05-24 | 2019-08-09 | 山东航天电子技术研究所 | 一种在轨空间目标探测识别仿真系统及方法 |
| CN111105488A (zh) * | 2019-12-20 | 2020-05-05 | 成都纵横自动化技术股份有限公司 | 成像仿真方法、装置、电子设备和存储介质 |
| CN111105488B (zh) * | 2019-12-20 | 2023-09-08 | 成都纵横自动化技术股份有限公司 | 成像仿真方法、装置、电子设备和存储介质 |
| CN113970327A (zh) * | 2021-11-01 | 2022-01-25 | 北京微纳星空科技有限公司 | 一种电子星图模拟器、电子模拟星图生成方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109708662B (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190371003A1 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
| JP2021503131A (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| CN109708662B (zh) | 一种基于目标识别的高帧频高精度注入式星图仿真测试平台 | |
| US11610373B2 (en) | Method of generating three-dimensional model data of object | |
| CN112288853B (zh) | 三维重建方法、三维重建装置、存储介质 | |
| CN108805979A (zh) | 一种动态模型三维重建方法、装置、设备和存储介质 | |
| US11657535B2 (en) | System and method for optimal camera calibration | |
| US11262837B2 (en) | Dual-precision sensor system using high-precision sensor data to train low-precision sensor data for object localization in a virtual environment | |
| EP4105766A1 (en) | Image display method and apparatus, and computer device and storage medium | |
| US11954830B2 (en) | High dynamic range support for legacy applications | |
| CN112085775B (zh) | 图像处理的方法、装置、终端和存储介质 | |
| US11475549B1 (en) | High dynamic range image generation from tone mapped standard dynamic range images | |
| JP2021530016A (ja) | 汎用処理ユニットからハードウェアアクセラレータユニットに画像ベースの追跡オペレーションをオフローディングするためのシステム及び方法 | |
| US11682212B2 (en) | Hierarchical data organization for dense optical flow processing in a computer vision system | |
| CN111161398A (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| US11875478B2 (en) | Dynamic image smoothing based on network conditions | |
| US9984436B1 (en) | Method and system for real-time equirectangular projection | |
| CN117745928A (zh) | 一种图像处理方法、装置、设备及介质 | |
| CN112291445B (zh) | 图像处理的方法、装置、设备和存储介质 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| US20220075638A1 (en) | Memory bandwidth throttling for virtual machines | |
| CN112752086A (zh) | 用于环境映射的图像信号处理器、方法和系统 | |
| CN110675445A (zh) | 一种视觉定位方法、装置及存储介质 | |
| US11783532B1 (en) | View synthesis using attribute correspondences and geometric relationship constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |