CN117666116A - 一种周扫成像装置及其凝视补偿方法 - Google Patents
一种周扫成像装置及其凝视补偿方法 Download PDFInfo
- Publication number
- CN117666116A CN117666116A CN202311359860.XA CN202311359860A CN117666116A CN 117666116 A CN117666116 A CN 117666116A CN 202311359860 A CN202311359860 A CN 202311359860A CN 117666116 A CN117666116 A CN 117666116A
- Authority
- CN
- China
- Prior art keywords
- image
- quality evaluation
- evaluation parameter
- image quality
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000010354 integration Effects 0.000 claims abstract description 34
- 238000013441 quality evaluation Methods 0.000 claims description 90
- 238000010408 sweeping Methods 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 abstract description 8
- 238000012634 optical imaging Methods 0.000 abstract description 3
- 230000003287 optical effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003331 infrared imaging Methods 0.000 description 4
- 230000009194 climbing Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
- G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
- G02B7/198—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors with means for adjusting the mirror relative to its support
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明涉及光学成像技术领域，具体公开了一种周扫成像装置及其凝视补偿方法，周扫成像装置包括：二维转台、面阵红外探测器、快反镜、镜头和控制组件；二维转台在控制组件控制下水平转动和俯仰转动；快反镜设置于面阵红外探测器和镜头之间的光路中；控制组件控制快反镜在当前成像积分周期内与二维转台反向转动，对面阵红外探测器获取的原始视场目标图像进行补偿，消除图像拖尾，并控制快反镜在当前成像积分周期结束后复位至初始位置。通过控制快反镜与二维转动台反向回扫，进行反向补偿运动，使面阵红外探测器在成像积分周期内的成像视场保持不变，可以对每一帧图像进行回扫补偿，降低了周扫成像装置的像移模糊，提高了成像质量。
Description
技术领域
本发明涉及光学红外搜索跟踪技术领域，特别涉及一种周扫成像装置及其凝视补偿方法。
背景技术
与线列探测系统相比，红外面阵探测系统具有探测能力强、扫描效率高的优势。但是由于在探测积分时间内成像景物相对探测靶面是运动的，面阵扫描成像不可避免的会带来图像质量退化的问题，针对此问题，本发明设计了一种红外周扫成像装置，利用红外面阵探测器和周视扫描转台配合成像。针对周扫图像质量退化问题，提出一种基于梯度相似度的质量评价方法，依据评价结果，不断调节光学快速反射镜(快反镜)参数进行自动补偿，使得周扫过程中的成像质量无限接近于凝视下的成像。
红外周扫成像系统广泛应用于目标预警、防空探测等领域，其主要目的是为了获取周视全景图像，实现大视场、全方位和远距离的目标探测，由于其具有全天候探测、隐蔽性好、抗干扰以及多目标识别跟踪等特点，使得红外周扫成像系统成为近些年研究的热点，在环境安全检测以及战场态势感知等领域发挥着越来越重要的作用。
红外周扫成像系统通常利用红外线阵或面阵探测器和周视扫描转台相互配合来进行成像。线阵探测器扫描成像时，像元与目标驻留时间短，造成灵敏度不高，探测距离有限。与线阵探测器不同，面阵探测器扫描成像时需要凝视成像。面阵凝视探测器的积分时间可达到毫秒量级，有效降低了系统的延迟。采用面阵探测器可以对较大视场进行快速采样，从而使得单位时间内获取的图像信息更多，进而降低了系统的虚警率，但在使用面阵探测器进行扫描成像而没有任何补偿措施的情况下，视场目标与成像探测器的相对运动会造成面阵探测器不能凝视成像，导致系统输出图像存在严重的拖尾像移现象。
发明内容
本发明实施例的目的是提供一种周扫成像装置及其凝视补偿方法，通过控制快反镜与二维转动台反向回扫，进行反向补偿运动，使红外面阵探测器在成像积分周期内的成像视场保持不变，可以对每一帧图像进行回扫补偿，有效降低了周扫成像装置的像移模糊，极大提高了装置成像质量。
为解决上述技术问题，本发明实施例第一方面提供了一种周扫成像装置，包括：二维转台、面阵红外探测器、快反镜、镜头和控制组件；
所述二维转台在所述控制组件控制下水平转动和俯仰转动；
所述快反镜设置于所述面阵红外探测器和所述镜头之间的光路中；
所述控制组件控制所述快反镜在当前成像积分周期内与所述二维转台反向转动，对所述面阵红外探测器获取的原始视场目标图像进行补偿，消除图像拖尾，并控制所述快反镜在当前所述成像积分周期结束后复位至初始位置。
进一步地，所述控制组件分别选取小于预设摆扫速度的第一摆扫速度和第二摆扫速度，控制所述快反镜在所述面阵红外探测器成像积分时间内分别按照所述第一摆扫速度和所述第二摆扫速度相对于二维转台反向转动，并分别计算与所述第一摆扫速度相对应的第一图像质量评价参数和所述第二摆扫速度相对应的第二图像质量评价参数；
若所述第一图像质量评价参数大于所述第二图像质量评价参数，则将第一摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜与在所述面阵红外探测器的成像积分时间内所述二维转台反向转动；
若所述第一图像质量评价参数小于所述第二图像质量评价参数，则将所述第二摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜在所述面阵红外探测器的成像积分时间内与所述二维转台反向转动。
进一步地，所述控制组件通过所述面阵红外探测器获取原始视场目标图像；获取所述原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图，对所述梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算图像平均梯度相似度，得到所述图像质量评价参数。
进一步地，所述图像平均梯度相似度的计算公式为：
其中，M为子图像块的数量；GSSIM(ri，di)为第i块的图像梯度相似度，MGSSIM(r,d)为图像平均梯度相似度；
所述图像梯度相似度的计算公式为：
GSSIM(r,d)＝[l(r，d)]α·[Cg(r，d)]β·[Sg(r，d)]γ；
其中，r代表灰度原始参考图像，d代表灰度原始视场目标图像，l(r，d)为灰度原始参考图像和灰度原始视场目标图像的亮度比较函数，Cg(r，d)为灰度原始参考图像和灰度原始视场目标图像的对比度比较函数，Sg(r，d)为灰度原始参考图像和灰度原始视场目标图像的结构比较函数；α、β和γ为大于0的三个权重参数，用于调整l(r，d)、C(r，d)、S(r，d)的权重，μr和μd表示r和d二者的均值，σr和σd代表二者的标准差，σrd代表二者之间的协方差，C1，C2，C3为常量。
进一步地，采用Sobel梯度算子分别对原始参考图像与原始视场目标图像的梯度特征进行提取，得到原始参考图像r和原始视场目标图像d所对应的梯度图像r′和d′，
其中，σr′、σd′分别表示r′和d′的标准差，σr′d′表示r′和d′的协方差，常数C2、C3避免分母为零的情况。
进一步地，所述周扫成像装置还包括：镜托；
所述镜托分别与所述面阵红外探测器、所述快反镜和所述镜头固定连接，所述面阵红外探测器、所述快反镜和所述镜头位于同一平面。
进一步地，所述周扫成像装置还包括：支撑板；
所述支撑板固设于所述二维转台内部，且与所述镜托固定连接。
相应地，本发明实施例的第二方面还提供了一种周扫成像装置凝视补偿方法，控制如权利要求-任一所述的周扫成像装置进行凝视补偿，包括如下步骤：
分别选取小于预设摆扫速度的第一摆扫速度和第二摆扫速度；
控制快反镜在面阵红外探测器的成像积分时间内分别按照所述第一摆扫速度和所述第二摆扫速度相对于二维转台反向转动，分别计算与所述第一摆扫速度相对应的第一图像质量评价参数和所述第二摆扫速度相对应的第二图像质量评价参数；
若所述第一图像质量评价参数大于所述第二图像质量评价参数，则在第一摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜在所述面阵红外探测器的成像积分时间内与所述二维转台反向转动；
若所述第一图像质量评价参数小于所述第二图像质量评价参数，则在所述第二摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜在所述面阵红外探测器的成像积分时间内与所述二维转台反向转动。
进一步地，计算图像质量评价参数的过程，具体包括：
通过面阵红外探测器获取原始视场目标图像；
获取所述原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图，所述原始参考图像为预先获取的单帧凝视图像；
对所述梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算整体的梯度平均值，得到所述图像质量评价参数。
进一步地，所述计算二者的梯度幅度相似图，包括如下步骤：
对所述原始视场目标图像和所述原始参考图像进行灰度转换，得到灰度待补偿失真图像和灰度原始参考图像；
对所述灰度待补偿失真图像与所述灰度原始参考图像进行梯度相似度计算，得到分块图像梯度幅值和梯度幅度相似图。
进一步地，所述对所述灰度待补偿失真图像与所述灰度原始参考图像进行梯度相似度计算，包括：
通过Sobel算子对所述灰度待补偿失真图像和所述灰度原始参考图像进行梯度检测，得到二者的梯度图。
进一步地，所述对所述原始视场目标图像和所述原始参考图像进行灰度转换之后，还包括：
对所述灰度待补偿失真图像和所述灰度原始参考图像进行背景滤波，得到所述原始视场目标图像和所述原始参考图像的灰度抑制图。
本发明实施例的上述技术方案具有如下有益的技术效果：
通过控制快反镜与二维转动台反向回扫，进行反向补偿运动，使红外面阵探测器在成像积分周期内的成像视场保持不变，可以对每一帧图像进行回扫补偿，有效降低了周扫成像装置的像移模糊，极大提高了装置成像质量。
附图说明
图1a是现有技术中的物方扫描原理示意图；
图1b是现有技术中的像方扫描原理示意图；
图2是本发明实施例周扫成像装置整体示意图；
图3是本发明实施例提供的周扫成像装置除转台外正面示意图；
图4是本发明实施例提供的周扫成像装置除转台外侧面斜视示意图；
图5是本发明实施例提供的快反镜参数自动补偿方法流程图；
图6是本发明实施例提供的梯度相似度算法流程图。
附图标记：
101、二维转台，102、面阵红外探测器，103、快反镜，104、镜头，105、镜托，106、支撑板。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在红外周扫成像系统成像过程中，采用基于快反镜的回扫补偿方式，使光线按照特定的规律改变方向，从而使得系统在成像积分时间内扫描视场的相对静止，根据快反镜在成像系统中所处位置的不同，回扫补偿结构一般分为物方扫描与像方扫描两种基本结构。两种回扫补偿结构如图1a和图1b所示。
当光线路径为首先经过快反镜，再经过光学系统，此时系统采用的扫描方式即为物方扫描。物方扫描方式的成像原理较为简单，需要满足光学二倍角关系即可，在上述回扫补偿结构示意图中，假设回扫补偿型红外成像系统的周扫方位转台转速为ω，则物方扫描方式下需要补偿的反射镜反向摆镜摆速为：
物方扫描补偿技术是在物镜前的光路中加入回扫补偿装置，直接对视场进行扫描。物方扫描结构中的快反镜位于光学系统前方，在回扫补偿时不会引入的光学偏差，只需要在光学系统的最前端加入补偿反射镜，其它光学系统无需做任何适应性改动，因此结构相比像方扫描方式较为简单，对光学系统成像无影响。物方扫描结构由于光学系统口径受摆镜镜片尺寸限制，因此只能应用在焦距较短、视场较大的系统中，此外物方扫描下的补偿反射镜与周扫转台之间的匹配精度更高，因此对伺服控制系统有更高的要求。
当光线首先经过前置望远系统，其次经过快反镜，此时系统所采用的扫描方式即为像方扫描。在回扫补偿结构示意图中的像方扫描方式下，假设望远镜放大倍率为K，回扫补偿型红外成像系统的周扫方位转台转速为ω，则需要补偿的反向摆镜摆速为：
像方扫描补偿技术是将快反镜位于前置望远系统及二次成像物镜之间，由于可使用前置的望远系统来压缩光束的口径，因此通常应用在长焦系统中，与物方扫描补偿技术的主要区别是回扫补偿装置在前置望远系统与成像探测器之间对视场图像进行补偿扫描，由此会带来扫描视场，系统在设计时需要扩大成像物镜的光学视场，其他成像结构基本保持不变，仅增加了补偿反射镜，像方扫描方式下的回扫补偿可能会带来像面离焦，因此对光学系统设计要求较高，系统中快反镜扫描角度及扫描过程对主光线入射角度变化较大。
由于像方扫描方式可通过前置望远系统对光束口径进行压缩，因此可以做的较为小巧，在红外成像系统的外部参数要求严格限制的情况下可优先考虑像方扫描补偿方式，但像方扫描补偿系统的摆扫补偿速率与转台转速、望远系统放大倍率都有关，其中望远系统的放大倍率受温度影响，因此像方扫描方式受环境影响更大。利用快反镜进行像方扫描补偿在系统成像过程中会出现偏差，在理想情况下，周扫转台带动成像探测器进行扫描成像，视场内的图像保持相对静止，但在实际工作过程中快反镜回扫补偿时不同像面点在探测器上的位置并不完全相同，这就会造成视场中心与视场边缘不一致，影响成像质量，因此选择合适的补偿反射镜摆角、周扫转台转速以及无焦望远系统的放大倍数等参数，调节并优化转台转速与摆镜摆速的匹配度都可以减少此类误差。
本发明技术方案主要解决的是红外探测器在周扫过程中成像质量不清晰的问题，基于像方扫描补偿技术，通过快反镜反向转动对周扫成像装置中的二维转台进行图像的反向补偿。
请参照图2、图3和图4，本发明实施例第一方面提供了一种周扫成像装置，包括：二维转台101、面阵红外探测器102、快反镜103、镜头104和控制组件；二维转台101在控制组件控制下水平转动和俯仰转动；快反镜103设置于面阵红外探测器102和镜头104之间的光路中；控制组件控制快反镜103在当前成像积分周期内与二维转台101反向转动，对面阵红外探测器102获取的原始视场目标图像进行补偿，消除图像拖尾，并控制快反镜103在当前成像积分周期结束后复位至初始位置。
上述周扫成像装置可以有效解决面阵探测器扫描成像图像质量退化的问题，同时在周扫转台装置速度与快反镜回扫补偿速度不匹配导致成像模糊时，通过调节快反镜回扫参数的方式实现自动补偿，保证周扫过程中的成像质量。
具体的，控制组件分别选取小于预设摆扫速度的第一摆扫速度和第二摆扫速度，控制快反镜103分别按照第一摆扫速度和第二摆扫速度相对于二维转台101反向转动，并在面阵红外探测器102成像积分时间内分别计算与第一摆扫速度相对应的第一图像质量评价参数和第二摆扫速度相对应的第二图像质量评价参数。
若第一图像质量评价参数大于第二图像质量评价参数，则将第一摆扫速度作为新的预设摆扫速度，并重复选取第一摆扫速度和第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到图像质量评价参数的最大值，依据图像质量评价参数的最大值相应的摆扫速度控制快反镜103在面阵红外探测器102成像积分时间内与二维转台101反向转动。
若第一图像质量评价参数小于第二图像质量评价参数，则将第二摆扫速度作为新的预设摆扫速度，并重复选取第一摆扫速度和第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到图像质量评价参数的最大值，依据图像质量评价参数的最大值相应的摆扫速度控制快反镜103在面阵红外探测器102成像积分时间内与二维转台101反向转动。
其中，预设摆扫速度初始值为理论计算值，但由于机械结构安装等误差，实际值与理论值有偏差，本方案采取像方扫描，快反镜摆扫速度为其中K为前置望远镜头放大倍率(值为2)，w为周扫方位转台转速，值为200度每秒，经过计算，快反镜理论速度w2为200度每秒。
进一步地，控制组件通过面阵红外探测器102获取原始视场目标图像；获取原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图，对梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算图像平均梯度相似度，得到图像质量评价参数。
具体的，图像梯度幅值计算方式为：
其中，G(i，j)表示图像在点(i，j)处的梯度幅值，G(i，j)(h)、G(i，j)(v)分别表示水平和垂直方向上的梯度分量，当G(i，j)不为0时，表明在该点处存在梯度变化，G(i，j)值越大，该点处存在越清晰的边缘信息。
结构相似性计算方式：
SSIM(r，d)＝[l(r，d)]α·[c(r，d)]β·[s(r，d)]γ；
其中，r代表灰度原始参考图像，d代表灰度待补偿失真图像。l(r，d)、c(r，d)、s(r，d)分别表示二者间的亮度、对比度及结构三种比较函数，α、β和γ为大于0的三个权重参数，使用这三个参数调整三种比较函数在整个公式中的权重。三种比较函数的计算公式如下所示：
其中，μr和μd表示r和d二者的均值，σr和σd代表二者的标准差，σrd代表二者之间的协方差，C1，C2，C3为常量。
采用Sobel梯度算子分别对原始图像与失真图像的梯度特征进行提取，进而得到原始图像r和失真图像d所对应的梯度图像r′和d′。
图像梯度对比度可定义为：
图像梯度相关系数可定义为：
式中，σr′、σd′分别表示r′和d′的标准差，σr′d′表示r′和d′的协方差，常数C2、C3避免分母为零的情况。将SSIM算法中的对比度函数c(r，d)和结构函数s(r，d)替换为Cg(r，d)和Sg(r，d)，从而得到梯度相似度计算方式：
GSSIM(r，d)＝[l(r，d)]α·[Cg(r，d)]β·[Sg(r，d)]γ；
整幅图像的梯度相似度可通过各子图像块的结构相似度评分的均值得出：
其中M为子图像块的数量，GSSIM(ri,di)为第i块的图像梯度相似度，MGSSIM(r,d)为图像平均梯度相似度。
此外，周扫成像装置还包括：镜托105和支撑板106。镜托105分别与面阵红外探测器102、快反镜103和镜头104固定连接，面阵红外探测器102、快反镜103和镜头104位于同一平面。支撑板106固设于二维转台101内部，且与镜托105固定连接。
可选的，镜头104为80mm定焦镜头，用于实现光学成像。恒定光圈为1.2，匹配1280×1024非制冷长波红外探测器。
上述装置中，二维转台101通过伺服控制，可以实现水平以及俯仰方位转动，在水平方向上可以实现360°周扫旋转；面阵红外探测器102用于进行扫描成像；快反镜103用于回扫补偿，在使用面阵探测器102进行扫描成像而没有任何补偿措施的情况下，视场目标与成像探测器的相对运动会造成固定面阵探测器102不能凝视成像，导致装置输出图像存在严重的拖尾像移现象，因此在保证周扫转台101的连续转动下，利用快反镜103在积分时间内对转台101运动进行反向补偿，从而消除积分时间内的运动模糊，消除图像拖尾现象。镜头104为定焦镜头，用于实现光学成像；镜托105用于面阵红外探测器102、快反镜103和镜头104，使得三者中心在同一水平面上，以保证光路的一致性；整体支撑板106安装于转台101之内，用于面阵红外探测器102、快反镜103、镜头104以及镜托组件105。
相应地，请参照图5，本发明实施例的第二方面还提供了一种周扫成像装置凝视补偿方法，控制如权利要求1-5任一的周扫成像装置进行凝视补偿，包括如下步骤：
步骤S100，分别选取大于预设摆扫速度的第一摆扫速度和小于预设摆扫速度的第二摆扫速度。
步骤S200，控制快反镜103在面阵红外探测器102的成像积分时间内分别按照第一摆扫速度和第二摆扫速度相对于二维转台101反向转动，分别计算与第一摆扫速度相对应的第一图像质量评价参数和第二摆扫速度相对应的第二图像质量评价参数。
步骤S300，若第一图像质量评价参数大于第二图像质量评价参数，则在第一摆扫速度作为新的预设摆扫速度，并重复选取第一摆扫速度和第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到图像质量评价参数的最大值，依据图像质量评价参数的最大值相应的摆扫速度控制快反镜103在面阵红外探测器102的成像积分时间内与二维转台101反向转动。
步骤S400，若第一图像质量评价参数小于第二图像质量评价参数，则在第二摆扫速度作为新的预设摆扫速度，并重复选取第一摆扫速度和第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到图像质量评价参数的最大值，依据图像质量评价参数的最大值相应的摆扫速度控制快反镜103在面阵红外探测器102的成像积分时间内与二维转台101反向转动。
目前对图像退化程度的量化评价主要采用平行光管配合黑体，通过测量传递函数等方式进行测量及评价。因此只能在实验室通过专用设备进行，而周扫设备大都应用于海上、边境等恶劣环境。本发明提出一种基于梯度相似度的回扫补偿图像退化质量评价方法，在不使用外部测量设备的前提下，可实现回扫补偿型红外成像装置的实时在线质量评估。评价结果将用来调整快反镜参数，使得快反镜的回扫补偿速度能够匹配上周扫转台的速度，实时补偿，提高成像质量。
上述图像质量评价参数的最大值的计算过程参照爬山算法。爬山算法是一种局部择优的方法，采用启发式方法，是对深度优先搜索的一种改进，它利用反馈信息帮助生成解的决策。从当前的节点开始，和周围的邻居节点的值进行比较。如果当前节点是最大的，那么返回当前节点，作为最大值(及山峰最高点)；反之就用最高的邻居节点来替换当前节点，从而实现想山峰的高处攀爬的目的，依次循环直到达到最高点。首先已知快反镜摆扫速度理论值A，在理论值左侧选取一个感兴趣值B，计算当前感兴趣值B下的基于梯度相似度的图像质量评价值N1，然后向右选取一个速度值C(不大于A)，计算当前速度值C下的基于梯度相似度的图像质量评价值N2，如果N2大于N1，则将C作为感兴趣值，如果值变小，则反向步进。直到寻找到使得基于梯度相似度的图像质量评价值最大的快反镜摆扫速度值，即最终的快反镜参数。
上述步骤S200中，请参照图6，计算图像质量评价参数的过程，具体包括：
步骤S210，通过面阵红外探测器102获取原始视场目标图像。
步骤S220，获取原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图；其中，原始参考图像为预先获取的单帧凝视图像。
步骤S230，对梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算整体的梯度平均值，得到图像质量评价参数。
更进一步地，步骤S220中的计算二者的梯度幅度相似图，包括如下步骤：
步骤S221，对原始视场目标图像和原始参考图像进行灰度转换，得到灰度待补偿失真图像和灰度原始参考图像；
步骤S222，对灰度待补偿失真图像与灰度原始参考图像进行梯度相似度计算，得到分块图像梯度幅值和梯度幅度相似图。
进一步地，步骤S222中的对灰度待补偿失真图像与灰度原始参考图像进行梯度相似度计算，包括：
步骤S222a，通过Sobel算子对灰度待补偿失真图像和灰度原始参考图像进行梯度检测，得到二者的梯度图。
进一步地，步骤S221中的对原始视场目标图像和原始参考图像进行灰度转换之后，还包括：
步骤S221a，对灰度待补偿失真图像和灰度原始参考图像进行背景滤波，得到原始视场目标图像和原始参考图像的灰度抑制图。
梯度信息是描述图像对比度的一个有效视觉特征，梯度在图像质量评价、边缘检测以及目标识别等计算机视觉领域中有着广泛的应用。如果一幅图像的某一像素点与邻域之间存在明显的灰度差异，则此像素点处就存在梯度幅值；梯度幅值越大，说明该像素点处的边缘纹理越清晰；梯度幅值越小，则表示边缘纹理越模糊。
梯度相似度算法基本思想是首先对原始参考图像和失真图像进行灰度转换，得到灰度原始参考图像和灰度待评价失真图像，然后对其灰度图像进行背景滤波，分别得到原始图像和失真图像的灰度抑制图，接着采用具有较强抗噪性能的Sobel算子对原始图像和失真图像的灰度平坦背景区域抑制图进行梯度检测得到梯度图；最后依次求取分块图像梯度幅值以及梯度幅度相似图。
梯度相似度算法的主要流程是首先分别对待评价失真图像与原始参考图像提取出梯度信息，计算出二者的梯度幅度相似图，然后对梯度幅度相似图进行均方根聚合，将所有像素点的相似度求取整体的梯度平均值作为图像质量评价分数，最终得到图像的客观图像质量评价参数。梯度相似度算法对旋转、缩放等变换具有一定的不变形，并且算法复杂度低，运行速度快，不会过多地占用内存空间，可行性较高，便于部署在嵌入式平台上。
本发明实施例旨在保护一种周扫成像装置及其凝视补偿方法，周扫成像装置包括：二维转台、面阵红外探测器、快反镜、镜头和控制组件；二维转台在控制组件控制下水平转动和俯仰转动；快反镜设置于面阵红外探测器和镜头之间的光路中；控制组件控制快反镜在当前成像积分周期内与二维转台反向转动，对面阵红外探测器获取的原始视场目标图像进行补偿，消除图像拖尾，并控制快反镜在当前成像积分周期结束后复位至初始位置。上述具备如下效果：
通过控制快反镜与二维转动台反向回扫，进行反向补偿运动，使红外面阵探测器在成像积分周期内的成像视场保持不变，可以对每一帧图像进行回扫补偿，有效降低了周扫成像装置的像移模糊，极大提高了装置成像质量。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (12)
1.一种周扫成像装置，其特征在于，包括：二维转台(101)、面阵红外探测器(102)、快反镜(103)、镜头(104)和控制组件；
所述二维转台(101)在所述控制组件控制下水平转动和俯仰转动；
所述快反镜(103)设置于所述面阵红外探测器(102)和所述镜头(104)之间的光路中；
所述控制组件控制所述快反镜(103)在当前成像积分周期内与所述二维转台(101)反向转动，对所述面阵红外探测器(102)获取的原始视场目标图像进行补偿，消除图像拖尾，并控制所述快反镜(103)在当前所述成像积分周期结束后复位至初始位置。
2.根据权利要求1所述的周扫成像装置，其特征在于，所述控制组件分别选取小于预设摆扫速度的第一摆扫速度和第二摆扫速度，控制所述快反镜(103)在所述面阵红外探测器(102)成像积分时间内分别按照所述第一摆扫速度和所述第二摆扫速度相对于二维转台(101)反向转动，并分别计算与所述第一摆扫速度相对应的第一图像质量评价参数和所述第二摆扫速度相对应的第二图像质量评价参数；
若所述第一图像质量评价参数大于所述第二图像质量评价参数，则将第一摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜(103)在所述面阵红外探测器(102)的成像积分时间内与所述二维转台(101)反向转动；
若所述第一图像质量评价参数小于所述第二图像质量评价参数，则将所述第二摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜(103)在所述面阵红外探测器(102)的成像积分时间内与所述二维转台(101)反向转动。
3.根据权利要求2所述的周扫成像装置，其特征在于，所述控制组件通过所述面阵红外探测器(102)获取原始视场目标图像；获取所述原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图，对所述梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算图像平均梯度相似度，得到所述图像质量评价参数。
4.根据权利要求3所述的周扫成像装置，其特征在于，所述图像平均梯度相似度的计算公式为：
其中，M为子图像块的数量；GSSIIM(ri,di)为第i块的图像梯度相似度，MGSSIM(r,d)为图像平均梯度相似度；
所述图像梯度相似度的计算公式为：
GSSIM(r,d)＝[l(r,d)]α·[Cg(r,d)]β·[Sg(r,d)]γ；
其中，r代表灰度原始参考图像，d代表灰度原始视场目标图像，l(r,d)为灰度原始参考图像和灰度原始视场目标图像的亮度比较函数，Cg(r,d)为灰度原始参考图像和灰度原始视场目标图像的对比度比较函数，Sg(r,d)为灰度原始参考图像和灰度原始视场目标图像的结构比较函数；α、β和γ为大于0的三个权重参数，用于调整l(r,d)、C(r,d)、S(r,d)的权重，μr和μd表示r和d二者的均值，σr和σd代表二者的标准差，σrd代表二者之间的协方差，C1,C2,C3为常量。
5.根据权利要求4所述的周扫成像装置，其特征在于，采用Sobel梯度算子分别对所述原始参考图像与所述原始视场目标图像的梯度特征进行提取，得到原始参考图像r和原始视场目标图像d所对应的梯度图像r′和d′，
其中，σr′、σd′分别表示r′和d′的标准差，σr′d′表示r′和d′的协方差，常数C2、C3取值避免分母为零。
6.根据权利要求15任一所述的周扫成像装置，其特征在于，还包括：镜托(105)；
所述镜托(105)分别与所述面阵红外探测器(102)、所述快反镜(103)和所述镜头(104)固定连接，所述面阵红外探测器(102)、所述快反镜(103)和所述镜头(104)位于同一平面。
7.根据权利要求6所述的周扫成像装置，其特征在于，还包括：支撑板(106)；
所述支撑板(106)固设于所述二维转台(101)内部，且与所述镜托(105)固定连接。
8.一种周扫成像装置凝视补偿方法，其特征在于，控制如权利要求1-7任一所述的周扫成像装置进行凝视补偿，包括如下步骤：
分别选取小于预设摆扫速度的第一摆扫速度和第二摆扫速度；
控制快反镜(103)在面阵红外探测器(102)的成像积分时间内分别按照所述第一摆扫速度和所述第二摆扫速度相对于二维转台(101)反向转动，分别计算与所述第一摆扫速度相对应的第一图像质量评价参数和所述第二摆扫速度相对应的第二图像质量评价参数；
若所述第一图像质量评价参数大于所述第二图像质量评价参数，则在第一摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的步骤，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜(103)在所述面阵红外探测器(102)的成像积分时间内与所述二维转台(101)反向转动；
若所述第一图像质量评价参数小于所述第二图像质量评价参数，则在所述第二摆扫速度作为新的预设摆扫速度，并重复选取所述第一摆扫速度和所述第二摆扫速度及计算相应的图像质量评价参数步骤并进行比较的过程，直至得到所述图像质量评价参数的最大值，依据所述图像质量评价参数的最大值相应的摆扫速度控制所述快反镜(103)在所述面阵红外探测器(102)的成像积分时间内与所述二维转台(101)反向转动。
9.根据权利要求8所述的周扫成像装置凝视补偿方法，其特征在于，计算图像质量评价参数的过程，具体包括：
通过面阵红外探测器(102)获取原始视场目标图像；
获取所述原始视场目标图像和原始参考图像的梯度信息，计算二者的梯度幅度相似图，所述原始参考图像为预先获取的单帧凝视图像；
对所述梯度幅度相似图进行均方根聚合，依据所有像素点的相似度计算整体的梯度平均值，得到所述图像质量评价参数。
10.根据权利要求9所述的周扫成像装置凝视补偿方法，其特征在于，所述计算二者的梯度幅度相似图，包括如下步骤：
对所述原始视场目标图像和所述原始参考图像进行灰度转换，得到灰度待补偿失真图像和灰度原始参考图像；
对所述灰度待补偿失真图像与所述灰度原始参考图像进行梯度相似度计算，得到分块图像梯度幅值和梯度幅度相似图。
11.根据权利要求10所述的周扫成像装置凝视补偿方法，其特征在于，所述对所述灰度待补偿失真图像与所述灰度原始参考图像进行梯度相似度计算，包括：
通过Sobel算子对所述灰度待补偿失真图像和所述灰度原始参考图像进行梯度检测，得到二者的梯度图。
12.根据权利要求10所述的周扫成像装置凝视补偿方法，其特征在于，所述对所述原始视场目标图像和所述原始参考图像进行灰度转换之后，还包括：
对所述灰度待补偿失真图像和所述灰度原始参考图像进行背景滤波，得到所述原始视场目标图像和所述原始参考图像的灰度抑制图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311359860.XA CN117666116B (zh) | 2023-10-19 | 2023-10-19 | 一种周扫成像装置及其凝视补偿方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311359860.XA CN117666116B (zh) | 2023-10-19 | 2023-10-19 | 一种周扫成像装置及其凝视补偿方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117666116A true CN117666116A (zh) | 2024-03-08 |
| CN117666116B CN117666116B (zh) | 2024-06-07 |
Family
ID=90081501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311359860.XA Active CN117666116B (zh) | 2023-10-19 | 2023-10-19 | 一种周扫成像装置及其凝视补偿方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117666116B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118095964A (zh) * | 2024-04-23 | 2024-05-28 | 成都飞机工业（集团）有限责任公司 | 一种航空管路系统装配一致性的评估方法 |
| CN119164492A (zh) * | 2024-11-20 | 2024-12-20 | 安徽瑞控信光电技术股份有限公司 | 一种周扫红外探测器控制方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5856879A (en) * | 1996-06-20 | 1999-01-05 | Asahi Kogaku Kogyo Kabushiki Kaisha | Image scanning device |
| CN1864088A (zh) * | 2003-10-10 | 2006-11-15 | 瑞龄光仪公司 | 具有可旋转反射镜和图像处理处理系统的快速扫描仪 |
| US20070272841A1 (en) * | 2006-05-25 | 2007-11-29 | Microvision, Inc. | Method and apparatus for capturing an image of a moving object |
| CN115601278A (zh) * | 2022-10-12 | 2023-01-13 | 电子科技大学（Cn） | 基于子图像配准的高精度运动误差补偿的方法 |
-
2023
- 2023-10-19 CN CN202311359860.XA patent/CN117666116B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5856879A (en) * | 1996-06-20 | 1999-01-05 | Asahi Kogaku Kogyo Kabushiki Kaisha | Image scanning device |
| CN1864088A (zh) * | 2003-10-10 | 2006-11-15 | 瑞龄光仪公司 | 具有可旋转反射镜和图像处理处理系统的快速扫描仪 |
| US20070272841A1 (en) * | 2006-05-25 | 2007-11-29 | Microvision, Inc. | Method and apparatus for capturing an image of a moving object |
| CN115601278A (zh) * | 2022-10-12 | 2023-01-13 | 电子科技大学（Cn） | 基于子图像配准的高精度运动误差补偿的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118095964A (zh) * | 2024-04-23 | 2024-05-28 | 成都飞机工业（集团）有限责任公司 | 一种航空管路系统装配一致性的评估方法 |
| CN119164492A (zh) * | 2024-11-20 | 2024-12-20 | 安徽瑞控信光电技术股份有限公司 | 一种周扫红外探测器控制方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117666116B (zh) | 2024-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117666116B (zh) | 一种周扫成像装置及其凝视补偿方法 | |
| US7768571B2 (en) | Optical tracking system using variable focal length lens | |
| US5027413A (en) | Target detection systems | |
| WO2016106954A1 (zh) | 一种低轨卫星星载图谱关联探测方法与载荷 | |
| US20170098117A1 (en) | Method and apparatus for robustly collecting facial, ocular, and iris images | |
| CN115184917B (zh) | 一种融合毫米波雷达与相机的区域目标跟踪方法 | |
| CN109085113A (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
| US11554035B2 (en) | Heliostat tracking based on circumsolar radiance maps | |
| CN112601006A (zh) | 一种基于云台摄像机的跟踪聚焦方法及装置 | |
| EP4273743A1 (en) | Method and apparatus for detecting fire spots, electronic device, and storage medium | |
| CN106027911B (zh) | 一种对地观测星载可见光传输型相机的在轨调焦方法 | |
| CN105163036B (zh) | 一种镜头自动聚焦的方法 | |
| GB2608763A (en) | Intelligent method of tracking focus in machine vision applications | |
| US10264164B2 (en) | System and method of correcting imaging errors for a telescope by referencing a field of view of the telescope | |
| CN118283419A (zh) | 镜头控制方法、设备、目标传感系统和存储介质 | |
| CN112964238A (zh) | 光学望远镜辅助射电望远镜提高指向精度的装置及方法 | |
| CN113692601A (zh) | 红外图像处理方法、装置及红外相机 | |
| CN205880358U (zh) | 星体跟踪望远镜和星体跟踪系统 | |
| CN113421300B (zh) | 确定鱼眼相机图像中物体实际位置的方法及装置 | |
| WO2023103207A1 (zh) | 一种指定监控区域的成像对焦系统 | |
| CN212163511U (zh) | 一种带有抗震与光轴调节机构的船用跟踪监视搜索装置 | |
| CN113970424A (zh) | 自动跟踪模式下镜头变焦一致性动态纠偏方法和系统 | |
| CN109884790A (zh) | 一种多功能红外光学成像系统 | |
| CN113920197A (zh) | 一种激光雷达辅助摄像机自动调焦聚焦的方法 | |
| CN105892034A (zh) | 星体跟踪望远镜和星体跟踪系统及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |