CN115297270A - 一种航空光学面阵相机自动调光控制系统及其控制方法 - Google Patents

一种航空光学面阵相机自动调光控制系统及其控制方法 Download PDF

Info

Publication number
CN115297270A
CN115297270A CN202211230915.2A CN202211230915A CN115297270A CN 115297270 A CN115297270 A CN 115297270A CN 202211230915 A CN202211230915 A CN 202211230915A CN 115297270 A CN115297270 A CN 115297270A
Authority
CN
China
Prior art keywords
array camera
actuator
area
image
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211230915.2A
Other languages
English (en)
Other versions
CN115297270B (zh
Inventor
赵嘉鑫
高德斌
武崴
张英朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Changguang Ruishi Photoelectric Technology Co ltd
Original Assignee
Changchun Changguang Ruishi Photoelectric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Changguang Ruishi Photoelectric Technology Co ltd filed Critical Changchun Changguang Ruishi Photoelectric Technology Co ltd
Priority to CN202211230915.2A priority Critical patent/CN115297270B/zh
Publication of CN115297270A publication Critical patent/CN115297270A/zh
Application granted granted Critical
Publication of CN115297270B publication Critical patent/CN115297270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Exposure Control For Cameras (AREA)

Abstract

本发明具体涉及一种航空光学面阵相机自动调光控制系统及其控制方法。控制系统包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端。输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接。输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。利用Smith预估器的控制原理进行闭环反馈控制,有效消除了传统调光算法引发的光学相机延迟。

Description

一种航空光学面阵相机自动调光控制系统及其控制方法
技术领域
本发明涉及光学相机控制领域,具体涉及对航空光学面阵相机自动调光的控制。
背景技术
航空相机是航空光学遥感的重要设备,对于情报获取、地貌勘测都有着重要意义。常用的图像调光方法是基于反馈的控制方法。一种比较传统的技术方案是:基于根据现有图像的平均灰度值和设定的期望灰度值,进行反馈控制,得到下一帧的控制量,控制量包括光圈数、曝光时间等。
随着技术的发展,航空光学相机中探测器面阵规模也在不断扩大,比如飞思iXU-RS1000探测器的面阵规模可以达到一亿像素(11608×8708)。探测器组件中的ISP模块、图像压缩模块都会执行计算密集的任务,导致图像输出的时间比较长。另外一方面,航空遥感,尤其是低空遥感对高帧频的需求也在不断提高,更高的帧频对应着更短的拍照周期,这可以适应更大的速高比、更大的重叠率。
大面阵航空光学相机引入的大延迟和高帧频的需求是不可调和的矛盾。在实际应用中,这会导致综合处理器在触发下一帧成像时,探测器还没有输出上一帧图像,示意图如图1所示。
综合处理器中运行的调光算法和调光参数的更新一般发生在收到图像之后。如果延迟T delay 超过触发周期T trigger ,则对于传统方法的反馈控制系统而言,这等价于系统的输出存在滞后性,此时的大面阵相机等价为一个时滞系统。因为时滞环节的存在,导致系统有无数极点,当调大增益时,可能导致系统震荡。如果控制不当,则可能引起控制器发生震荡,进而导致多幅图像的欠曝、过曝,导致图像细节的丢失。
发明内容
为了解决现有的技术问题,本发明提供了一种航空光学面阵相机自动调光控制系统及其控制方法。在常用的图像调光方法即基于反馈的控制方法基础上进行改进,利用Smith预估器的控制原理设计该自动调光控制系统。
本发明提供一种航空光学面阵相机自动调光控制系统,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接;其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
进一步,确定面阵相机图像的期望平均灰度值计算公式为:
Figure 280224DEST_PATH_IMAGE001
,其中,DN target 为面阵相机图像的期望平均灰度值,B为图像的比特深度,σ为超参数。
进一步,影响所述实际平均灰度值的曝光参数包括光圈数、曝光时间和感光度。
进一步,所述控制器是一个PID或者PI控制器。
进一步,对执行器进行数学建模的表达式为:
Figure 869468DEST_PATH_IMAGE002
,其中,DN表示输出图像的平均灰度值,E表示单位面积的光通量,F表示光圈数,t表示曝光时间,C为系统常数。
进一步,对执行器进行数学建模方法为:将一个高帧频的视频相机和面阵相机排列在一起,保证所述视频相机和面阵相机视场角相同;视频相机采用固定的曝光参数对景物成像,视频相机输出图像的平均灰度值DN v 和面阵相机输出图像的平均灰度值DN c 的关系为:
Figure 836156DEST_PATH_IMAGE003
,其中DN c 对应的曝光参数为t c F c ,分别是面阵相机的预设曝光时间和预设光圈数,ab为标定参数,通过DN v 计算得到面阵相机在t c F c 参数下输出图像的平均灰度值DN c ,从而得到任意曝光参数下面阵相机输出图像平均灰度值表达式:
Figure 169049DEST_PATH_IMAGE004
进一步,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
本发明还提供上述航空光学面阵相机自动调光控制系统的控制方法,具体为:输入端输入面阵相机图像的期望平均灰度值rr与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m e p 在运算器中做加法运算,得到反馈灰度值yay p 是对y的预估,控制系统使y p y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。
本发明的有益效果为:利用Smith预估器的控制原理进行闭环反馈控制,有效消除了传统调光算法引发的光学相机延迟,因而不会对系统产生不利影响。对于图像输出延迟较大的航空光学面阵相机,本发明可以提高自动调光控制器的鲁棒性,避免了控制算法震荡导致的图像的过曝/欠曝问题,最大程度的保留了航拍图像的细节。
附图说明
图1航空光学面阵相机输出时延示意图;
图2为航空光学面阵相机自动调光控制系统结构图;
图3为航空光学面阵相机曝光模型图;
图4为视频相机和面阵相机位置示意图;
图5为标定系统组成示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的航空光学面阵相机自动调光控制系统如图2所示,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接。
其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
确定输入端的期望图像平均灰度值的计算公式为:
Figure 645072DEST_PATH_IMAGE005
,其中,B为图像的比特深度,比如8,10,12,14或16等。σ为超参数,可以由图像判读专家指定,通常为2~3。
时滞环节单元模拟执行器的延迟,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,如图3所示,U表示光学面阵相机的任一曝光参数,在此取光学系统光圈数F和曝光时间t,由此可得数学建模的表达式为:
Figure 654486DEST_PATH_IMAGE006
,其中,DN表示输出图像的平均灰度值;E 表示相机接收到的景物照度,是光度学概念,表示单位面积的光通量,单位是lux或者lumen/m 2 F表示光圈数;t表示曝光时间;C为系统常数,数值为光学透过率与探测器响应率的乘积。
本控制系统中一个关键点是需要对执行器进行精确的建模,并估计出面阵相机在光照度E的条件下,某触发时刻输出图像的平均灰度值。
本系统引入了一个小型的高帧频视频相机实现对执行器进行精确的建模。该视频相机和面阵相机有着相同的视场角,同时在结构上有着紧凑的排列。对于远距离高空成像,二者所获取的景物可以认为是一致的。它们的位置关系如图4所示。
视频相机采用固定的曝光参数对景物成像,其输出图像的平均灰度值和照度的数学关系与面阵相机并无区别,计算公式为:
Figure 593623DEST_PATH_IMAGE007
,其中t v F v 为视频相机固定的曝光时间和光圈数。
结合面阵相机输出图像的平均灰度值计算式,可以通过一个线性式描述视频相机输出图像的平均灰度值DN v 和面阵相机输出图像的平均灰度值DN c 的关系:
Figure 245053DEST_PATH_IMAGE008
;其中DN c 对应的曝光参数为t c F c ,分别是面阵相机的预设曝光时间和预设光圈数。当标定出ab后,通过DN v 就可以计算得到面阵相机在t c F c 参数下输出图像的平均灰度值,并可以进一步得到任意曝光参数下输出图像的平均灰度值:
Figure 851615DEST_PATH_IMAGE009
为了准确的标定出ab,需要搭建一个标定系统,所述标定系统组成示意图如图5所示,系统由均匀光源积分球、视频相机、面阵相机、计算机、视频采集卡和光源控制器组成。
积分球出光口处的照度值使用照度计测量,通过计算机调节光源控制器,以固定步长调节出光口的照度,照度的调整范围为地面景物范围,比如4000~10000lux。每调整一步都需要同步记录出光口处照度计的读数,同时控制视频相机和面阵相机成像,并计算图像的平均灰度值。全部的步长调节完毕后,用最小二乘法计算ab的值。
本发明所述系统运行时,时更新曝光参数,完成系统的自动调光功能。在这个过程中,系统会不断根据面阵相机输出的图像平均灰度值调整曝光参数,最终收敛到期望值的范围内。
下面结合图2对本系统具体的控制方法进行介绍,输入端输入面阵相机图像的期望平均灰度值rr与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m e p 在运算器中做加法运算,得到反馈灰度值y a y p 是对y的预估,控制系统使y p y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。

Claims (8)

1.一种航空光学面阵相机自动调光控制系统,其特征在于,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接;其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
2.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,确定面阵相机图像的期望平均灰度值计算公式为:
Figure 450096DEST_PATH_IMAGE001
,其中,DN target 为面阵相机图像的期望平均灰度值,B为图像的比特深度,σ为超参数。
3.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,影响所述实际平均灰度值的曝光参数包括光圈数、曝光时间和感光度。
4.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,所述控制器是一个PID或者PI控制器。
5.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,对执行器进行数学建模的表达式为:
Figure 391376DEST_PATH_IMAGE002
,其中,DN表示输出图像的平均灰度值,E表示单位面积的光通量,F表示光圈数,t表示曝光时间,C为系统常数。
6.根据权利要求4所述的航空光学面阵相机自动调光控制系统,其特征在于,对执行器进行数学建模方法为:将一个高帧频的视频相机和面阵相机排列在一起,保证所述视频相机和面阵相机视场角相同;视频相机采用固定的曝光参数对景物成像,视频相机输出图像的平均灰度值DN v 和面阵相机输出图像的平均灰度值DN c 的关系为:
Figure 790040DEST_PATH_IMAGE003
;其中DN c 对应的曝光参数为t c F c ,分别是面阵相机的预设曝光时间和预设光圈数,ab为标定参数,通过DN v 计算得到面阵相机在t c F c 参数下输出图像的平均灰度值DN c ,从而得到任意曝光参数下面阵相机输出图像平均灰度值表达式:
Figure 985529DEST_PATH_IMAGE004
7.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
8.一种如权利要求1-7任一项所述航空光学面阵相机自动调光控制系统的控制方法,其特征在于,输入端输入面阵相机图像的期望平均灰度值rr与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m e p 在运算器中做加法运算,得到反馈灰度值y a y p 是对y的预估,控制系统使y p y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。
CN202211230915.2A 2022-10-10 2022-10-10 一种航空光学面阵相机自动调光控制系统及其控制方法 Active CN115297270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211230915.2A CN115297270B (zh) 2022-10-10 2022-10-10 一种航空光学面阵相机自动调光控制系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211230915.2A CN115297270B (zh) 2022-10-10 2022-10-10 一种航空光学面阵相机自动调光控制系统及其控制方法

Publications (2)

Publication Number Publication Date
CN115297270A true CN115297270A (zh) 2022-11-04
CN115297270B CN115297270B (zh) 2023-04-18

Family

ID=83819273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211230915.2A Active CN115297270B (zh) 2022-10-10 2022-10-10 一种航空光学面阵相机自动调光控制系统及其控制方法

Country Status (1)

Country Link
CN (1) CN115297270B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078622A (zh) * 2007-06-21 2007-11-28 北京凌云光视数字图像技术有限公司 航空全帧转移型面阵ccd相机像移补偿方法
CN101656883A (zh) * 2009-09-17 2010-02-24 浙江大学 基于最小二乘支持向量机运动预测的实时补偿方法
WO2013060134A1 (zh) * 2011-10-25 2013-05-02 中国科学院空间科学与应用研究中心 一种时间分辨单光子或极弱光多维成像光谱系统及方法
CN105404145A (zh) * 2015-10-22 2016-03-16 西安西热控制技术有限公司 基于指数预测和时滞预估补偿的脱硝新型串级控制方法
CN106101583A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 基于数字域tdi的红外成像方法
CN110068977A (zh) * 2019-04-08 2019-07-30 中国科学院光电技术研究所 一种基于史密斯预估控制的液晶光束偏转方法
CN115097596A (zh) * 2022-07-13 2022-09-23 中国科学院光电技术研究所 一种用于调光或者调焦控制机构的模糊控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078622A (zh) * 2007-06-21 2007-11-28 北京凌云光视数字图像技术有限公司 航空全帧转移型面阵ccd相机像移补偿方法
CN101656883A (zh) * 2009-09-17 2010-02-24 浙江大学 基于最小二乘支持向量机运动预测的实时补偿方法
WO2013060134A1 (zh) * 2011-10-25 2013-05-02 中国科学院空间科学与应用研究中心 一种时间分辨单光子或极弱光多维成像光谱系统及方法
CN105404145A (zh) * 2015-10-22 2016-03-16 西安西热控制技术有限公司 基于指数预测和时滞预估补偿的脱硝新型串级控制方法
CN106101583A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 基于数字域tdi的红外成像方法
CN110068977A (zh) * 2019-04-08 2019-07-30 中国科学院光电技术研究所 一种基于史密斯预估控制的液晶光束偏转方法
CN115097596A (zh) * 2022-07-13 2022-09-23 中国科学院光电技术研究所 一种用于调光或者调焦控制机构的模糊控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YANJUN ZHANG等: "A 3D Machine Vision-Enabled Intelligent Robot Architecture", 《MOBILE INFORMATION SYSTEMS》 *
冷雪等: "高频正交大面阵焦平面快门设计", 《光学精密工程》 *
周冬冬等: "基于FFRLS 辨识优化橡胶挤出机Smith-模糊PID温度控制系统", 《机床与液压》 *
张宇等: "用于目标跟踪的大视场CCD相机自动调光方法及实现", 《液晶与显示》 *

Also Published As

Publication number Publication date
CN115297270B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN104184958B (zh) 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置
CN109341864A (zh) 一种轻小型宽动态空间红外定量测量装置
US8115830B2 (en) Image processing apparatus
CN106871925B (zh) 一种在轨综合动态调整的遥感卫星相对辐射定标处理方法
US4978990A (en) Exposure control apparatus for camera
CN106791508B (zh) 一种数字域tdi相机成像质量的调整方法及调整系统
CN108419017A (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN112925223A (zh) 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统
CN103973991A (zh) 一种基于b-p神经网络判断照明场景的自动曝光方法
CN108600638B (zh) 摄像机自动调焦系统及方法
CN112950517B (zh) 深度相机高动态范围深度图与灰度图的融合方法及装置
CN113936580B (zh) 一种显示屏亮度测量模型的生成方法及相关装置
JP2018147718A (ja) 照明制御方法および照明制御システム
CN106257917A (zh) 曝光控制装置和曝光控制方法
US9778109B2 (en) Method for obtaining full reflectance spectrum of a surface and apparatus therefor
US5331422A (en) Video camera having an adaptive automatic iris control circuit
CN115297270B (zh) 一种航空光学面阵相机自动调光控制系统及其控制方法
US20210258561A1 (en) Method and system to calibrate a camera clock using flicker
CN115967861B (zh) 一种图像处理方法及装置
CN109357754B (zh) 一种基于深度学习的隧道洞内外亮度仪标定方法及系统
WO2022121901A1 (zh) 校正控制装置、校正系统和校正控制方法、校正方法
CN115830143A (zh) 联合标定参数调整方法、装置、计算机设备和存储介质
KR20230149615A (ko) 빛 추정 방법 및 장치
KR101177365B1 (ko) 합성 적외선 영상 주입장치
CN111064860A (zh) 图像校正方法、图像校正装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant