CN115297270A - 一种航空光学面阵相机自动调光控制系统及其控制方法 - Google Patents
一种航空光学面阵相机自动调光控制系统及其控制方法 Download PDFInfo
- Publication number
- CN115297270A CN115297270A CN202211230915.2A CN202211230915A CN115297270A CN 115297270 A CN115297270 A CN 115297270A CN 202211230915 A CN202211230915 A CN 202211230915A CN 115297270 A CN115297270 A CN 115297270A
- Authority
- CN
- China
- Prior art keywords
- array camera
- actuator
- area
- image
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003111 delayed effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 230000004907 flux Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 241001640034 Heteropterys Species 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Exposure Control For Cameras (AREA)
Abstract
本发明具体涉及一种航空光学面阵相机自动调光控制系统及其控制方法。控制系统包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端。输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接。输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。利用Smith预估器的控制原理进行闭环反馈控制,有效消除了传统调光算法引发的光学相机延迟。
Description
技术领域
本发明涉及光学相机控制领域,具体涉及对航空光学面阵相机自动调光的控制。
背景技术
航空相机是航空光学遥感的重要设备,对于情报获取、地貌勘测都有着重要意义。常用的图像调光方法是基于反馈的控制方法。一种比较传统的技术方案是:基于根据现有图像的平均灰度值和设定的期望灰度值,进行反馈控制,得到下一帧的控制量,控制量包括光圈数、曝光时间等。
随着技术的发展,航空光学相机中探测器面阵规模也在不断扩大,比如飞思iXU-RS1000探测器的面阵规模可以达到一亿像素(11608×8708)。探测器组件中的ISP模块、图像压缩模块都会执行计算密集的任务,导致图像输出的时间比较长。另外一方面,航空遥感,尤其是低空遥感对高帧频的需求也在不断提高,更高的帧频对应着更短的拍照周期,这可以适应更大的速高比、更大的重叠率。
大面阵航空光学相机引入的大延迟和高帧频的需求是不可调和的矛盾。在实际应用中,这会导致综合处理器在触发下一帧成像时,探测器还没有输出上一帧图像,示意图如图1所示。
综合处理器中运行的调光算法和调光参数的更新一般发生在收到图像之后。如果延迟T delay 超过触发周期T trigger ,则对于传统方法的反馈控制系统而言,这等价于系统的输出存在滞后性,此时的大面阵相机等价为一个时滞系统。因为时滞环节的存在,导致系统有无数极点,当调大增益时,可能导致系统震荡。如果控制不当,则可能引起控制器发生震荡,进而导致多幅图像的欠曝、过曝,导致图像细节的丢失。
发明内容
为了解决现有的技术问题,本发明提供了一种航空光学面阵相机自动调光控制系统及其控制方法。在常用的图像调光方法即基于反馈的控制方法基础上进行改进,利用Smith预估器的控制原理设计该自动调光控制系统。
本发明提供一种航空光学面阵相机自动调光控制系统,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接;其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
进一步,影响所述实际平均灰度值的曝光参数包括光圈数、曝光时间和感光度。
进一步,所述控制器是一个PID或者PI控制器。
进一步,对执行器进行数学建模方法为:将一个高帧频的视频相机和面阵相机排列在一起,保证所述视频相机和面阵相机视场角相同;视频相机采用固定的曝光参数对景物成像,视频相机输出图像的平均灰度值DN v 和面阵相机输出图像的平均灰度值DN c 的关系为: ,其中DN c 对应的曝光参数为t c 和F c ,分别是面阵相机的预设曝光时间和预设光圈数,a和b为标定参数,通过DN v 计算得到面阵相机在t c 和F c 参数下输出图像的平均灰度值DN c ,从而得到任意曝光参数下面阵相机输出图像平均灰度值表达式:。
进一步,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
本发明还提供上述航空光学面阵相机自动调光控制系统的控制方法,具体为:输入端输入面阵相机图像的期望平均灰度值r,r与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m 与e p 在运算器中做加法运算,得到反馈灰度值ya;y p 是对y的预估,控制系统使y p 与y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。
本发明的有益效果为:利用Smith预估器的控制原理进行闭环反馈控制,有效消除了传统调光算法引发的光学相机延迟,因而不会对系统产生不利影响。对于图像输出延迟较大的航空光学面阵相机,本发明可以提高自动调光控制器的鲁棒性,避免了控制算法震荡导致的图像的过曝/欠曝问题,最大程度的保留了航拍图像的细节。
附图说明
图1航空光学面阵相机输出时延示意图;
图2为航空光学面阵相机自动调光控制系统结构图;
图3为航空光学面阵相机曝光模型图;
图4为视频相机和面阵相机位置示意图;
图5为标定系统组成示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的航空光学面阵相机自动调光控制系统如图2所示,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接。
其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
时滞环节单元模拟执行器的延迟,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,如图3所示,U表示光学面阵相机的任一曝光参数,在此取光学系统光圈数F和曝光时间t,由此可得数学建模的表达式为:,其中,DN表示输出图像的平均灰度值;E 表示相机接收到的景物照度,是光度学概念,表示单位面积的光通量,单位是lux或者lumen/m 2 ;F表示光圈数;t表示曝光时间;C为系统常数,数值为光学透过率与探测器响应率的乘积。
本控制系统中一个关键点是需要对执行器进行精确的建模,并估计出面阵相机在光照度E的条件下,某触发时刻输出图像的平均灰度值。
本系统引入了一个小型的高帧频视频相机实现对执行器进行精确的建模。该视频相机和面阵相机有着相同的视场角,同时在结构上有着紧凑的排列。对于远距离高空成像,二者所获取的景物可以认为是一致的。它们的位置关系如图4所示。
结合面阵相机输出图像的平均灰度值计算式,可以通过一个线性式描述视频相机输出图像的平均灰度值DN v 和面阵相机输出图像的平均灰度值DN c 的关系:;其中DN c 对应的曝光参数为t c 和F c ,分别是面阵相机的预设曝光时间和预设光圈数。当标定出a和b后,通过DN v 就可以计算得到面阵相机在t c 和F c 参数下输出图像的平均灰度值,并可以进一步得到任意曝光参数下输出图像的平均灰度值:。
为了准确的标定出a和b,需要搭建一个标定系统,所述标定系统组成示意图如图5所示,系统由均匀光源积分球、视频相机、面阵相机、计算机、视频采集卡和光源控制器组成。
积分球出光口处的照度值使用照度计测量,通过计算机调节光源控制器,以固定步长调节出光口的照度,照度的调整范围为地面景物范围,比如4000~10000lux。每调整一步都需要同步记录出光口处照度计的读数,同时控制视频相机和面阵相机成像,并计算图像的平均灰度值。全部的步长调节完毕后,用最小二乘法计算a和b的值。
本发明所述系统运行时,时更新曝光参数,完成系统的自动调光功能。在这个过程中,系统会不断根据面阵相机输出的图像平均灰度值调整曝光参数,最终收敛到期望值的范围内。
下面结合图2对本系统具体的控制方法进行介绍,输入端输入面阵相机图像的期望平均灰度值r,r与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m 与e p 在运算器中做加法运算,得到反馈灰度值y a ;y p 是对y的预估,控制系统使y p 与y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。
Claims (8)
1.一种航空光学面阵相机自动调光控制系统,其特征在于,包括输入端、控制器、执行器、曝光模型单元、时滞环节单元和输出端;输入端、控制器、执行器和输出端依次连接,曝光模型单元和时滞环节单元连接后再整体与执行器并列连接;其中,输入端输入面阵相机图像的期望平均灰度值;控制器调整曝光参数;执行器为面阵相机;曝光模型单元对执行器进行数学建模,所述数学建模对无延迟的执行器进行模拟,时滞环节单元模拟执行器的延迟,输出端输出面阵相机图像的实际平均灰度值。
3.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,影响所述实际平均灰度值的曝光参数包括光圈数、曝光时间和感光度。
4.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,所述控制器是一个PID或者PI控制器。
7.根据权利要求1所述的航空光学面阵相机自动调光控制系统,其特征在于,时滞环节单元模拟执行器延迟的方法为:综合处理器输出脉冲触发探测器拍照,记录每次触发时间,同时接收探测器输出的图像数据,记录图像接收时间,再对两者求差得到延迟;测量多次,得到延迟的最大值;并根据拍照周期,将延迟的最大值离散化得到执行器延迟;所述综合处理器为控制探测器的单元,所述探测器为面阵相机的成像系统。
8.一种如权利要求1-7任一项所述航空光学面阵相机自动调光控制系统的控制方法,其特征在于,输入端输入面阵相机图像的期望平均灰度值r,r与控制系统的反馈灰度值y a 在运算器中做减法运算,得到差距值e并将其输入控制器,控制器根据差距值e调整曝光参数,将调整后的曝光参数值u分别输入执行器和曝光模型单元;执行器根据曝光参数u进行拍照并将得到的面阵相机输出图像实际平均灰度值y从输出端输出;曝光模型单元根据输入的曝光参数值u输出执行器无时滞时的平均灰度值y m ,将y m 输入时滞环节单元,得到延迟后的延迟平均灰度值y p ,实际平均灰度值y与延迟后的延迟平均灰度值y p 在运算器中做减法运算,得到的差值e p 输出,y m 与e p 在运算器中做加法运算,得到反馈灰度值y a ;y p 是对y的预估,控制系统使y p 与y相接近;曝光模型单元的输出值y m 是对无时滞的执行器平均灰度值的预估,控制系统使y m 和输入端r的差值减小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211230915.2A CN115297270B (zh) | 2022-10-10 | 2022-10-10 | 一种航空光学面阵相机自动调光控制系统及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211230915.2A CN115297270B (zh) | 2022-10-10 | 2022-10-10 | 一种航空光学面阵相机自动调光控制系统及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115297270A true CN115297270A (zh) | 2022-11-04 |
CN115297270B CN115297270B (zh) | 2023-04-18 |
Family
ID=83819273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211230915.2A Active CN115297270B (zh) | 2022-10-10 | 2022-10-10 | 一种航空光学面阵相机自动调光控制系统及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115297270B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101078622A (zh) * | 2007-06-21 | 2007-11-28 | 北京凌云光视数字图像技术有限公司 | 航空全帧转移型面阵ccd相机像移补偿方法 |
CN101656883A (zh) * | 2009-09-17 | 2010-02-24 | 浙江大学 | 基于最小二乘支持向量机运动预测的实时补偿方法 |
WO2013060134A1 (zh) * | 2011-10-25 | 2013-05-02 | 中国科学院空间科学与应用研究中心 | 一种时间分辨单光子或极弱光多维成像光谱系统及方法 |
CN105404145A (zh) * | 2015-10-22 | 2016-03-16 | 西安西热控制技术有限公司 | 基于指数预测和时滞预估补偿的脱硝新型串级控制方法 |
CN106101583A (zh) * | 2016-07-29 | 2016-11-09 | 中国科学院长春光学精密机械与物理研究所 | 基于数字域tdi的红外成像方法 |
CN110068977A (zh) * | 2019-04-08 | 2019-07-30 | 中国科学院光电技术研究所 | 一种基于史密斯预估控制的液晶光束偏转方法 |
CN115097596A (zh) * | 2022-07-13 | 2022-09-23 | 中国科学院光电技术研究所 | 一种用于调光或者调焦控制机构的模糊控制方法 |
-
2022
- 2022-10-10 CN CN202211230915.2A patent/CN115297270B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101078622A (zh) * | 2007-06-21 | 2007-11-28 | 北京凌云光视数字图像技术有限公司 | 航空全帧转移型面阵ccd相机像移补偿方法 |
CN101656883A (zh) * | 2009-09-17 | 2010-02-24 | 浙江大学 | 基于最小二乘支持向量机运动预测的实时补偿方法 |
WO2013060134A1 (zh) * | 2011-10-25 | 2013-05-02 | 中国科学院空间科学与应用研究中心 | 一种时间分辨单光子或极弱光多维成像光谱系统及方法 |
CN105404145A (zh) * | 2015-10-22 | 2016-03-16 | 西安西热控制技术有限公司 | 基于指数预测和时滞预估补偿的脱硝新型串级控制方法 |
CN106101583A (zh) * | 2016-07-29 | 2016-11-09 | 中国科学院长春光学精密机械与物理研究所 | 基于数字域tdi的红外成像方法 |
CN110068977A (zh) * | 2019-04-08 | 2019-07-30 | 中国科学院光电技术研究所 | 一种基于史密斯预估控制的液晶光束偏转方法 |
CN115097596A (zh) * | 2022-07-13 | 2022-09-23 | 中国科学院光电技术研究所 | 一种用于调光或者调焦控制机构的模糊控制方法 |
Non-Patent Citations (4)
Title |
---|
YANJUN ZHANG等: "A 3D Machine Vision-Enabled Intelligent Robot Architecture", 《MOBILE INFORMATION SYSTEMS》 * |
冷雪等: "高频正交大面阵焦平面快门设计", 《光学精密工程》 * |
周冬冬等: "基于FFRLS 辨识优化橡胶挤出机Smith-模糊PID温度控制系统", 《机床与液压》 * |
张宇等: "用于目标跟踪的大视场CCD相机自动调光方法及实现", 《液晶与显示》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115297270B (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104184958B (zh) | 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置 | |
CN109341864A (zh) | 一种轻小型宽动态空间红外定量测量装置 | |
US8115830B2 (en) | Image processing apparatus | |
CN106871925B (zh) | 一种在轨综合动态调整的遥感卫星相对辐射定标处理方法 | |
US4978990A (en) | Exposure control apparatus for camera | |
CN106791508B (zh) | 一种数字域tdi相机成像质量的调整方法及调整系统 | |
CN108419017A (zh) | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 | |
CN112925223A (zh) | 基于视觉传感网络的无人机三维跟踪虚拟测试仿真系统 | |
CN103973991A (zh) | 一种基于b-p神经网络判断照明场景的自动曝光方法 | |
CN108600638B (zh) | 摄像机自动调焦系统及方法 | |
CN112950517B (zh) | 深度相机高动态范围深度图与灰度图的融合方法及装置 | |
CN113936580B (zh) | 一种显示屏亮度测量模型的生成方法及相关装置 | |
JP2018147718A (ja) | 照明制御方法および照明制御システム | |
CN106257917A (zh) | 曝光控制装置和曝光控制方法 | |
US9778109B2 (en) | Method for obtaining full reflectance spectrum of a surface and apparatus therefor | |
US5331422A (en) | Video camera having an adaptive automatic iris control circuit | |
CN115297270B (zh) | 一种航空光学面阵相机自动调光控制系统及其控制方法 | |
US20210258561A1 (en) | Method and system to calibrate a camera clock using flicker | |
CN115967861B (zh) | 一种图像处理方法及装置 | |
CN109357754B (zh) | 一种基于深度学习的隧道洞内外亮度仪标定方法及系统 | |
WO2022121901A1 (zh) | 校正控制装置、校正系统和校正控制方法、校正方法 | |
CN115830143A (zh) | 联合标定参数调整方法、装置、计算机设备和存储介质 | |
KR20230149615A (ko) | 빛 추정 방법 및 장치 | |
KR101177365B1 (ko) | 합성 적외선 영상 주입장치 | |
CN111064860A (zh) | 图像校正方法、图像校正装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |