CN105430293B - 光学遥感卫星在轨动态场景实时匹配方法 - Google Patents

光学遥感卫星在轨动态场景实时匹配方法 Download PDF

Info

Publication number
CN105430293B
CN105430293B CN201510882481.8A CN201510882481A CN105430293B CN 105430293 B CN105430293 B CN 105430293B CN 201510882481 A CN201510882481 A CN 201510882481A CN 105430293 B CN105430293 B CN 105430293B
Authority
CN
China
Prior art keywords
mrow
msub
msup
mfrac
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510882481.8A
Other languages
English (en)
Other versions
CN105430293A (zh
Inventor
智喜洋
胡建明
张伟
江世凯
孙晅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201510882481.8A priority Critical patent/CN105430293B/zh
Publication of CN105430293A publication Critical patent/CN105430293A/zh
Application granted granted Critical
Publication of CN105430293B publication Critical patent/CN105430293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

一种光学遥感卫星在轨动态场景实时匹配方法，属于光学遥感信息获取与处理技术领域。所述方法步骤如下：步骤1：对相机动态范围进行测量；步骤2：对测光相机与拍照相机的辐射响应关系进行标定；步骤3：利用测光相机至多三次拍摄场景获取的图像测量当前场景动态范围；步骤4：根据场景动态解算拍照相机的在轨参数，实现相机与场景动态的实时匹配。该方法能够利用测光相机拍摄图像的直方图特征以及测光相机与拍照相机的辐射响应关系实时测量场景动态范围，并以此为依据合理设置拍照相机的曝光时间与增益，实现相机在轨运行过程中设置的在轨参数与所摄地面场景动态范围的实时最优匹配。

Description

光学遥感卫星在轨动态场景实时匹配方法
技术领域
本发明属于光学遥感信息获取与处理技术领域，涉及一种场景动态范围实时测量及相机在轨参数与场景动态范围的实时匹配方法，可有效支撑卫星在轨动态场景的实时匹配。
背景技术
我国对高分辨率、高质量的光学遥感卫星遥感图像需求迫切。然而，尽管目前已研制并在轨运行了多颗光学遥感卫星，解决了遥感图像的“有、无”问题，图像质量不断实现“由低到高”逐步提升，但从已在轨的卫星来看，卫星成像质量仍不够理想，尽管在卫星研制中各成像环节的客观性能指标都满足技术要求，但在轨卫星仍存在图像动态范围偏窄、直方图集中、灰度层次不够丰富，暗场景影像细节分辨能力不强等问题，这说明除了成像环节本身的因素限制，相机在轨参数和场景动态范围的实时匹配性也是影响卫星在轨成像质量的重要因素。
然而，自然场景的动态范围可以高达108，而受到相机本身的限制，实际光学遥感卫星相机的动态范围通常为103以内，因此光学遥感成像系统很难完整地兼顾被摄场景中的高亮度区域和低光照区域。因此，卫星在轨运行过程中准确测量地面场景的动态范围，并以此为依据，合理地设置拍照相机的曝光时间和增益，实现目标场景信息的最大化获取对大幅提高图像质量具有重要意义。然而，目前在光学遥感领域，该方面的研究未见报道。
发明内容
针对目前国内在轨卫星存在的图像动态范围偏窄、直方图集中、灰度层次不够丰富、暗场景图像细节分辨能力不强的问题，本发明提供了一种光学遥感卫星在轨动态场景实时匹配方法。该方法能够利用测光相机拍摄图像的直方图特征以及测光相机与拍照相机的辐射响应关系实时测量场景动态范围，并以此为依据合理设置拍照相机的曝光时间与增益，实现相机在轨运行过程中设置的在轨参数与所摄地面场景动态范围的实时最优匹配。
本发明的目的是通过以下技术方案实现的：
一种光学遥感卫星在轨动态场景实时匹配方法，包括如下步骤：
步骤1：对相机动态范围进行测量；
步骤2：对测光相机与拍照相机的辐射响应关系进行标定；
步骤3：利用测光相机至多三次拍摄场景获取的图像测量当前场景动态范围；
步骤4：根据场景动态解算拍照相机的在轨参数，实现相机与场景动态的实时匹配。
本发明针对光学遥感卫星在轨动态场景实时测量及相机在轨参数的实时解算问题，提出了一种卫星动态场景实时匹配方法，该方法具有如下优点：
1、结合测光相机与拍照相机辐射响应关系的标定以及不同时刻拍照导致同一场景在像面发生偏移的像移补偿，通过测光相机至多三次拍摄地面场景，实现场景动态范围的实时测量；
2、针对地面场景动态范围通常超出相机动态的问题，设计并提出了基于高亮度、低亮度和中点匹配的相机与场景动态范围匹配方案，同时给出了不同情况下的相机在轨参数解算方法；
3、利用该方法可根据卫星在轨实时拍摄的地面景物，合理地设置相机曝光时间和增益，实现相机与场景动态范围的最佳匹配，从而达到最大化与最优化获取场景有效信息的目的。
附图说明
图1为本发明光学遥感卫星在轨动态场景实时匹配方法的整体流程图；
图2为场景动态范围测量方法的流程图；
图3中灰度曝光时间计算流程图；
图4为场景动态范围计算流程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
如图1所示，本发明提供了一种光学遥感卫星在轨动态场景实时匹配方法，具体实施步骤如下：
步骤1：对相机动态范围进行测量；
相机的动态范围定义为饱和信号量与噪声之比。当相机无任何光照输入时，获得图像中仅包含暗电流和随机噪声。
步骤1-1：计算像元信号平均值；
设图像传感器像元个数为M×N，在无任何光照的情况下获得P张图片。则坐标为(m,n)的像元信号平均值为：
其中，Q(m,n,i)为第i张图片在坐标(m,n)处的像元信号值，i为图片数；
步骤1-2：计算各像元信号残差；
步骤1-3：计算像元信号标准差；
相机的标准差即为获得图像所有残差的均方根值，即：
步骤1-4：计算相机的动态范围。
其中，b是量化位数。
步骤2：对测光相机与拍照相机的辐射响应关系进行标定；
本发明采用一个独立与拍照相机的成像系统对地面场景的动态范围进行测量，称为测光相机。测光相机与拍照相机使用的传感器可能是不同的。为了使测光相机得到的动态范围可以被拍照相机所用，必须对两台相机的辐射响应关系进行换算，即辐射响应关系标定。
在动态范围的计算及匹配过程中，始终需要使用到的是传感器表面相对辐照度值E'。E'值的换算仅需要求解特征增益的比值，设E's为拍照相机的相对辐照度值，设E'm为测光相机的相对辐照度值，当两台相机的传感器获得相同的辐照度，则相对辐照度的换算方法为：
测光相机与拍照相机的辐射响应关系标定实施方法如下：
步骤2-1：选取发光亮度均匀且不变的光源；
步骤2-2：分别用测光相机和拍照相机对选定光源进行成像；
注意调整曝光时间，使传感器输出灰度在灰度中值附近。
步骤2-3：计算测光相机和拍照相机的辐照度E'm和E's；
其中，vm是测光相机测得图像(步骤2-2获取图像)饱和灰度值，ovm为测光相机直流偏置，tm为测光相机曝光时间，gvm是测光相机VGA增益；
其中，vs是拍照相机测得图像饱和灰度值，ovs为拍照相机直流偏置，ts为拍照相机曝光时间，gvs是拍照相机VGA增益；
步骤2-4：计算得出拍照相机与测光相机的特征增益比值，如下式：
其中，gts、gtm分别代表拍照相机与测光相机的特征增益值。
步骤3：利用测光相机至多三次拍摄场景获取的图像测量当前场景动态范围；
如图2所示，本发明通过调整曝光时间至多三次拍照，获得同一场景的一组图像，并利用该组图像直方图特性计算场景动态范围，具体方法为：
步骤3-1：对场景第一次成像；
为了获得场景亮度的基本分布情况，第一次成像使用较小的曝光时间t1，该时间由相机和被摄场景两方面确定，确定原则为获得图像灰度为0的像素数量不能超过总像素数量的20％。本次成像获得的图像将是一张欠曝光的图像。
步骤3-2：当第一次成像获取图像中含有灰度为0的像素时，对场景第二次成像，否则执行步骤3-6；
如果第一次对场景成像获取的图像含有灰度为0的像素，则需要进行第二次成像，因而需要计算第二次成像曝光时间，具体方法如下：
步骤3-2-1：计算最大曝光时间：
其中，n为目标场景所成的像覆盖像元的个数，L为被摄物体至镜头的距离，Δω为像元间距，V为相机移动速度，f为镜头焦距。
当第一次成像(步骤3-1)获得图像中灰度为0的像素数大于总像素数20％时，执行步骤3-2-2，否则跳过步骤3-2-2执行步骤3-2-3。
步骤3-2-2：计算第二次成像理论曝光时间：
其中，vsat是饱和图像灰度，vmax是图像中最大灰度，
跳过步骤3-2-3至步骤3-2-4，执行步骤3-2-5；
步骤3-2-3：计算中灰度曝光时间tmid；
如果图像的平均灰度位于中灰度区间内，那么拍摄图像时所使用的曝光时间称为中灰度曝光时间。如图3所示，算法具体步骤如下：
步骤3-2-3-1：计算图像平均灰度avg，如果avg在中值区间内，执行步骤3-2-3-2，否则跳过步骤3-2-3-2执行步骤3-2-3-3；
步骤3-2-3-2：计算中灰度曝光时间tmid：
tmid＝t1；
并跳过步骤3-2-3-3至步骤3-2-3-5；
步骤3-2-3-3：计算：
其中，为方便计算，此处定义中间量gq，无实际物理意义；q为步骤3-2-3-3的执行次数；
步骤3-2-3-4：将图像直方图灰度乘以gq，重新计算平均灰度avg；
步骤3-2-3-5：如果avg落在中值区间内，计算：
tmid＝gs×t1；
其中，为方便计算，此处定义中间量gs，无实际物理意义。
否则执行步骤3-2-3-3；
算得中灰度曝光时间tmid后，就可以计算第二次成像理论曝光时间t2'：
步骤3-2-4：计算第二次成像理论曝光时间：
t2'＝3×tmid；
由于曝光时间不能超过最大曝光时间，因此需确定实际成像曝光时间：
步骤3-2-5：计算第二次成像曝光时间：
如果t2'＜tmax，则第二次曝光时间t2为：
t2＝t2'，
否则
t2＝tmax，
并计算补偿增益g2'：
在算得曝光时间后，使用步骤3-2-5得到的t2(和g2')对场景再次成像。该次成像应该可以获得一张过曝光的图片，图片中灰度最小值应大于0，可以得到场景暗部细节的灰度值。
由于相机拍摄的过程是动态的，因此得到的前后两幅图像并不一致，通常存在像移。为了获得同一幅场景中的动态范围，需要对之后拍摄进行像移补偿，以保证拍摄内容的一致性。经像移补偿后得到第二次成像的最终结果：
步骤3-3：对第二次成像(步骤3-2)获取图像进行像移补偿；
其中，式中Pz为第z+1帧与第z帧之间的像移，tz为第z+1帧与第z帧之间的时间间隔，f为镜头焦距，L为被摄物体至镜头的距离，Δω为像元之间的距离，n为地面分辨率对应的像元个数，V为卫星的运动速度。
步骤3-4：当第二次成像获取图像中含有灰度为0的像素时，对场景第三次成像，否则执行步骤3-6；
如果第二次对场景成像获取图像含有灰度为0的像素，则需要进行第三次成像，因而需要计算第三次成像曝光时间，具体方法如下：
步骤3-4-1：计算第三次成像理论曝光时间：
t3'＝10×t2；
步骤3-4-2：计算第三次成像曝光时间：
如果
t3'＜tmax，
则第三次曝光时间t3为：
t3＝t3'，
否则：
t3＝tmax，
并计算补偿增益g3'：
在算得曝光时间后，使用步骤3-4-2得到的t3(和g3')对场景成像。成像结果依然需要像移补偿：
步骤3-5：对第三次成像(步骤3-4)获取图像进行像移补偿；
接下来便可以计算场景动态范围：
步骤3-6：计算场景动态范围。
定义传感器相对辐照度为：
其中，gv是模拟前端(AFE)中可变增益放大器(VGA)的增益，ov是根据gv变化的直流偏置。
因此，场景动态范围的计算公式为：
根据上式，结合各次成像结果，计算场景动态范围，算法流程图见图4。
步骤3-6-1：计算场景最大辐照度：
其中，vmax1是第一次成像(步骤3-1)获取图像中最亮区域灰度值，ov为直流偏置，gv是VGA增益；
当第一次成像获取图像中不含灰度为0的像素时，执行步骤3-6-2，否则跳过步骤3-6-2执行步骤3-6-3；
步骤3-6-2：利用第一次成像获取图像计算场景最小辐照度：
其中，vmin1是第一次成像(步骤3-1)获取图像中最暗区域灰度值；
跳过步骤3-6-3和步骤3-6-4，执行步骤3-6-5；
步骤3-6-3：当第二次成像获取图像经像移补偿后中不含灰度为0的像素时，利用第二次成像结果计算场景最小辐照度：
当存在补偿增益g2'时：
其中，vmin2是第二次成像(步骤3-2)获取图像在像移补偿后，图中最暗区域灰度值；
当不存在补偿增益g2'时：
跳过步骤3-6-4执行步骤3-6-5；
步骤3-6-4：当前两次成像获取图像经像移补偿后中均含有灰度为0的像素时，利用第三次成像结果计算场景最小辐照度：
当存在补偿增益g3'时：
其中，vmin3是第三次成像(步骤3-4)获取图像在像移补偿后，图中最暗区域灰度值，当图像中有灰度为0的像素时，vmin3＝1；
当不存在补偿增益g3'时：
步骤3-6-5：计算场景动态范围：
算得场景动态范围后，即可将相机动态范围与场景动态范围相匹配。实际上是相机曝光时间与增益的确定过程。
步骤4：根据场景动态解算拍照相机的在轨参数，实现相机与场景动态的实时匹配
当场景动态范围小于相机动态范围时，图像的直方图信息既不含有饱和的像素点，也不含有灰度为0的像素点。在这种情况下，希望场景动态范围尽可能大的分布于拍照相机的动态范围以内，所以对场景拍摄的图像中最亮的部分应该刚刚达到饱和。因此，传感器的最大相对辐照度E’max处获得的图像灰度值应该恰恰饱和，即：
由此可得此时拍照相机的曝光时间与增益的乘积为：
通常情况下，场景动态范围大于拍照相机动态范围。此时匹配方法分为高亮度匹配、低亮度匹配和中点匹配三种。
高亮度匹配即相机动态范围包含场景动态范围的最高点，舍弃部分低亮度信息，保证高亮度信息不丢失。匹配方式为像面上照度最大值处像素输出信号恰好饱和。其计算方式与场景动态范围小于相机动态范围时相同，即：
低亮度匹配即相机动态范围包含场景动态范围的最低点，舍弃部分高亮度信息，保证低亮度信息不丢失。计算公式为：
中点匹配即相机动态范围的中点与场景动态范围的中点重合，舍弃部分高亮度和低亮度的细节。
场景动态范围的中点所对应的辐照度E’mid为：
由此可得：
同理，相机动态范围的中点所对应的灰度值νmid为：
由此可得曝光时间与增益乘积的计算方式为：

Claims (3)

1.一种光学遥感卫星在轨动态场景实时匹配方法，其特征在于所述方法步骤如下：
步骤1：对相机动态范围进行测量，具体步骤如下：
步骤1-1：计算像元信号平均值；
设图像传感器像元个数为M×N，在无任何光照的情况下获得P张图片，则坐标为(m,n)的像元信号平均值为：
<mrow> <mover> <mi>Q</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>P</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>P</mi> </munderover> <mi>Q</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1...</mn> <mi>P</mi> <mo>;</mo> </mrow>
其中，Q(m,n,i)为第i张图片在坐标(m,n)处的像元信号值，i为图片数；
步骤1-2：计算各像元信号残差；
<mrow> <mi>e</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>Q</mi> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>Q</mi> <mo>&amp;OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1...</mn> <mi>P</mi> <mo>;</mo> </mrow>
步骤1-3：计算像元信号标准差；
相机的标准差即为获得图像所有残差的均方根值，即：
<mrow> <mi>&amp;sigma;</mi> <mo>=</mo> <msqrt> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>P</mi> </munderover> <mi>e</mi> <msup> <mrow> <mo>(</mo> <mi>m</mi> <mo>,</mo> <mi>n</mi> <mo>,</mo> <mi>i</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mi>M</mi> <mo>&amp;times;</mo> <mi>N</mi> <mo>&amp;times;</mo> <mi>P</mi> </mrow> </mfrac> </msqrt> <mo>;</mo> </mrow>
步骤1-4：计算相机的动态范围；
<mrow> <msub> <mi>D</mi> <mi>C</mi> </msub> <mo>=</mo> <mn>20</mn> <mo>&amp;CenterDot;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <msup> <mn>2</mn> <mi>b</mi> </msup> <mi>&amp;sigma;</mi> </mfrac> <mo>;</mo> </mrow>
其中，b是量化位数；
步骤2：对测光相机与拍照相机的辐射响应关系进行标定，具体步骤如下：
步骤2-1：选取发光亮度均匀且不变的光源；
步骤2-2：分别用测光相机和拍照相机对选定光源进行成像；
步骤2-3：计算测光相机和拍照相机的辐照度E'm和E's；
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>m</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mi>m</mi> </msub> <mo>-</mo> <msub> <mi>o</mi> <mrow> <mi>v</mi> <mi>m</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mi>m</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mrow> <mi>v</mi> <mi>m</mi> </mrow> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，vm是测光相机测得图像饱和灰度值，ovm为测光相机直流偏置，tm为测光相机曝光时间，gvm是测光相机VGA增益；
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>s</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mi>s</mi> </msub> <mo>-</mo> <msub> <mi>o</mi> <mrow> <mi>v</mi> <mi>s</mi> </mrow> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mi>s</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mrow> <mi>v</mi> <mi>s</mi> </mrow> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，vs是拍照相机测得图像饱和灰度值，ovs为拍照相机直流偏置，ts为拍照相机曝光时间，gvs是拍照相机VGA增益；
步骤2-4：计算得出拍照相机与测光相机的特征增益比值，如下式：
<mrow> <mfrac> <msub> <mi>g</mi> <mrow> <mi>t</mi> <mi>s</mi> </mrow> </msub> <msub> <mi>g</mi> <mrow> <mi>t</mi> <mi>m</mi> </mrow> </msub> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>s</mi> </msub> </mrow> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>m</mi> </msub> </mrow> </mfrac> <mo>.</mo> </mrow>
其中，gts、gtm分别代表拍照相机与测光相机的特征增益值；
步骤3：利用测光相机至多三次拍摄场景获取的图像测量当前场景动态范围，具体步骤如下：
步骤3-1：对场景第一次成像，第一次成像的曝光时间t1确定原则为：获得图像灰度为0的像素数量不能超过总像素数量的20％，本次成像获得的图像将是一张欠曝光的图像；
步骤3-2：当第一次成像获取图像中含有灰度为0的像素时，对场景第二次成像，否则执行步骤3-6，第二次成像的具体步骤如下：
步骤3-2-1：计算最大曝光时间：
<mrow> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>n</mi> <mo>&amp;CenterDot;</mo> <mi>L</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>&amp;omega;</mi> </mrow> <mrow> <mi>V</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，n为目标场景所成的像覆盖像元的个数，L为被摄物体至镜头的距离，Δω为像元间距，V为相机移动速度，f为镜头焦距；
当第一次成像获得图像中灰度为0的像素数大于总像素数20％时，执行步骤3-2-2，否则跳过步骤3-2-2执行步骤3-2-3；
步骤3-2-2：计算第二次成像理论曝光时间：
<mrow> <msup> <msub> <mi>t</mi> <mn>2</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <mn>4</mn> <mo>&amp;CenterDot;</mo> <msub> <mi>v</mi> <mrow> <mi>s</mi> <mi>a</mi> <mi>t</mi> </mrow> </msub> </mrow> <msub> <mi>v</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mfrac> <mo>&amp;CenterDot;</mo> <msub> <mi>t</mi> <mi>min</mi> </msub> <mo>;</mo> </mrow>
其中，vsat是饱和图像灰度，vmax是图像中最大灰度；
跳过步骤3-2-3至步骤3-2-4，执行步骤3-2-5；
步骤3-2-3：计算中灰度曝光时间tmid，具体步骤如下：
步骤3-2-3-1：计算图像平均灰度avg，如果avg在中值区间内，执行步骤3-2-3-2，否则跳过步骤3-2-3-2执行步骤3-2-3-3；
步骤3-2-3-2：计算中灰度曝光时间tmid：
tmid＝t1；
并跳过步骤3-2-3-3至步骤3-2-3-5；
步骤3-2-3-3：计算：
<mrow> <msub> <mi>g</mi> <mi>q</mi> </msub> <mo>=</mo> <mfrac> <mn>128</mn> <mrow> <mi>a</mi> <mi>v</mi> <mi>g</mi> </mrow> </mfrac> <mo>,</mo> <mi>q</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>3</mn> <mo>,</mo> <mn>...</mn> <mo>;</mo> </mrow>
其中，q为步骤3-2-3-3的执行次数；
步骤3-2-3-4：将图像直方图灰度乘以gq，重新计算平均灰度avg；
步骤3-2-3-5：如果avg落在中值区间内，计算：
<mrow> <msub> <mi>g</mi> <mi>s</mi> </msub> <mo>=</mo> <munder> <mo>&amp;Pi;</mo> <mi>i</mi> </munder> <msub> <mi>g</mi> <mi>q</mi> </msub> <mo>;</mo> </mrow>
tmid＝gs×t1；
否则执行步骤3-2-3-3；
其中，tmid是中灰度曝光时间；
步骤3-2-4：计算第二次成像理论曝光时间：
t2'＝3×tmid；
步骤3-2-5：计算第二次成像曝光时间：
如果t2'＜tmax，则第二次曝光时间t2为：
t2＝t2'，
否则：
t2＝tmax；
步骤3-3：对第二次成像获取图像进行像移补偿；
步骤3-4：当第二次成像获取图像中含有灰度为0的像素时，对场景第三次成像，否则执行步骤3-6，第三次成像的具体方法如下：
步骤3-4-1：计算第三次成像理论曝光时间：
t3'＝10×t2；
步骤3-4-2：计算第三次成像曝光时间：
如果
t3'＜tmax，
则第三次曝光时间t3为：
t3＝t3'，
否则：
t3＝tmax，
并计算补偿增益g3'：
<mrow> <msup> <msub> <mi>g</mi> <mn>3</mn> </msub> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mfrac> <mrow> <msup> <msub> <mi>t</mi> <mn>3</mn> </msub> <mo>&amp;prime;</mo> </msup> </mrow> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mfrac> <mo>;</mo> </mrow>
在算得曝光时间后，使用步骤3-4-2得到的t3和g3'对场景成像；
步骤3-5：对第三次成像获取图像进行像移补偿；
步骤3-6：计算场景动态范围：
<mrow> <msub> <mi>D</mi> <mi>S</mi> </msub> <mo>=</mo> <mn>20</mn> <mo>&amp;CenterDot;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> </mrow> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
式中：E′max为场景最大辐照度，E′min为场景最小辐照度；
步骤4：根据场景动态解算拍照相机的在轨参数，实现相机与场景动态的实时匹配，相机动态范围与场景动态范围匹配分为如下四种情况：
A.场景动态范围小于相机动态范围时，相机在轨参数解算如下：
<mrow> <mi>t</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>s</mi> <mi>a</mi> <mi>t</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，t为曝光时间，vsat为图像像素灰度值；
B.场景动态范围大于相机动态范围时，相机在轨参数解算如下：
a.高亮度匹配：
<mrow> <mi>t</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>s</mi> <mi>a</mi> <mi>t</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
b.低亮度匹配：
<mrow> <mi>t</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，“1”表示像素最低灰度值；
c.中点匹配：
<mrow> <mi>t</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msqrt> <msub> <mi>v</mi> <mrow> <mi>s</mi> <mi>a</mi> <mi>t</mi> </mrow> </msub> </msqrt> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <msqrt> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> </mrow> </msqrt> </mfrac> <mo>.</mo> </mrow>
2.根据权利要求1所述的光学遥感卫星在轨动态场景实时匹配方法，其特征在于所述步骤3-3和步骤3-5中，对图像进行像移补偿方法如下：
<mrow> <msub> <mi>P</mi> <mi>z</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>t</mi> <mi>z</mi> </msub> <msub> <mi>t</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> </mfrac> <mo>=</mo> <mfrac> <mrow> <msub> <mi>t</mi> <mi>z</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>V</mi> <mo>&amp;CenterDot;</mo> <mi>f</mi> </mrow> <mrow> <mi>n</mi> <mo>&amp;CenterDot;</mo> <mi>L</mi> <mo>&amp;CenterDot;</mo> <mi>&amp;Delta;</mi> <mi>&amp;omega;</mi> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，式中Pz为第z+1帧与第z帧之间的像移，tz为第z+1帧与第z帧之间的时间间隔，f为镜头焦距，L为被摄物体至镜头的距离，Δω为像元之间的距离，n为地面分辨率对应的像元个数，V为卫星的运动速度。
3.根据权利要求1所述的光学遥感卫星在轨动态场景实时匹配方法，其特征在于所述步骤3-6的具体步骤如下：
步骤3-6-1：计算场景最大辐照度：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，vmax1是第一次成像获取图像中最亮区域灰度值，ov为直流偏置，gv是VGA增益；
当第一次成像获取图像中不含灰度为0的像素时，执行步骤3-6-2，否则跳过步骤3-6-2执行步骤3-6-3；
步骤3-6-2：利用第一次成像获取图像计算场景最小辐照度：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，vmin1是第一次成像获取图像中最暗区域灰度值；
跳过步骤3-6-3和步骤3-6-4，执行步骤3-6-5；
步骤3-6-3：当第二次成像获取图像经像移补偿后中不含灰度为0的像素时，利用第二次成像结果计算场景最小辐照度：
当存在补偿增益g2'时：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mn>2</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>2</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <msub> <mi>g</mi> <mn>2</mn> </msub> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，vmin2是第二次成像获取图像在像移补偿后，图中最暗区域灰度值；
当不存在补偿增益g2'时：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>min</mi> <mn>2</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>2</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> </mrow> </mfrac> <mo>,</mo> </mrow>
跳过步骤3-6-4执行步骤3-6-5；
步骤3-6-4：当前两次成像获取图像经像移补偿后中均含有灰度为0的像素时，利用第三次成像结果计算场景最小辐照度：
当存在补偿增益g3'时：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>min</mi> <mn>3</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>3</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> <mo>&amp;CenterDot;</mo> <msup> <msub> <mi>g</mi> <mn>3</mn> </msub> <mo>&amp;prime;</mo> </msup> </mrow> </mfrac> <mo>,</mo> </mrow>
其中，vmin3是第三次成像获取图像在像移补偿后，图中最暗区域灰度值，当图像中有灰度为0的像素时，vmin3＝1；
当不存在补偿增益g3'时：
<mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> <mo>=</mo> <mfrac> <mrow> <msub> <mi>v</mi> <mrow> <mi>min</mi> <mn>3</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>o</mi> <mi>v</mi> </msub> </mrow> <mrow> <msub> <mi>t</mi> <mn>2</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>g</mi> <mi>v</mi> </msub> </mrow> </mfrac> <mo>;</mo> </mrow>
步骤3-6-5：计算场景动态范围：
<mrow> <msub> <mi>D</mi> <mi>S</mi> </msub> <mo>=</mo> <mn>20</mn> <mo>&amp;CenterDot;</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mfrac> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>max</mi> </msub> </mrow> <mrow> <msub> <msup> <mi>E</mi> <mo>&amp;prime;</mo> </msup> <mi>min</mi> </msub> </mrow> </mfrac> <mo>.</mo> </mrow>
CN201510882481.8A 2015-12-03 2015-12-03 光学遥感卫星在轨动态场景实时匹配方法 Active CN105430293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510882481.8A CN105430293B (zh) 2015-12-03 2015-12-03 光学遥感卫星在轨动态场景实时匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510882481.8A CN105430293B (zh) 2015-12-03 2015-12-03 光学遥感卫星在轨动态场景实时匹配方法

Publications (2)

Publication Number Publication Date
CN105430293A CN105430293A (zh) 2016-03-23
CN105430293B true CN105430293B (zh) 2018-05-22

Family

ID=55508195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510882481.8A Active CN105430293B (zh) 2015-12-03 2015-12-03 光学遥感卫星在轨动态场景实时匹配方法

Country Status (1)

Country Link
CN (1) CN105430293B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872398A (zh) * 2016-04-19 2016-08-17 大连海事大学 一种空间相机自适应曝光方法
CN109417608B (zh) * 2016-07-07 2021-02-02 日立乐金光科技株式会社 影像显示装置
CN107800952A (zh) * 2016-09-06 2018-03-13 中兴通讯股份有限公司 移动终端拍照处理方法及装置
CN112104808B (zh) * 2019-06-18 2022-06-21 长城汽车股份有限公司 图像采集装置和具有其的视觉处理系统、无人驾驶车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096273A (zh) * 2010-12-29 2011-06-15 北京空间机电研究所 一种基于目标特性的空间相机自动曝光方法
CN102202182A (zh) * 2011-04-29 2011-09-28 北京工业大学 一种采用线阵ccd的大动态范围图像获取的装置及方法
CN104184958A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100992367B1 (ko) * 2008-12-01 2010-11-04 삼성전기주식회사 자동 노출 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096273A (zh) * 2010-12-29 2011-06-15 北京空间机电研究所 一种基于目标特性的空间相机自动曝光方法
CN102202182A (zh) * 2011-04-29 2011-09-28 北京工业大学 一种采用线阵ccd的大动态范围图像获取的装置及方法
CN104184958A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Landsat系列卫星光学遥感器辐射定标方法综述;张志杰 等;《遥感学报》;20150514;全文 *
TDI-CCD空间立体相机辐射定标研究;任焕焕 等;《光学学报》;20101231;第30卷(第12期);全文 *
星载CCD推帚式相机的像移处理和动态范围控制;徐武军;《红外》;20021231(第7期);全文 *

Also Published As

Publication number Publication date
CN105430293A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105430293B (zh) 光学遥感卫星在轨动态场景实时匹配方法
CN105933617B (zh) 一种用于克服动态问题影响的高动态范围图像融合方法
CN104184958B (zh) 一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置
CN105872398A (zh) 一种空间相机自适应曝光方法
US20210006718A1 (en) Anti-shake method for panoramic video, and portable terminal
CN108063932B (zh) 一种光度标定的方法及装置
CN103390281A (zh) 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN110120077B (zh) 一种基于卫星姿态调整的面阵相机在轨相对辐射定标方法
CN106791508B (zh) 一种数字域tdi相机成像质量的调整方法及调整系统
CN102752504B (zh) 一种宽视场线阵ccd相机的相对辐射校正方法
CN107302668A (zh) 一种基于转轮动态分光的高动态范围成像模块
CN104296968A (zh) 多通道ccd的调制传递函数测试方法
CN101635782A (zh) 一种基于动态时间延迟积分的图像获取方法及器件
EP0990130A1 (en) Method for determining pressure
CN106815873A (zh) 摄像头内参的确定方法和装置
CN107093196A (zh) 视频卫星面阵相机在轨相对辐射定标方法
CN110850109A (zh) 一种基于模糊图像测量车速的方法
CN105338220A (zh) 一种自适应对运动的电子倍增ccd视频图像去噪的方法
CN108061600B (zh) 一种小型化光谱成像系统及成像方法
CN110967005B (zh) 通过观星进行在轨几何标定的成像方法及成像系统
CN105092043B (zh) 一种基于场景的变积分时间的非均匀性校正方法
CN106060376A (zh) 显示控制设备、显示控制方法和摄像设备
CN107734231A (zh) 一种基于滤光的成像系统动态范围扩展方法
CN103778637A (zh) 一种基于直方图平衡的side-slither辐射定标处理方法
CN108010071A (zh) 一种利用3d深度测量的亮度分布测量系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhi Xiyang

Inventor after: Hu Jianming

Inventor after: Zhang Wei

Inventor after: Jiang Shikai

Inventor after: Sun Xuan

Inventor before: Zhi Xiyang

Inventor before: Sun Xuan

Inventor before: Hu Jianming

Inventor before: Zhang Wei

Inventor before: Fu Bin

GR01 Patent grant
GR01 Patent grant