CN109889743B - 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 - Google Patents
一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 Download PDFInfo
- Publication number
- CN109889743B CN109889743B CN201910167360.3A CN201910167360A CN109889743B CN 109889743 B CN109889743 B CN 109889743B CN 201910167360 A CN201910167360 A CN 201910167360A CN 109889743 B CN109889743 B CN 109889743B
- Authority
- CN
- China
- Prior art keywords
- gain
- data
- low
- image
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法属于相机图像获取技术领域，解决了没有给出高低增益像素的提取和重建的方法的问题。传感器的8通道数据同时输出，每个通道传输512字节数据，数据位宽为12bit，所述数据包括低增益数据和高增益数据，所述低增益数据和高增益数据按照穿插的像素排列方式进行输出；将穿插输出的所述低增益数据和高增益数据进行提取，分别存贮为低增益数据阵列和高增益数据阵列，形成一帧图像，其中左半区为低增益图像，右半区为高增益图像；对步骤二中所述的一帧图像进行处理，通过高低增益图像融合，重建成一帧高动态范围图像。本发明可广泛用于利用高、低增益通道实现高动态范围的图像传感器数据的存贮。
Description
技术领域
本发明属于相机图像获取技术领域，一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法。
背景技术
夜光遥感影像是指应用光学遥感器以卫星作为平台获取的地球夜光影像。武汉大学作为应用主体研制了世界首颗夜光遥感卫星，并于2018年6月2日成功发射，并获取了大量的遥感数据，珞珈一号卫星01星的主要有效载荷是光学夜光遥感相机，相机的工作波段为500nm—900nm，获取夜光中的可见光—近红外的波段的辐射信息。
夜间目标的亮度存在较大差异，为了能够准确对场景不同目标的辐亮度进行反演，需要相机具有较大的动态范围。设计的珞珈一号夜光相机充分考虑了观测场景的特点，通过调整像素输出增益，能够在传感器完成光子---电子转换过程中，每个像素同时输出低增益图像和高增益图像，保证对亮目标、暗目标都有一定的输出。
专利“高动态范围图像传感器数据输出方法及装置，公开号：CN105163044 A“根据相机的特点，发明了一种高动态范围图像传感器数据输出方法及实现该方法的装置，通过集成在图像传感器芯片内部的模拟域或数字域阈值判断单元及标识位单元，实现高、低增益通道判断，当高增益数据小于等于阈值时高增益数据有效；当高增益数据大于阈值时低增益数据有效；然后将有效高、低增益数字数据增加标识位，根据标识位区分有效高、低增益数字数据，将有效低增益数字数据乘以合成系数后与有效高增益数字数据共同合成HDR响应曲线，如图1所示。该发明减少了图像传感器数据处理量和传输量，提高了输出效率，降低了功耗，降低了系统复杂度，节省了系统资源。可广泛用于利用高、低增益通道实现高动态范围的图像传感器设计中。
尽管如此，对于高低增益像素的提取和重建的方法，现有技术并没有做详细的介绍和说明。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，解决了现有技术中没有给出高低增益像素的提取和重建的方法的问题。
本发明解决技术问题所采用的技术方案如下：
一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，该方法包括如下步骤：
步骤一：传感器的8通道数据同时输出，每个通道传输512字节数据，数据位宽为12bit，所述数据包括低增益数据和高增益数据，所述低增益数据和高增益数据按照穿插的像素排列方式进行输出；
步骤二：将穿插输出的所述低增益数据和高增益数据进行提取，分别存贮为低增益数据(2048x2048)阵列和高增益数据(2048x2048)阵列，形成输出大小为2048x4096的一帧图像，其中左半区为低增益图像，右半区为高增益图像；
步骤三：对步骤二中所述的一帧图像进行处理，通过高低增益图像融合，重建成2048x2048的一帧高动态范围图像。
本发明的有益效果是：本发明一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，提出了一种对高低增益像素的提取和重建的方法，用于珞珈一号卫星，已经完成在轨验证，成功完成17000多次的在轨成像任务，高动态范围的夜光遥感数据已经在城市化进程、光污染分析、海洋渔业检测以及军事领域等方面得到广泛应用。本发明对高低增益像素的提取和重建方法，可广泛用于利用高、低增益通道实现高动态范围的图像传感器数据的存贮。
附图说明
图1现有技术高动态范围图像传感器数据输出方法。
图2本发明成像处理成像过程数据流程示意图。
图3本发明HDR模式分区排列的图像改为像素排列的图像具体步骤。
图4低增益高增益模式原始图像。
图5低增益高增益图像构建HDR图像。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
本发明的项目背景为珞珈一号夜光遥感卫星相机分系统，成像处理FPGA软件数据流程主要包括三个方面：成像过程数据流向、压缩过程数据流向、数传过程数据流向，其中高低增益联合存贮的大动态范围图像获取主要在成像过程，成像过程数据流向如图2所示。
成像过程数据主要包括传感器输出图像数据、辅助数据以及全球导航卫星系统(Global Navigation Satellite System，GNSS)数据，如图所示以传感器输出图像(HDR模式，G400输出位宽为64bit；STD模式，G400输出位宽为32bit)和辅助数据输出位宽32bit进入DDR2，但是DDR2的输入位宽为64bit，具体处理方式如下：
当处于高动态范围图像(High-Dynamic Range，HDR)模式时，传感器型号为G400的输出图像数据输出不变，辅助数据按照128周期输出到DDR2,每周期8字节；当处于标准(Standard，STD)模式时，G400和辅助数据均双份输出到DDR2,高32bit和低32bit一致，辅助数据按照256周期存储，每周期4字节。
从DDR2输出的传感器图像数据和辅助数据进入SATA，DDR2读出位宽为64bit，但SATA的输入位宽为32bit，具体处理方式如下：
当处于HDR模式时，将DDR2输出64bit数据经过FIFO转换为32bit，再输出到SATA盘。当处于STD模式时，将DDR2输出64bit数据中的低32bit输出到SATA盘。
GNSS数据三线制串行输入进入FIFO，32bit位宽输出，进入SATA。
为了实现传感器图像数据在HDR模式提取，将高低增益数据穿插的排列方式变成高低增益数据分开的排列方式，通过对ram操作来实现，如图3所示。
首先确定珞珈一号夜光遥感卫星相机分系统前端数据通过四个通道TAPA,TAPB,TAPC,TAPD数据输出，12bit数据位宽，且每个通道输出1024个像素。四个通道依次读取一次`为4096个像素，高低增益各2048个像素。
图像传感器输出数据同步写入8个ram，写入主频25Mhz，数据位宽12bit，写入深度1024，读出主频75Mhz，数据位宽96bit，读出深度128。保证每个ram都可以缓存2行图像。当ram中缓存的图像达到一行时开始依次读取ram，在每个ram开始读取时同步进行写操作，保证读写同步进行。
每个ram连续读出一行图像数据，8个ram依次读出。每个ram读取一次为8个像素，例如第一次读取1、2、3、4、5、6、7、8共8个像素，然后将1、3、5、7低增益像素分别传给TAPA,TAPB,TAPC,TAPD四个通道；第二次读取9、10、11、12、13、14、15、16共8个像素，然后将9、11、13、15低增益像素分别传给TAPA,TAPB,TAPC,TAPD四个通道，依次读取，共读取512次且只提取低增益像素，共读取2048个低增益像素。
重复上述读取过程，此次读取过程只提取2、4、6、8高增益像素，512次读取过程完成，共读取2048个高增益像素，这样就可以将高低增益图像分开。
完成像素提取生成2048x4096的一帧图像，需要将图像进行重建。获得高动态范围的目标图像。根据相机的特点，高增益图像的输出值YH在小于转换阈值TH时，认为处于图像传感器的线性区，此时认为高增益的输出是有效的，当高增益图像输出值YH大于转换阈值TH时，高增益图像数据无效，此时采用对应的低增益图像输出值YL进行转换。具体方法如下：
具体参数如下表1所示：
表1图像重建方法公式具体参数
根据高增益图像的响应曲线，选择3800DN作为阈值，即低于3800，传感器工作在线性区，用高增益图像表示传感器的辐射特性；高于3800，传感器工作在非线性区，用低增益图像表示传感器的辐射特性。图4和图5显示了原始图像和构造的高动态范围图像。
Claims (3)
1.一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，其特征在于，该方法包括如下步骤：
步骤一：传感器的输出图像通过8通道数据同时输出，每个通道传输512字节数据，数据位宽为12bit，所述数据包括低增益数据和高增益数据，所述低增益数据和高增益数据按照穿插的像素排列方式进行输出；
步骤二：将穿插输出的所述低增益数据和高增益数据进行提取，分别存贮为低增益数据2048x2048阵列和高增益数据2048x2048阵列，形成输出大小为2048x4096的一帧图像，其中左半区为低增益图像，右半区为高增益图像；
步骤三：对步骤二中所述的一帧图像进行处理，通过高低增益图像融合，重建成2048x2048的一帧高动态范围图像；
步骤四：将所述高动态范围图像在高动态范围图像模式和标准模式下时通过改变位宽实现对所述高动态范围图像的存储。
2.根据权利要求1所述的一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，其特征在于，所述步骤二包括如下步骤：
步骤A：图像传感器输出数据同步写入8个ram，每个ram缓存2行图像，当ram中缓存的图像达到一行时开始依次读取ram，每个ram连续读出一行图像数据，8个ram依次读出，每个ram读取一次为8个像素，将4个低增益像素分别传给TAPA,TAPB,TAPC,TAPD四个通道；依次读取，共读取512次且只提取低增益像素，共提取2048个低增益像素；
步骤B：图像传感器输出数据同步写入8个ram，每个ram缓存2行图像，当ram中缓存的图像达到一行时开始依次读取ram，每个ram连续读出一行图像数据，8个ram依次读出，每个ram读取一次为8个像素，此次读取过程只提取4个高增益像素，512次读取过程完成，共提取2048个高增益像素，实现所述低增益数据和高增益数据的提取。
3.根据权利要求1所述的一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法，其特征在于，所述步骤三包括如下步骤：将高增益数据与转换阈值进行比较，如果高增益数据小于转换阈值，则高增益数据为有效数据进行输出；如果高增益数据大于转换阈值，则选择低增益数据为有效数据进行转换并输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910167360.3A CN109889743B (zh) | 2019-03-05 | 2019-03-05 | 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910167360.3A CN109889743B (zh) | 2019-03-05 | 2019-03-05 | 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109889743A CN109889743A (zh) | 2019-06-14 |
| CN109889743B true CN109889743B (zh) | 2020-09-01 |
Family
ID=66930880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910167360.3A Active CN109889743B (zh) | 2019-03-05 | 2019-03-05 | 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109889743B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110784645B (zh) * | 2019-10-09 | 2021-01-01 | 中国航空工业集团公司洛阳电光设备研究所 | 基于单色双通道sCMOS摄像机的灰度调制图像融合方法 |
| CN112040091B (zh) * | 2020-09-01 | 2023-07-21 | 先临三维科技股份有限公司 | 相机增益的调整方法和装置、扫描系统 |
| CN116803096A (zh) * | 2021-02-22 | 2023-09-22 | Oppo广东移动通信有限公司 | 传感器、电子设备和非暂时性计算机可读介质 |
| CN114708175A (zh) * | 2022-03-22 | 2022-07-05 | 智冠华高科技(大连)有限公司 | 一种用于双通道图像传感器的图像融合方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002530A1 (en) * | 2007-06-27 | 2009-01-01 | Texas Instruments Incorporated | Apparatus and method for processing images |
| DE102009004187A1 (de) * | 2009-01-09 | 2010-07-15 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Bildsensor |
| CN101783184B (zh) * | 2010-01-15 | 2013-10-16 | 哈尔滨工业大学 | 基于fpga的ddr2内存故障注入工具及注入方法 |
| CN103327265B (zh) * | 2013-06-04 | 2016-04-13 | 浙江工业大学 | 一种基于fpga的四路视频合成方法及其装置 |
| CN109115245B (zh) * | 2014-03-28 | 2021-10-01 | 意法半导体股份有限公司 | 多通道换能器设备和其操作方法 |
| US9942492B2 (en) * | 2016-06-16 | 2018-04-10 | Semiconductor Components Industries, Llc | Image sensors having high dynamic range functionalities |
| CN106651787B (zh) * | 2016-11-08 | 2019-08-23 | 深圳市安健科技股份有限公司 | 基于x射线的hdr图像合成方法及系统 |
| CN108777786A (zh) * | 2018-05-16 | 2018-11-09 | 长春理工大学 | 一种基于相机转移特性曲线的图像融合方法 |
-
2019
- 2019-03-05 CN CN201910167360.3A patent/CN109889743B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109889743A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109889743B (zh) | 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法 | |
| CN104065892B (zh) | 一种凝视卫星面阵ccd相机的相对辐射校正方法 | |
| CN110378845B (zh) | 一种基于卷积神经网络的极端条件下的图像修复方法 | |
| CN111986084B (zh) | 一种基于多任务融合的多相机低光照图像质量增强方法 | |
| CN103530896A (zh) | 一种红外图像的图像压缩和细节增强方法 | |
| US20050265633A1 (en) | Low latency pyramid processor for image processing systems | |
| CN101635782B (zh) | 一种基于动态时间延迟积分的图像获取方法及器件 | |
| CN104200447A (zh) | 一种实时低照度彩色图像增强方法及其实现装置 | |
| CN111586310B (zh) | 一种实时高动态成像方法及成像系统 | |
| CN109816603A (zh) | 单光子计数成像的图像传感器图像还原方法 | |
| CN108564551A (zh) | 鱼眼图像处理方法及鱼眼图像处理装置 | |
| CN105338232A (zh) | Ccd相机、多参数可控电子倍增ccd成像系统及方法 | |
| CN104486562B (zh) | 基于固定积分时间的嵌入式红外图像超帧处理方法 | |
| CN112651903A (zh) | 红外热像仪图像预处理系统及其预处理方法 | |
| CN112634150A (zh) | 一种基于fpga的红外夜视图像增强方法 | |
| Tang et al. | A high-dynamic range CMOS camera based on dual-gain channels | |
| CN107154060B (zh) | 一种基于dsp的视频帧稀疏性检测系统及数据处理方法 | |
| CN111145133A (zh) | 基于zynq的红外和可见光同光轴图像融合系统及方法 | |
| CN110555877B (zh) | 一种图像处理方法、装置及设备、可读介质 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN116245968A (zh) | 基于Transformer的LDR图像生成HDR图像的方法 | |
| CN203435089U (zh) | 基于dsp与fpga的果树农学参数实时检测装置 | |
| CN104156954A (zh) | 适于多光谱图像压缩的配准预处理系统 | |
| CN104776919B (zh) | 基于fpga的红外焦平面阵列条带状非均匀性校正系统和方法 | |
| CN106023101A (zh) | 一种基于视觉保真的卫星遥感图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province Patentee after: Changguang Satellite Technology Co.,Ltd. Address before: No.1759 Mingxi Road, Gaoxin North District, Changchun City, Jilin Province Patentee before: CHANG GUANG SATELLITE TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |