CN110418060B - 一种高速相机的图像校正方法及系统 - Google Patents
一种高速相机的图像校正方法及系统 Download PDFInfo
- Publication number
- CN110418060B CN110418060B CN201910716684.8A CN201910716684A CN110418060B CN 110418060 B CN110418060 B CN 110418060B CN 201910716684 A CN201910716684 A CN 201910716684A CN 110418060 B CN110418060 B CN 110418060B
- Authority
- CN
- China
- Prior art keywords
- image
- temperature
- data
- signal
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种高速相机的图像校正方法包括以下步骤:多通道LVDS自适应校准;多温度段畸变校正;图像数据输出;其中多温度段畸变校正包括采集传感器温度曲线,划分工作温度段;计算工作温度区间[n1,n2]下的畸变校正系数;循环步骤上一步,计算出[n2,n3],......,[nm,nm+1]温度区间下相应的校正系数;由电路板上的测温电路获取系统的工作温度,当工作温度发生变化时,依据当前的温度,调用相应温度区间下的校正系数对图像进行畸变矫正成像系统包括CMOS传感器及其配置单元、图像采集和控制单元、温度控制单元和图像传输单元;本发明能够实现动态调整系统的校正参数,使相机在不同硬件和工作环境下,都能自适应地获得正确的图像。
Description
技术领域
本发明属于绕线控制领域,具体涉及一种高速相机的图像校正方法及系统。
背景技术
高速CMOS相机由于其高帧率、高分辨率的特点,已经成为科学研究领域的重要工具,不但能够对高速运动进行记录跟踪,还能对图像数据进行相应的在线处理。高速CMOS相机伴随着超大数据量的采集和处理,其通常是将图像数据通过多通道LVDS同时将图像数据传输出去,多个通道之间由于硬件设计以及软件接收会带来通道间不同步问题,给相机的数据恢复带来了很大的难题。而由于CMOS传感器制造工艺、成像系统设计、工作环境等影响,高速相机采集的图像存在畸变现象,对图像处理造成很大的干扰。
现有技术CN103905728A公开了航天相机LVDS数据可靠传输接收方法,涉及数据传输接收技术,解决现有航天相机在应用过程中,由于LVDS数据传输通道上存在大量信号干扰,导致出现对数据有效性的误判断,影响数据的可靠传输接收的问题。先对LVDS接收电路进行上下拉电阻,然后对航天相机成像单元加电,使控制器输出的门控信号和时钟信号处于高电平;最后采用异步FIFO进行数据缓冲,通过检测异步FIFO的empty信号,判断输入数据的有效性;实现数据的可靠传输。该发明对LVDS数据传输通道的接收部分电路进行限定,降低干扰;并针对航天相机成像单元加电和时序信号输出产生的干扰,对相机设计进行限定,降低干扰;对数据接收部分接收到的数据,采用数据缓冲加延时判断的方法来进行数据有效性的甄别,提高数据传输的可靠性。现有技术CN105847714A公开了 CMOS输入图像数据的延时校正系统,该发明采用FPGA内部的DCM模块产生各独立的采样时钟,可在线实时调整以获得各位数据的最佳相位,实现位校正通过内部可置位的移位寄存器进行输入数据的串并转换和字校正;主处理器在加电后进行上电初始化,初始化完毕后配置CMOS图像传感器的train模式,并等待从处理器发出准备好的信号,当主处理器接收到从处理器发出的准备好的信号后,启动CMOS图像传感器的train模式,同时所述主处理器向从处理器发出train模式开始命令;然后主处理器开始接收CMOS图像传感器输出的train 数据,直到train模式完成;所述主处理器等待接收从处理器的train模式完成信号,当接收到从处理器的train模式完成信号后,配置所述CMOS图像传感器摄像模式,同时向从处理器发出摄像开始命令;所述主处理器接收CMOS图像传感器输出的图像数据并进行处理。
发明内容
本发明提出了一种高速相机的图像校正方法,解决高速相机系统中图像恢复错误及图像畸变问题。具体采用以下技术方案,一种高速相机的图像校正方法,包括以下步骤:
S1、多通道LVDS自适应校准;
S2、多温度段畸变校正,具体包括以下步骤:
S21、采集传感器温度曲线,划分工作温度段;
S22、计算工作温度区间[n1,n2]下的畸变校正系数;
S23、循环步骤S22,计算出[n2,n3],......,[nm,nm+1]温度区间下相应的校正系数;
S24、由电路板上的测温电路获取系统的工作温度,当工作温度发生变化时,依据当前的温度,调用相应温度区间下的校正系数对图像进行畸变矫正;
S3、图像数据输出:当图像数据校正完成后,按照图像数据的像素频率输出校正后的图像,并将图像数据传输到主机进行处理和显示。
具体地,所述步骤S1具体包括以下步骤:
S11、信号接收:首先接收前端CMOS图像传感器输出的多通道LVDS差分信号;所述多通道LVDS差分信号包括同步信号、时钟信号及数据信号;
S12、延迟调整:自动计算步骤S11中同步信号和数据信号的信号窗口中心位置相对时钟信号边沿的初始延迟时间;根据初始延迟时间,调整同步和数据信号的相位延迟量,使各信号间的初始相位保持一致;
S13、串并转换:将延迟调整后的同步信号和数据信号按已知串并转换比例进行串并转换;其中,已知串并转换比例为可配置的系统参数,为任意值。
具体地,所述步骤S11多通道LVDS发的信号速率、电平标准、通道数均为可配置的系统参数。
具体地,所述步骤S12中还包括初始相位确定后,在信号接收过程中持续监测各信号的相位延迟量的变化,对产生的偏移及时进行动态调整,保证时钟信号边沿位于图像同步信号和数据信号窗口中心位置。
具体地,所述步骤S13中还包括按照校准序列对转换后并行数据进行序列对齐操作,使并行数据与校准序列一致。
具体地,所述步骤S21中具体包括以下步骤:
A、相机系统在工作温度范围内,每隔5℃温差采集一组N帧相同强度入射光源下的原始图像,并计算出每组原始图像的平均图像得到各个温度点平均图像;
B、计算各个温度点平均图像的平均灰度值;
C、根据各温度点的平均灰度值,设置阈值对温度区间进行划分[n1,n2],[n2,n3],......,[nm, nm+1],得到m个温度区间。
具体地,所述步骤S22中计算畸变校正系数的步骤为:
3)由公式计算可得校正系数分别为
具体地,所述步骤3)中采用的公式为
Yij(XL)=aijXL+bij
Yij(XH)=aijXH+bij
其中,Yij(XL)为CMOS传感器在低强度入射光源XL下的输出,Yij(XH)为CMOS传感器在高强度入射光源XH下的输出。
上述方法采用多通道LVDS自适应校准与多温度段畸变校正算法相结合的方法,CMOS 传感器输出的多通道LVDS图像,首先进入LVDS自适应校准模块,动态调整各通道之间的延迟参数实现各通道数据同步,保证在系统工作温度与信号电压波动造成干扰的情况下,接收端能可靠地对数据进行正确恢复;同步后的图像数据进入多温度段畸变校正模块,依据不同的工作温度,调用相应的校正系数,对图像进行校正,消除成像系统缺陷及工作环境改变对图像造成的干扰。
本发明还提供了一种高速相机成像系统包括:
CMOS传感器及其配置单元,对CMOS工作模式进行配置,输出相应分辨率和帧率的图像;
图像采集和控制单元,包括图像采集模块、图像校正模块、图像缓存模块和数据处理模块;
温度控制单元,包括温度采集模块和校正系数调度模块;
图像传输单元,包括数据通讯模块和图像输出模块。
具体地,所述图像采集模块用于接收CMOS传感器输出的多路LVDS数据;所述图像校正模块包括多通道LVDS自适应校准和多温度段畸变校正模块,完成对图像数据的恢复和校正;所述图像缓存模块用于校正后图像的缓存;所述数据处理模块用于对图像格式的整理及数据处理。
具体地,所述温度采集模块用于获取相机系统的工作温度;所述校正系数调度模块用于根据系统工作温度对校正系数进行调度,使之适应当前的温度范围。
具体地,所述数据通讯模块用于与上位机的通讯功能,实现对CMOS传感器的配置;所述图像输出模块用于将图像数据传输到上位机进行显示和处理。
本发明具有以下有益效果:
本发明针对高速相机系统中图像恢复错误及图像畸变问题,采用多通道LVDS自适应校准与多温度段畸变校正算法相结合的方法,动态调整系统的校正参数,使相机在不同硬件和工作环境下,都能自适应地获得正确的图像。
附图说明
图1为本发明中图像校正方法的步骤示意图。
具体实施方式
实施例1
本实施例以一10通道LVDS数据输出的CMOS传感器成像系统为例,说明如何基于FPGA实现对CMOS多通道输出图像的校正方法,实现多通道图像数据的自适应配准,并依据系统的工作温度来动态地调整系统的校正系数。
一种高速相机的图像校正方法,包括以下步骤:
S1、多通道LVDS自适应校准:
S11、信号接收:CMOS输出1通道LVDS时钟信号、1通道LVDS同步信号、10通道 LVDS数据信号。时钟信号频率为400MHZ,同步信号和数据信号均使用DDR传输方式,数据率为800Mbps。
S12、延迟调整:由于时钟信号周期为2.5ns,因此,同步信号和数据信号数据窗口宽度为1.25ns,进一步可计算出时钟信号边沿与数据窗口中心的相对延时值为0.675ns
在实施例中,延时调节的最小单位为58ps,因此,
675ps/58ps≈12,
12×58ps=0.696ns,
将同步信号和数据信号的初始延时时间调整为0.696ns。在后续的信号接收过程中,实时监测该初始延时时间的变化,最小监测单位为58ps。例如,当同步信号延时时间变为0.8ns, 14×58ps>0.8ns>13×58ps,则将延时值调整为0.8ns-58ps×2=0.684ns。
S13、串并转换:在本实施例中,串并转换比为1:8,转换后的并行数据率为100MBps。本实施例中,校准序列为0x01011010,转换后的并行同步信号和数据信号的初始序列为 0x10100101,将该初始序列向左循环移动4bit便与校准序列一致。
S2、多温度段畸变校正,具体包括以下步骤:
S21:获取传感器的温度响应曲线,根据不同的响应来划分不同的温度区间,在工作温度范围内,每隔5℃温差采集一组N帧相同强度入射光源下的原始图像,并计算出每组原始图像的平均图像;计算各个温度点平均图像的平均灰度值;根据各温度点的平均灰度值,设置合适的阈值对温度区间进行划分[n1,n2],[n2,n3],......,[nm,nm+1],得到m个温度区间;
例如可以划分为5个温度区间,分别为:温度区间T1:[-40℃,-10℃];温度区间T2:[-10℃,10℃];温度区间T3:[10℃,30℃];温度区间T4:[30℃,50℃];温度区间T5: [50℃,60℃]。
S22、采用两点校正算法计算5个温度区间下的畸变校正系数
3)由以下公式计算可得校正系数
Yij(XL)=aijXL+bij
Yij(XH)=aijXH+bij
其中,Yij(XL)为CMOS传感器在低强度入射光源XL下的输出,Yij(XH)为CMOS传感器在高强度入射光源XH下的输出。
S23、将5组校正系数存储到系统的片上FLASH内,每次上电时加载;
S24、温度控制单元实时采集系统的工作温度T,依据T所在的温度区间范围调用相应的校正系数。
S3、图像数据输出:当图像数据校正完成后,按照图像数据的像素频率输出校正后的图像,并将图像数据传输到主机进行处理和显示。
实现上述校正方法的高速相机成像系统包括:
CMOS传感器及其配置单元:对CMOS工作模式进行配置,输出相应分辨率和帧率的图像;
图像采集和控制单元包括:图像采集模块用于接收CMOS传感器输出的多路LVDS数据;图像校正模块包括多通道LVDS自适应校准和多温度段畸变校正模块,完成对图像数据的恢复和校正;图像缓存模块用于校正后图像的缓存;数据处理模块用于对图像格式的整理及数据处理;
温度控制单元包括:温度采集模块用于获取相机系统的工作温度;校正系数调度模块用于根据系统工作温度对校正系数进行调度,使之适应当前的温度范围。
图像传输单元包括:数据通讯模块用于与上位机的通讯功能,实现对CMOS传感器的配置;所述图像输出模块用于将图像数据传输到上位机进行显示和处理。
上述详细说明是针对本发明其中之一可行实施例的具体说明,该实施例并非用以限制本发明的专利范围,凡未脱离本发明所为的等效实施或变更,均应包含于本发明技术方案的范围内。
Claims (7)
1.一种高速相机的图像校正方法,包括以下步骤:
S1、多通道LVDS自适应校准;
S2、多温度段畸变校正,具体包括以下步骤:
S21、采集传感器温度曲线,划分工作温度段;所述步骤S21中具体包括以下步骤:
A、相机系统在工作温度范围内,每隔5℃温差采集一组N帧相同强度入射光源下的原始图像,并计算出每组原始图像的平均图像得到各个温度点平均图像;
B、计算各个温度点平均图像的平均灰度值;
C、根据各温度点的平均灰度值,设置阈值对温度区间进行划分[n1,n2],[n2,n3],......,[nm,nm+1],得到m个温度区间;
S22、计算工作温度区间[n1,n2]下的畸变校正系数;计算畸变校正系数的步骤为:
3)由公式计算可得校正系数分别为
步骤3)中采用的公式为:
Yij(XL)=aijXL+bij
Yij(XH)=aijXH+bij
其中,Yij(XL)为CMOS传感器在低强度入射光源XL下的输出,Yij(XH)为CMOS传感器在高强度入射光源XH下的输出;
S23、循环步骤S22,计算出[n2,n3],......,[nm,nm+1]温度区间下相应的校正系数;
S24、由电路板上的测温电路获取系统的工作温度,当工作温度发生变化时,依据当前的温度,调用相应温度区间下的校正系数对图像进行畸变矫正;
S3、图像数据输出:当图像数据校正完成后,按照图像数据的像素频率输出校正后的图像,并将图像数据传输到主机进行处理和显示。
2.根据权利要求1所述的高速相机的图像校正方法,其特征在于,所述步骤S1具体包括以下步骤:
S11、信号接收:首先接收前端CMOS图像传感器输出的多通道LVDS差分信号;所述多通道LVDS差分信号包括同步信号、时钟信号及数据信号;
S12、延迟调整:自动计算步骤S11中同步信号和数据信号的信号窗口中心位置相对时钟信号边沿的初始延迟时间;根据初始延迟时间,调整同步和数据信号的相位延迟量,使各信号间的初始相位保持一致;
S13、串并转换:将延迟调整后的同步信号和数据信号按已知串并转换比例进行串并转换;其中,已知串并转换比例为可配置的系统参数,为任意值。
3.根据权利要求2所述的高速相机的图像校正方法,其特征在于,所述步骤S11多通道LVDS发的信号速率、电平标准、通道数均为可配置的系统参数。
4.根据权利要求2所述的高速相机的图像校正方法,其特征在于,所述步骤S12中还包括初始相位确定后,在信号接收过程中持续监测各信号的相位延迟量的变化,对产生的偏移及时进行动态调整,保证时钟信号边沿位于图像同步信号和数据信号窗口中心位置。
5.根据权利要求2所述的高速相机的图像校正方法,其特征在于,所述步骤S13中还包括按照校准序列对转换后并行数据进行序列对齐操作,使并行数据与校准序列一致。
6.一种实现如权利要求1-5任一项所述的高速相机的图像校正方法的系统,其特征在于,系统包括:
CMOS传感器及其配置单元:对CMOS工作模式进行配置,输出相应分辨率和帧率的图像;
图像采集和控制单元:包括图像采集模块、图像校正模块、图像缓存模块和数据处理模块;
温度控制单元:包括温度采集模块和校正系数调度模块;
图像传输单元:包括数据通讯模块和图像输出模块。
7.根据权利要求6所述的系统,其特征在于,所述图像采集模块用于接收CMOS传感器输出的多路LVDS数据;所述图像校正模块包括多通道LVDS自适应校准和多温度段畸变校正模块,完成对图像数据的恢复和校正;所述图像缓存模块用于校正后图像的缓存;所述数据处理模块用于对图像格式的整理及数据处理;所述温度采集模块用于获取相机系统的工作温度;所述校正系数调度模块用于根据系统工作温度对校正系数进行调度,使之适应当前的温度范围;所述数据通讯模块用于与上位机的通讯功能,实现对CMOS传感器的配置;所述图像输出模块用于将图像数据传输到上位机进行显示和处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910716684.8A CN110418060B (zh) | 2019-08-05 | 2019-08-05 | 一种高速相机的图像校正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910716684.8A CN110418060B (zh) | 2019-08-05 | 2019-08-05 | 一种高速相机的图像校正方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110418060A CN110418060A (zh) | 2019-11-05 |
CN110418060B true CN110418060B (zh) | 2021-06-08 |
Family
ID=68365993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910716684.8A Active CN110418060B (zh) | 2019-08-05 | 2019-08-05 | 一种高速相机的图像校正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110418060B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111031195B (zh) * | 2019-12-24 | 2022-01-25 | 成都国翼电子技术有限公司 | 基于fpga的lvds视频接口动态调整方法 |
CN111556246B (zh) * | 2020-04-27 | 2022-04-15 | 武汉卓目科技有限公司 | 一种控制微纳相机数据高速传输的系统和方法 |
CN112256217A (zh) * | 2020-09-30 | 2021-01-22 | 惠州高盛达智显科技有限公司 | 基于液晶屏lvds信号格式自动调整方法及系统 |
CN113141478B (zh) * | 2021-04-21 | 2022-03-22 | 中国科学院长春光学精密机械与物理研究所 | 一种可控的串行图像数据动态校正训练方法 |
CN113298066B (zh) * | 2021-05-13 | 2022-04-05 | 广州文远知行科技有限公司 | 图像采集控制方法、装置、传感器和存储介质 |
CN113709393B (zh) * | 2021-08-20 | 2023-06-27 | 国光电器股份有限公司 | 图像传感器光学暗区的校准曲线获取方法和校准方法 |
CN114066759B (zh) * | 2021-11-18 | 2023-08-01 | 电子科技大学 | 一种基于fpga的红外图像实时畸变校正方法和系统 |
CN115801503B (zh) * | 2022-11-18 | 2024-03-22 | 电子科技大学 | 面向跨芯片互连的lvds并行数据自动校准电路及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106352981A (zh) * | 2016-08-17 | 2017-01-25 | 中国电子科技集团公司第四十研究所 | 一种光纤光谱仪的多维度复杂校准方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1753129B1 (en) * | 2005-08-10 | 2011-07-20 | Semiconductor Components Industries, LLC | Receiver with high input range |
JP4783418B2 (ja) * | 2008-11-27 | 2011-09-28 | 富士通株式会社 | デューティ補正回路、及びデューティ補正方法 |
CN102801912A (zh) * | 2012-07-17 | 2012-11-28 | 北京伽略电子系统技术有限公司 | 一种红外图像处理芯片及处理方法 |
JP6051654B2 (ja) * | 2012-07-25 | 2016-12-27 | 株式会社リコー | 画像読取装置、及び画像形成装置 |
CN104964746B (zh) * | 2015-06-17 | 2018-04-10 | 北京空间机电研究所 | 基于无快门的非制冷红外成像系统和非均匀性校正方法 |
CN109341864B (zh) * | 2018-10-24 | 2020-04-10 | 北京航天长征飞行器研究所 | 一种轻小型宽动态空间红外定量测量装置 |
CN109600560A (zh) * | 2018-12-04 | 2019-04-09 | 中国航空工业集团公司洛阳电光设备研究所 | Cmos图像传感器输出高速串行lvds信号校准方法及装置 |
-
2019
- 2019-08-05 CN CN201910716684.8A patent/CN110418060B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106352981A (zh) * | 2016-08-17 | 2017-01-25 | 中国电子科技集团公司第四十研究所 | 一种光纤光谱仪的多维度复杂校准方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110418060A (zh) | 2019-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110418060B (zh) | 一种高速相机的图像校正方法及系统 | |
CN113037415B (zh) | 一种基于车载以太网传输的tsn网络时钟同步方法、系统及设备 | |
CN110321316B (zh) | 一种多通道同步数据采集自适应训练控制装置及方法 | |
US20230341892A1 (en) | Device synchronous calibration method and apparatus, devices, and storage medium | |
US9491332B2 (en) | Clock transfer circuit, video processing system, and semiconductor integrated circuit | |
CN111064862B (zh) | 高速大面阵多通道cmos图像传感器数据训练方法 | |
US8842793B2 (en) | Communication circuit and method of adjusting sampling clock signal | |
US7956660B2 (en) | Signal processing device | |
CN109600560A (zh) | Cmos图像传感器输出高速串行lvds信号校准方法及装置 | |
CN107832246A (zh) | 半导体装置 | |
KR20180082359A (ko) | 고속 센서 인터페이스를 위한 동기화 메커니즘 | |
JP5595526B2 (ja) | 通信インターフェイス装置、空気調和機、通信制御方法、及びプログラム | |
US20190014237A1 (en) | Image transfer system, image receiver, image transmitter, image transfer method, image reception method, image transmission method, and program | |
US11755057B2 (en) | Method, system, and computer program product for producing accurate IEEE 1588 PTP timestamps in a system with variable PHY latency | |
CN113141478B (zh) | 一种可控的串行图像数据动态校正训练方法 | |
CN113364933B (zh) | 高摄像同步性和精细像移补偿的tdicmos成像系统 | |
JP2010244399A (ja) | データ転送装置及び撮像装置 | |
Osadcuks et al. | Clock-based time synchronization for an event-based camera dataset acquisition platform | |
US9654114B2 (en) | Transmission circuit, integrated circuit, and parallel-to-serial conversion method | |
CN115834805B (zh) | 一种mipi dphy偏斜消除电路和偏斜消除方法 | |
CN112468281A (zh) | 一种高精度符号同步系统 | |
CN112055940B (zh) | 接收设备和通信系统 | |
WO2019192300A1 (zh) | 时钟相位恢复装置、方法和芯片 | |
US9252940B2 (en) | Phase tracking for a sampling clock | |
US10598776B2 (en) | Method for determining sampling phase of sampling clock signal and associated electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |