CN111064862A - 高速大面阵多通道cmos图像传感器数据训练方法 - Google Patents

高速大面阵多通道cmos图像传感器数据训练方法 Download PDF

Info

Publication number
CN111064862A
CN111064862A CN201911377190.8A CN201911377190A CN111064862A CN 111064862 A CN111064862 A CN 111064862A CN 201911377190 A CN201911377190 A CN 201911377190A CN 111064862 A CN111064862 A CN 111064862A
Authority
CN
China
Prior art keywords
training
data
channel
image sensor
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911377190.8A
Other languages
English (en)
Other versions
CN111064862B (zh
Inventor
石俊霞
郭永飞
姜肖楠
司国良
宁永慧
袁航飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201911377190.8A priority Critical patent/CN111064862B/zh
Publication of CN111064862A publication Critical patent/CN111064862A/zh
Application granted granted Critical
Publication of CN111064862B publication Critical patent/CN111064862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

高速大面阵多通道CMOS图像传感器数据训练方法，涉及CMOS成像技术领域，解决现有CMOS图像传感器各通道数据采用相同的训练方法，导致难以确保所有通道都训练成功的问题，包括位训练、字训练和通道训练，本发明方法为通道可调参数的训练方法，来适应不同通道间数据差异的特性。通过参数调整，可以获得不同通道的数据特性，最后为每个通道选择一组最佳参数，使得训练结果准确且稳定。在数据频率为540MHz的条件下可以同时对CMOS图像传感器的42个通道训练成功，采集到稳定的图像数据，该方法在最大、典型和最小工况下均能有效的对CMOS数据进行训练。

Description

高速大面阵多通道CMOS图像传感器数据训练方法
技术领域
本发明涉及CMOS成像技术领域，具体涉及一种高速大面阵多通道CMOS图像传感器数据训练方法。
背景技术
空间遥感相机发展的重要方向就是高速大视场成像，而CMOS图像传感器在实现高速大视场成像具有其独特的优势，其大面阵可以做到单片图像传感器实现10*10K的像素成像，同时由于其结构简单，不需要额外的信号处理电路，CMOS图像传感器在空间遥感领域应用广泛。但是由于制造工艺等原因，CMOS输出的LVDS数据和时钟之间不同步，且不同通道之间数据时钟的传输延迟各不相同，为了确保图像采样正确，同步CMOS输出的LVDS数据，需要对CMOS数据进行训练。CMOS图像传感器输出数据在每次上电之后相位都可能发生变化，因此需要在每次上电之后都重新训练，另外由于大面阵CMOS图像传感器通道数较多，通道之间存在差异性，这也给训练带来一定的难度，因此需要一种行之有效的训练方法，确保多通道面阵CMOS图像传感器训练成功，相机输出稳定准确的图像。训练共包括三个步骤，位训练、字训练和通道间训练。位训练是通过对数据进行移动调整来寻找数据的有效起始位置和结束位置；字训练的目的是对齐数据的起始结束位置；通道训练的目的是将各通道间数据进行同步。传统训练方式均是对于CMOS图像传感器各通道数据采用相同的方法进行训练。
传统训练方式对于CMOS图像传感器各通道数据采用相同的方法。这对于低速相机而言是可行的，因为速度低意味着数据保持时间较长，对于数据采样也相对而言容易，但是，对于高帧频多通道CMOS图像传感器而言，由于LVDS数据频率较高，数据有效时间较短，再者不同通道之间存在较大的不一致性，如果采用相同的方式进行训练很难确保所有通道都训练成功或达到最佳训练效果。
发明内容
本发明为解决现有CMOS图像传感器各通道数据采用相同的训练方法，导致难以确保所有通道都训练成功的问题，提供一种高速大面阵多通道CMOS图像传感器数据训练方法。
高速大面阵多通道CMOS图像传感器数据训练方法，FPGA产生CMOS图像传感器工作时序并接收CMOS图像传感器输出的LVDS图像数据，FPGA接收图像数据并进行训练、存储及处理，图像采集计算机用于采集输出的图像数据；其特征是：所述FPGA对接收的图像数据进行位训练、字训练和通道训练；具体由以下步骤实现：
步骤一、位训练；
CMOS图像传感器输出14bit串行数据，FPGA内部采用36bit宽度进行移位，FPGA内部通过IDELAY调节输入串行数据位置寻找训练字，
要求连续检测到M次训练字，通过IDELAY反方向调整串行输入数据N次，取连续M次采集到训练字的中间位置作为数据采样位置；
步骤二、字训练；
所述字训练通过记录同步信号到CMOS输出训练字的距离来实现；从位训练成功后的第一个同步信号开始，每个时钟字训练计数器从0开始计数，直到采集到并行数据为训练字计数器停止计数，保存该计数器值，作为CMOS图像传感器各通道读取图像数据的起始位置；
步骤三、通道训练；
完成字训练后开始进行通道训练，将数据写入RAM，各通道在检测到第一个有效像元时分别开始进行RAM的写操作，确保每个通道的第一个像元存储位置均为RAM的0地址。
本发明的有益效果：
本发明所述一种通道可调参数的训练方法，来适应不同通道间数据差异的特性。通过参数调整，可以获得不同通道的数据特性，最后为每个通道选择一组最佳参数，使得训练结果准确且稳定。
在数据频率为540MHz的条件下可以同时对CMOS图像传感器的42个通道训练成功，采集到稳定的图像数据，该方法在最大、典型和最小工况下均能有效的对CMOS数据进行训练。
附图说明
图1为本发明所述的高速大面阵多通道CMOS图像传感器数据训练方法中CMOS相机原理框图；
图2为CMOS图像传感器数据训练效果图；
图3为位训练机制示意图；
图4为统一参数训练失效成像图1(部分通道N值不理想)；
图5为统一参数训练失效成像图2(部分通道M值不理想)；
图6为采用本发明训练方法成像图。
具体实施方式
具体实施方式一、结合图1至图6说明本实施方式，高速大面阵多通道CMOS图像传感器数据训练方法，该方法利用FPGA内部资源IODELAY进行自适应延时，检测训练字，检测到训练字后对训练字进行连续多次采样，取其中较中间的位置作为数据采样点，由于CMOS图像传感器各通道输出的数据与时钟相位各不相同，且各通道输出信号的质量存在差异，为了确保所有通道都能训练成功，采集到稳定的图像，本实施方式中各通道采用不同的参数进行训练。
步骤一、位训练
位训练采用FPGA内部资源IDELAY来实现，CMOS输出为14bit串行数据，FPGA内部采用36bit宽度进行移位，确保能正确采样到有效的14bit数据。FPGA内部通过IDELAY细微调节输入串行数据位置来寻找训练字，为了确保检测的训练字正确且容易采样，设计时要连续检测到M次训练字，然后通过IDELAY反方向调整串行输入数据N次(N在M/2左右取值)，取连续M次采集到训练字的中间位置作为数据采样位置。位训练机制示意图如附图3所示。从检测到训练字开始，连续采样M次，取最佳位置N作为实际采样位置。
位训练的过程实质上是一个自适应检测训练字的过程，在每个时钟都判断36bit宽度数据的高14位是否为训练字，如果36bit完全移位一次仍没有找到训练字则启动IDELAY对输入数据进行延时一次，如此反复迭代。找到训练字后继续启动IDELAY延时并开始计数，每启动一次IDELAY延时计数值加1，连续计数值达到M则认为位训练成功，然后启动IDELAY反向延时，反向延时N次作为数据最终采样位置并对数据进行串并转换。
步骤二、字训练；
位训练成功后进行字训练，字训练通过记录同步信号到CMOS输出训练字的距离来实现。从位训练成功后的第一个同步信号开始，每个时钟字训练计数器从0开始计数，直到采集到并行数据为训练字计数器停止计数，保存该计数器值，作为CMOS图像传感器各通道读取图像数据的起始位置。
步骤三、通道训练；
完成字训练后开始进行通道训练，通道训练目的是将各通道的第一个有效像元对齐，本发明中通道训练是通过将数据写入RAM来实现的，该步骤同时达到通道训练和数据存储的目的。各通道在检测到第一个有效像元时分别开始进行RAM的写操作，确保每个通道的第一个像元存储位置均为RAM的0地址。
本实施方式中CMOS图像传感器10K*10K像素面阵图像传感器，共42个通道，CMOS图像传感器输出数据为速率540MHz的数据，相机采用FPGA产生CMOS图像传感器工作时序并接收CMOS图像传感器输出的LVDS数据，然后进行训练，存储、处理和图像输出。相机原理框图参照附图1。图1所示为CMOS相机原理框图，由FPGA产生CMOS图像传感器工作的时序信号及参数加载信号，CMOS图像传感器输出42通道串行差分图像，FPGA接收图像并进行训练、存储及处理，图像采集计算机用来采集相机输出的图像数据。
由于CMOS输出数据和时钟每次上电相对相位会发生变化，为了确保采样到正确的CMOS图像数据，需要在CMOS上电后对CMOS输出数据进行训练。训练分为三步：位训练、字训练和通道训练。训练效果图如附图2所示。下面对位训练、字训练和通道训练三个步骤进行详细阐述。图2所示为CMOS图像传感器数据训练效果图，图中以CMOS图像传感器4个通道(DP1、DP2、DP3和DP4)为例进行说明，第一部分为训练前CMOS图像传感器4个通道输出的图像数据，第二部分为4个通道经过位训练后的图像数据，第三部分为4个通道字训练后的图像数据，第四部分为通道训练后的图像数据。
本实施方式为可调节采样次数的训练方法，可以适应不同通道输出数据的差异性。其实现方法是对每个通道的采样次数M和反方向调整次数N设置为可调整参数，在成像过程中进行实时调整，通过图像来判断CMOS每个通道的最佳采样位置。由于CMOS输出的通道数很多，而每个通道之间会存在差异，因此，每个通道输出的数据有效时间各不相同，如果采用相同的采样次数，很难保证所有通道都能在各种工况下连续稳定的采样。附图4所示为CMOS所有通道都采用相同的采样次数(理论计算和实测较理想的值)的成像效果，其中42个通道中，有2个通道出现了采样错误。而采用本实施方式的可调整参数训练方法，每个通道都能采样到数据的最稳定的位置，在各种工况下都能采集到稳定的图像，实验结果如附图5所示。
图4和图5所示为CMOS图像传感器所有通道采用统一的训练方式部分通道偶发训练实效成像图。其中,图4为部分通道反方向调整次数N值取值不理想导致的训练失效,图5为部分通道采样次数M值取值不理想导致训练不成功成像图。图6所示为采用本实施方式训练方法所成的图像。所有通道均能训练成功。

Claims (2)

1.高速大面阵多通道CMOS图像传感器数据训练方法，FPGA产生CMOS图像传感器工作时序并接收CMOS图像传感器输出的LVDS图像数据，FPGA接收图像数据并进行训练、存储及处理，图像采集计算机用于采集输出的图像数据；其特征是：所述FPGA对接收的图像数据进行位训练、字训练和通道训练；具体由以下步骤实现：
步骤一、位训练；
CMOS图像传感器输出14bit串行数据，FPGA内部采用36bit宽度进行移位，FPGA内部通过IDELAY调节输入串行数据位置寻找训练字；
要求连续检测到M次训练字，通过IDELAY反方向调整串行输入数据N次，取连续M次采集到训练字的中间位置作为数据采样位置；
步骤二、字训练；
所述字训练通过记录同步信号到CMOS输出训练字的距离来实现；从位训练成功后的第一个同步信号开始，每个时钟字训练计数器从0开始计数，直到采集到并行数据为训练字计数器停止计数，保存该计数器值，作为CMOS图像传感器各通道读取图像数据的起始位置；
步骤三、通道训练；
完成字训练后开始进行通道训练，将数据写入RAM，各通道在检测到第一个有效像元时分别开始进行RAM的写操作，确保每个通道的第一个像元存储位置均为RAM的0地址。
2.根据权利要求1所述的高速大面阵多通道CMOS图像传感器数据训练方法，其特征在于：步骤一中，在每个时钟均判断36bit宽度数据的高14位是否为训练字，如果36bit完全移位一次仍没有找到训练字，则启动IDELAY对输入数据进行延时一次，反复迭代；找到训练字后继续启动IDELAY延时并开始计数，每启动一次IDELAY延时计数值加1，连续计数值达到M则认为位训练成功，然后启动IDELAY反向延时，反向延时N次作为数据最终采样位置并对数据进行串并转换。
CN201911377190.8A 2019-12-27 2019-12-27 高速大面阵多通道cmos图像传感器数据训练方法 Active CN111064862B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377190.8A CN111064862B (zh) 2019-12-27 2019-12-27 高速大面阵多通道cmos图像传感器数据训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377190.8A CN111064862B (zh) 2019-12-27 2019-12-27 高速大面阵多通道cmos图像传感器数据训练方法

Publications (2)

Publication Number Publication Date
CN111064862A true CN111064862A (zh) 2020-04-24
CN111064862B CN111064862B (zh) 2021-06-01

Family

ID=70304076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377190.8A Active CN111064862B (zh) 2019-12-27 2019-12-27 高速大面阵多通道cmos图像传感器数据训练方法

Country Status (1)

Country Link
CN (1) CN111064862B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586324A (zh) * 2020-05-25 2020-08-25 中国科学院长春光学精密机械与物理研究所 一种适应行周期实时变化的串行cmos图像数据训练方法
CN113179359A (zh) * 2021-04-21 2021-07-27 中国科学院长春光学精密机械与物理研究所 一种基于同步字的串行图像数据训练系统
CN113468095A (zh) * 2021-07-07 2021-10-01 西北核技术研究所 高速串行传输数据相位对齐方法、存储介质及终端设备
CN114003530A (zh) * 2021-10-29 2022-02-01 上海大学 一种基于fpga的串行差分通信数据采集系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188676A1 (en) * 2012-01-24 2013-07-25 Eci Telecom Ltd. Method for reducing data allignment delays
CN105847714A (zh) * 2016-05-24 2016-08-10 中国科学院长春光学精密机械与物理研究所 Cmos输入图像数据的延时校正系统
CN107454385A (zh) * 2017-07-28 2017-12-08 中国科学院长春光学精密机械与物理研究所 Cmos图像数据训练系统及图像数据串并转换的仿真检测方法
CN108155964A (zh) * 2017-12-21 2018-06-12 南京理工大学 基于训练序列的fpga多通道串行数据动态对齐方法
CN108810431A (zh) * 2018-06-22 2018-11-13 中国科学院长春光学精密机械与物理研究所 多通道低频cmos串行图像数据的训练方法
CN109284247A (zh) * 2018-06-29 2019-01-29 电子科技大学 一种多fpga的多通道采集系统存储同步方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188676A1 (en) * 2012-01-24 2013-07-25 Eci Telecom Ltd. Method for reducing data allignment delays
CN105847714A (zh) * 2016-05-24 2016-08-10 中国科学院长春光学精密机械与物理研究所 Cmos输入图像数据的延时校正系统
CN107454385A (zh) * 2017-07-28 2017-12-08 中国科学院长春光学精密机械与物理研究所 Cmos图像数据训练系统及图像数据串并转换的仿真检测方法
CN108155964A (zh) * 2017-12-21 2018-06-12 南京理工大学 基于训练序列的fpga多通道串行数据动态对齐方法
CN108810431A (zh) * 2018-06-22 2018-11-13 中国科学院长春光学精密机械与物理研究所 多通道低频cmos串行图像数据的训练方法
CN109284247A (zh) * 2018-06-29 2019-01-29 电子科技大学 一种多fpga的多通道采集系统存储同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
祝庆贺: "基于FPGA的星载成像系统设计", 《现代电子技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586324A (zh) * 2020-05-25 2020-08-25 中国科学院长春光学精密机械与物理研究所 一种适应行周期实时变化的串行cmos图像数据训练方法
CN111586324B (zh) * 2020-05-25 2021-08-31 中国科学院长春光学精密机械与物理研究所 一种适应行周期实时变化的串行cmos图像数据训练方法
CN113179359A (zh) * 2021-04-21 2021-07-27 中国科学院长春光学精密机械与物理研究所 一种基于同步字的串行图像数据训练系统
CN113179359B (zh) * 2021-04-21 2022-03-01 中国科学院长春光学精密机械与物理研究所 一种基于同步字的串行图像数据训练系统
CN113468095A (zh) * 2021-07-07 2021-10-01 西北核技术研究所 高速串行传输数据相位对齐方法、存储介质及终端设备
CN113468095B (zh) * 2021-07-07 2023-12-15 西北核技术研究所 高速串行传输数据相位对齐方法、存储介质及终端设备
CN114003530A (zh) * 2021-10-29 2022-02-01 上海大学 一种基于fpga的串行差分通信数据采集系统及方法

Also Published As

Publication number Publication date
CN111064862B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN111064862B (zh) 高速大面阵多通道cmos图像传感器数据训练方法
CN101485194B (zh) 固态摄像装置、数据传输方法以及摄像装置
CN1147132C (zh) 基于图象传感器的晕逝校正
CN107590093B (zh) 一种基于可变相位时钟模块的异步图像数据接收方法
CN109862281B (zh) 全局快门方式下曝光时间可调的Camera Link成像系统
CN110418060A (zh) 一种高速相机的图像校正方法及系统
CN102638649B (zh) 一种usb3.0高速高清工业摄像机
CN102638661A (zh) 高速多通道ccd数据处理和传输系统
CN104168487A (zh) 一种视频信号帧同步方法及其装置
CN108959656B (zh) 一种多fpga多通道采集系统的三维映射同步方法
US9681083B2 (en) Method and system to detect a light-emitting diode
CN110034915B (zh) 一种应用于阵列式探地雷达的高速异步串行数据传输方法
CN109068023B (zh) 超大面阵图像传感器的读出电路同步控制系统及控制方法
CN1309206C (zh) 数字信号接收机内利用训练序列来估计定时误差的设备和方法
CN113595713B (zh) 一种基于多通道采集的接收数据对齐方法及系统
CN108881753B (zh) 一种大面阵图像传感器列线数据输出系统及输出方法
CN109660743B (zh) 一种制冷型红外热像仪高动态范围成像的实现方法
CN103973998A (zh) 固态摄像装置及其驱动方法
CN103095963A (zh) 基于fpga的红外线列探测器非均匀校正方法和装置
US11127344B2 (en) Method and device for driving display panel and display device
KR100850496B1 (ko) 고속 직렬 인터페이스
CN104601881B (zh) 一种多通道输出的ccd摄像装置的图像拼接方法
CN117146990B (zh) 一种基于非制冷红外探测器的低帧频外触发方法及系统
TWI520589B (zh) 將影像資料由串列轉換成並列之裝置及方法
CN111586324A (zh) 一种适应行周期实时变化的串行cmos图像数据训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant