CN106027881B - 图像传感器列延时导致图像失真恢复方法 - Google Patents

图像传感器列延时导致图像失真恢复方法 Download PDF

Info

Publication number
CN106027881B
CN106027881B CN201610308875.7A CN201610308875A CN106027881B CN 106027881 B CN106027881 B CN 106027881B CN 201610308875 A CN201610308875 A CN 201610308875A CN 106027881 B CN106027881 B CN 106027881B
Authority
CN
China
Prior art keywords
imaging sensor
pixel
image
linear array
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610308875.7A
Other languages
English (en)
Other versions
CN106027881A (zh
Inventor
徐江涛
史晓琳
聂凯明
高静
高志远
史再峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Haixin Optoelectronic Technology Co ltd
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610308875.7A priority Critical patent/CN106027881B/zh
Publication of CN106027881A publication Critical patent/CN106027881A/zh
Application granted granted Critical
Publication of CN106027881B publication Critical patent/CN106027881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time

Abstract

本发明涉及模拟集成电路设计领域,为使线阵型图像传感器能够更好的实现高速高分辨率图像采集的功能,提高线阵型图像传感器的行频,扩大线阵型图像传感器的应用范围,本发明采用的技术方案是,图像传感器列延时导致图像失真恢复方法,包括如下步骤:1)计算沿跨轨方向的最大失真距离L:2)计算被拍摄图像形变失真角度α:形变失真角度α通过阵型图像传感器的线阵长度为W与沿跨轨方向的最大失真距离为L计算出来:3)根据形变失真角度α对拍摄图像进行恢复。本发明主要应用于图像处理。

Description

图像传感器列延时导致图像失真恢复方法
技术领域
本发明涉及模拟集成电路设计领域,特别涉及高速长线阵图像传感器成像校准电路的设计。具体讲,涉及图像传感器列延时导致图像失真恢复方法。
背景技术
图像传感器可将镜头获得的光信号转换成易于存储、传输和处理的电学信号。根据固态图像传感器芯片中像素排列的结构可以将图像传感器分为面阵型图像传感器和线阵型图像传感器。
面阵型图像传感器通过二维面阵形式排列的像素对物体直接拍摄获取二维图像信息。面阵型图像传感器的每次曝光都可以获得一帧完整的图像,可以很容易获取二维图像信息,但是其像素总数较多而每行含有的像素个数却不能很多,这就限制了其帧频和分辨率。如图1所示,线阵型图像传感器是通过一维线阵排列的像素对物体以扫描的形式进行拍摄,每次曝光获取一行图像信息,将多行扫描曝光的结果拼接获取完整的二维图像信息。线阵型图像传感器虽然不能直接输出二维图像,但是其含有的像素个数很少,因此一行像素的个数可以做得很多,进而可以实现非常高的分辨率。
随着应用领域需求的不断提升,对图像传感器的分辨率要求也更加严格。这势必需要图像传感器拥有更长的线阵以达到这一要求。当线阵过长时,行像素数量庞大,传统的时钟布线方式会导致时钟信号到达第一个像素与最后一个像素的时间不同,如图2。这会导致各个像素进行曝光与信号读出的时间不一致,进而导致图像因列延时发生失真。
对于信号到达各像素时间不一致的现象,传统解决该问题的方法是使用树状布线方式,如图3。对于长线阵的图像传感器,需要与像素个数相同的时钟树通路,这会导致耗费较多的芯片面积,对于采用线阵技术的时间延时积分(Time Delay Integration,TDI)图像传感器,各像素之间间隙十分狭小,此时钟布线是不可实现的。并且金属线之间会产生较大的耦合电容,影响周围电路。
发明内容
为克服现有技术的不足,使线阵型图像传感器能够更好的实现高速高分辨率图像采集的功能,提高线阵型图像传感器的行频,扩大线阵型图像传感器的应用范围,本发明采用的技术方案是,图像传感器列延时导致图像失真恢复方法,包括如下步骤:
1)计算沿跨轨方向的最大失真距离L:最大失真距离可通过数字到时间转换器采集时钟信号到达第一个像素与到达最后一个像素的时间延迟T,以及线阵型图像传感器的渡越时间TL计算出来,而时钟信号到达第一个像素与最后一个像素的时间延迟T又可以通过线阵长度W与单个时钟信号延迟t表达出来;进而,最大失真距离表示为:
2)计算被拍摄图像形变失真角度α:形变失真角度α通过阵型图像传感器的线阵长度为W与沿跨轨方向的最大失真距离为L计算出来,W、L单位为像素个数,形变失真角度α表示为:
3)根据形变失真角度α对拍摄图像进行恢复:tanα的数量值与被拍摄图像单位行像素形变失真像素个数相同,根据tanα值,将对应列像素恢复至原有位置,即可将形变失真图像进行恢复。
本发明的特点及有益效果是:
本发明针对高速长线阵图像传感器列延时图像失真的恢复技术在不增加版图布线复杂程度的前提下,对于长线阵型的图像传感器因时钟信号到达时间的不一致性导致的被拍摄图像的形变失真,具有较好的恢复校准效果。本发明可更好的实现高速高分辨率图像的采集功能,提高线阵型图像传感器的行频,扩大线阵型图像传感器的应用范围。
附图说明:
图1是现有技术提供的线阵图像传感器的工作模式示意图。
图2是现有技术提供的时钟布线延时示意图。
图3是现有技术提供的时钟树工作原理示意图。
图4是现有技术提供的线阵型图像传感器中所采用的像素的电路图。
图5是现有技术提供的线阵型图像传感器渡越时间定义方式示意图。
图6是本发明提供的单列像素的电路图。
图7是本发明模拟线阵型图像传感器拍摄的具有列延时失真的图片。
图8是本发明对失真图片进行恢复后的图片。
具体实施方式
在本发明中,受现有时间数字转化器(Time to Digital Converter,TDC)技术的启发,采用传统的时钟信号加载方式,通过计算图像边沿最大失真距离与图像传感器阵列长度的比值,提出一种对失真图像进行恢复的方法。
为方便后面分析,下面将给出线阵型图像传感器中的一些常用参数的定义。线阵型图像传感器的像素阵列是呈一维线阵结构的,如图4所示,像素阵列与被扫描物体的相对移动方向称为沿轨方向(Along-Track-Direction),与相对移动方向垂直的方向称为跨轨方向(Across-Track-Direction)。在CMOS图像传感器中像素的形状一般为正方形,像素中心距为p,假设被拍摄物体发出或反射的光线通过镜头聚焦到像素阵列上形成一个光点,如图5所示,光点与像素阵列上的相对移动速度为v,则光点移动过一个像素中心距的时间为p/v,这个时间即被定义为线阵型图像传感器的渡越时间TL(Line Time,TL),渡越时间的倒数即为TDI图像传感器的行频。定义线阵型图像传感器的线阵长度为W(单位为像素个数),拍摄到的失真图像沿跨轨方向的最大失真距离为L(单位为像素个数),时钟信号到达第一个像素与到达最后一个像素的时间延迟为T,单个像素的时钟信号延迟为t。其中,线阵型图像传感器的渡越时间TL可以通过传感器移动速度与像素尺寸计算得出,单个像素的时钟信号延迟t可以通过现有的时间数字转化器(Time to Digital Converter,TDC)技术获得。
本发明提出的针对高速长线阵图像传感器列延时图像失真的恢复技术具体实现方法如下:
1.计算沿跨轨方向的最大失真距离L。最大失真距离可通过数字到时间转换器采集时钟信号到达第一个像素与到达最后一个像素的时间延迟T,以及线阵型图像传感器的渡越时间TL计算出来。而时钟信号到达第一个像素与最后一个像素的时间延迟T又可以通过线阵长度W与单个时钟信号延迟t表达出来。进而,最大失真距离可表示为:
2.计算被拍摄图像形变失真角度α。如图6所示,形变失真角度α可通过阵型图像传感器的线阵长度为W(单位为像素个数)与沿跨轨方向的最大失真距离为L(单位为像素个数)计算出来,形变失真角度α可表示为:
3.根据形变失真角度α对拍摄图像进行恢复。tanα的数量值与被拍摄图像单位行像素形变失真像素个数相同。根据tanα值,将对应列像素恢复至原有位置,即可将形变失真图像进行恢复。
为使本发明的目的、技术方案和优点更加清晰,下面将结合实例给出本发明实施方式的具体描述。该实例中线阵型传感器长度为5184个像素,行频为500kHz,为获得更加直观的效果,设时钟信号传输延时为4ns每个像素。
根据式1,可以得到最大失真距离:
根据式2,可以得到被拍摄图像图像形变失真角度α:
形变失真仿真效果如图7所示。根据形变失真角度tanα,对失真图像第n列像素(其中n为大于0且小于等于W的整数),向上拉伸0.002*(n-1)个像素进行图像恢复,恢复效果如图8。在极高行频的条件下可以对失真图片进行有效的恢复。

Claims (1)

1.一种图像传感器列延时导致图像失真恢复方法,其特征是,步骤如下:
1)计算沿跨轨方向的最大失真距离L:最大失真距离可通过数字到时间转换器采集时钟信号到达第一个像素与到达最后一个像素的时间延迟T,以及线阵型图像传感器的渡越时间TL计算出来,TL表示光点按照沿轨方向移动过一个像素中心距的时间,而时钟信号到达第一个像素与最后一个像素的时间延迟T又可以通过线阵长度W与单个时钟信号延迟t表达出来;进而,最大失真距离表示为:
2)计算被拍摄图像形变失真角度α:形变失真角度α通过阵型图像传感器的线阵长度为W与沿跨轨方向的最大失真距离为L计算出来,W、L单位为像素个数,形变失真角度α表示为:
3)根据形变失真角度α对拍摄图像进行恢复:tanα的数量值与被拍摄图像单位行像素形变失真像素个数相同,根据tanα值,将对应列像素恢复至原有位置,即可将形变失真图像进行恢复。
CN201610308875.7A 2016-05-10 2016-05-10 图像传感器列延时导致图像失真恢复方法 Active CN106027881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610308875.7A CN106027881B (zh) 2016-05-10 2016-05-10 图像传感器列延时导致图像失真恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610308875.7A CN106027881B (zh) 2016-05-10 2016-05-10 图像传感器列延时导致图像失真恢复方法

Publications (2)

Publication Number Publication Date
CN106027881A CN106027881A (zh) 2016-10-12
CN106027881B true CN106027881B (zh) 2019-05-10

Family

ID=57100394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610308875.7A Active CN106027881B (zh) 2016-05-10 2016-05-10 图像传感器列延时导致图像失真恢复方法

Country Status (1)

Country Link
CN (1) CN106027881B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743891B (zh) 2017-08-18 2021-06-25 深圳市汇顶科技股份有限公司 图像传感电路以及图像深度传感系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
CN103515475A (zh) * 2012-06-29 2014-01-15 江苏瑞新科技股份有限公司 一种硅光电池串归正机构及其归正方法
CN104219469A (zh) * 2014-09-22 2014-12-17 天津大学 提高图像传感器模拟域累加器累加效果的装置和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1918532A (zh) * 2003-12-09 2007-02-21 雷阿卡特瑞克斯系统公司 自容交互式视频显示系统
CN103515475A (zh) * 2012-06-29 2014-01-15 江苏瑞新科技股份有限公司 一种硅光电池串归正机构及其归正方法
CN104219469A (zh) * 2014-09-22 2014-12-17 天津大学 提高图像传感器模拟域累加器累加效果的装置和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《CMOS-TDI》图像传感器研究与芯片实现;聂凯明;《中国优秀博硕士学位论文全文数据库》;20140601;全文
《Modeling and simulation of TDI CMOS image sensors》;Nie Kaiming;《ISPDI 2013-5 International Symposium on Photoelectronic Detection and Imaging》;20130415;全文
《基于数字域的真彩色TDI-CMOS图像传感器实现方法》;李建;《传感器与微系统》;20130420;第32卷(第4期);全文

Also Published As

Publication number Publication date
CN106027881A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
TWI510086B (zh) 數位重對焦方法
CN101719264B (zh) 一种多视角动态场景采集的视觉场计算方法
CN103581625A (zh) 一种分时并行图像采集装置及其标定方法
CN107924927A (zh) 固体摄像装置
CN101349652A (zh) 带材表面缺陷检测成像方法及装置
CN101635782B (zh) 一种基于动态时间延迟积分的图像获取方法及器件
CN105721772B (zh) 一种异步时域视觉信息成像方法
CN102798347A (zh) 一种位移和速度测量方法
CN109974624B (zh) 一种基于多频相移的减少投影图像数量的方法
CN104168430A (zh) 一种tdi ccd焦平面编码超分辨率成像装置及方法
JP3507865B2 (ja) Dmdを用いたccdカメラによる実時間形状計測方法と装置
CN103747186A (zh) 一种分时三路图像采集装置及其标定方法
CN106027881B (zh) 图像传感器列延时导致图像失真恢复方法
CN109343238A (zh) 一种基于电光晶体偏转的压缩超高速摄影装置
Ahmed A system for 360 acquisition and 3D animation reconstruction using multiple RGB-D cameras
CN103969829B (zh) 基于mems微扫描镜的单探测器光学成像系统及方法
CN109242909A (zh) 一种面向高精度二维尺寸测量的线阵相机标定算法
CN112880563A (zh) 一种单维像素合并模式等效窄面阵相机空间位置测量方法
Zhang et al. First arrival differential lidar
CN107152971B (zh) 一种提高线阵红外电子放大图像水平细节分辨率的方法
US20170024895A1 (en) Optical characteristic measuring apparatus
CN105651699A (zh) 一种基于面阵相机的动态跟焦方法
JP2013093674A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
TWI435286B (zh) 影像處理方法與裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230324

Address after: 300392 Industrial Incubation 5-1559, North 2-204, No. 18, Haitai West Road, Huayuan Industrial Zone, Binhai New Area, Tianjin

Patentee after: Tianjin Haixin Optoelectronic Technology Co.,Ltd.

Address before: No.92 Weijin Road, Nankai District, Tianjin 300072

Patentee before: Tianjin University