CN108833751B - 基于面阵图像传感器的高帧率线阵工业相机及其实现方法 - Google Patents

基于面阵图像传感器的高帧率线阵工业相机及其实现方法 Download PDF

Info

Publication number
CN108833751B
CN108833751B CN201810689842.0A CN201810689842A CN108833751B CN 108833751 B CN108833751 B CN 108833751B CN 201810689842 A CN201810689842 A CN 201810689842A CN 108833751 B CN108833751 B CN 108833751B
Authority
CN
China
Prior art keywords
image
image sensor
area
array
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810689842.0A
Other languages
English (en)
Other versions
CN108833751A (zh
Inventor
张强
宋伟铭
周中亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Daheng Group Inc Beijing Image Vision Technology Branch
Beijing Daheng Image Vision Co ltd
Original Assignee
China Daheng Group Inc Beijing Image Vision Technology Branch
Beijing Daheng Image Vision Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Daheng Group Inc Beijing Image Vision Technology Branch, Beijing Daheng Image Vision Co ltd filed Critical China Daheng Group Inc Beijing Image Vision Technology Branch
Priority to CN201810689842.0A priority Critical patent/CN108833751B/zh
Publication of CN108833751A publication Critical patent/CN108833751A/zh
Application granted granted Critical
Publication of CN108833751B publication Critical patent/CN108833751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于面阵图像传感器的高帧率线阵工业相机及其实现方法,该高帧率线阵工业相机包括:面阵图像传感器、微控制器、采集时序生成模块、窗口裁剪模块、图像缓存模块、图像拼接模块以及接口模块。采用本发明的技术方案使线阵工业相机分辨率不受线扫描图像传感器分辨率限制,丰富的面扫描传感器都可以适用于线阵工业相机。因低成本面扫描图像传感器型号丰富,可降低线阵工业相机成本。本发明的相机及实现方法包含图像拼接功能,可以有效替代成本高昂的线阵相机+线缆+图像采集卡的分体方案。

Description

基于面阵图像传感器的高帧率线阵工业相机及其实现方法
技术领域
本发明涉及成像领域,具体涉及一种低成本、高性能的线阵工业相机及其实现方法。
背景技术
根据传感器扫描方式,工业相机分为两类:面阵工业相机和线阵工业相机,线阵工业相机使用线扫描图像传感器,面阵相机使用面扫描图像传感器。
现有的线阵工业相机,都使用线扫描图像传感器,因其应用领域相对较窄,线扫描图像传感器可选型号较少,线扫描图像传感器分辨率也很少,主流传感器只覆盖1k/2k/4k/8k等2的指数倍的分辨率,中间的分辨率很少覆盖。比如,一些非标检测需要5120像素的分辨率,不得不选择更高的8k像素的线阵工业相机,分辨率的局限是限制线阵检测发展的因素之一。
线扫描传感器因其型号少,出货量小,生产成本居高不下;而面扫描图像传感器型号多,出货量大,生产成本较低。很多线扫描图像传感器价格大幅高于同宽度的面扫描图像传感器。
线扫描传感器因其型号少,线阵工业相机的可选型号也非常少,行业内目前没有很有效的解决方法,一般选用分辨率高一档,价格也高一档的工业相机;或者使用多只小分辨率的工业相机拼接,但也会增加一些成本;有些工业检测因选不到合适的工业相机,而换用非线阵的检测方案。
现有的线阵工业相机还需要搭配图像采集卡一起使用,线阵工业相机通过线缆将每行图像传递到采集卡中进行拼接,这种分体式使用方式体积大,集成成本高。但是,在工业应用中,很多线扫描相机优势不可或缺的。
发明内容
针对现有技术中存在的线阵工业相机分辨率覆盖严重不足和线扫描检测系统集成成本超高、需要设置独立的线缆以及采集卡的问题。本发明巧妙采用面阵图像传感器特殊开窗口,突破线阵工业相机对线阵传感器的依赖,利用面阵图像传感器进行稍大于或等于原线阵相机扫描范围的区域的图像采集,然后,通过图像裁切以及拼接,将每行拼接成面阵图像,并按照面阵相机方法传输出来,替代了采集卡,进而降低了扫描检测系统的集成成本。一方面,本发明提供一种基于面阵图像传感器实现的高帧率线阵工业相机,其特征在于,所述线阵工业相机包括:面阵图像传感器、微控制器、采集时序生成模块、图像缓存模块、图像拼接模块以及接口模块,所述微控制器控制所述面阵图像传感器以按行开窗模式工作,所述采集时序生成模块用于生成采集时序,所述面阵图像传感器以所生成的采集时序进行以所开窗口进行窗口图像采集,并且将所采集的图像输送至所述图像缓存模块,所述图像缓存模块按图像采集顺序对所采集的图像进行缓存,所述图像拼接模块按照图像的采集顺序将所采集的图像拼接成面阵图像,通过所述接口模块输出。
在一种优选实现方式中,所述相机还包括窗口裁剪模块,所述窗口裁剪模块对所缓存的图像进行裁切以仅保留预定行数的线阵图像。
在另一种优选实现方式中,所述微控制器控制所述面阵图像传感器以其最高帧率、最小窗口高度进行图像采集。
在另一种优选实现方式中,所述窗口裁剪模块对所缓存的图像进行裁切以仅保留中部的1-2行作为线阵图像。
在另一种优选实现方式中,所述采集时序的帧率是所述接口模块传输帧率的整数倍。
另一方面,本发明提供一种利用面阵图像传感器实现高帧率线阵工业相机的方法,其特征在于,所述面阵图像传感器具有按行开窗功能,所述方法包括:
步骤S1、对所述面阵图像传感器进行初始化,以使其按照按行开窗模式进行工作;
步骤S2、用于生成进行图像采集的采集时序,输出给所述面阵图像传感器;
步骤S3、控制所述面阵图像传感器以所生成的采集时序进行以所开窗口进行窗口图像采集,并且对所采集的图像进行按顺序缓存;
步骤S4、按照图像的采集顺序将所采集图像拼接成面阵图像;
步骤S5、将拼接成的面阵图像输出给图像接收设备。
在一种优选实现方式中,在所述步骤S3之后还包括:将所缓存的图像进行裁切以仅保留预定行数的线阵图像的步骤。
在另一种优选实现方式中,所述微控制器控制所述面阵图像传感器以其最高帧率、最小窗口高度进行图像采集。
在另一种优选实现方式中,所述窗口裁剪模块对所缓存的图像进行裁切以仅保留中部的1-2行作为线阵图像。
技术效果
1、本发明使线阵工业相机的分辨率不受线扫描图像传感器分辨率限制,丰富的面扫描传感器都可以适用于线阵工业相机。因面扫描图像传感器本身成本就低于线阵扫描传感器,并且低成本面扫描图像传感器型号丰富,可双重降低线阵工业相机成本。
2、本发明的工业相机包含图像拼接功能,可以有效替代成本高昂的线阵相机+线缆+图像采集卡的分体方案,仅通过面阵相机自身的图像缓存模块以及通过FPGA编程或其他编程芯片实现的图像拼接模块,就可以省去线阵相机的线缆和图像采集卡,实现二者的功能,进一步降低成本。
本发明有效解决了现有线阵工业相机成本高、可选的分辨率少,只能通过更高成本、更高规格的线阵相机代替中间分辨率线阵相机的问题。
更优选地,由于面阵传感器可以采用不同的长度和宽度,长度和宽度方向可以具有不同的分辨率。因此,优选地,所采用的面阵传感器在长度和宽度方向具有不同的分辨率,这样,本发明的相机通过调整采集方向,可以实现单个传感器两种不同的图像分辨率,比如,采用1920*1024的面阵传感器,若沿长度方向开窗,则可以获得1920分辨率的线阵相机,若沿宽度方向开窗,则可以获得1024分辨率的线阵相机。不过,申请人注意到,面阵传感器在开窗时,横向开窗的帧率提高远大于纵向开窗,因此,优选采用横向(按行)开窗模式。
另外,本发明中通过将线阵图像拼接后输出,由于对于相机而言,输出频率往往是限制图像采集帧率的一个瓶颈,而本发明单幅图像可以输出几百次乃至几千次扫描的结果,使得图像的采集帧率可以突破传输速率的限制,实现更高帧率的线阵扫描。
附图说明
图1为利用面扫描图像传感器进行开窗后的扫描实现方式;
图2为本发明的线扫描工业相机的结构示意框图;
图3为利用黑白面阵传感器进行扫描后,通过裁剪拼接后所获得的新图像示意图;
图4为利用彩色面阵传感器进行扫描后,通过裁剪拼接后所获得的新图像示意图。
具体实施方式
以下结合附图及其实施例对本发明进行详细说明,但并不因此将本发明的保护范围限制在实施例描述的范围之中。
本发明给出了一种使用面扫描图像传感器实现线阵工业相机的方法,并且给出了相应的工业相机构造。
工业应用中的线阵相机对于扫描帧率的要求很高,现有的面扫描相机都是封装好的,其所能够实现的扫描帧率非常有限,这是因为现有的面扫描相机,其数据量大并仅需要缓存大量的数据还需要将这些数据及时传送出去,所以严重限制了帧率的提高,这也限制了本领域技术人员对面阵相机在线阵领域的应用。
但是,申请人注意到,面扫描相机的帧率很难提高并不代表面扫描传感器的帧率不能提高。经过大量的实验研究,申请人找到了可以有效提高面扫描传感器所构成的相机帧率,使其能够进行高帧率扫描以及高效率数据传输的方法并且实现了相应的相机。
本发明的线阵工业相机使用面扫描图像传感器实现,本发明的线阵工业相机所采用的面阵相机需支持按行开窗功能。
如图1所示,优选地,所采用面扫描图像传感器需要支持中心位置开窗口功能,窗口高度可以设置为1行(彩色传感器2行),如果不能设置为1行(彩色传感器2行),则设置为传感器支持的最小行,这样能保证传感器以最高的帧率进行采集。
如图2所示,本实施例的线阵工业相机包括图1所示的面扫描图像传感器、微控制器、采集时序生成模块(也可称为采集控制模块)、窗口裁剪模块、图像缓存模块、图像拼接模块以及接口模块。
微控制器:其可以配置图像传感器,完成图像传感器的内部寄存器初始化和窗口寄存器的配置。
采集时序生成模块:生成图像传感器的触发时序,使传感器按照配置参数,以最高采集速度进行采集,或者按照其他要求帧率进行采集。
面扫描图像传感器:本发明中对其进行配置,使其工作在中心行开窗口的采集方式,一次采集一行图像。但是,由于部分面扫描传感器窗口最小高度不能达到1行,这种情况下,需要设置窗口裁剪模块。
窗口裁剪模块:如果面扫描图像传感器的窗口最小高度如果不能达到1行,窗口裁剪模块需要对窗口进行裁剪,只保留传感器中间一行(彩色传感器2行)。
图像缓存模块:输出的每行图像先缓存到内存中,按照图像采集顺序存放,模块内集成了DDR3控制器,进行缓存控制。本实施例中使用1Gbits16位DDR3芯片作为图像缓存模块的内存。
图像拼接模块:黑白相机按照采集顺序自上而下逐行拼接,彩色相机按照Bayer格式自上而下拼接,拼接过程保证不丢行拼接,详细参见附图3-4。
接口模块:接口模块是工业相机中应用广泛的千兆以太网接口,通过该接口,图像数据传输到接收设备中。
将每行图像进行拼接形成新的图像,图像高度和宽度可配置,替代线阵相机采集卡。
本发明使用面扫描图像传感器,采用图像中心开一行(彩色相机开2行)窗口的方法,进行图像采集,缓存到内存中,缓存若干行后,再采用图像拼接方法形成新的图像,一个相机即可替代线阵工业相机+外置线缆+图像采集卡的方案。
这种方法可以打破线扫描图像传感器分辨率覆盖不足对线阵工业相机的限制,去除了线阵工业相机对采集卡的依赖,大幅降低了线扫描检测系统的集成成本。
在另一个优选实施例中,所采用的面阵传感器在长度和宽度方向具有不同的分辨率,这样,本发明的相机通过调整采集方向,可以实现单个传感器两种不同的图像分辨率,比如,采用1920*1024的面阵传感器,若沿长度方向开窗,则可以获得1920分辨率的线阵相机,若沿宽度方向开窗,则可以获得1024分辨率的线阵相机。
本发明的工业相机的实现或使用方法如下:
步骤S1、对面阵图像传感器进行初始化,以使其按照按行开窗模式进行工作;
步骤S2、用于生成进行图像采集的采集时序,输出给面阵图像传感器,采集时序的帧率是图像输出帧率的整数倍;
步骤S3、控制面阵图像传感器以所生成的采集时序进行以所开窗口进行窗口图像采集,并且对所采集的图像进行按顺序缓存;
步骤S4、按照图像的采集顺序将所采集图像拼接成面阵图像;
步骤S5、将拼接成的面阵图像输出给图像接收设备。
采用本发明的方法和相机可以大大降低线阵采集系统的成本并且提高采集帧率。具体而言,常见的camelink线阵采集系统一般由下述组件组成,下面给出了市场主流价格:
2k线阵相机(约¥10000)+线缆(约¥1000)+采集卡(¥6000),三者合计达到17000元。
而水平分辨率为2k的面阵相机价格一般不超过¥3000,再加之本发明的方法即可替换整个线阵系统。实际成本仅为3000元左右,远低于采用线阵的方案。
帧率对比
一般的线扫描传感器像素时钟在40Mhz-80Mhz左右,对应线扫帧率率在20-40kfps。
面阵相机通过开窗口,虽然会读出一些无效行,但现在面阵传感器为多路并行输出,内部像素时钟可达720Mhz,像素时钟接近线扫的10倍,所以使用面阵开窗帧率最高也能到10-20k左右。本发明不是利用面阵相机本身来实现线阵相机,而是利用面阵传感器,通过对其读取方式的改进,实现了高效率低成本的线阵相机解决方案。
虽然上面结合本发明的优选实施例对本发明的原理进行了详细的描述,本领域技术人员应该理解,上述实施例仅仅是对本发明的示意性实现方式的解释,并非对本发明包含范围的限定。实施例中的细节并不构成对本发明范围的限制,在不背离本发明的精神和范围的情况下,任何基于本发明技术方案的等效变换、简单替换等显而易见的改变,均落在本发明保护范围之内。

Claims (8)

1.基于面阵图像传感器实现的高帧率线阵工业相机,其特征在于,所述线阵工业相机包括:面阵图像传感器、微控制器、采集时序生成模块、图像缓存模块、图像拼接模块以及接口模块,其中,所述面阵图像传感器支持按行开窗功能,所述微控制器控制所述面阵图像传感器以按行开窗模式工作,所述采集时序生成模块用于生成采集时序,所述面阵图像传感器以所生成的采集时序进行以所开窗口进行窗口图像采集,并且将所采集的图像输送至所述图像缓存模块,所述图像缓存模块按图像采集顺序对所采集的图像进行缓存,所述图像拼接模块按照图像的采集顺序将所采集的图像拼接成面阵图像,通过所述接口模块输出。
2.根据权利要求1所述的基于面阵图像传感器实现的高帧率线阵工业相机,其特征在于,还包括窗口裁剪模块,所述窗口裁剪模块对所缓存的图像进行裁切以仅保留预定行数的线阵图像。
3.根据权利要求1所述的基于面阵图像传感器实现的高帧率线阵工业相机,其特征在于,所述微控制器控制所述面阵图像传感器以其最高帧率、最小窗口高度进行图像采集。
4.根据权利要求2所述的基于面阵图像传感器实现的高帧率线阵工业相机,其特征在于,所述窗口裁剪模块对所缓存的图像进行裁切以仅保留中部的1-2行作为线阵图像。
5.一种利用面阵图像传感器实现高帧率线阵工业相机的方法,其特征在于,所述面阵图像传感器具有按行开窗功能,所述方法包括:
步骤S1、对所述面阵图像传感器进行初始化,以使其按照按行开窗模式进行工作;
步骤S2、用于生成进行图像采集的采集时序,输出给所述面阵图像传感器;
步骤S3、控制所述面阵图像传感器以所生成的采集时序进行以所开窗口进行窗口图像采集,并且对所采集的图像进行按顺序缓存;
步骤S4、按照图像的采集顺序将所采集图像拼接成面阵图像;
步骤S5、将拼接成的面阵图像输出给图像接收设备。
6.根据权利要求5所述的利用面阵图像传感器实现高帧率线阵工业相机的方法,其特征在于,在所述步骤S3之后还包括:将所缓存的图像进行裁切以仅保留预定行数的线阵图像的步骤。
7.根据权利要求5所述的利用面阵图像传感器实现高帧率线阵工业相机的方法,其特征在于,微控制器控制所述面阵图像传感器以其最高帧率、最小窗口高度进行图像采集。
8.根据权利要求6所述的利用面阵图像传感器实现高帧率线阵工业相机的方法,其特征在于,窗口裁剪模块对所缓存的图像进行裁切以仅保留中部的1-2行作为线阵图像。
CN201810689842.0A 2018-06-28 2018-06-28 基于面阵图像传感器的高帧率线阵工业相机及其实现方法 Active CN108833751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810689842.0A CN108833751B (zh) 2018-06-28 2018-06-28 基于面阵图像传感器的高帧率线阵工业相机及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810689842.0A CN108833751B (zh) 2018-06-28 2018-06-28 基于面阵图像传感器的高帧率线阵工业相机及其实现方法

Publications (2)

Publication Number Publication Date
CN108833751A CN108833751A (zh) 2018-11-16
CN108833751B true CN108833751B (zh) 2021-06-22

Family

ID=64134621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810689842.0A Active CN108833751B (zh) 2018-06-28 2018-06-28 基于面阵图像传感器的高帧率线阵工业相机及其实现方法

Country Status (1)

Country Link
CN (1) CN108833751B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565635B (zh) * 2020-11-30 2022-01-07 长光卫星技术有限公司 一种在轨重构的多模式空间光学相机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575255A (zh) * 2013-11-06 2014-02-12 西南交通大学 一种基于线阵面阵双图像采集通道的高速轨道状态检测方法
CN204258946U (zh) * 2014-12-29 2015-04-08 欧智丰 一种使用面阵图像传感器的线扫描相机
CN105480260A (zh) * 2015-11-25 2016-04-13 天津光电高斯通信工程技术股份有限公司 线阵相机的图像采集控制方法
CN106254736A (zh) * 2016-08-19 2016-12-21 马颖鏖 基于面阵图像传感器的组合成像装置及其控制方法
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN106791405A (zh) * 2016-12-26 2017-05-31 首都师范大学 一种获取亚像素位移序列图像的方法及系统
CN106791508A (zh) * 2016-12-26 2017-05-31 首都师范大学 一种数字域tdi相机成像质量的调整方法及调整系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100752283B1 (ko) * 2002-11-07 2007-08-29 롬 가부시키가이샤 에리어 이미지 센서
DE102006041462B3 (de) * 2006-09-04 2008-01-03 Chromasens Gmbh Verfahren und Vorrichtung zum optischen Abtasten einer Vorlage mit einer Zeilenkamera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103575255A (zh) * 2013-11-06 2014-02-12 西南交通大学 一种基于线阵面阵双图像采集通道的高速轨道状态检测方法
CN204258946U (zh) * 2014-12-29 2015-04-08 欧智丰 一种使用面阵图像传感器的线扫描相机
CN105480260A (zh) * 2015-11-25 2016-04-13 天津光电高斯通信工程技术股份有限公司 线阵相机的图像采集控制方法
CN106289106A (zh) * 2016-08-04 2017-01-04 北京航空航天大学 一种线阵相机和面阵相机相结合的立体视觉传感器及标定方法
CN106254736A (zh) * 2016-08-19 2016-12-21 马颖鏖 基于面阵图像传感器的组合成像装置及其控制方法
CN106791405A (zh) * 2016-12-26 2017-05-31 首都师范大学 一种获取亚像素位移序列图像的方法及系统
CN106791508A (zh) * 2016-12-26 2017-05-31 首都师范大学 一种数字域tdi相机成像质量的调整方法及调整系统

Also Published As

Publication number Publication date
CN108833751A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
EP3471392B1 (en) Panoramic camera and photographing method thereof
US11962914B2 (en) Image data processing for digital overlap wide dynamic range sensors
US11270675B2 (en) Burst image data reading method and apparatus, electronic device, and readable storage medium
US20080043123A1 (en) Imaging device
KR101711097B1 (ko) 실시간 이미지들의 획득 및 디스플레이
US20170345129A1 (en) In loop stitching for multi-camera arrays
CN103813156A (zh) 运动传感器阵列装置和深度感测系统及使用其的方法
US10743002B2 (en) Sequential in-place blocking transposition for image signal processing
US9247109B2 (en) Performing spatial and temporal image contrast detection in pixel array
GB2417382A (en) Camera with scaleable resolution
CN108833751B (zh) 基于面阵图像传感器的高帧率线阵工业相机及其实现方法
CN108600659A (zh) 事件检测装置
CN106067955A (zh) 用于图像传感器的读出电路
CN103434290B (zh) 一种可实现智能视觉引导的绣布数码喷印方法
US20180211413A1 (en) Image signal processing using sub-three-dimensional look-up tables
CN104717446B (zh) 多视频格式向itu656协议pal制式的自动转换方法
US20120127344A1 (en) Image pickup device
US10031020B2 (en) Ambient light sensing die within an optical lens
KR101541123B1 (ko) 이미지 시그널 프로세서의 이미지 데이터 출력 장치
CN219812216U (zh) 一种10亿像素图像传感器
CN104717443B (zh) 多视频格式向SMPTE274协议1080i分辨率视频的自动转换方法
CN103458197B (zh) 图像传感器及像素拼接阵列的串亚像元读取方法
US20220261963A1 (en) Image sensors with variable resolution image format
Vasiliev et al. Real-time image processing inside a miniature camera using small-package FPGA
CN107888849B (zh) 一种线列tdi型红外探测器面阵成像模式的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant