CN103780832A - 使用多增益图像确定和调整相机参数的系统和方法 - Google Patents
使用多增益图像确定和调整相机参数的系统和方法 Download PDFInfo
- Publication number
- CN103780832A CN103780832A CN201310495187.2A CN201310495187A CN103780832A CN 103780832 A CN103780832 A CN 103780832A CN 201310495187 A CN201310495187 A CN 201310495187A CN 103780832 A CN103780832 A CN 103780832A
- Authority
- CN
- China
- Prior art keywords
- image
- gain
- pixels
- camera
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000005286 illumination Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000010455 autoregulation Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 101100491259 Oryza sativa subsp. japonica AP2-2 gene Proteins 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1478—Methods for optical code recognition the method including quality enhancement steps adapting the threshold for pixels in a CMOS or CCD pixel sensor for black and white recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Biomedical Technology (AREA)
Abstract
本发明提供了自动调整视觉系统相机参数和/或由该相机成像的对象的相关的照明参数的系统和方法,本发明的系统和方法在相机的图像传感器上使用多个不同的增益(多增益)设定以确定产生最可读的增益图像的增益值。使用多个增益设定的捕获的(具有最好特性的)图像可作为一分立的增益图像来读取信息,和/或相机参数(例如全局的增益和/或全局的曝光时间)可在整个阵列中的像素内统一设定为最佳值以为了捕获下一个更高采样率的图像。然后由该图像读出(例如解码)包含在任何已识别的有用特征(例如查找到的ID)内的信息。
Description
相关申请
本申请要求于2012年10月19日提交的,标题为使用多增益图像的相机参数的确定和调整的系统和方法的美国临时申请61716370的权益,其公开内容通过引用整体并入本文中。
技术领域
本发明涉及视觉系统相机中的参数控制,更具体地涉及到这些参数的自动调整。
背景技术
用于对象和/或符号代码解码或标记(例如一维(1D)和二维(2D)数据矩阵(datamatrix)条形码、点阵码等,也被称为"ID")的测量、检测、校正的视觉系统在应用和工业中被广泛地使用。这些系统基于使用一种图像传感器(也称为"成像器"),其获得物体或目标的图像(典型地灰度或彩色图像,及一维、二维或三维图像),以及使用板载的或互联的视觉系统处理器处理这些获得的图像。处理器通常既包括处理硬件又包括非临时性计算机可读程序指令,它们基于对图像处理的信息执行一个或多个视觉系统进程,以产生期望的输出。该图像信息通常被提供在图像像素的阵列中,每一个图像像素都具有不同颜色和/或强度。在ID读取器(在本文中也称为"照相机")的示例中,用户或自动处理进程获得被认为包含一个或多个条形码、二维码或其它ID类型的目标的图像。对此图像进行处理以识别代码的特征,然后通过解码进程和/或处理器进行解码以获取所述代码所代表的内在的字母数字数据。
一般使用的ID读取器是手提式类型,用户将其指向包含ID的对象或场景,然后拉动一触发板机(一般地为手柄上的按钮)以获取并解码代码。通常,在代码的成功读取/解码后,有可见的和/或听得见的警报,例如绿光和/或一蜂鸣声。手提式ID读取器可包括一个或多个类型的"内部"照明,其是从读取器本身的壳体投射出的照明。这样的照明可以多种颜色、扩散性、和/或相对于场景的角度提供。更一般地,ID成像时的相对角度、周围的光照条件和ID的性质都可实质上变化。例如,ID可作为一高对比度图案或一低对比度图案印刷在对象上,或作为非印刷的、镶入/雕刻的图案形成于对象上。读取器应该适应所有这些变化并对其参数作出适当的调整,比如像素增益、亮度曝光和/或照明类型和/或照明强度,以便为解码提供最佳的图像。
在先技术的系统试图以多种方式优化读取器的性能。例如,一些系统捕获一连串图像,其中的每一张以不同的相机参数设定来捕获,然后分析那些图像以确定图像中特征的质量。解码所述图像的一个或多个。其它系统试图预触发捕获场景的图像,以确定主要的条件,如此,当拉动板机时,以针对该条件更佳的相机设定来捕获图像。然而,第一种示例的方法不利地延迟了对解码的图像的最终获得,而第二种示例的方法不利地要求用户在拉动板机之前将读取器保持在相同的位置和方向。这两种方法可能会减少(或者不增加)装置的"迅捷度",亦即期间出现成功读取的从扣动扳机到蜂鸣的时间。
因此需要,使在成像场景中的对象上的有用特征的识别和处理(例如ID查找和解码)的迅捷度增加的系统和方法,其中该场景可能在对应每一对象和/或每一场景的光照和其它条件之间存在很大的变化。更一般地,可取的是,该系统和方法在一变化的照明和/或图像捕获环境中有效地提供装置的敏感的自动调整。
发明内容
本发明通过提供用于自动调整视觉系统相机参数和/或由该相机成像的对象的相关的照明参数的系统和方法,克服了在先技术的缺陷,本发明的系统和方法在相机的图像传感器上使用多个不同的增益(多增益)设定以确定产生最可读的增益图像的增益值。使用多个增益设定的增益图像(具有最好特性的)可作为一分立的增益图像(例如交织为一整体的杂交图像或提取为一欠采样图像)来读取信息,和/或相机参数(例如全局的增益和/或全局的曝光时间)可在整个阵列中的像素内统一设定为最佳值以为了捕获下一个更高采样率的图像。然后由该图像读出(例如解码)包含在已识别的有用特征(例如查找到的ID)内的信息。
在一说明性的实施例中,提供了用于自动调整视觉系统相机的设定的系统和方法,该视觉系统相机捕获场景中的包含有用特征(例如ID)的图像。一处理器(CPU)从具有像素阵列的图像传感器(一般地为灰阶)接收图像数据,该像素布置为离散的像素组合。这些像素组合中的每一个可按各自的增益设定独立调整。一调整进程读取该像素组合并选择至少一个与该像素组合中的至少一个相关的捕获的增益图像。选定的增益图像包括成像场景中的有用特征的一个型式,该有用特征的一个型式允许从其中读取信息,该信息具有足够的细节以在进一步的进程中进一步使用(例如解码图像中的ID以产生解码数据)。
当被捕获时,这样的增益图像可位于一个整体交织的图像内,其代表传感器的所有或一部分的可用视野。可选地,增益图像可从该交织的图像提取,用于这些离散的欠采样图像的随后的分析。说明性地,调整进程基于与选定的增益图像相关的像素的增益值改变相机的至少一个参数,且该参数为增益和曝光中的至少一个。说明性地,处理器可利用来自多个或所有像素组合的像素,使用重置的参数(或多个参数)来捕获和分析进一步的或下一个图像。该参数(或多个参数)在一些或所有像素组合内统一重置,其中这些像素组合在此之前设定为不同的增益,如此这些像素用于捕获下一个图像。该重置包括对应该像素的增益的全局重置,以及在整个像素阵列内的曝光时间的全局重置。处理器可构造和设置为(可选地或附加地)基于该增益值控制一照明器总成的特性。这样的照明特性可包括亮度、角度持续时间、等等。在一实施例中,来自每一个像素组合的每一个离散的像素可收编入多个四-像素(例如2X2)矩阵的每一个中。这些矩阵在整个像素阵列内成棋盘格状。可选地,该像素组合的每一个可收编入多个像素分割块的每一个中。同样地,该分割块在整个像素阵列内成棋盘格状。
附图说明
本发明的以下描述参考附图,其中:
图1是一示例性的ID读取器的示意图,其具有图像传感器和视觉处理器(CPU),根据一说明性的实施例该视觉处理器配置为基于多增益图像的捕获实现自动调整功能,如图所示为正在各自的场景中捕获具有不同的朝向和特征的对象的图像;
图2为图1的ID读取器的功能部件的方框图,其显示了部件的布置和部件之间的信息通路;
图3为图像传感器像素阵列的一部分的示意图,该像素阵列包含配合图1的系统和方法使用的成棋盘格的2X2多增益像素的分组;
图4为图像传感器像素阵列的一部分的示意图,该像素阵列包含成棋盘格的由像素组成的分割块,其中每一分割块中的所有像素的增益可独立地设置,用于配合图1的系统和方法使用;
图5为一示例性的整个多增益图像的显示,该多增益图像包含四个交织的增益图像,其通过使用图1的系统和方法产生;
图6为四个分立的、欠采样的增益图像,其提取自图5的多增益图像中的离散的增益像素的每一组,显示了与有用特征相关的背景的对比度之间的变化;
图7为一曲线图,其显示了用于产生图5的多增益图像的四个离散的增益设定中每一个的亮度对曝光的曲线;以及
图8为用于设定多增益像素/分割块,以及用于图像传感器以统一重置参数捕获场景的一后续图像时确定理想的照明、增益和/或曝光的程序的流程示意图。
具体实施方式
图1显示了视觉系统100,其包括至少一个可手持的ID读取器110,如图所示,或相对于一成像场景固定在一位置。该读取器能限定任何可接受的壳体,包括所描述的主体112和握柄114。在本实施例中,该读取器包括前部窗口116,其被一内部的照明系统(照明器)环绕。外部的照明能可选地设置为与读取器的操作同步。该内部的照明器可包含任何的机构和/或照明元件的组合。在本实施例中,作为实例,使用分立的照明元件(例如高输出LED)120、122并允许不同的颜色/波长、角度和/或照明强度。该照明器可包括传统的瞄准LED(未示出),其投射光束至视野以保证有用特征(例如条形码或其它类型的ID)适当地和完全地成像。读取器110可包括指示器和接口面板130,在本实施例中其位于主体112的背后。该面板可包括通/断开关和其它开关,以及用于指示"良好"或"失败"的ID读取的灯(例如在读取/解码ID中的成功或失败)。握柄114可包括一个或多个板机按钮132,除了其它功能其还触发照明和图像捕获,比如瞄准LED的切换。
读取器110还包括一个或多个处理电路、存储器等,其共同地显示(以虚线显示)为视觉处理器136(在此处也称为CPU)以及相关的存储器机构。处理器136执行各种的图像处理,以及图像数据处理/存储功能。说明性地,处理器136从图像传感器(也显示为虚线)接收捕捉的彩色或灰阶像素形式(除了其它格式)的图像帧数据。处理器搜索图像中的ID特征(或其它有用特征),然后将适当的数据传送至解码进程,其从ID特征产生解码数据。该解码数据被存储和/或经由一通信链路140(其可以是有线的,或如图所示为无线)传送至接收器142,接收器142经由网络或其它链接与数据处理和存储系统144互相连接。系统144可包括传统的服务器或PC机,其运行适当的用于处理和存储由读取器110传输的解码数据的应用程序。本领域技术人员应该清楚系统144的这样的应用程序和结构。
读取器110还包括可为固定焦点或自动对焦的镜头总成150(位于窗口116后面,显示为虚线)。作为实例,对象O1具有IDS1,其由读取器110利用镜头150在视野FOV1上对焦而成像,其中IDS1相对于该读取器占据一特别的位置和朝向。沿着光轴OA1的焦距D1在可接受的操作范围之内。同样地,读取器110可在另外的沿着光轴OA2位于不同位置和朝向(以及焦距D2)的对象O2上对焦(如图所示为虚线)。这两个示例性的朝向,可在照明/周围的光特性、ID特征(例如高对比度、低对比度、镶入、白底黑字、黑底白字、ID尺寸(例如2-20mm的尺寸),等等)、焦距,和/或光轴相对于ID的角度)中宽泛地变化。这些因素全部可影响系统100从一个ID到另一个ID读取的迅捷度。由于,可优化那些因素,比如像素增益和曝光,以提高迅捷度,该说明性的实施例适配为,使视觉处理器/CPU136和与其互相连接的图像传感器138选择最佳的像素增益和/或曝光。这些参数设定允许对ID或其它有用特征进行更快和更精确的读取/解码。
参照图2,系统100和其中部件的互操作以示意图显示。正如所描述的,CPU可操作地与可编程存储器机构210连接,可编程存储器机构210可由用于存储(例如)程序数据212、CPU操作指令214和/或图像数据216的一个或多个RAM组成。数据220经由适当的总线结构传送至和传送出CPU136。传感器138基于已获得的图像帧,将图像数据218传输至存储器210。图像数据代表从具有ID和/或其它有用特征的对象O反射的光230。内部的和/或外部的照明器240与任何周围的照明一同将光射到对象O上,该光以特定的方式反射(光230)至传感器138。光反射的方式影响传感器查找和解码ID的能力。照明的时间、强度、式样、类型等等可由适当的闪光灯频闪信号246控制,频闪信号246由CPU136提供。获得的和存储的图像数据216由CPU136视情况处理。该处理包括在各种调整相机参数(下面进一步描述)的自动调整功能中使用图像数据216。这样的自动调整部分由配置参数250提供,配置参数250由CPU136设定(260)。说明性地,这样的参数包括曝光和增益。根据一说明性的实施例,基于由CPU触发(262)的图像来设定参数250,且参数250至少部分用于自动调整进程。
已知晓的是,市面可售的图像传感器包括可以调整一组像素中的个别像素的增益的功能。更具体地,各种市面可售的传感器允许调整(整个传感器的)每个2X2四像素组合中的每一像素,以便调整彩色传感器在标准拜尔模版(Bayer pattern)上对红/绿/蓝(RGB)的响应。即,在传感器能够感测彩色的情况下,每一个像素被某一滤色片(称为拜尔滤色片)覆盖。这些像素限定了由红色、绿色和蓝色滤色片组成的棋盘格图案,其中绿色在一组四个中出现两次。可选地,传感器可使用青色-洋红-黄色(CMY),或另外的波长组合。这样的示例性的(CMOS)传感器包括,但不局限于,来自爱达荷州博伊西市的美光科技的型号MT9M001和英国的e2vTechnologies的型号EV76C560。当传感器没有任何滤色片时,其按一灰阶单元操作。图3描述了示例性的传感器像素阵列310的一部分。如图所示为四个像素(2X2)的分组(虚线框320)。每一组(或矩阵)允许在其中调整四个独立的增益值G1、G2、G3和G4。即,标示为G1的位置在整个像素阵列内以棋盘格的方式调整。同样地,G2、G3和G4中的每一个可在整个阵列内独立地调整。标示为G1、G2、G3或G4之一的所有像素携带相同的已调整的增益值。
其它传感器允许在各个像素分割块中进行独立的增益调整。例如,来自加州圣何塞市的Aptina Imaging Corporation的型号MT9V034允许一像素分割块的独立调整。如图所示,一连串的由25个像素组成5X5分割块(P5)可独立地设定为期望的增益。作为实例,传感器像素阵列410中的每一分割块可设定为四个增益值G1、G2、G3和G4中的一个,且在该分割块中的所有像素携带相同的增益值。如图所示,每一个分割块中的特定的增益值在整个传感器阵列内成棋盘格状。在可选的实施例中,可向图3或图4的机构提供少于或大于四个的可独立调整的增益值。
在整个像素阵列(310或410)内,按照传感器生产商提供的说明书,基于程序指令和CPU执行的进程来调整增益值G1-G4中的每一个。此处所使用的术语"进程(process)"和/或"处理器"应从广义上来理解,包括各种基于电子硬件和/或基于软件的功能和部件。此外,所述的进程或处理器能够与其他进程和/或处理器组合或分为多个子进程或处理器。根据此处的实施例可对这种子程序和/或子处理器进行各种不同的组合。同样地,可明确设想到,此处所述的任何功能、进程和/或处理器能够利用电子硬件、软件、或硬件和软件的结合实施,其中该软件由程序指令的非易失性的计算机可读媒介组成。
作为非限制性的实例,图5描述了对象的"多增益"显示的图像510,该对象具有位于其中心的有用特征512。通过设定像素(例如图3的阵列310)的示例性阵列(例如图4的阵列410)的四个像素分割块520、522、524、和526中的每一个像素的各自的增益,得出的图像数据呈现为在整个像场内的一连串的较浅或较暗区域。这整个图像本质上为四个交织的增益图像,其每一个具有显示区域内像素阵列的总像素量的1/4。如图6所示,四个独特的、局部的(欠采样的)增益图像620、622、624和626中的每一个,分别地与多增益图像510中的所有分割块(或像素)520、522、524和526相对应。明显的是,有用特征512(深色字母"C")在使用对应像素522的增益设定时最清楚。相反地,特征512在使用像素524的增益时实际上不可见。对应示例性的有用特征512,图像626和620显示为介于中等的可见性。
因此,通过设定一连串的由低到高的增益增益,四个图像620、622、624和626的其中一个大体在一灰度范围内,在该灰度范围中,像素既不由于过度曝光而洗掉(太亮),也不会太暗而使图像噪声大于信号。在说明性的实施例中,增益图像(例如欠采样图像622)足够地使可接受的信息,例如可读的ID,可从该增益图像中直接地得出。在其它实施例中,亮度最接近理想图像(622)的图像被用作基准,该基准用于预计对应普通的全/高分辨率("分辨率"指图像的节距/频率)图像的最好的增益和/或曝光,其中该全/高分辨率图像,可在所有像素的增益统一设定至产生最可读图像的增益之后,在随后的图像帧中获得。在所描述的实例中,增益设定为1.5、5、10和15。然而,示例性地,这四个增益值为宽范围的合理的值,其可应用于离散的组的独立可设定的像素。
参考图7,其描述了对应上述四个示例性的增益值中每一个的曝光(一百万分之一秒)对亮度(cd/M2)的曲线图700,其中上述的增益值基于使用上述传感器机构(图4)进行的测量。曲线仅描绘小于150的亮度值,以避免由过度曝光引起的非线性的高原水平(plateau),如在下方左边的第一曲线图所见,我们得到对应每一增益的良好的线性的数据。如图所示,每一曲线在绘制值的整个范围内基本上是线性的。这个可预测性协助确定正确的增益设定,特别地对于在这些增益设定的两个之间展现有最佳特征的图像。
图8所示为程序800的流程示意图,程序800用于确定图像传感器的像素的适当的增益设定,以获得一可读的图像;以及调整增益和/或曝光设定,以随后捕获该图像的一充分高质量的型式并从中获得信息(例如解码的ID数据)。当用户或另外的自动处理(例如装配线编码器和/或对象检测进程)传输一触发信号,请求图像捕获(步骤810)时,程序800开始。在步骤820中,多个增益设定中的每一个应用于在整个图像传感器内的每一个各自的像素组或像素分割块组。这些值可初始地选定好以及在任何随后的进程(下面描述)的反复操作中使用多种技术来选定。在一一般的技术中,这些值在如上所述的整个可用增益设定的宽范围内被设定。
应注意,通过共同应用最小曝光时间与全范围的增益设定来增加多增益图像捕获的速度。为了确定和设定最佳的相机参数,在此最小曝光时间下,较高的增益设定更可能会提供可接受的图像。即,如果在较长的曝光时间下而不是在所选定的较短时间下,较低的增益可提供可接受的图像,那么在其中一个增益图像中的较高的增益设定可在较短的时间下提供理想的图像品质。折衷是,在较短的曝光、较高的增益图像中具有高信号噪声比(SNR)。代价是在较短的曝光、较高的增益图像中具有高信号噪声比(SNR)。在一实施例中,用于捕获多增益图像的曝光时间可大约为1000微秒(1毫秒)。
注意到,如以下进一步描述,在推断用于捕获下一个图像的参数中,处理器试图不断地校准传感器上的黑度水平。这可通过若干步骤改变像素值并引起图像之间和相邻的像素之间的差异,因为有对应2X2多增益像素矩阵或分割块的四个像素中的每一个的四个不同的黑度水平设定。由于黑度水平修正一般地是在传感器读出中的模拟数字转换之前应用,对应修正的值一般地量化为一电压读数,以及非数字的像素亮度电平(例如0-255),因此修正用于将主要的感应电压转换为一像素偏置。该转换被设定在50%,基于完全跟据经验的测量。黑度水平校准值的使用一般地使其有可能预知,产生更接近期望的目标亮度的曝光,甚至超过大曝光变化。
基于设定,在步骤830,然后传感器以预定的曝光时间捕获场景的图像并将图像数据传输至CPU。然后CPU和相关的自动调整进程(800)确定(判定步骤840)得出的离散的增益图像中的一个或多个是否由系统进程充分地可读以解析有用特征中的信息,或更一般地图像中的一个或多个是否包含能使其获得足够信息(例如解码的ID数据)的对比度和其它特征。如果每一增益图像为不充分的,那么CPU可决定增益的任何改变是否能提高图像品质(判定步骤842)。在(或大约)此时间,程序800可从传感器获得当前的黑度水平读数(步骤841)。这帮助决定是否应该作进一步调整。如果即使利用四个不同的增益设定,图像仍基本上不可读,则判定步骤842命令系统指示一失败读取(步骤844)。如果有可能利用不同的增益设定改善读取,则(可选地)判定步骤842跳转至步骤850,且新的增益集被选定以在步骤820中捕获下一个多增益图像。可通过在那些显示可能为可读的增益图像的一个或多个配对的增益设定之间,提供一连串的中间的增益设定,来确定这些新的增益。可选地,可采用第二组预定义的(非依赖于第一组图像)增益值,例如,如果第一组的增益值中没有一个能提供有希望的图像。可采用多种其它技术来在步骤850中选择新的增益值。增益改变和重新调整的重复的次数是高度可变的。同样地,清楚地可设想到,增益的初始调整可构成一组增益图像的基础,然后该一组增益图像用于其它类型的调整进程(除了反复的增益再调整),以为了最终调整相机参数(和/或照明特征)以获得更可读的图像的目标。
应注意的是,可设想,多增益图像不需要在整个传感器阵列上分析,而是在从预定区域(例如中心的区域)的一缩小的部分(和/或缩小的视野),或可能包含一特征的部分、或不同地指示有一般图案或位于该图像中的图案的一部分。这样集中在一区域上通常可减少处理时间。
当捕获到新的多增益图像并通过步骤830和840分析时,程序800在步骤854中使用该增益设定来计算新的相机参数(例如全局的增益和全局的曝光),统一地将其应用于一些或所有的(传感器中的)像素,以用于下一个图像的捕获中。可使用多种可依赖的技术,例如查表和/或等式,来执行新参数的计算。这些计算可部分依赖试验数据,比如,图7所示的曲线图。
应注意,如果步骤850产生的新的增益设定被用于已经认为是可读的(但是可能低于一阈值)增益图像,则程序800可跳转(在程序800中经由虚线跳转852)至步骤854,以及使用至少其中一个新的设定在捕获下一个图像中进一步精炼参数。
一旦增益图像被认为是可读的且任何新的参数已经计算好,程序可将结果提供至步骤860、862和/或864中的至少一个或判定步骤842。更一般地,程序800可包括重复(例如步骤850的一次重复)的最大次数,直到系统指示一失败读取(步骤844)或将参数和/或最好的增益图像传输至步骤860、862和/或864。这些步骤可组合使用或在各种备选方案(或在可选的实施例中)中采用。在步骤860中,程序800命令系统改变照明的强度、式样和/或类型,并利用这新的照明特性(和新的统一设定的传感器参数)捕获下一个图像。照明特性可基于查表或其它的计算,该其它的计算为,用最好的图像的增益和/或曝光,与可作为步骤854的计算的一部分的相关的照明参数做比较。可使用试验和产生一值表的误差方法,或通过经验公式来产生该信息的一些或全部。可选地(除步骤860之外),程序800还可使用该增益信息来重置传感器的全局的增益和/或曝光,以在整个传感器阵列内使用统一设定的像素来捕获下一个图像。这下一个图像更可能为可读的。通常,用于捕获其它增益图像的像素按新的全局的增益设定被重置,且在捕获这下一个图像中采用较长的曝光时间。进一步的备选方案是,如果捕获的增益图像的特征提供足够的细节以提取期望的信息(例如可解码的ID),则该捕获的增益图像可直接地处理(步骤864)。参数计算步骤854在这样的实例中为可选的。
在步骤870中,对来自步骤860、862和864中至少一个的捕获的图像进行处理,其读取、解码或分析图像中的信息,以产生期望的数据(例如字母数字和/或其它数据流)。
在实验上已观察到,具有缩小视野和欠采样的多增益图像(例如图5)可以标准图像的1/10的时间(4ms对40ms)来捕获,且其可预测对应下一个来自暗和明亮的环境条件中的图像的可接受的增益/曝光。
其应该清楚,以上描述的用于视觉系统相机的参数的自动调整的系统和方法,提供一相对快速和精确的技术,用于调整增益和曝光,以应对在每个运行时图像捕获事件之间的宽泛变化的条件。该系统和方法使用某些传感器上的固有的功能并可通过最低限度增加的软件代码和/或硬件来实现。适当地,该系统和方法还允许使用增益图像(交织和/或提取的、欠采样的图像)来获得信息或获得相机配置参数的反复精化,以获得期望的图像品质,用于图像特征信息的读取。
以上详细地描述了本发明示例性的实施例。在不背本发明的精神和保护范围的情况下,可对本发明进行多种修改并提供附加物。视情况而定,以上所描述的每一不同实施例的特征可结合其它所述实施例的特征,以提供与新实施例相关的特征组合的多样化。另外,在上文描述本发明的装置和方法的多个单独的实施例时,于此所描述的仅仅是本发明的原理的示例性应用。例如,可明确地设想到,此处使用的图像传感器可为任何可接受的型号或类型,一般地包括在各自的像素或像素组中区分增益或其它相似的设定的能力。另外,此处使用的处理器机构仅仅是多种处理器机构中的示例,其可在读取器内部和/或外部。在可选的实施例中,CPU可全部或部分位于读取器壳体,图像数据在一链路上传送至CPU处理。同样,该说明性的实施例作为一ID读取器(手持的或固定安装的)的实例,可明确地设想到可得益于本文的教导的在宽动态范围工作的其它类型的视觉系统,包括机械手和监视系统(例如脸部识别系统)。因此,此说明书仅应被当作示例性说明,而不应该作为对本发明保护范围的限制。
Claims (20)
1.一种自动调整视觉系统相机设定的系统,该视觉系统相机捕获包含有用特征的场景图像,该系统包括:
处理器,其从图像传感器接收图像数据,该图像传感器具有配置为离散像素组合的像素阵列,每一像素组合均按各自的增益设定独立地调整;以及
调整进程,其读取所述像素组合并选择与所述像素组合中至少一个相关的至少一个捕获的增益图像,选定的增益图像包括成像场景中的有用特征的一型式,允许从其中读取信息。
2.根据权利要求1所述的系统,其中该调整进程基于与选定的增益图像相关的像素的增益值,改变相机的至少一个参数,该参数统一地应用于像素阵列上。
3.根据权利要求2所述的系统,其中该参数为全局增益设定和全局曝光设定中的至少一个。
4.根据权利要求2所述的系统,其中该处理器构造和设置为利用来自多个像素组合的像素,捕获和分析进一步的图像。
5.根据权利要求2所述的系统,其中该处理器构造和设置为基于增益值控制照明器总成的特性。
6.根据权利要求1所述的系统,其中来自每一像素组合的每一离散像素被编入多个四像素矩阵的每一个中,该矩阵在整个像素阵列内成棋盘格状。
7.根据权利要求1所述的系统,其中该像素组合的每一个被编入多个像素分割块的每一个中,该分割块在整个像素阵列内成棋盘格状。
8.根据权利要求1所述的系统,其中该处理器构造和设置为从选定的增益图像上的有用特征中读取信息。
9.根据权利要求1所述的系统,其中该有用特征为一ID,以及该处理器包括ID解码进程。
10.根据权利要求1所述的系统,其中增益图像在最小曝光时间下捕获。
11.根据权利要求1所述的系统,其中增益图像使用大约为1毫秒的曝光时间捕获。
12.一种自动调整视觉系统相机设定的方法,该视觉系统相机捕获包含有用特征的场景图像,该方法包括步骤:
接收触发信号,该触发信号请求从图像传感器捕获图像,该图像传感器具有配置为离散像素组合的像素阵列;
将增益设定应用于至少一个由图像传感器捕获的图像上以产生至少一个增益图像;
使用处理器确定该至少一个增益图像的可读性是否足以解析有用特征中的信息,以及,如果不足以,则确定增益设定的改变是否会提高图像的质量;以及
提供结果以改变视觉系统的预定参数。
13.根据权利要求12所述的方法,其中该预定参数为以下的至少其中一个:照明的强度模式和类型。
14.根据权利要求12所述的方法,其中该预定参数为(a)全局增益和(b)传感器的曝光中的至少一个。
15.根据权利要求12所述的方法,其中直接地处理增益图像。
16.根据权利要求12所述的方法,在确定至少一个增益图像的可读性是否充分之后,还包括步骤:
计算新的相机参数,并将其应用于传感器中的至少一些像素上,以统一地应用于图像传感器的至少一些像素上,进而产生下一个图像。
17.根据权利要求16所述的方法,其中该相机参数包括(a)全局增益和(b)全局曝光中的至少一个。
18.根据权利要求12所述的方法,还包括步骤:从传感器获得当前的黑度水平读数。
19.一种自动调整视觉系统相机设定的系统,该视觉系统相机捕获包含有用特征的场景图像,该系统包括:
从图像传感器接收图像数据的装置,该图像传感器具有配置为离散像素组合的像素阵列,每一该像素组合均按各自的增益设定独立地调整;以及
选择与该像素组合中至少一个相关的至少一个捕获的增益图像的装置,选定的增益图像包括成像场景中的有用特征的一型式,允许从其中读取信息。
20.根据权利要求19所述的系统,其中接收图像数据的装置和选择至少一个捕获的增益图像的装置包括处理器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710706508.7A CN107395996B (zh) | 2012-10-19 | 2013-10-21 | 使用多增益图像确定和调整相机参数的系统和方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261716370P | 2012-10-19 | 2012-10-19 | |
US61/716,370 | 2012-10-19 | ||
US13/794,618 US9413981B2 (en) | 2012-10-19 | 2013-03-11 | System and method for determination and adjustment of camera parameters using multi-gain images |
US13/794,618 | 2013-03-11 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710706508.7A Division CN107395996B (zh) | 2012-10-19 | 2013-10-21 | 使用多增益图像确定和调整相机参数的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103780832A true CN103780832A (zh) | 2014-05-07 |
CN103780832B CN103780832B (zh) | 2017-09-12 |
Family
ID=50485003
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710706508.7A Active CN107395996B (zh) | 2012-10-19 | 2013-10-21 | 使用多增益图像确定和调整相机参数的系统和方法 |
CN201310495187.2A Active CN103780832B (zh) | 2012-10-19 | 2013-10-21 | 使用多增益图像确定和调整相机参数的系统和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710706508.7A Active CN107395996B (zh) | 2012-10-19 | 2013-10-21 | 使用多增益图像确定和调整相机参数的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US9413981B2 (zh) |
CN (2) | CN107395996B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109154974A (zh) * | 2016-05-26 | 2019-01-04 | 讯宝科技有限责任公司 | 确定目标距离和基于目标距离调整成像读取器的读取参数的布置和方法 |
CN110889884A (zh) * | 2018-09-07 | 2020-03-17 | 康耐视公司 | 对物体三维重建初始对应分配有效数据处理的方法和设备 |
CN113826445A (zh) * | 2019-04-30 | 2021-12-21 | 昕诺飞控股有限公司 | 基于相机的照明控制 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9413981B2 (en) * | 2012-10-19 | 2016-08-09 | Cognex Corporation | System and method for determination and adjustment of camera parameters using multi-gain images |
US10753726B2 (en) * | 2017-03-26 | 2020-08-25 | Cognex Corporation | System and method for 3D profile determination using model-based peak selection |
CN110858898B (zh) * | 2018-08-22 | 2021-07-09 | 杭州海康机器人技术有限公司 | 一种相机增益确定方法及装置 |
CN112954305B (zh) * | 2021-01-27 | 2022-08-09 | 浙江智慧视频安防创新中心有限公司 | 一种工业相机的拍摄参数测试方法、装置以及存储介质 |
CN113612987A (zh) * | 2021-07-15 | 2021-11-05 | 昆山丘钛光电科技有限公司 | 一种方向增益参数的获取方法及装置 |
US20240046678A1 (en) * | 2022-08-02 | 2024-02-08 | Datalogic IP Tech, S.r.l. | Direct part marking code reading with multimodal object sensing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1418004A (zh) * | 2001-11-07 | 2003-05-14 | 全视技术有限公司 | Mos图像传感器中快速自动曝光或者增益控制的方法 |
US20110013002A1 (en) * | 2007-07-06 | 2011-01-20 | Oliver Bendix Thompson | Laser Speckle Imaging Systems and Methods |
CN101996305A (zh) * | 2009-08-12 | 2011-03-30 | 手持产品公司 | 具有多个曝光周期的标记读取终端及方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6593562B1 (en) * | 2001-10-04 | 2003-07-15 | Indigo Systems Corporation | Electro-optical sensor arrays with reduced sensitivity to defects |
AT412317B (de) | 2002-05-06 | 2004-12-27 | Advanced Comp Vision Gmbh Acv | Verfahren und einrichtung zum ausgleich sich verändernder lichtverhältnisse bei der aufnahme von videobildsequenzen |
JP4022862B2 (ja) * | 2002-06-11 | 2007-12-19 | ソニー株式会社 | 固体撮像装置及びその制御方法 |
US20070024721A1 (en) * | 2005-07-29 | 2007-02-01 | Rogers Sean S | Compensating for improperly exposed areas in digital images |
JP4928765B2 (ja) * | 2005-09-30 | 2012-05-09 | 富士通セミコンダクター株式会社 | 半導体集積装置及びイメージセンサの黒レベル補正方法 |
CN100574385C (zh) * | 2006-08-25 | 2009-12-23 | 比亚迪股份有限公司 | 一种cmos图像传感器的模拟图像信号处理方法及其电路 |
US7755672B2 (en) * | 2006-05-15 | 2010-07-13 | Zoran Corporation | Techniques for modifying image field data obtained using illumination sources |
WO2007134473A1 (de) | 2006-05-22 | 2007-11-29 | Waeny Martin | Bildaufnehmer mit lokaler adaptiver belichtungsregelung |
US7784696B2 (en) * | 2006-06-09 | 2010-08-31 | Hand Held Products, Inc. | Indicia reading apparatus having image sensing and processing circuit |
JP4218723B2 (ja) * | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP5098831B2 (ja) * | 2008-06-06 | 2012-12-12 | ソニー株式会社 | 固体撮像素子およびカメラシステム |
CN102209200B (zh) * | 2010-03-31 | 2013-03-13 | 比亚迪股份有限公司 | 一种自动曝光控制方法 |
US8228406B2 (en) * | 2010-06-04 | 2012-07-24 | Apple Inc. | Adaptive lens shading correction |
US8508612B2 (en) * | 2010-09-30 | 2013-08-13 | Apple Inc. | Image signal processor line buffer configuration for processing ram image data |
JP5677864B2 (ja) * | 2011-01-17 | 2015-02-25 | オリンパス株式会社 | 顕微鏡用撮像装置および顕微鏡観察方法 |
GB2493551A (en) * | 2011-08-11 | 2013-02-13 | Dexdyne Ltd | Displaying plotted trend data at varying resolutions |
US8780225B2 (en) * | 2011-10-12 | 2014-07-15 | Apple Inc. | Use of noise-optimized selection criteria to calculate scene white points |
US8857719B2 (en) * | 2012-01-15 | 2014-10-14 | Symbol Technologies, Inc. | Decoding barcodes displayed on cell phone |
US9413981B2 (en) * | 2012-10-19 | 2016-08-09 | Cognex Corporation | System and method for determination and adjustment of camera parameters using multi-gain images |
-
2013
- 2013-03-11 US US13/794,618 patent/US9413981B2/en active Active
- 2013-10-21 CN CN201710706508.7A patent/CN107395996B/zh active Active
- 2013-10-21 CN CN201310495187.2A patent/CN103780832B/zh active Active
-
2016
- 2016-08-05 US US15/230,342 patent/US10110829B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1418004A (zh) * | 2001-11-07 | 2003-05-14 | 全视技术有限公司 | Mos图像传感器中快速自动曝光或者增益控制的方法 |
US20110013002A1 (en) * | 2007-07-06 | 2011-01-20 | Oliver Bendix Thompson | Laser Speckle Imaging Systems and Methods |
CN101996305A (zh) * | 2009-08-12 | 2011-03-30 | 手持产品公司 | 具有多个曝光周期的标记读取终端及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109154974A (zh) * | 2016-05-26 | 2019-01-04 | 讯宝科技有限责任公司 | 确定目标距离和基于目标距离调整成像读取器的读取参数的布置和方法 |
CN109154974B (zh) * | 2016-05-26 | 2022-05-24 | 讯宝科技有限责任公司 | 确定目标距离和基于目标距离调整成像读取器的读取参数的装置和方法 |
CN110889884A (zh) * | 2018-09-07 | 2020-03-17 | 康耐视公司 | 对物体三维重建初始对应分配有效数据处理的方法和设备 |
CN110889884B (zh) * | 2018-09-07 | 2023-11-28 | 康耐视公司 | 对物体三维重建初始对应分配有效数据处理的方法和设备 |
CN113826445A (zh) * | 2019-04-30 | 2021-12-21 | 昕诺飞控股有限公司 | 基于相机的照明控制 |
CN113826445B (zh) * | 2019-04-30 | 2024-05-14 | 昕诺飞控股有限公司 | 基于相机的照明控制 |
Also Published As
Publication number | Publication date |
---|---|
CN107395996B (zh) | 2020-09-22 |
US9413981B2 (en) | 2016-08-09 |
CN103780832B (zh) | 2017-09-12 |
US10110829B2 (en) | 2018-10-23 |
CN107395996A (zh) | 2017-11-24 |
US20170214860A1 (en) | 2017-07-27 |
US20140111656A1 (en) | 2014-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103780832A (zh) | 使用多增益图像确定和调整相机参数的系统和方法 | |
CN101882034B (zh) | 触摸装置的触摸笔颜色识别装置及方法 | |
WO2017157034A1 (zh) | 一种二维码的识别方法及装置、存储介质 | |
CN1993707B (zh) | 图像处理方法和设备、摄像设备 | |
CN102693407A (zh) | 在受控照明条件下使用连续视频帧的自动曝光方法 | |
US7475822B2 (en) | Device for reading optical data code | |
CN102342090A (zh) | 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 | |
CN108476295B (zh) | 从多个图像生成图像的方法、热成像相机以及介质 | |
JP2019508780A (ja) | コード化情報読取機 | |
CN110231749A (zh) | 相机 | |
CN106651959A (zh) | 一种光场相机微透镜阵列几何参数的标定方法 | |
CN109936713B (zh) | 用于对光源传递的信息进行解码的方法和装置 | |
TWI713887B (zh) | 光通信裝置和系統以及相應的資訊傳輸和接收方法 | |
CN105959528A (zh) | 工作场景切换方法、装置及测试设备 | |
CN113194222B (zh) | 一种组合成像装置 | |
US10832073B2 (en) | Text resolution determinations via optical performance metrics | |
JP5962720B2 (ja) | 光照射装置およびプログラム | |
CN111726540B (zh) | 一种图像曝光参数量测方法及装置 | |
JP6508730B2 (ja) | 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム | |
JP5533714B2 (ja) | 光学情報読み取り装置 | |
CN113132617A (zh) | 图像抖动判断方法及装置、图像识别触发方法及装置 | |
JP2007087022A (ja) | 光学情報読取装置 | |
CN220383156U (zh) | 图像采集装置及净水设备 | |
CN220381596U (zh) | 净水设备 | |
KR102324903B1 (ko) | 광학 통신 기반의 영상 처리 방법, 장치 및 컴퓨터로 읽을 수 있는 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |