CN108886588A - 用于形成低信息内容场景的一维数字表示的机器视觉系统 - Google Patents
用于形成低信息内容场景的一维数字表示的机器视觉系统 Download PDFInfo
- Publication number
- CN108886588A CN108886588A CN201780015184.0A CN201780015184A CN108886588A CN 108886588 A CN108886588 A CN 108886588A CN 201780015184 A CN201780015184 A CN 201780015184A CN 108886588 A CN108886588 A CN 108886588A
- Authority
- CN
- China
- Prior art keywords
- signal
- pixel
- column
- array
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 69
- 238000007689 inspection Methods 0.000 title claims abstract description 58
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 220
- 238000005259 measurement Methods 0.000 claims description 173
- 238000000034 method Methods 0.000 claims description 110
- 238000003384 imaging method Methods 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000005070 sampling Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 62
- 238000010168 coupling process Methods 0.000 claims description 33
- 238000005859 coupling reaction Methods 0.000 claims description 33
- 230000008878 coupling Effects 0.000 claims description 27
- 230000003287 optical effect Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 20
- 229910002056 binary alloy Inorganic materials 0.000 claims description 15
- 239000000758 substrate Substances 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 83
- 238000003491 array Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 70
- 230000006870 function Effects 0.000 description 52
- 238000005516 engineering process Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 35
- 239000004020 conductor Substances 0.000 description 30
- 238000001914 filtration Methods 0.000 description 27
- 239000000872 buffer Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 18
- 238000006073 displacement reaction Methods 0.000 description 15
- 230000001678 irradiating effect Effects 0.000 description 15
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000009825 accumulation Methods 0.000 description 8
- 238000009792 diffusion process Methods 0.000 description 8
- 238000007667 floating Methods 0.000 description 8
- 238000006116 polymerization reaction Methods 0.000 description 7
- 239000012536 storage buffer Substances 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000000149 argon plasma sintering Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004377 improving vision Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000012428 routine sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000005428 wave function Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种机器视觉系统用以形成低信息内容场景的一维数字表示,所述低信息内容场景例如由光照平面稀疏照射的场景,且所述一维数字表示是相对于所述机器视觉系统的矩形像素阵列的列形成的投影。
Description
背景技术
本发明大体上涉及机器视觉,且更具体地说,涉及用于形成例如由光照平面稀疏照射的场景的低信息内容场景的一维数字表示的机器视觉系统,且所述一维数字表示是相对于矩形像素阵列的列形成的投影。
用于获取3D距离图像(3D range image)的众所周知的方法包含以下步骤:提供具有产生光线的光学件的光源以照射场景的单个平面;定位数码相机以检视光平面,使得光源照射的对象出现在由相机透镜形成的光学图像中;捕捉场景的数字图像;处理数字图像以提取光源照射的场景中的点的图像坐标;以及根据光学系统的三角几何法处理图像坐标以形成适合于测量场景中的对象的一组物理坐标。
与此类常规机器视觉方法相关联的主要限制是,对于系统所形成的每一行物理坐标,数码相机必须捕捉可观大小的2维强度图像。这可能使得捕捉场景的3D图像的时间长达获取相同大小场景的强度图像所需的时间的100倍之多,由此使基于激光线的3D图像形成方法在许多工业机器视觉应用中显得过于缓慢。
发明内容
本发明的方面提供机器视觉系统和方法,其适用于定位光照平面与场景中的对象的相交区以及确定关于所述场景中的各种表面的经照射部分的相对反射率的信息。
本发明的各方面介绍使得有可能切实实现具有优于所述应用领域中的常规视觉系统的显著优势的视觉系统的方法和设备。在一些方面,本发明执行与图1A和图1B的常规视觉系统基本上相同的功能,即,提取与由光照平面与物理场景中的受关注对象的相交区所形成的曲线的图像特征相关联的参数,但在实际实施方案中以实现处理量优势的方式执行所述功能,包含计算。
在一个方面,本发明提供一种适用于确定图像信息的方法,其包括:基于像素阵列中的多个像素元素中的每一者的入射光能量,累积第一像素信号,所述像素元素各自包含光传感器,所述第一像素信号指示场景的图像;以及通过以下方式获得指示所述场景的所述图像的测量值的信息:将控制信号组应用于所述像素元素的行,每行的像素元素共享共同控制信号,所述控制信号组中的每一组大体上彼此不相关,所述控制信号组中的每一组表示矩阵的不同向量,所述矩阵包括随机基函数与滤波函数的乘积,所述滤波函数具有调谐到预期图像信号中的所要受关注空间频率的频率响应;对于每一控制信号组,根据所述控制信号,聚合基于像素元素列的所述第一像素信号的输出信号;以及数字化所述像素元素的所述列的所述聚合输出信号中的每一者。
根据一些此类方面,所述第一像素信号的累积在所述控制信号组的应用之前开始,且在整个控制信号组应用中继续。根据一些此类方面,所述第一像素信号的累积在所述控制信号组的应用之前开始,且临时中断所述控制信号组的应用,且在所述中断期间发生所述第一像素信号的累积的复位和重新开始。根据一些此类方面,根据控制信号,聚合基于像素元素列的所述第一像素信号的输出信号包括:对于每列像素元素,将所述第一像素信号中的第一所选者耦合到此列的第一列输出线,且将所述第一像素信号中的第二所选者耦合到此列的第二列输出线,所述第一像素信号中的第一所选者和所述第一像素信号中的第二所选者由所述控制信号确定。根据一些此类方面,数字化像素元素列的聚合输出信号中的每一者包括:对于每列像素元素,比较第一列输出线和第二列输出线的信号。根据一些此类方面,所述第一像素信号包括电压信号,且其中所述输出信号包括电流信号。根据一些此类方面,像素阵列包含N1行像素元素、N2列像素元素,且M组控制信号应用于像素元素行以形成指示场景的图像的测量值,M比N1小得多。根据一些此类方面,所述滤波函数基于中心差分近似法。根据一些此类方面,经数字化聚合输出信号写入到缓冲器,所述缓冲器存储指示场景的图像的测量值。根据一些此类方面,通过形成随机基函数的转置矩阵和所述测量值的乘积来确定估计值,优化所述估计值,且线的边缘位于所述估计值中。
在另一方面,本发明提供一种适用于确定图像的信息的方法,其包括:基于像素阵列中的多个像素元素中的每一者的入射光能量,累积第一像素信号,所述像素元素各自包含光传感器;以及通过以下方式获得指示场景的图像的测量值的信息:将控制信号组应用于所述像素元素的行,每行的像素元素分组为各自包含此行的多个像素的像素子组,每行中的像素元素属于共享共同控制信号的每一像素子组,所述控制信号组中的每一组大体上彼此不相关;对于每一控制信号组,根据所述控制信号,聚合像素元素列的输出信号,所述输出信号基于所述第一像素信号;以及数字化所述像素元素的所述列的所述聚合输出信号中的每一者。
根据一些此类方面,对于每一行,第一像素子组中的像素元素由至少一个其它像素子组中的像素元素分隔开。根据一些此类方面,每列像素元素仅包含属于相同像素子组的像素元素。根据一些此类方面,控制信号组包括控制信号组的群组,控制信号组的每一群组基于不同取样函数。根据一些此类方面,每一取样函数大体上与其它取样函数不相关。根据一些此类方面,每一子组中的像素元素接收基于不同取样函数的控制信号。根据一些此类方面,所述控制信号基于至少九个不同取样函数,其中在第一时间段中应用基于至少三个不同取样函数的控制信号,在第二时间段中应用基于至少三个其它不同取样函数的控制信号,且在第三时间段中应用基于至少另外三个其它不同取样函数的控制信号。根据一些此类方面,每一取样函数包括随机基函数与滤波函数的乘积,所述滤波函数具有调谐到预期图像信号中的所要受关注空间频率的频率响应。根据一些此类方面,第一像素信号的累积相对于控制信号组的应用异步发生。根据一些此类方面,第一像素信号的累积相对于控制信号组的应用同步发生。根据一些此类方面,根据控制信号,聚合基于像素元素列的所述第一像素信号的输出信号包括:对于每列像素元素,将所述第一像素信号中的第一所选者耦合到此列的第一列输出线,且将所述第一像素信号中的第二所选者耦合到此列的第二列输出线,所述第一像素信号中的第一所选者和所述第一像素信号中的第二所选者由所述控制信号确定。根据一些此类方面,数字化像素元素列的聚合输出信号中的每一者包括:对于每列像素元素,比较第一列输出线和第二列输出线的信号。根据一些此类方面,所述第一像素信号包括电压信号,且其中所述输出信号包括电流信号。根据一些此类方面,所述像素阵列包含N1行像素元素、N2列像素元素,且M组控制信号基于每一取样函数,M比N1小得多。
在另一方面,本发明提供一种适用于确定图像的信息的方法,其包括:提供图像传感器,所述图像传感器包括:像素阵列,其包含分成行和列的多个像素元素,所述像素元素中的每一者包括光传感器,每一行中的像素元素属于多个不同组中的一个组,属于每一组的每一行中的像素元素具有用于接收此行的所述组中的像素元素的控制信号的共同耦合件,每一列像素元素中的像素元素具有用于向此列提供列输出信号的共同耦合件,所述像素元素对所述列输出信号的贡献取决于所述控制信号和所述像素元素所累积的光能量;和数字转换器阵列,其以一对一的对应性与所述像素阵列的列耦合,所述数字转换器经耦合以便从其对应的像素阵列的列接收所述列输出信号;通过以下方式获得所述像素元素上的图像强度信号的测量值:将行输入信号向量应用于所述像素阵列的控制线,针对每一组应用不同行输入信号向量,每一行输入信号向量是一组所有可能的行输入信号向量的子组中的一个向量,其大体上与当前帧时间中所有先前应用的行输入信号向量不相关,读取所述数字转换器阵列的输出,且多次重复所述行输入信号向量的应用,并且读取所述数字转换器阵列的输出。
根据一些此类方面,所述行输入信号向量基于多个取样函数的向量。根据一些此类方面,每一取样函数包括随机基函数与滤波函数的乘积,所述滤波函数具有调谐到预期图像信号中的所要受关注空间频率的频率响应。
在另一方面,本发明提供一种图像传感器,其包括:像素阵列,其包含分成行和列的多个像素元素,所述像素元素中的每一者包括光传感器;每一行中的像素元素属于多个不同组中的一个组,属于每一组的每一行中的像素元素具有用于接收此行的所述组中的像素元素的控制信号的共同耦合件;每一列像素元素中的像素元素具有用于向此列提供第一列输出信号和第二列输出信号中的每一者的共同耦合件,所述像素元素对所述列输出信号的贡献取决于所述控制信号和所述像素元素所累积的光能量;以及数字转换器阵列,其以一对一的对应性与所述像素阵列的列耦合,所述数字转换器经耦合以便从其对应的像素阵列的列接收所述列输出信号的指示。
根据一些此类方面,第一存储元件在所述像素阵列一侧周围以存储用于产生所述控制信号中的一些的信息,且第二存储元件在所述像素阵列另一侧周围以存储用于产生其它控制信号的信息。根据一些此类方面,第一存储元件和第二存储元件各自包括存储单元阵列,每一存储单元包含至少两个位的信息的存储。根据一些此类方面,用于接收每一像素元素的控制信号的共同耦合件包含用于接收指示所述两个位中的第一位的信号的第一耦合件以及用于接收指示所述两个位中的第二位的信号的第二耦合件。根据一些此类方面,数字转换器通过电流传送器和电流限制器耦合到所述像素阵列的列。
前述图像传感器提供通过图像信号电平的逻辑比较确定的测量系数,且因此,主要涉及捕捉可从相关图像信号量值的信息(例如,与一或多个局部信号最大值相关联的图像坐标)得出的数字图像信息。在其它方面,一种机器视觉系统提供与绝对图像信号量值有关的信息(即,与冲射在所述机器视觉系统的图像传感器的对应部分上的光能量成一致比例的数字像素值)的捕捉。
由此,在另一方面,所公开的技术提供一种适用于确定绝对图像信号量值的方法,所述方法包含:基于像素阵列中布置成(N1-ND)行和N2列的多个光敏像素元素中的每一者的入射光能量,形成像素输出信号,其中所述多个光敏像素元素中的每一者包含光传感器,且所述像素输出信号表示指示场景的图像的图像信号;在额外ND行暗像素上形成参考输出信号,额外行中的每一行具有N2个暗像素;通过以下方式获得所述图像信号的测量信号:a)供应M组N1个控制信号到所述像素阵列的(N1-ND)个行和所述暗像素的额外ND个行,其中每一行的N2个光敏像素元素和每一额外行的N2个暗像素共享共同控制信号,所述控制信号组中的每一组表示取样矩阵的不同行,M个组中的每一组中的N1个控制信号一对一地对应于总的N1个行,其中的(N1-ND)行包含光敏像素元素且其中的ND行包含暗像素,以及b)对于M组控制信号中的中的每一组,对像素输出信号求和以获得N2个列中的每一列的电流输出;基于取样矩阵和先前已知的暗像素上形成的参考输出信号对电流输出的贡献,计算N2个列中的每一列的比例因数;以及使用针对N2个列计算出的比例因数从测量信号确定输出像素值,所述输出像素值包括所述图像信号的信息。
在另一方面,所公开的技术提供一种适用于确定绝对图像信号量值的机器视觉系统,所述机器视觉系统包含a)图像传感器,其经配置以捕捉图像信号且处理所述图像信号以输出二进制测量信号,所述图像信号指示从场景收集的光能量。此处,所述图像传感器包含i)以N1行和N2列布置的光敏像素和暗像素的像素阵列。所述像素阵列包含:A)一对一对应于所述像素阵列的N1个行的N1个像素输出控制总线的阵列,所述像素输出控制总线中的每一者经配置且布置以将像素输出控制信号提供到像素阵列相应行上的像素;以及B)一对一对应于所述像素阵列的N2个列的N2个像素列电路的阵列。每一像素列电路包含:I)像素输出总线,其经配置且布置以对像素输出信号求和;以及II)N1个像素的线性阵列,其以一对一的对应性与所述N1个像素控制总线的阵列耦合。所述N1个像素的线性阵列包含(a)接收所述图像信号的一部分的(N1-ND)个光敏像素的线性阵列。每一光敏像素包含:(i)光信号源,其响应于所述光敏像素接收到的光能量;以及(ii)输出选择电路,其与像素输出控制总线耦合以控制所述光信号源到所述像素输出总线的耦合,所述光敏像素通过所述耦合将像素输出信号提供到所述像素输出总线。另外,所述N1个像素的线性阵列包含(b)ND个暗像素的线性阵列。每一暗像素包含:(i)暗信号源,其响应于所述暗像素接收到的参考信号;以及(ii)输出选择电路,其与另一像素输出控制总线耦合以控制所述暗信号源到所述像素输出总线的耦合,所述暗像素通过所述耦合将像素输出信号提供到所述像素输出总线。此外,所述图像传感器包含ii)取样模式产生器,其与所述像素阵列耦合且配置有:A)取样模式矩阵(具有M个行和N1个列)的信息,所述取样模式矩阵的每一行包含与所述像素输出控制信号相关的信息,且预定通过N2个输出总线的阵列上的像素输出信号的选择性求和来形成对应于所述像素阵列的N2个列的N2个测量系数的阵列,测量系数包含以非规范基底表示的图像信号的信息;B)用于向N1个像素输出控制总线阵列依序提供取样模式矩阵的M个行中的每一行的指令,以便在N2个像素输出总线上形成测量信号,其包含用于所述取样模式矩阵的M个行中的每一行的N2个测量系数的阵列;以及C)用于向所述像素阵列的暗像素提供用于控制暗像素对测量信号的贡献的参考信号的指令。此外,所述图像传感器包含iii)数字转换器,其与N2个像素输出总线的阵列耦合以用于二进制化测量信号,从而形成二进制测量信号。另外,所述机器视觉系统包含数字处理器,其与所述图像传感器耦合以接收所述二进制测量信号。此处,所述数字处理器配置有:i)关于所述取样模式矩阵和暗像素对所述测量信号的贡献的信息;ii)用于从所述二进制测量信号存取对应于所述像素阵列的列的列二进制测量向量的指令;以及iii)用于形成数字像素值的指令,所述数字像素值包含通过以下方式接收到的图像信号的信息:A)查找具有大体上与列测量向量相关的二进制测量空间表示的列信号向量,以及B)处理所述列信号向量以及暗像素对测量信号的贡献以形成所述数字像素值。
这些和其它实施方案可包含以下特征中的一或多个。在一些实施方案中,用于查找列信号向量的指令可包含使取样模式矩阵的转置矩阵与所述列测量向量相乘的指令。
在一些实施方案中,用于处理列信号向量的指令可包含a)使用对应于暗像素的所述列信号向量的一或多个系数以确定比例因数的指令,以及b)使对应于光敏像素的信号向量的系数与所述比例因数相乘以形成所述数字像素值的指令。例如,所述比例因数可确定为以下两项的比率:(1)暗像素接收到的参考信号的电平的统计量,和(2)对应于具有暗像素的像素阵列的行的列信号向量的系数值的统计量。
在一些实施方案中,暗像素接收到的参考信号可以是电信号。此外,所有暗像素接收到的参考信号的值可大体上相同。在一些实施方案中,取样模式产生器可包含:参考信号源,其经配置以将参考信号提供到暗像素;以及像素输出控制器,其经配置以将像素输出控制信号的序列提供到像素输出控制总线阵列。
在一些实施方案中,对于取样矩阵的M个行中的每一行,数字转换器可形成二进制测量信号的N2个二进制测量系数的阵列,所述N2个二进制测量系数具有N2个一位值{+1或-1},其表示所述取样矩阵的行的N2个输出总线的阵列上形成的相应的N2个测量系数的正负号。
在一些实施方案中,像素输出控制总线中的每一者可包含两个或更多个导体,用于选择性地将像素列电路的两个或更多个像素信号源耦合到所述像素列电路的像素输出总线中包含的两个或更多个导体中的一个以在所述像素输出总线上形成差分信号。此处,数字转换器可包含以一对一的对应性耦合到N2个像素列电路的阵列的相应的像素输出总线的N2个比较器的阵列。
在又一方面,所公开的技术提供一种适用于形成低信息内容场景的一维数字表示的方法,所述方法包含使用像素阵列形成背景信号,所述像素阵列包含布置成N1行和N2列的光敏像素和暗像素,所述暗像素布置在与所述光敏像素不同的行中。在背景信号的形成期间,暗像素接收参考信号,且光敏像素被防止接收入射光能量。此外,所述方法包含通过以下方式获得所述背景信号的背景测量信号:i)供应M组控制信号到所述像素阵列的N1个行,其中每一行的像素共享共同控制信号,且控制信号组中的每一组表示取样矩阵的不同向量;以及ii)对于控制信号组中的每一组,对N2个列中的至少一列的像素输出信号求和,其中所述背景测量信号包含可用于N2个列中的每一列的背景测量向量。此外,所述方法包含使用所述像素阵列形成图像信号。在图像信号的形成期间,暗像素接收参考信号且光敏像素接收入射光能量。另外,所述方法包含通过以下方式获得图像信号的图像测量信号:i)将表示取样矩阵的M组控制信号供应到像素阵列的N1个行;以及ii)对于控制信号组中的每一组,对N2个列中的每一列的像素输出信号求和,其中所述图像测量信号包含列N2中的每一者的图像测量向量。另外,所述方法包含,对于所述像素阵列的每一列,i)确定图像测量向量与背景测量向量之间的距离;以及ii)根据所确定的距离产生指示所述列的光敏像素接收到的图像信号部分的量值的数字值。
这些和其它实施方案可包含以下特征中的一或多个。在一些实施方案中,确定图像测量向量与背景测量向量之间的距离可包含计算归一化的汉明距离(Hammingdistance)。在一些实施方案中,输出像素值的产生可包含通过将所述列的背景信号的量值乘以所确定的距离的正切来缩放所确定的距离中的每一者。
在一些实施方案中,获得背景信号的背景测量信号可包含,对于M组控制信号中的每一组,对N2个列中的每一列的像素输出信号求和,其中所述背景测量信号包含N2个列中的每一列的背景测量向量。在一些实施方案中,所述方法可包含将可用于所述N2个列中的每一列的背景测量向量存储在与像素阵列共置的存储器中。此处,距离的确定和数字值的产生通过与像素阵列共置的处理器执行。
在又一方面,所公开的技术提供一种适用于形成低信息内容场景的一维数字表示的机器视觉系统,所述系统包含:a)图像传感器,其经配置以接收图像信号且处理所述图像信号以输出二进制测量信号,所述图像信号指示从场景收集的光能量,所述图像传感器包含i)以N1行和N2列布置的光敏像素和暗像素的像素阵列,所述像素阵列包含A)与所述像素阵列的N1个行一对一对应的N1个像素输出控制总线的阵列,所述像素输出控制总线中的每一者经配置且布置以将像素输出控制信号提供到所述像素阵列的相应行上的像素,以及B)与所述像素阵列的N2个列一对一对应的N2像素列电路的阵列。每一像素列电路包含:I)像素输出总线,其经配置且布置以对像素输出信号求和;以及II)N1个像素的线性阵列,其以一对一的对应性与所述N1个像素控制总线的阵列耦合。所述N1个像素的线性阵列包含(a)接收所述图像信号的一部分的(N1-ND)个光敏像素的线性阵列。每一光敏像素包含:(i)光信号源,其响应于所述光敏像素接收到的光能量;以及(ii)输出选择电路,其与像素输出控制总线耦合以控制所述光信号源到所述像素输出总线的耦合,所述光敏像素通过所述耦合将像素输出信号提供到所述像素输出总线。另外,所述N1个像素的线性阵列包含(b)ND个暗像素的线性阵列。每一暗像素包含:(i)暗信号源,其响应于所述暗像素接收到的参考信号;以及(ii)输出选择电路,其与另一像素输出控制总线耦合以控制所述暗信号源到所述像素输出总线的耦合,所述暗像素通过所述耦合将像素输出信号提供到所述像素输出总线。此外所述图像传感器包含ii)与所述像素阵列耦合的取样模式产生器,所述取样模式产生器经配置以将所述像素输出控制信号的序列提供到所述N1个像素输出控制总线的阵列,且还经配置以将所述参考信号提供到所述暗像素。此处,A)所述像素输出控制信号的所述序列中的每一元素对应于取样模式矩阵(具有M个行和N1个列)的一行,其预定通过N2个输出总线的阵列上的像素输出信号的选择性求和来形成对应于所述像素阵列的N2个列的N2个测量系数的阵列,测量系数包含以非规范基底表示的图像信号的信息;B)向N1个像素输出控制总线的阵列提供所述序列中的元素使得在N2个像素输出总线上形成测量信号,所述测量信号包含用于所述取样模式矩阵的M个行中的每一行的N2个测量系数的阵列;以及C)向所述像素阵列的暗像素提供参考信号会控制暗像素对所述测量信号的贡献。此外,所述图像传感器包含iii)数字转换器,其与N2个像素输出总线的阵列耦合,用于二进制化所述测量信号以形成二进制测量信号。另外,所述机器视觉系统包含b)数字处理器,其与所述图像传感器耦合以接收所述二进制测量信号,所述数字处理器配置有i)用于从所述图像传感器在所述图像传感器已处理所述图像传感器接收到的背景信号时输出的背景二进制测量信号中存取列背景二进制测量向量的指令,所述列背景二进制测量向量对应于与所述像素阵列的列相关联的背景信号的一部分,所述背景信号包含暗像素在光敏像素被防止接收从场景收集的光能量时接收到的参考信号;ii)用于从所述二进制测量信号中存取列二进制测量向量的指令,所述列二进制测量向量对应于所述像素阵列的列的光敏像素接收到的图像信号的部分;以及iii)用于形成数字值的指令,所述数字值指示所述像素阵列的所述列的光敏像素接收到的图像信号的部分的量值,用于形成所述数字值的指令包含用于计算列背景二进制测量向量与列二进制测量向量之间的距离的指令。
这些和其它实施方案可包含以下特征中的一或多个。在一些实施方案中,所述背景信号进一步包含像素阵列上存在的固定模式噪声,所述固定模式噪声使N2个像素输出总线上通过所述测量信号的不依赖光能量的变化确定的像素输出信号与所述参考信号不相关。在一些实施方案中,数字处理器用以形成所述数字值的列背景二进制测量向量与列二进制测量向量之间的距离是归一化的汉明距离。
在一些实施方案中,所述数字处理器可配置有用于以下操作的指令:(i)存取与所述像素阵列的列相关联的所述背景信号的列的量值;以及(ii)组合背景信号列的量值和所述列背景二进制测量向量与所述列二进制测量向量之间的距离以形成数字值,所述数字值与所述像素阵列的所述列的光敏像素接收到的所述图像信号的部分的量值成线性比例。在此情况下,背景二进制测量信号和与所述像素阵列的相应列相关联的背景信号列的量值存储在与所述数字处理器相关联的存储器上。
在一些实施方案中,所述数字处理器可配置有指令以用于形成所述像素阵列的N2个列中的每一列的数字值以输出对应于所述像素阵列接收到的所述图像信号的N2个数字值的阵列。在这些情况中的一些中,i)用于存取列背景二进制测量向量的指令可包含用于存取所述像素阵列的N2个列中的每一列的列背景二进制测量向量的指令;ii)用于存取列二进制测量向量的指令可包含用于存取所述像素阵列的N2个列中的每一列的列二进制测量向量的指令;以及iii)用于形成所述像素阵列的N2个列中的每一列的数字值的指令可包含用于计算每一存取列背景二进制测量向量与对应的存取列二进制测量向量之间的距离的指令。在所述列背景二进制测量向量是单列背景二进制测量向量的其它情况下,i)用于存取所述列二进制测量向量的指令可包含用于存取所述像素阵列的N2个列中的每一列的列二进制测量向量的指令,且ii)用于形成所述像素阵列的N2个列中的每一列的数字值的指令可包含用于计算所述单列背景二进制测量向量与每一存取列二进制测量向量之间的距离的指令。此处,所述单列背景二进制测量向量可存储在存储器中。另外在此处,所述图像传感器可包含所述存储器和所述数字处理器。
在检阅本公开后会更充分理解本发明的这些和其它方面。
附图说明
图1A是操作环境中的机器视觉系统的方面的半框图半图解说明。
图1B是现有技术的视觉系统的计算简图。
图2A是描绘由根据本发明的某些方面的机器视觉系统执行的计算的过程的流程图。
图2B是描绘由根据本发明的某些方面的机器视觉系统执行的计算的另一过程的流程图。
图3是表示本发明的某些方面的图像传感器架构的高层级框图。
图4是展示根据本发明的方面的图像传感器的更详细方面的电路图。
图5是与本发明的某些方面一致的处理架构的框图。
图6是说明传感器响应曲线的图。
图7是说明根据本发明的方面的形成图像信号的近似值的方法的简图。
图8是说明根据本发明的方面的高传感器动态范围获取的时序图。
图9A展示操作环境中的机器视觉系统的实施方案的另一实例。
图9B展示类似图9A中说明的机器视觉系统的机器视觉系统的相机视场中可见的场景的一部分的结构方面。
图10A展示类似图4中说明的像素阵列的像素阵列在图9B中说明的场景被光照平面照射时接收到的图像信号的方面。
图10B展示在使用类似图2A中说明的技术的技术时类似图10A中说明的图像信号的图像信号的方面和基于所述图像信号形成的数字图像的方面。
图11展示类似图9A中说明的机器视觉系统的机器视觉系统的图像传感器的实例实施方案。
图12展示用于使用类似图11中说明的图像传感器的图像传感器从类似图13A中说明的像素阵列输入信号的像素阵列输入信号形成数字图像的技术。
图13A展示在图9B中说明的场景被光照平面照射时由类似图11中说明的图像传感器的图像传感器的像素阵列接收到的像素阵列输入信号的方面。
图13B展示在使用类似图12中说明的技术的技术时类似图13A中说明的像素阵列输入信号的像素阵列输入信号的方面、基于所述像素阵列输入信号所形成的估计值信号的方面以及基于所述估计值信号所形成的数字图像的方面。
图14展示用于使用类似图11中说明的图像传感器的图像传感器、从类似图13A中说明的像素阵列输入信号的像素阵列输入信号与类似图13A中说明的像素阵列输入信号在其具有设置成零的图像信号部分的情况下那样的背景信号的组合来确定关于场景中的各种表面的经照射部分的相对反射率的信息的技术。
图15是展示在信号空间中类似图13A中说明的像素阵列输入信号的像素阵列输入信号的向量、类似图13A中说明的像素阵列输入信号在其具有设置成零的图像信号部分的情况下那样的背景信号的向量与类似图13A中说明的像素阵列输入信号的图像信号部分的图像信号之间的定向的向量图。
图16A展示指示类似图11中说明的图像传感器的图像传感器接收到的图像信号的相应向量的量值的数字值的阵列。
图16B展示类似图11中说明的图像传感器的图像传感器接收到的图像信号的向量量值的阵列。
具体实施方式
图1A是用于实施捕捉3D距离图像的已知方法的视觉系统100的简图。图1A包括激光线产生器101、对象传送器102、受关注对象103、激光照射物平面104、数码相机105、数字通信信道109和用于存储、处理、解释和显示从受关注对象提取的3D距离数据的数字计算机111,所述受关注对象在图1A中以图形方式通过结果110表示。数码相机105还包括成像透镜106、图像传感器107和本地图像处理器108。
在操作中,由激光线产生器101形成的窄的光照平面112与包含传送器102和受关注对象103的3D场景相交。由激光线产生器101形成的窄的光照平面与成像透镜106的物平面104重合。成像透镜106收集3D场景散射的光且将其聚集在图像传感器107上。包括感光像素的矩形阵列的图像传感器107捕捉表示透镜106在曝露时间段中形成的平均光强度信号的电信号。形成于图像传感器107上的电信号转换为数字信息流,其由本地数字处理器108接收。数字处理器108将数字图像信息格式化以用于发射到数字计算机111。在一些实施方案中,本地数字处理器108还处理图像以形成所述图像的替代表示,或提取相关特征以达成重要测量或基于数字图像信息的某一其它形式的紧凑分类。
总的来说,由数码相机105捕捉的图像通过本地数字处理器108或数字计算机111处理以测量由光照平面与场景中的对象的相交区形成的线的位移。每一位移测量值表示图像坐标,其可根据预定相机校准变换为物平面104中的对象表面坐标。在一些应用中,将对象103移动通过激光线产生器101的平面,同时以规律间隔连续捕捉图像和提取位移坐标。以此方式,对于图1A的视觉系统100来说可见的对象103的表面图可随着时间推移由数字计算机111构造出来。
为了促进对本发明的各方面更好的理解,由于其涉及已知技术的常规视觉系统,因此相对于图1B论述大体上基于现有技术的实例。然而,所述论述以与关于本发明的后续公开内容一致的术语展开。
在以下描述中,总的来说,大写字母符号表示矩阵量,矩阵的行号通过下标i识别,列号通过下标j识别,且帧时间通过下标t识别。小写符号表示标量或向量值,例如,xi,j是指X的一个元素,且xj是指X的列向量。圆括号用于统指矩阵所有的向量或元素,例如X=(xj)=(xi,j)。
在图1B概述的计算中:
●符号X,表示图像强度信号,其中其存在于像素阵列的N1个像素行和N2个像素列上。
●符号Y,表示图像信号X与通过Q256(.)量化到256个级的规范取样函数的乘积。
●符号 表示从测量值Y恢复的图像强度信号。
●符号f表示卷积核,其可为带通滤波器,由平滑系数α和边缘检测系数ψ的线性组合产生。
●符号 表示通过f卷积的所恢复图像信号这可使例如成为所恢复图像信号相对于行的近似偏导数。
●符号Δ,表示局部信号极值(即,信号在每一列上的P个相关信号峰值)的图像偏移参数。
在图1B中,过程接收表示场景光能量的信息。所述信息可视为图像强度信号,例如X,其中且表示图像强度信号,其中其存在于像素阵列的N1个像素行和N2个像素列上。所述信息可通过图像传感器接收,例如图1A的图像传感器107。
图1B的图像信号X包含激光线的三个段,其中第三段水平地处于第一段与第二段之间且从第一段和第二段竖直偏移,所述三个段表示例如图1A的光照平面112与传送器102和对象103的相交区的图像。图像信号X还可能包含不合需要的离面光照伪影和噪声(未展示)。所述光照伪影可以是在内部从对象的一个部分漫射到另一部分的光,例如激光线的光,且所述噪声可通过环境光或通过所述图像传感器引入。
总的来说,图1B中概述的计算的作用是提取与曲线的图像特征相关联的行偏移参数,所述曲线由光照平面与物理场景中的受关注对象的相交而形成。常规方法包含以下步骤:对图像信号进行取样,形成数字图像,对数字图像进行滤波,以及从经滤波数字图像提取图像特征。
与图1B中概述的常规机器视觉过程相关联的主要限制在于,对于系统所形成的每一个物理坐标线,数码相机必须捕捉客观大小的2维强度图像。这可能使得捕捉场景的3D图像的时间长达获取相同大小场景的强度图像所需的时间的100倍之多,由此使基于激光线的3D图像形成方法在许多工业机器视觉应用中显得过于缓慢。
用以产生图像传感器捕捉的图像信号的常规数字表示的时间随图像大小、数字转换器速度和数字转换器的数目而变。常规图像传感器通过以下方式操作:对阵列的每一像素产生的电压信号进行取样;将电压量化为数百或甚至数千个电平以形成数字强度图像。数字读出的过程包含将像素的电压信号切换到连接到取样装置的导体上、等待所述信号发展和稳定、对所述电压信号进行取样、比较多个离散步骤中的经取样电压信号与参考信号以达成数字值。提高图像捕捉率的已知方法涉及将行(或列)的数目限制于适应场景中的对象的预期激光线位移所需的最小数目,但在实践中,有用的位移图像仍需要数百行像素读出。提高图像捕捉率的其它方法涉及多个模/数转换器的使用。然而,在实践中,模/数转换器的数目受存取个别像素电压所必要的导体的限制。在常规CMOS图像传感器中,导体不透明,通常安置在感光区域附近的光学路径中,且可仅以有限数目的层堆叠。前述情况通常将数字转换器的适用数目限制于小于或等于所述像素阵列的列或行的数目。已知关于数字化图像的高速方法的许多内容,但最终存在可使用常规的数字图像获取方法实现的对速度的某些实际限制。
在本发明机器视觉应用中,我们观测到,光平面所照射的场景将被相机视作相对稀疏图像,即,其中绝大部分图像传感器像素可由数值零表示的从场景接收极少(或无)光的图像。我们进一步观测到,可见光照平面与移动通过相机视场的实际受关注对象的相交大体上是分段平滑和连续函数,且我们寻求的图像信息内容可由图像每列的仅几个位充分表示。给定既定应用,显而易见的是,图像信号流的有用信息内容相对于信号的维数极其小,这意味着常规图像数字化方法耗费其大量时间对冗余信号信息进行取样和转换。如果可避免模拟图像信号的此类冗余读出和转换,那么有可能显著提高视觉系统的处理量。
在压缩感测领域中,已展示在某些条件下,由零和K个非零系数组成的信号向量可仅从测量值中恢复。在此公式中:
其中M<<N。
上文提及的条件是信号向量x的任何相关变化必须引起唯一测量向量y的形成,使得:
Ax1-Ax2≠0,其中所有x1≠x2。 (2)
给定上述情况,x可通过搜索产生匹配测量向量y的最为稀疏的向量而从y和A恢复:
满足y=Ax。 (3)
此类搜索的计算复杂性随着搜索空间维度按指数律增大,所述维度与信号向量x的稀疏度K成正比。此实情使得对于较大值的K,所述解决方案一般难以处理,即,除非1)x足够稀疏,以及2)测量矩阵A符合所谓的约束等距性,其需要存在常数δ以使得对于具有稀疏度K的信号向量x:
前述内容意味着对于小的常数δ,测量值和信号具有充分类似的范数,在此情况下,凸优化方法适用,由此可在其最小值处找到满足其与测量值一致的约束
满足y=Ax。 (5)
假设加性噪声向量n,其中‖n‖2≤∈,
满足‖y-Ax‖≤∈。 (6)
不论恢复方法怎样,压缩感测模型的必要要素是对信号稀疏度的先验了解,缺少这一点就难以或不可能保证信号向量x到测量向量y的唯一映射,或即使确实存在唯一映射也难以或不可能提供高效恢复。
鉴于预期图像信号的稀疏度,压缩感测的前述模型看似有前景。然而,明显存在与已知的图像传感器设计和制造方法相关的显著困难。一个困难在于,测量向量y和取样函数A均经认定由属于实数集的系数组成。要实现超过常规方法的速度提高将需要并行执行的巨量高动态范围模拟计算加上所得模拟信号的精确数字化。
与上文提到的实际实施方案相关联的困难中的一些通过1位压缩感测的理论解决,所述理论基本上是结合测量信号y的极端量化的常规压缩感测理论。在1位压缩感测中,每一测量值通过函数sign(.)量化为1位,且仅测量值的正负号存储在测量向量y中。
y=sign(Ax), (7)
其中y∈{1,-1}M。
前述内容表示模/数转换过程的简化,其为现实实施提供了一些希望。然而,注意,测量过程的本质是消除原始信号中的比例信息。因此,在此公式中,在比例因数内的仅部分重建是可能的。相对于将稍后阐述的本发明的图像传感器的设计,此实情具有重要性。
为了估计1位压缩感测相对于光平面照射的场景的图像内所含的信息的数字捕捉的加速度的实际潜能,有必要了解信号向量x、取样矩阵A和测量向量y之间存在的关系性质。
令x1和x2表示归一化到单位球面的两个信号向量中的任一个,x1≠x2,且令测量值y1=sign(Ax1)且测量值y2=sign(Ax2),则映射的sign(Ax)对于K稀疏信号x是所谓的量级K的二进制∈稳定嵌入,其条件是
dang(x1,x2)-∈≤dham(y1,y2)≤dang(x1,x2)+∈。 (8)
换句话说,任何两个信号之间归一化的向量角在某一容限∈内等于其测量值之间归一化的汉明距离。
在1位压缩感测中,已展示如果A由I.I.D(独立同分布)随机变量组成,例如伯努利分布(Bernoulli distribution),且∈>0,则y=sign(Ax)是概率Pr>1-ρ的二进制∈稳定嵌入,其中
前述方程式预测确保辨识某一大小和稀疏度的信号到指定分辨率所需的样本的数目的下限。
为了获得编码由光平面照射的场景形成的图像的列所需的样本M的最小数目的估计值,我们开始假设信号x可建模为稀疏图像向量,其包括移位到某行偏移量θ的窄激光线脉冲。此类理想激光线脉冲信号在图像每一列向量上的稀疏度将为K=1。
假设希望在某移位容限δ=1内估计θ,这意味着要保证最小程度的准确性,∈<0.50是必要的。
因此,为确保
dang(xθ,xθ+δ)-∈≤dham(yθ,yθ+δ)≤dang(xθ,xθ+δ)+∈ (8')
到大于0.90的概率,给定K=1,N=512,∈<0.50理论上仅需要:
位/图像列。 (9')
前述计算意味着相对于通常由常规CMOS图像传感器形成的8位/像素数字图像,有可能大量减少数据。就图像传感器的处理量(即帧率)通过处理的信息量进行调节来说,预期相同数量级的速度改进是合理的。
令人遗憾的是,与上文所描述的理想实例情况相关联的一些假设显著背离切实可行的现实。举例来说,由光平面照射对象表面形成的图像的列向量,尽管一般含有比沿法线照射的图像少的非零元素,但仍含有比编码激光线到最近像素的位置所必要的多许多的非零值。这是因为以下实情:即使是在最佳情况下,激光线的图像在其在图像的任何给定列上占据的行数方面仍具有有限和可变厚度。另外,对象散射或漫射的一些光通常照射对象表面的不在激光平面中但却在相机视场中的其它点,且由此促增图像中的非零值的总和。由于典型激光线图像已经相对稀疏,因此线性变换到不同基通常并不提供非零信号系数的有意义减少。噪声和与激光线图像相关联的某些不可避免的妨害参数直接促增图像信号中的非零值的数目,且间接促增捕捉测量值所必要的准确编码测量值中的激光线坐标的样本M的数目。此外,取决于数字处理器的实施方案,从测量值恢复数字信号的任务可能快速变得支配有效循环时间,从而使压缩感测方法无法实现提高视觉系统处理量的目的。
本发明的一个方面在于,不像图1B的系统,原始图像信号X并不编码于测量值Y中,因为若是这样做必然要求对额外图像信息进行编码,所述额外图像信息并不直接与提取光照平面与物理场景中的受关注对象的相交区的偏移参数相关。实际上,经滤波图像信号Z编码于测量值Y中。这样做的一个原因是,如上所解释,将信号的所有变化嵌入特定容错∈所需的样本数目是量级O(Klog(N))。通过对图像信号X滤波以减弱并不含有对于激光线偏移参数的提取来说必要的信息的空间频率,Z的稀疏度增大,使得KZ<KX且稳定地将经滤波信号编码在测量值Y中所需的样本数目将实际上总是少于(通常少很多)编码原始图像信号X所需的样本数目,从而使容错∈保持相同。
图2A描绘由根据本发明的各方面的机器视觉系统执行的过程、尤其是所述过程的计算的半流程图。所述机器视觉系统可以是例如包含图1A的系统100的硬件中的一些或全部的系统。
在图2A中概述的计算中:
●符号X,表示图像强度信号,其中其存在于图像传感器的N1×N2个像素元素上,其中例如图像传感器的像素元素形成可具有N1个像素行和N2个像素列的像素阵列。
●符号Ψ,表示包括系数且在一些实施例中由系数组成的图像滤波函数,所述系数用于计算相对于图像信号X的行的第一偏导数的中心差分近似值。
●符号表示稀疏随机序列,其在一些实施例中基于量级m的马尔可夫链(Markov chain),其中m>1。
●符号Θ,表示通过从r得到行向量而产生的随机基函数。
●符号Φ,表示从随机基底Θ与滤波函数Ψ的乘积形成的图像取样函数。
●符号Y,表示经滤波图像强度信号的测量值,其从取样函数Φ和图像信号X的乘积形成,通过sign(.)量化成两级{-1,1}。
●符号W,表示经滤波图像信号的估计值,其从测量值Y与随机基函数Θ的转置矩阵的乘积形成。
●符号 表示原始图像信号X与滤波函数Ψ的乘积的估计值。
●符号Δ,表示局部信号极值(即,信号Z在每一列上的P个相关信号峰值)的图像偏移参数。
在图2A中,框215表示图像信号X的信息,其为表示场景的光能量的信息。所述信息可通过图像传感器接收,例如图1A的图像传感器107。所述光能量可以是从场景散射的光,其中至少一些光通过透镜聚集到所述图像传感器上。图像还可能包含不合需要的离面光照伪影和噪声(未展示)。所述光照伪影可以是在内部从对象的一个部分漫射到另一部分的光,例如激光线的光,且所述噪声可例如通过环境光或通过所述图像传感器引入。
框217包含产生图像强度信号X的测量值Y的过程的表示。测量值Y表示图像信号X与取样函数Φ的乘积,其量化成两级。在大多数实施例中,取样函数是随机基函数与空间滤波函数的乘积。在一些实施例中,随机基函数是稀疏的,非零元素从伯努利分布或某一其它一般随机分布获得。在一些实施例中,预期取样函数一般使与形成激光线的图像部分相关联的空间频率通过,且基本上抑制与包含噪声和其它不合需要的图像信息的图像部分相关联的空间频率。在一些实施例中,框217的过程通过迭代地产生测量值Y的元素来提取图像信号X的信息。在一些实施例中,测量值Y的信息的产生可通过图像传感器装置和/或结合关联电路的图像传感器装置执行。
在一些实施例中,Y的元素在M次迭代中产生,其中例如所述M次迭代中的每一次迭代产生不同yi的元素。在一些实施例中,例如具有布置成N1行和N2列的像素元素的图像传感器和具有M行和N1列的取样函数的实施例,在每次迭代中,取样函数的不同特定行的信息以有效方式应用于图像传感器的列,以在基于每列执行正负号运算之后获得yi。在一些实施例中,yi的元素大体上同时获得。在一些实施例中,比较器用于执行所述正负号运算。
在一些实施例中,对于每次迭代,取样函数的每行φi的信息用于产生应用于图像传感器的像素元素的控制信号,其中每一行像素元素接收相同控制信号。因此,在一些实施例中,对于第一迭代,基于φ1,1的信息的控制信号可应用于第一行像素元素的像素元素,基于φ1,2的信息的控制信号可应用于第二行的像素元素,以此类推。类似地,对于第M迭代,基于φM,1的信息的控制信号可应用于第一行的像素元素,基于φM,2的信息的控制信号可应用于第二行的像素元素,以此类推。
在一些实施例中,且如图2A中所展示,从取样函数产生器框260提供图像信号取样信息。如图2A中所说明,取样函数产生器框与图像处理器220相关联,在各种实施例中,所述图像处理器可不同,可以是图1A的本地数字处理器108或数字计算机112。然而,应认识到,在各种实施例中,取样函数产生器或其部分可包含在图像传感器211中。在一些实施例中,图像传感器或与所述图像传感器相关联的存储器或电路提供存储装置以用于存储图像信号取样信息,例如图2A的框216所说明。在一些实施例中,所述图像传感器和图像处理器均不包含取样函数产生器框,而是预先产生的图像信号取样信息存储在所述图像传感器的存储装置中或与所述图像传感器相关联的存储装置中。在一些实施例中,图像信号取样信息可同时存储在两个存储元件中,其中第一存储元件在物理上更接近一些像素元素,且第二存储元件在物理上更接近其它像素元素。举例来说,如果形成像素阵列的像素元素的列被视为以限定正方形或矩形的方式布置,那么第一存储元件可在可被视为像素阵列的一侧之处的附近,且第二存储元件可在像素阵列的相对侧附近。在一些此类实施例中,更接近第一存储元件的像素元素可接收与第一存储元件相关联的控制信号,且更接近第二存储元件的像素元素可接收与第二存储元件相关联的控制信号。
图6是此处相对于图像行获取的说明表示根据本发明的方面的一些实施例的空间频率响应的示范性图式。图6包含常规压缩取样函数的频率响应轴线601、频率轴线602、平坦频率响应线605和频率响应曲线603,以及示范本发明的一些实施例的频率响应曲线604。
总的来说,例如图像传感器的信号感测设备提供一组基底向量,其能够对信号取样以尽可能完全编码来自测量值中的信号的信息。符合最小常规取样速率标准(例如奈奎斯特(Nyquist)标准)的规范取样函数在实际上表示完全平坦频率响应曲线,如频率响应曲线605中所说明,且在理论上,任何合规信号可从其测量向量完全重建。
压缩感测方法允许传统取样速率基准基于关于信号信息内容的如在稀疏度或压缩率方面表示的先验知识而宽松化,所述稀疏度或压缩率是准确表示一些可能未知的正交线性基中的信号所必要的系数的最小数目。为了提高此一般性,压缩取样函数必须具有近于平坦的频率响应,例如频率响应曲线603中所示,所述频率响应曲线从基于随机投影的常规压缩取样函数得出。此需求不证自明,这鉴于以下实情:一般来说,关于信号中包含的信息量的知识并不传达任何关于频率分布的信息。因此,常规压缩取样函数的频率响应必须近于平坦以保证一般稀疏信号可恢复性。
相比于规范取样函数605和常规压缩取样函数603的频率响应曲线,曲线604中描绘的示范本发明的一些实施例的频率响应显然并不平坦。这是因为,在此实例中,取样函数的形成不仅借助信号一般信息内容的先验知识,且还借助空间频率分布的先验知识,不仅关于信号,且还关于信号的信息内容。
返回参看图2A以及取样函数产生器的框261、262、259,在一些实施例中,向量r,其中N3=N1+2Md且d=support(ψ),空间滤波核ψ的大小。在一些实施例中,向量r的信息可理解为从两个向量b,和c,的逐元素乘积形成,如下:
r=(ri)=(bici), (10)
其中b基于随机分布:
P(bi=1)=P(bi=-1)=1/2, (11)
且c基于量级m=2d的马尔可夫链:
其中
随机基函数Θ通过根据以下方程式对向量r进行取样而得出:
其中
换句话说,随机基函数Θ的行是r的相对于彼此移位不少于m的N1个元素段。
取样函数Φ可被认为从Θ的行利用滤波核ψ进行卷积而形成,如下:
φi=θi*ψ, (14)
这在图2A中表达为:
Φ=ΘΨ, (14')
其中Ψ=I*ψ。
在一些实施例中,卷积核ψ基于第一导数的中心差分近似值执行空间滤波,例如ψ=(+1,+1,+1,0,-1,-1,-1),在这种情况下:
m≥2d=14。 (15)
总的来说,m应具有足够大小以确保取样函数Φ的范围得到保证,所述范围由图像传感器硬件限制于离散级。在优选实施例中,Φ的元素全在范围内,即,φi,j∈{-1,0,1},且取样函数Φ的行充分不相关。
在框223中,过程缓存图像信号的测量值Y。所述测量值由图像强度信号的测量值的列向量yj组成。在大多数实施例中,图像信号的测量值由图像传感器的电路或与图像传感器相关联的电路形成,且测量值可存储在图像处理器的存储器或与图像处理器相关联的存储器中。图2B的实施例和其它实施例的图像传感器和图像处理器在一些实施例中可通过串行数据链路耦合,或在其它实施例中通过并行数据链路耦合。另外,下文论述的框225到231的运算还可通过图像处理器的电路或与图像处理器相关联的电路执行。
在框225中,过程形成经滤波图像Z的第一估计值W。在图2A的实施例中,估计值通过随机基函数Θ的转置矩阵与测量值Y的乘积确定。在框227中,过程优化经滤波图像Z的估计值。在一些实施例中,且如图2A中所展示,由框255的过程形成的经滤波图像的估计值通过核为α的卷积进行优化。
在涉及激光线光照的一些应用中,激光线有时可通过有限宽度的矩形脉冲建模,其中激光线脉冲的宽度大于(或等于)滤波核ψ的支撑集。根据上述模型,图像平均核有时与滤波核ψ的预期输出匹配。举例来说,如果滤波核通过ψ=(+1,+1,+1,0,-1,-1,-1)给定,则框227的卷积核可以是α=(1,2,3,3,2,1)。
可注意到,框227的优化步骤可在框225中通过在计算随机基函数与测量值Y的乘积之前将核α折叠到随机基函数Θ的转置矩阵中而执行。然而,在框225的矩阵相乘通过稀疏矩阵相乘方法执行的一些实施例中,执行框227中利用卷积的运算会提供显著计算优势。
框229缓存经滤波图像的最终估计值。估计值中的激光线边缘的位置通过框231中的过程例如使用峰值检测算法来确定。
图2B描绘由根据本发明的某些方面的机器视觉系统执行的过程、尤其是所述过程的计算的半流程图。所述机器视觉系统可以是例如包含图1A的系统100的硬件中的一些或全部的系统。
图2B的过程利用以下先验知识:由穿过3维受关注对象的光照平面形成的时域图像流更一般化地比图2A的方法所预期的稀疏;图像信号不仅在信号X的行维度方面是稀疏和/或可压缩的,且还在列方面以及在时间方面是稀疏和/或可压缩的。换句话说,X的邻近列j很可能极为相似,即,彼此高度相关。同样地,从一个帧时间到另一帧时间,图像信号X通常极为相似。帧时间可以是例如其中针对图像信号的每一列获得M个样本的时间段。
图2B展示视觉系统的计算,类似于图2A的计算,不同之处在于,随机基函数Θ和取样函数Φ分割成多个独立段,且这些段以时空交织方式使用。优选地,且在一些实施例中,时空交织保证在任何给定帧时间t中,图像的任何一列j均不以与其空间相邻者j-1或j+1相同的模式进行取样,且当前帧时间中所用的取样模式与前一帧时间的取样模式和下一帧时间的取样模式不同。
与图2A相比,图2B中概述的计算展示可被认为是在3个帧时间中使用的9个较小取样函数,3个取样函数在任何给定时间t同时应用于X。在实践中,此方法允许每帧时间t的样本数目M相对于图2A中概述的方法来说减少,同时保持与信号Z的二进制∈稳定嵌入相关联的相同容错,且由此提供相对于图2A的视觉系统来说显著更多计算效率。
尽管图2B展示取样函数的空间和时间两者交织的使用,然而在替代实施例中,取样函数的使用可仅在空间上或仅在时域上交织。
在图2B中概述的过程中:
●符号Xt,表示图像强度信号,其中其在时间t处存在于像素阵列的N1个像素行和N2个像素列上。
●符号Ψ,表示包括系数且在一些实施例中由系数组成的图像滤波函数,所述系数用于计算第一偏导数的中心差分近似值。
●符号表示稀疏随机序列,其在一些实施例中基于量级m的马尔可夫链,其中m>1。
●符号Θh,k,h=(j%3+1)且k=(t%3+1),表示通过从r得到行向量而产生的随机基函数Θ的阵列。
●符号Φh,k,表示从随机基底Θh,k与滤波函数Ψ的乘积形成的图像取样函数的阵列。
●符号Yt,表示在时间t处的经滤波图像强度信号的测量值,其从取样函数Φ1,k、Φ2,k和Φ3,k与图像信号Xt的乘积形成,通过sign(.)量化成两级{-1,1}。
●符号Wt,表示经滤波图像信号的估计值,其从测量值Yt与随机基函数Θ1,k、Θ2,k和Θ3,k的转置矩阵的乘积通过α卷积而形成。
●符号 表示原始图像信号X与滤波函数Ψ的乘积的估计值,由Wt、Wt-1和Wt-2的和形成。
●符号Δt-1,表示局部信号极值(即,信号Z在时间t-1处在每一列上的P个相关信号峰值)的图像偏移参数。
因此,如同图2A的过程,在框255中,图2B的过程接收表示场景的光能量的信息,且在框256中,过程基于场景的图像的相关光能量迭代地产生图像强度信号的测量值的向量。就如图2A的过程,框255和256提供的函数可使用图像传感器251执行。
然而,在图2B的过程中,使用多个取样函数执行测量值的产生。在图2B的实施例中,使用在空间上和时域上交织的九个取样函数。在一些实施例中,在任一帧时间t处使用三个取样函数,其中前一帧时间和后续帧时间使用三个取样函数中的不同集。九个取样函数或产生所述取样函数的信息可动态地产生和/或存储在图像传感器的存储器291或与图像传感器相关联的存储器中。
在框263中,过程缓存图像信号X在帧时间t处的测量值Yt。在大多数实施例中,图像信号的测量值Y通过图像传感器的电路或与图像传感器相关联的电路形成,且存储在图像处理器的存储器或与图像处理器相关联的存储器中。另外,下文论述的框265到281的运算还可通过图像处理器的电路或与图像处理器相关联的电路执行。
在框265中,过程计算经滤波图像信号Z的部分估计值。在图2B的实施例中,估计值W通过获取相应的随机基函数Θh,k的转置矩阵与测量值Yt,的乘积而确定,其中针对每一帧时间t形成新的估计值W。
在框267中,过程以核α卷积框265发出的部分总和,这除了如早先所描述相对于图2A优化经滤波图像的估计值之外,还组合了相邻列向量,使得每一列向量替换为其自身与紧邻其左右的相邻者的和。
在框279中,过程组合框267在先前三个帧时间中的部分和输出以形成经滤波图像信号Z在帧时间t-1的最终估计值,从而将结果存储在框280中。就如图2A,光照平面的参数通过框281中的过程例如使用峰值检测算法来确定。
图3是描绘表示本发明的某些方面的图像传感器架构的高层级框图。图3的图像传感器包括:取样函数存储缓冲器300;取样函数移位寄存器输入缓冲器311、312、313;取样函数移位寄存器321、322、323;其中包含像素列331、332、333、334的像素阵列301;模拟信号比较器阵列340,包含模拟信号比较器341、342、343和344;1位数字输出信号线351、352、353、354;以及输出数据多路复用器302。像素列中的每一者包含多个像素元素。总的来说,每一像素元素包含辐射敏感传感器(大多数实施例中为光敏式)和相关联电路。
像素阵列301的像素元素在局部电荷存储位点累积光生电荷。在一些方面,所述图像传感器像素上的光生电荷可视为图像强度信号。在一些实施例中,每一像素元素包含将累积电荷转换为像素电压信号的固定电容。每一像素电压信号控制局部电流源,以便提供像素电流信号。像素电流源可在取样函数的控制下选择和切换到每像素列可用的两个信号输出线中的一个上。输出线由一列上的所有像素共享,使得形成于一列上的两个电流输出信号中的每一者表示由所选像素供应的电流的总和。
如可从三个取样函数移位寄存器的使用发现,图3的实施例适合于用在如相对于图2B所论述的实施空间交织(和时空交织)的系统中。图3的架构还可用于图2A的非交织实施例,其中所述三个移位寄存器填充有相同信息,或其中所述三个移位寄存器替换为单个寄存器。
在本发明的一些实施例中,取样函数φi的行从使用移位寄存器的存储器缓冲器的内容动态形成。在任何时间存在有效的三个不同取样函数行。含有φi,1,k的取样函数移位寄存器321向列{1,4,7…}中的所有像素提供输出控制信号。含有φi,2,k的取样函数移位寄存器322向列{2,5,8…}中的所有像素提供输出控制。含有φi,3,k的取样函数移位寄存器323向列{3,6,9…}中的所有像素提供输出控制信号。在本发明的一些实施例中,取样函数存储缓冲器300是保持像素控制信号的数字存储器缓冲器,每一像素控制信号由2位组成,表示(如果存在的话)要选择两个电流输出线中的哪一个。在一些实施例中,保持控制信号的数字存储器作为长度2(m)位的字存取,其中m≥2(supp(ψ))。在本发明的一些实施例中,m=16≥2(support(ψ))且存储器数据宽度为32位。
为了动态产生取样函数的新行i,图3的图像传感器从存储缓冲器300复制3个字到移位寄存器输入缓冲器311、312、313中,接着使输入缓冲器311、312、313和移位寄存器321、322、323的内容共同移位m位。在一些实施例中,取样函数移位寄存器321、322、323进一步包括N1元素长影子寄存器以提供一种途径来在下一移位运算发生时维持应用于像素阵列301的像素控制信号的状态。在本发明的一些实施例中,以循环模式存取取样函数存储器缓冲器300,使得以第一行填充移位寄存器321、322、323的过程仅需要在通电初始化时执行一次。
在初始化之后,对于移位寄存器的每一循环,取样函数新的行形成且应用于像素阵列301,由此使指示所选像素输出的总和的每列两个新电流输出信号形成于电流比较器阵列340的输入上。列的两个电流输出信号进行比较以形成表示其相对量值的1位值。列输出位结合在一起表示一行数字输出,且形成像素阵列的图像传感器像素上的图像强度信号的测量值的行向量。多行数字输出通过多路复用器302多工化为较小字以形成数字输出流。
在操作中,每个帧时间t产生3个不同取样函数的M行以形成测量矩阵Yt,在一些实施例中,对于像素阵列的N2个列中的每一者,所述测量矩阵由M位组成。根据图2A和2B,测量矩阵yi,j中的每一位可被认为是像素阵列xj,t的一个列与取样函数φi,h,k中的一个取样函数的一个行的向量积的正负号,如先前相对于图2B所解释。
如早先所指出,前文方程式中所用的sign(.)量化的一个影响是,测量值大体上不能对图像信号中存在的空间频率的DC系数进行编码。出于此原因,本发明的一些实施例提供多行暗像素,其可经配置以在被取样函数选中时提供预先知晓的贡献到电流输出。以此方式,我们期望,在完全恢复和经恰当缩放的图像信号中,每个列中的某些像素将具有已知恒定值。这允许针对每一列计算比例因数,其可从预期值与经重构信号值的比率得出。可使用多个行,因为重建比例系数(其必须相对较低以避免在重新按比例缩放计算中放大噪声)中的噪声通过与携带比例信息的行的数目的平方根成比例的因数而减小。
图4是展示根据本发明的方面的图像传感器的部分的更详细方面的电路图。在一些实施例中,图4的图像传感器的部分是图3的图像传感器的部分。图4的实施例包含像素阵列400(其中为了清晰起见,仅展示像素阵列的四个元素)、电流传送器401、电流限制器402、电流镜403、电流比较器404、像素输出控制线405、钉扎光电二极管406、复位晶体管407、传输门408、跨导体409、输出选择晶体管410、411和浮动扩散节点412。
在一些实施例中,每一像素包括钉扎光电二极管406。钉扎光电二极管可通过复位晶体管407复位,允许在曝光周期中累积光生电荷,其中电荷通过传输门408传输到浮动扩散节点412以供临时存储。浮动扩散节点处的电压VFD控制跨导体409以提供与电压信号相称的电流源。取决于像素控制线405的状态,来自像素的电流可通过晶体管410或411切换到一列上的所有像素共享的两个电流输出线中的一个。在概念上,列输出电流表示来自所选像素的电流的简单总和,但在实践中,存在额外因素。更现实的估计值包含读出电路块引入的偏移和增益错误和跨导体409引入的非线性错误,如下:
其中a、b和c是对I=f(VFD)二阶调整的系数,VFD是存储在像素的浮动扩散412中的电压。所述系数取决于晶体管的操作点(Vdd、V0+和V0-)。尽管系数a、b和c对于所有像素来说近似相等,但可能需要考虑一些失配。
使用两个电流传送器,每一列的电压V0+和V0-得以固定。在一些实施例中,电流传送器基于单个PMOS晶体管,其中:
且 (17')
电流传送器401利用电流Icc偏置以确保实现稳定需求所必要的最小速度。使用电流镜403平衡正分支和负分支,且使用电流比较器404获得正负号。包含电流限制器402以避免由具有过量数目的驱动列输出线的亮像素的图像列所产生的中断问题。
本发明的另一方面是,测量值Yt的行在一些实施例中可与图像信号Xt的时域发展同时形成,使得测量值Yt的每一行向量表示图像信号Zt在其在像素复位与取样之间的时间间隔中整合在图像传感器的像素中时的瞬时状态。在大多数实施例中,测量值Y的每一元素yi,j有效地通过sign(.)函数归一化。然而,给定信号与测量值向量之间的关系,如在背景技术中所解释,测量值Y可概念化为基于M个经归一化信号向量的总和,如下:
上述概念公式表明Zt的列向量的元素在量级方面往往会保留其相对关系,即使是在图像传感器的固有信号存储装置变得饱和之后也如此。可从以下实情直观理解此行为:某一有限百分比的测量值Yt在图像传感器的像素仍在其线性范围中操作时的时间段中产生。
图8是说明根据本发明的方面的扩展动态范围获取的时序图。时序图包含触发信号TRIG 841、复位信号RST 842和选择信号SEL 843。一旦光电二极管复位,如果光电二极管的传输门在某一图像的M个样本期间保持有效,那么取样矩阵Φ的每一向量应用于与逐渐变高的曝光时间相关联的图像信号。
触发信号指示传感器获取图像的开始。复位信号使传感器中的像素的浮动扩散节点复位。选择信号选择传感器的所选像素的输出。如图8中所说明,开始于时间t1且持续到时间tm,845,选择信号从各种所选像素中获得M个样本。时间t1一般略微在复位信号变低之后以允许像素有足够曝光时间和因此电荷累积时间来获得有效响应。此时间需求标示为Texp_min,最小曝光时间844。像素在t1到tm的时段期间保持曝露。因此,一般在从1到m的每一后续取样时间期间,像素具有增大的曝光时长,从而有效地增大传感器的动态范围。
在一些实施例中,样本的获得和电荷的累积可同步发生,例如图8的时序图中所说明,其中在复位信号的应用之间获得用于测量值的M个样本。在其它实施例中,获得用于测量值的M个样本可被中断,其中在获得M个样本的时段期间应用复位信号,且电荷累积时段可与其间获得用于测量值的样本的时段异步。
在本发明的一些实施方案中,提供具有与图5中展示的架构类似的架构的并行处理装置以处理测量流。图5是与本发明的方面一致的处理架构的框图。
图5包含:测量输入缓冲器501;测量处理缓冲器502;基函数缓冲器504;矩阵乘法器500,包含测量寄存器503、乘法器505、求和点506和累积寄存器507。图5的处理器中还包含:部分和寄存器508;部分和缓冲器509;信号平均处理器510;信号重建行寄存器511;信号重建行缓冲器512;峰值检测处理器513;信号参数寄存器514和输出缓冲器515。
在操作中,传入测量流写入到测量输入缓冲器501。当输入缓冲器501中可获得全帧时间测量值Yt时,将其传输到测量处理缓冲器502。在此处考虑的实施方案中,测量位的行从测量缓冲器502每次一行传输到测量处理缓冲器503以用于处理。为了在缓冲器508中形成wi,t的每一元素,缓冲器502中的测量值Y的每一列yj的每一位与一个列向量θj,h,k的对应位相乘,如下:
其中h=j%3+1且k=t%3+1。
寄存器511中的重建信号行向量在信号平均处理器510中通过对矩阵乘法器500的输出wi,t以及来自先前两个帧时间的对应行wi,t-1和wi,t-2求和、接着通过核α卷积而形成,如先前相对于图2A和图2B所解释。高效实施此类图像平均功能的方法对于高速数字图像处理领域的技术人员来说应是众所周知。
峰值检测处理器513通过估计与光照平面和受关注对象的相交点相关联的偏移参数来处理存储在缓冲器512中的重建信号的行。注意,重建信号是通过空间滤波函数Ψ处理的原始图像信号X的估计值,其在一些实施例中是关于行的图像信号第一导数的中心差分近似值。用于从此类经滤波图像信号Z=ΨX提取偏移的已知方法包含以下步骤:查找局部最小值和最大值并对重建构图像的每一列上所寻最小值和最大值进行分类;配对相邻最小/最大对以找出受关注点;按差分量级分类每一列上的受关注点;以及由那P个受关注点的PxN2个行偏移坐标形成偏移坐标向量额外步骤可包含额外步骤可包含插值以估计亚像素参数以及精简坐标组以消除相对于关于受关注对象的表面的先验期望不一致的那些点。高效实施此类峰值检测功能的方法对于机器视觉领域的技术人员来说应是众所周知。
在一些实施例中,可基于基函数Θ和测量值Y形成信号Z的更准确近似值。
图7是展示用于连续形成图像信号的更准确近似值的方法的简图。图7包含流程图700和解释性图解说明750。流程图700包含:701初始化重建图像缓冲器;702对重建图像进行空间滤波;703计算重建误差;704测试重建误差;705计算信号梯度;706在存储缓冲器707中形成新的重建图像;以及708读取存储缓冲器707的最终结果。
流程图700的重建方法可借助于示意图750阐述如下:
701.原始测量向量Y从测量空间变换到信号空间以形成信号的第一近似值Z1。
702.信号的第一近似值Z1经滤波以形成第二近似值Z2(未展示)。包括信号的线性或非线性变换的滤波旨在保留信号的相关信息,同时减弱重建噪声。
703.第二近似值Z2变换回到测量域以形成第二测量向量,其从原始测量向量Y减去以形成测量梯度dY。
704.如果测量梯度的量值‖dY‖2足够小,那么将信号的当前第一近似值报告为信号Z的最佳近似值。
705.如果704无效,那么测量梯度dY变换到信号空间中以形成信号梯度dZ。
706.将信号梯度dZ添加到信号的第二近似值Z2以产生信号新的第一近似值Z1且重建过程返回到步骤702。
流程图700的方法基于图像信号Z的先验知识,尤其是信息内容与信号维度相比较小的知识。如在701中计算的信号的第一近似值假设包括稀疏信号加上取样噪声以及假设会增大复杂性的其它噪声。702的滤波过程经设计以将信号近似值限制于原始信号中预期的信息内容或稀疏性等级。尽管第二信号近似值可能具有与原始信号相同的稀疏性,但并不保证其实际上足够接近原始信号以表示充分准确的近似值。由于原始信号Z未知,因此不存在测试近似值Z2的准确性的直接方式。然而,存在间接方法,即,将信号的近似值变换回到测量空间中且计算到测量向量的距离,而测量向量完全已知。由于测量空间中的距离与信号空间中的距离之间存在已知关系(如背景技术中所解释),因此可从测量空间中的梯度向量推断实际上指向原始信号方向的信号空间中的梯度向量。通过将信号梯度向量添加到当前近似值,我们形成更接近原始信号的新信号近似值。滤波、形成和应用梯度的前述过程可重复,直到由经滤波图像形成的测量向量充分接近实际测量向量或直到形成于测量空间中的梯度向量停止变得更小,这指示已超出取样函数的准确度极限。
在压缩感测文献中,类似于上文的已知方法包含BIHT(二进制硬阈值化),其命名参考了通过使除K系数外的所有系数归零的方法对重建信号滤波的过程,其中K是特定基底中的信号的已知稀疏度。尽管此种滤波方法可能有效,但在实践中,其可能难以高效地实施。在一些应用中,应用于Z1的简单中值滤波器可起到与更复杂的系数截断方法相同的作用,但中值滤波器更易于实施且其并不依赖原始图像信号的稀疏度K的准确知识或其中应用阈值化过程的最大限度压缩基底的知识(或搜索)。
应注意,包含具有像素阵列400的图像传感器107的机器视觉系统100可形成通过光照平面稀疏照射的场景的数字图像110,使得所形成的数字图像包含关于数字图像内光照轮廓(因场景的各种表面之间在其被光照平面照射的部分上的高度不连续性所致)的各段的相对位移的信息,但不含关于那些表面的经照射部分的相对反射率的信息。如早先在本说明书中指出,所公开的技术可通过使用下述系统和技术修改以形成数字图像,其包含关于以下两者的信息:(1)数字图像内光照轮廓因场景中的各种表面对应的经照射部分的高度不连续性所致的各段的相对位移;以及(2)那些表面的经照射部分的相对反射率。
图9A展示操作环境中的机器视觉系统900的实施方案的实例。机器视觉系统900用于:利用光照平面112照射3D场景(或简称场景),所述场景包含放置在传送器102上的受关注对象103a;以及形成以此方式照射的场景的数字图像。此外,机器视觉系统900包含形成光照平面112的激光线产生器101。此外,机器视觉系统900含有包含成像透镜106和图像传感器907的数码相机905。图像传感器907包含安置在成像透镜106的图像平面中的矩形像素阵列。另外,光照平面112与受关注对象103a和传送器102相交于成像透镜106的物平面104处。以此方式,成像透镜106收集场景散射的光且将散射光聚集在图像传感器907的像素阵列上。
图9B展示相机905的视场中可见的场景部分903a,就如场景经均匀照射一样。等效地,图9B展示可见场景部分903a的结构方面。由此,可见场景部分903a包含传送器102的一部分,其具有作为低效光散射体的深灰色表面(例如传送器的材料是强光吸收体)。可见场景部分903a还包含对象103a的一部分。此处,对象103a具有高于传送器102的有限(非零)高度。另外,对象103a的顶部表面具有作为高效光散射体的白色背景和作为中效光散射体的浅灰色前景(例如对应于对象顶部表面上印制的标记)。光照平面112与场景的相交区通过图9B中说明的的可见场景部分903a中的虚线标示。此处,相交区呈现为三段,其中第三段水平伸展于第一段与第二段之间,且从第一段和第二段竖直偏移。第一和第二段是光照平面112与传送器102的相交区,且第三段是光照平面与对象103a的相交区。
再次参考图9A,图像传感器907接收(即,捕捉或感测)表示由成像透镜106在曝光时间段中形成的平均光强度信号的图像信号,且形成二进制测量信号。机器视觉系统900进一步包含数字处理器,其具有在数码相机905内部的部分908和在数码相机外部的另一部分911。举例来说,内部部分可以是本地图像处理器908,且外部部分可以是数字计算机911,使得数字处理器的内部和外部部分通过数字通信信道109以通信方式彼此耦合。在可见场景部分903a通过光照平面112稀疏照射时,数字处理器908/911经配置以存储且处理二进制测量信号以形成和可能显示对应于所述可见场景部分的数字图像910。在图9A中说明的实例中,数字图像910包含可根据校准变换为物平面104的对象表面坐标的图像坐标中的位移信息,以及通过光照平面112照射的场景的图像的强度信息,所述强度信息对应于传送器102、对象103a的背景和前景的相对反射率。
在描述图像传感器907的详细方面和待在机器视觉系统900中实施以获得上文指出的数字图像910的技术的详细方面之前,首先描述通过使用机器视觉系统100获得对应于可见场景部分903a的数字图像的方面。
图10A展示在图9B中说明的可见场景部分903a通过光照平面112稀疏照射时由图4中说明的像素阵列400(其可为图1A中说明的机器视觉系统100的图像传感器107的部分)接收到的图像信号XS'的方面。如在本说明书上文所描述,像素阵列400具有N1个行和N2个列,且包含布置在像素阵列的行和列的相交区处的光敏像素。由此,图像信号XS'是指示从图9B中说明的可见场景部分903a的对应点散射到像素阵列400的光敏像素的光的能量值的N1×N2阵列。以此方式,由于可见场景部分903a的大部分是暗的(即,未经光照平面112照射),因此像素阵列400接收到的大多数图像信号XS'具有低值(其在图10A中以黑色表示),称为背景值。可见场景部分903a的三个经照射部分对应于图像信号XS'内的光照轮廓的三个段,其在此实例中沿着像素阵列400的行定向。
此处,图像信号XS'内光照轮廓的第一段和光照轮廓的第二段共线且对应于传送器102的第一经照射部分和第二经照射部分。图像信号XS'沿着光照轮廓第一段和光照轮廓第二段的值(在图10A中以深灰色表示且)比背景值高,且指示从传送器102的经照射部分散射的光的较小能量。举例来说,图像信号XS'的列[XS′]j1(其对应于图9B中说明的可见场景部分903a的竖直条j1)与光照轮廓的第一段相交且在图10B的图215-j1中表示,使得背景值约为零,且对应于传送器102的经照射部分的图像信号值约等于全标度的1/4。此外,图像信号XS'内的光照轮廓第三段在光照轮廓第一段与光照轮廓第二段之间且相对于这两段移位,且对应于对象103a的顶部表面的经照射部分。图像信号XS'沿着光照轮廓第三段的一些值(在图10A中以浅灰色表示且)指示从光照平面112照射的对象103a的部分的顶部表面的前景散射的光的中等能量。举例来说,图像信号XS'的列[XS′]j2(其对应于图9B中说明的可见场景部分903a的竖直条j2)与光照轮廓第三段相交且在图10B的图215-j2中表示,使得背景值约为零,且对应于对象103a的顶部表面的前景的经照射部分的图像信号值约等于全标度的3/4。图像信号XS'沿着光照轮廓第三段的一些其它值(在图10A中以白色表示且)指示从光照平面112照射的对象103a的部分的顶部表面的背景散射的光的较高能量。举例来说,图像信号XS'的列(其对应于图9B中说明的可见场景部分903a的竖直条j3)与光照轮廓第三段相交,且在图10B的图215-j3中表示,使得背景值约为零,且对应于对象103a的顶部表面的背景的经照射部分的图像信号值约等于全标度。
作为机器视觉系统100的输入所接收的图像信号XS'(10A图中所说明)可例如根据上文结合图2A公开的技术通过数字处理器108/111处理以获得数字图像110。然而,如本说明书上文所指出,机器视觉系统100在执行上文结合图2A描述的技术时所用的sign(.)量化的一个影响是,所获得的数字图像110仅包含与图像信号XS'内的光照轮廓各段的位置相关的信息,但不含与相对于背景值的光照轮廓值相关的信息。举例来说,图229-j1中表示的数字图像110的列在与图215-j1中表示的图像信号XS'的对应列的峰值相同位置处具有峰值,然而,尽管在图215-j1中,峰值的图像信号值约等于全标度的1/4,但在图229-j1中,峰值的数字图像值约等于全标度。作为另一实例,图229-j2中表示的数字图像110的列在与图215-j2中表示的图像信号XS'的对应列的峰值相同位置处具有峰值,然而,尽管在图215-j2中,峰值的图像信号值约等于全标度的3/4,但在图229-j2中,峰值的数字图像值同样约约等于全标度。在图229-j3中表示的数字图像110的列的情况下,其峰值在与图215-j3中表示的图像信号XS'的对应列的峰值相同位置处,且巧合的是,图215-j3中的峰值的图像信号值约等于全标度,就如图229-j3中的峰值的数字图像值一样。
以此方式,图像信号XS'中与光照平面112照射的可见场景部分903a的表面的相对反射率相关的信息在数字图像110由机器视觉系统100根据上文结合图2A公开的技术形成时丢失。然而,包含图像传感器907的机器视觉系统900可用于实施下文结合图12描述的技术以接收对应于光照平面112稀疏照射的可见场景部分903a的图像信号且形成数字图像,所述数字图像保留与图像信号内的光照轮廓各段(对应于场景的经照射部分)的位置和强度(即,图像信号值)两者相关的信息。在描述所指出技术之前,接下来详细描述图像传感器907。
图11展示机器视觉系统900的图像传感器907的实施方案的实例。图像传感器907经配置以接收(即,感测或捕捉)图像信号XS且输出二进制测量信号Y。例如,图像信号XS指示在可见场景部分903a被光照平面112稀疏照射时从所述可见场景部分散射的光的能量。在图11中说明的实例中,图像传感器907包含像素阵列1100、取样模式产生器1120和数字转换器1128。
此处,像素阵列1100以N1行和N2列布置。举例来说,像素阵列1100可具有N1=512行和N2=512列或N2=768列。像素阵列1100包含N1个像素输出控制总线的阵列1105和N2个像素列电路的阵列1110。阵列1105的N1个像素输出控制总线一对一对应于像素阵列1100的行。以此方式,每一像素输出控制总线1105-i经布置且经配置以将第i像素输出控制信号提供到像素阵列1100的第i行上的像素,其中i=1…N1。在图11中说明的实例中,每一像素输出控制总线1105-i包含两个导体。在其它实施方案中,像素输出控制总线1105-i可包含一个导体或多于两个导体。
此外,阵列1110的N2个像素列电路一对一对应于像素阵列1100的列。每一像素列电路1110-j包含用于对输出信号求和的像素输出总线1112-j,其中j=1…N2。在图11中说明的实例中,像素输出总线1112-j包含两个导体。在其它实施方案中,像素输出总线1112-j可包含一个导体或多于两个导体。
另外,每一像素列电路1110-j包含以一对一的对应性与像素输出控制总线阵列1105耦合的N1个像素的线性阵列。像素的线性阵列包含(N1-ND)个光敏像素的线性阵列1101和ND个暗像素的线性阵列1106。在图11中说明的实例中,(N1-ND)个光敏像素的线性阵列1101对应于像素阵列1100的前(N1-ND)个行,且ND个暗像素的线性阵列1106对应于像素阵列的后ND个行。以此方式,像素阵列1100称作具有(N1-ND)行光敏像素1101-(i1,j),其中i1=1…(N1-ND)且j=1…N2,以及ND行暗像素1106-(i2,j),其中i2=(N1-ND+1)…N1。此处,暗像素的行数ND经选择为像素阵列1100的总行数N1的一小部分,例如,ND/N1=1/128或1/32或1/8等。
标记为1101-(i1,j)的光敏像素是像素列电路1110-j的部分,且布置在像素阵列1100的第i1行上,其中i1=1…(N1-ND)且j=1…N2。每一光敏像素1101-(i1,j)包含响应于光敏像素接收到的(例如感测到或捕捉到的)光能量的光信号源1102-(i1,j)(其在此量化为图像信号XS的系数),以及输出选择电路1103-(i1,j),后者耦合到像素输出控制总线1105-i1以控制光信号源到像素输出总线1112-j的耦合,所述光敏像素通过所述耦合将像素输出信号I-(i1,j)提供到所述像素输出总线。注意,此处由光敏像素1101-(i1,j)形成的像素输出信号I-(i1,j)与图像信号XS的系数成比例,光信号源1102-(i1,j)包含钉扎光电二极管406、复位晶体管407、传输门408、跨导体409和浮动扩散节点412。钉扎光电二极管406可通过复位晶体管407复位,允许在曝光周期中累积光生电荷,其中电荷通过传输门408传输到浮动扩散节点412以供临时存储。浮动扩散节点处的像素电压VFD控制跨导体409以提供与像素电压相称的电流源。输出选择电路1103-(i1,j)包含连接到像素输出总线1112-j的两个导体中的对应者的输出选择晶体管410、411。取决于像素输出控制总线1105-i1的状态,像素输出信号I-(i1,j),其在此是由光信号源1102-(i1,j)的由跨导体提供的电流源所形成的电流,可通过输出选择晶体管410或411耦合(也称为切换)到像素输出总线1112-j的两个导体中的相应一个或从像素输出总线解耦。
标记为1106-(i2,j)的暗像素是像素列电路1110-j的部分,且布置在像素阵列1100的第i2行上,其中i2=(N1-ND+1)…N1且j=1…N2。每一暗像素1106-(i2,j)包含响应于暗像素所接收的参考信号的暗信号源413,以及输出选择电路1107-(i2,j),其耦合到像素输出控制总线1105-i2以控制暗信号源到像素输出总线1112-j的耦合,暗像素通过所述耦合将像素输出信号I-(i2,j)提供到所述像素输出总线。应注意,此处由暗像素1106-(i2,j)形成的像素输出信号I-(i2,j)与参考信号成比例,暗像素1106-(i2,j)接收到的参考信号在此为参考电压,控制暗信号源413(在此为跨导体)以提供与所述参考电压相称的电流源。输出选择电路1107-(i2,j)包含连接到像素输出总线1112-j的两个导体中的对应者的输出选择晶体管414、415。取决于像素输出控制总线1105-i2的状态,像素输出信号I-(i2,j),此处为暗信号源413形成的电流,可通过晶体管414或415耦合(也称为切换)到像素列电路1110-j的像素输出总线1112-j的两个导体中的相应一个,或从所述像素输出总线解耦。
以此方式,形成于像素输出总线1112-j上的电流表示来自线性阵列1101的所选光敏像素的电流和来自线性阵列1106的所选暗像素的电流的总和,如下文更详细地描述。
像素阵列1100进一步包含一对一对应于暗像素1106-(i2,j)的ND个行的ND个导体1126-i2的阵列,其中i2=(N1-ND+1)…N1且j=1…N2。以此方式,每一导体1126-i2经布置且经配置以将参考信号提供到ND行暗像素当中的第i2行的N2个暗像素1106-(i2,j)。应注意,此处将大体上相同(在变化ΔXD内,即其中例如1%或2%)的参考信号提供到第i2行的全部N2个暗像素。
此外,取样模式产生器1120包含参考信号源1124。在图11中说明的实例中,参考信号源1124包含ND个端口,像素阵列1100的ND个导体1126-i2以一对一的对应性耦合到所述端口。以此方式,参考信号源1124可将相同参考信号提供到ND行暗像素中的每一行的N2个暗像素1106,例如或将不同参考信号提供到ND行暗像素中的一些或所有行的N2个暗像素1106,例如作为另一实例,参考信号源1124包含单个端口,像素阵列1100的ND个导体1126-i2以一对一的对应性耦合到所述端口。在后一实例中,参考信号源1124将相同参考信号提供到ND行暗像素中的每一行的N2个暗像素1106,例如,在上述实例中,ND行暗像素的参考信号大体上相同,例如在2%或5%的变化内,其中i2和i2'=(N1-ND+1)、…、N1。
应注意,由参考信号源1124提供到ND行暗像素的ND个参考信号的值是由参考信号源提供到像素阵列1100的参考信号XD的系数。还应注意,参考信号XD的统计值(例如均值(XD)、中值(XD)、截断均值(XD)等等)预定具有与像素阵列1100的光敏像素1101接收到的图像信号的统计值(例如均值(XS)、中值(XS)、截断均值(XS)等)相同的数量级。
另外,取样模式产生器1120进一步包含像素输出控制器1122。像素输出控制器1122与N1个像素输出控制总线的阵列1105耦合,且存储具有M个行和N1个列的取样模式矩阵Φ的信息。应注意,取样模式矩阵Φ经构造以使得其邻近行Φi、Φi+1(其中i=1…M)彼此不相关(或在一些实施方案中,彼此大体上不相关)。已在本说明书上文结合图2A到2B、3和6描述了取样模式矩阵Φ的实例。此外,取样模式矩阵Φ的信息由像素输出控制器1122存储在其存储器缓冲器中或存储在与取样模式产生器1120相关联的永久性存储媒体中。
取样模式矩阵Φ的行Φi(其中i=1…M)由像素输出控制器1122用以产生N1个像素输出控制信号,所述像素输出控制信号大体上同时提供到阵列1105的相应N1个像素输出控制总线。以此方式,对于行Φi,系数用以产生待提供到像素输出控制总线1105-i1的像素输出控制信号,其中i1=j1=1…(N1-ND);系数用以产生待提供到像素输出控制总线1105-(i1+1)的像素输出控制信号,以此类推;系数用以产生待提供到像素输出控制总线1105-i2的像素输出控制信号,其中i2=j2=(N1-ND+1)…N1;系数用以产生待提供到像素输出控制总线1105-(i2+1)的像素输出控制信号,以此类推。像素输出控制器1122可实施为专用集成电路(ASIC)或另一类型的状态机,其(i)从取样模式矩阵Φ的所存储信息产生N1个输出控制信号,以及(ii)使用例如一或多个移位寄存器输入缓冲器(类似于上文结合图3描述的那些)将产生的输出控制信号提供到阵列1105的相应N1个像素输出控制总线。
取样模式矩阵Φ的系数具有值+1、0或-1,且按以下方式确定像素输出控制总线的阵列1105的状态。对于取样矩阵Φ的行Φi,其中i=1…M,如果系数的值为+1,则像素输出控制器1122通过像素输出控制总线1105-i1(其中i1=j1=1…(N1-ND))将第一像素输出控制信号提供到与像素输出控制总线1105-i1耦合的光敏像素1101-(i1,1)、…、1101-(i1,N2),使得提供的第一像素输出控制信号引起由每一光敏像素1101-(i1,j)的光信号源1102-(i1,j)形成的像素输出信号I-(i1,j)通过输出选择晶体管410与相应像素输出总线1112-j的两个导体中的第一者耦合,其中j=1…N2。同样,如果系数的值为+1,则像素输出控制器1122通过像素输出控制总线1105-i2(其中i2=j2=(N1-ND+1)…N1)将第一像素输出控制信号提供到与像素输出控制总线1105-i2耦合的暗像素1106-(i2,1)、…、1106-(i2,N2),使得提供的第一像素输出控制信号引起由每一暗像素1106-(i2,j)的暗信号源413形成的像素输出信号I-(i2,j)通过输出选择晶体管414与相应像素输出总线1112-j的两个导体中的第一者耦合,其中j=1…N2。
此外,如果系数的值为-1,则像素输出控制器1122通过像素输出控制总线1105-i1(其中i1=j1=1…(N1-ND))将第二像素输出控制信号提供到与像素输出控制总线1105-i1耦合的光敏像素1101-(i1,1)、…、1101-(i1,N2),使得提供的第二像素输出控制信号引起由每一光敏像素1101-(i1,j)的光信号源1102-(i1,j)形成的像素输出信号I-(i1,j)通过输出选择晶体管411与相应像素输出总线1112-j的两个导体中的第二者耦合。同样,如果系数的值为-1,则像素输出控制器1122通过像素输出控制总线1105-i2(其中i2=j2=(N1-ND+1)…N1)将第二像素输出控制信号提供到与像素输出控制总线1105-i2耦合的暗像素1106-(i2,1)、…、1106-(i2,N2),使得提供的第二像素输出控制信号引起由每一暗像素1106-(i2,j)的暗信号源413形成的像素输出信号I-(i2,j)通过输出选择晶体管415与相应像素输出总线1112-j的两个导体中的第二者耦合。
此外,如果系数的值为零,则像素输出控制器1122通过像素输出控制总线1105-i1(其中i1=j1=1…(N1-ND))将第三像素输出控制信号提供到与像素输出控制总线1105-i1耦合的光敏像素1101-(i1,1)、…、1101-(i1,N2),使得提供的第三像素输出控制信号引起由每一光敏像素1101-(i1,j)的光信号源1102-(i1,j)形成的像素输出信号I-(i1,j)与相应像素输出总线1112-j解耦。同样,如果系数的值为零,则像素输出控制器1122通过像素输出控制总线1105-i2(其中i2=j2=(N1-ND+1)…N1)将第三像素输出控制信号提供到与像素输出控制总线1105-i2耦合的暗像素1106-(i2,1)、…、1106-(i2,N2),使得提供的第三像素输出控制信号引起由每一暗敏感像素1106-(i2,j)的暗信号源413形成的像素输出信号I-(i2,j)与相应像素输出总线1112-j解耦。
以此方式,对于每一像素列电路1110-j(其中j=1…N2),分别由光敏像素1101-(i1,j)和暗像素1106-(i2,j)形成的像素输出信号I-(i1,j)和I-(i2,j)(其中i1=1…(N1-ND)且i2=(N1-ND+1)…N1),选择性地,在第一像素输出控制信号(对应于其中i=1…M,j1=i1且j2=i2)提供到其相应像素输出控制总线1105-i1和1105-i2的情况下切换到像素输出总线1112-j的第一导体;或在第二像素输出控制信号(对应于 )提供到其相应像素输出控制总线的情况下切换到像素输出总线的第二导体;或在第三像素输出控制信号(对应于)提供到其相应像素输出控制总线的情况下不切换到像素输出总线。由此,差分信号[ΔI]i,j——对应于取样模式矩阵Φ的行Φi——形成于每一像素列电路1110-j的像素输出总线1112-j上,作为选择性地在像素输出总线的第一导体上接通的像素输出信号的总和以及选择性地在像素输出总线的第二导体上接通的像素输出信号的总和。这在数学上相当于
对于取样模式矩阵Φ的行Φi,差分信号的阵列[ΔI]i形成于所有N2个像素列电路1110-j中。
在图11中说明的实例中,数字转换器1128包含一对一对应于像素阵列1100的N2个像素列电路1110-j的N2个比较器404-j。此处,每一比较器404-j与相应像素列电路1110-j的像素输出总线1112-j耦合以接收在像素输出总线上形成的差分信号[ΔI]i,j,其对应于取样模式矩阵Φ的行Φi。比较器404-j二进制化所接收的差分信号[ΔI]i,j以输出表示差分信号[ΔI]i,j的正负号的一位值Yi,j。因此,如果差分信号[ΔI]i,j>0,则Yi,j=+1,另外如果差分信号[ΔI]i,j<0,则Yi,j=-1。这在数学上相当于
其中i=1…M,j1=i1=1…(N1-ND),j2=i2=(N1-ND+1)…N1且j=1…N2。此外,对于取样模式矩阵Φ的行Φi,一位值的阵列Yi由数字转换器1128的所有N2个比较器404-j输出。
一旦数字转换器1128基于由像素输出控制器1122使用取样模式矩阵Φ的行Φi产生的像素输出控制信号而输出一位值的阵列Yi,像素输出控制器就使用取样模式矩阵Φ的下一行Φi+1来产生其它N1个像素输出控制信号且将其同时提供到阵列1105的相应N1个像素输出控制总线。由于行Φi+1与前一行Φi不相关,因此使用行Φi+1产生的N1个像素输出控制信号也不与使用前一行Φi产生的前一N1个像素输出控制信号相关。由此,以与上文描述方式类似的方式,对应于取样模式矩阵Φ的行Φi+1的差分信号[ΔI]i+1,j形成于每一像素列电路1110-j的像素输出总线1112-j上,作为选择性地在像素输出总线的第一导体上接通的像素输出信号的总和以及选择性地在像素输出总线的第二导体上接通的像素输出信号的总和。此外,比较器404-j二进制化差分信号[ΔI]i+1,j以输出表示差分信号[ΔI]i+1,j的正负号的一位值Yi+1,j。应注意,对于取样模式矩阵Φ的行Φi+1,差分信号的阵列[ΔI]i+1在所有N2个像素列电路1110-j中形成,且因此,对于取样模式矩阵Φ的行Φi+1,一位值的阵列Yi+1由数字转换器1128的所有N2个比较器404-j输出。此外,重复M次:使用取样模式矩阵Φ的一行产生N1个像素输出控制信号、将产生的N1个像素输出控制信号同时应用于N1个像素输出控制总线、在N2个像素列电路中的每一者的像素输出总线上形成差分信号;针对取样模式矩阵Φ的M个行中的每一者进行一次。
应注意,差分信号[ΔI]i,j(基于由像素输出控制器1122使用取样模式矩阵Φ的行Φi而产生的像素输出控制信号来形成于像素输出总线1112-j上,其中i=1…M且j=1…N2)是具有M×N2个测量系数的测量信号ΔI中的测量系数。另外,N2个差分信号的阵列[ΔI]i是对应于取样模式矩阵Φ的行Φi的测量信号ΔI的一行。由于测量信号ΔI通过使用非同一性(non-identity)变换(如上文结合图2A到2B、3和6或图11所描述)来变换像素阵列1100的光敏像素1101接收到的图像信号XS而获得,因此认为测量信号ΔI包含以非规范基底表示的图像信号XS的信息。此外,表示前述测量信号系数[ΔI]i,j的正负号的一位值Yi,,j是具有M×N2个二进制测量系数的二进制测量信号Y中的二进制测量系数。由此,N2个一位值的阵列Yi是对应于取样模式矩阵Φ的行Φi的二进制测量信号Y的一行。
一旦至少一些二进制测量信号Y——对应于像素阵列1100的光敏像素1101在曝光时间段中接收到的图像信号XS——经缓存以供进一步处理,则至少像素阵列的光敏像素会复位,因此像素阵列的光敏像素可在后续曝光时间段中接收另一图像信号。接着,必要时,如上文结合图11所描述,图像传感器907从接收到的另一图像信号和由参考信号源1124提供到像素阵列1100的暗像素1106的参考信号形成另一二进制测量信号。
图12展示用于形成数字图像的技术1200。举例来说,技术1200可在使用上文结合图11所描述的图像传感器907和数字处理器908/911的机器视觉系统900中实施。在1210处,图像传感器1100接收像素阵列输入信号X,其包含:(1)在图9B中说明的可见场景部分903a被光照平面112稀疏照射时,由像素阵列的光敏像素1101接收到的(即,感测到或捕捉到的)图像信号XS;以及(2)由像素阵列的暗像素1106从参考信号源1124接收到的参考信号XD。总的来说,像素阵列输入信号X进一步包含(3)固定模式噪声XN。应注意,固定模式噪声XN独立于光敏像素1101接收到的光能量且与暗像素1106接收到的参考信号XD不相关,且因此其分布在整个像素阵列1100上。因此,像素阵列输入信号X可以向量形式表达为
此外,假设固定模式噪声XN的值与参考信号XD的值相比较低,所述参考信号的值继而经选择以小于图像信号XS的最大值。
图13A展示像素阵列输入信号X的方面。图像信号XS是指示从可见场景部分903a的对应点散射到像素阵列1100的光敏像素1101的光能量的系数的(N1-ND)×N2阵列,且参考信号XD是系数的ND×N2阵列。以此方式,由于图9B中说明的可见场景部分903a的大部分是暗的(未经光照平面112照射),因此像素阵列1100的光敏像素1101接收到的大多数图像信号XS具有低值,称为散射噪声。在图13A中,包含散射噪声值和固定模式噪声XN值的噪声值以黑色表示。下文将结合图14论述固定模式噪声XN的值的更多内容以及其可如何用于确定关于经稀疏照射的可见场景部分903a的补充信息。再次参考图13A,参考信号XD的值(其以中度灰色表示)指示以下实情:此处,由参考信号源1124提供到像素阵列1100的ND行暗像素1106的参考信号XD的电平经选择以大约处于噪声值与图像信号XS的最高能量值之间的范围当中。
图9B中说明的可见场景部分903a的三个经照射部分对应于图像信号XS内光照轮廓的三个段,其在此实例中沿着像素阵列1100的行定向。此处,图像信号XS内光照轮廓的第一段和光照轮廓的第二段共线且对应于传送器102的第一经照射部分和第二经照射部分。沿着光照轮廓第一段和光照轮廓第二段的图像信号XS的值(在图13A中以深灰色表示且)比噪声值高,但比参考信号值低,且指示从光照平面112所照射的传送器102的部分散射的光的较小能量。举例来说,像素阵列输入信号X的列(其对应于图9B中说明的可见场景部分903a的竖直条j1)与光照轮廓的第一段和像素阵列1100的暗像素1106的ND个行相交,且在图13B的图1315-j1中表示,使得噪声值约为零、对应于传送器102的经照射部分的图像信号值约等于全标度的1/4且对应于像素阵列的ND个暗像素的参考信号值约等于全标度的1/2。此外,图像信号XS内的光照轮廓第三段在光照轮廓第一段与光照轮廓第二段之间且相对于这两段移位,且对应于对象103a的顶部表面的经照射部分。图像信号XS沿着光照轮廓第三段的一些值(在图13A中以浅灰色表示且)指示从光照平面112照射的对象103a的部分的顶部表面的前景散射的光的中等能量。举例来说,像素阵列输入信号X的列(其对应于可见场景部分903a的竖直条j2)与光照轮廓第三段和像素阵列1100的ND行暗像素1106相交,且在图13B的图1315-j2中表示,使得噪声值约为零、对应于对象103a的顶部表面的前景的经照射部分的图像信号值约等于全标度的3/4且对应于像素阵列的ND个暗像素的参考信号值约等于全标度的1/2。图像信号XS沿着光照轮廓第三段的一些其它值(在图13A中以白色表示且)指示从光照平面112照射的对象103a的部分的顶部表面的背景散射的光的较高能量。举例来说,像素阵列输入信号X的列(其对应于图9B中说明的可见场景部分903a的竖直条j3)与光照轮廓第三段和像素阵列1100的ND行暗像素1106相交,且在图13B的图1315-j3中表示,使得噪声值约为零、对应于对象103a的顶部表面的背景的经照射部分的图像信号值约等于全标度且对应于像素阵列的ND个暗像素的参考信号值约等于全标度的1/2。
再次参考图12,在1220处,像素输出控制器1122使用取样模式矩阵Φ的信息来从取样模式矩阵Φ的行Φi产生N1个像素输出控制信号,且同时将产生的N1个像素输出控制信号提供到像素阵列1100的N1个像素输出控制总线1105,以便通过对像素阵列的N2个像素列电路1110的相应像素输出总线1112上的像素输出信号选择性求和来形成测量信号ΔI的N2个测量信号系数的阵列[ΔI]i,其中i=1…M。这在数学上相当于
[ΔI]i~ΦiX, (23)
其中X是像素阵列输入信号,其包含(如图13A中所说明)接收到的图像信号XS和由参考信号源1124提供的参考信号XD。因此,测量信号系数中的每一者包含来自由光敏像素1101基于图像信号XS形成的像素输出信号和来自由暗像素1106基于参考信号XD形成的像素输出信号的贡献。以此方式,测量信号ΔI包含以非规范基底表示的像素阵列输入信号X的信息。
在1230处,与N2个像素输出总线1112耦合的数字转换器1128的N2个比较器404二进制化测量信号ΔI的N2个测量信号系数的阵列[ΔI]i以形成二进制测量信号Y的N2个二进制测量系数的阵列Yi,其中i=1…M。这在数学上相当于
Yi=sign([ΔI]i)
=sign(ΦiX)。 (24)
应注意,在1220和1230处执行的操作重复M次,针对取样模式矩阵Φ的每一行Φi进行一次,以形成测量信号ΔI的N2个测量信号系数的M个阵列[ΔI]i以及其相应的二进制测量信号Y的N2个二进制测量系数的M个阵列Yi,其中i=1…M。
一旦二进制测量信号Y的N2个二进制测量系数的阵列Yi已由数字转换器1128形成,则在1240处,图像传感器907将阵列Yi传输到数字处理器908/911,且所述数字处理器缓存接收到的阵列Yi以及先前接收到的阵列Y1、…、Yi-1,其中i=1…M。在从图像传感器907收到M个阵列Yi的最后一个阵列后,整个二进制测量信号Y称作已被数字处理器908/911缓存。
在1250处,数字处理器908/911检索(1)缓存的二进制测量信号Y中对应于像素阵列输入信号X的列Xj的列二进制测量向量Yj,以及(2)取样模式矩阵Φ的信息,且使用(1)和(2)查找具有二进制测量空间表示的信号Z的列信号向量Zj的一部分,所述列信号向量大体上与列二进制测量向量Yj相关,其中j=1…N2。后一相关状态在数学上相当于
ΦZj≈Yj, (25)
至少涵括Zj的一部分。以此方式,信号Z是像素阵列输入信号X的估计值,使得信号Z包含:信号ZS,其为接收到的图像信号XS的估计值;以及信号ZD,其为参考信号源1124提供的参考信号XD的估计值。
在一些实施方案中,数字处理器908/911可通过使取样模式矩阵的转置矩阵ΦT乘以列二进制测量向量Yj来找出列信号向量Zj,使得Zj=ΦTYj。在1250处的存取和查找可重复N2次,针对缓存的二进制测量信号Y的列二进制测量向量Yj中的每一者进行一次,以获得估计值信号Z。这在数学上相当于
(ZS|ZD)=(ΦS|ΦD)TY, (26)
其中ΦS是具有M×(N1-ND)个系数的部分取样模式矩阵,所述系数供像素输出控制器1122用以提供像素输出控制信号到对应于N-ND行光敏像素1101-(i1,j)的像素输出控制总线1105-i1,其中i1=1…(N1-ND)且j=1…N2;且ΦD是具有M×ND个系数的部分取样模式矩阵,所述系数供像素输出控制器用以提供像素输出控制信号到对应于ND行暗像素1106-(i2,j)的像素输出控制总线1105-i2,其中i2=(N1-ND+1)…N1。
然而,应注意,由于sign(.)量化由数字处理器908/911用以确定估计值信号Z,因此尽管估计值信号Z包含与(1)图像信号XS内的光照轮廓各段和参考信号XD在像素阵列输入信号X中的位置以及(2)每一列信号向量Zj内的光照轮廓和参考信号的相对值(其中j=1…N2)相关的信息,但估计值信号Z缺乏N2个列信号向量Zj之间的比例通用性,如下所解释。
举例来说,图13B的图1355-j1中表示的估计值信号Z的列信号向量具有峰值和平稳值,其位于与图1315-j1中表示的像素阵列输入信号X的对应列的图像信号XS的峰值和参考信号XD的平稳值相同的相应位置,且列信号向量的峰值与平稳值的比率对应于像素阵列输入信号X的列的峰值与平稳值的比率。作为另一实例,图1355-j2中表示的估计值信号Z的列信号向量具有峰值和平稳值,其位于与图1315-j2中表示的像素阵列输入信号X的对应列的图像信号XS的峰值和参考信号XD的平稳值相同的相应位置,且列信号向量的峰值与平稳值的比率对应于像素阵列输入信号X的列的峰值与平稳值的比率。作为又一实例,图1355-j3中表示的估计值信号Z的列信号向量具有峰值和平稳值,其位于与图1315-j3中表示的像素阵列输入信号X的对应列的图像信号XS的峰值和参考信号XD的平稳值相同的相应位置,且列信号向量的峰值与平稳值的比率对应于像素阵列输入信号X的列的峰值与平稳值的比率。然而,应注意,图1355-j1中表示的列信号向量的标度、图1355-j2中表示的列信号向量的标度和图1355-j3中表示的列信号向量的标度彼此不同,因为对应于列信号向量的多行暗像素的平稳值的级对应于列信号向量的多行暗像素的平稳值的级以及对应于列信号向量的多行暗像素的平稳值的级彼此不同,而对于像素阵列输入信号X的列来说,对应于多行暗像素的平稳值的级是相同的,的全标度。接着执行列信号向量和以及大体上估计值信号Z的每一列信号向量Zj的缩放。
在1260处,数字处理器908/911处理列信号向量Zj以及提供给暗像素1106的参考信号XD上的信息,以形成数字图像的数字像素值,所述数字图像对应于像素阵列输入信号X且以与像素阵列输入信号X相同的方式缩放。此处,数字图像具有N1×N2个图像像素。为了形成数字图像数字处理器908/911使用列信号向量Zj的对应于暗像素1106的一或多个系数[ZD]j来确定用于列信号向量Zj的比例因数,其中j=1…N2。在图12中说明的实例中,比例因数确定为mean([XD]j)/mean([ZD]j),其中[XD]j是由参考信号源1124提供到像素阵列1100的多行暗像素1106的参考信号的电平,且[ZD]j是对应于像素阵列的多行暗像素的列信号向量Zj的系数的值。以此方式,通过将列信号向量Zj乘以缩放因素形成数字图像的列的一或多个数字像素值,
应注意,在1260处执行的缩放确保存在跨越数字图像的N2个图像像素列的通用比例,原因如下:对应于数字图像的N2个图像像素列中的任一列的暗像素1106的行的图像像素的值的均值经确定为
然而,跨越像素阵列输入信号X的N2个列,mean([XD]j)=常数,因此,跨越的N2个列,出于此原因,数字图像的N2个图像像素列具有通用比例。
在1270处,数字处理器908/911输出对应于1210处接收到的图像信号XS且以与像素阵列输入信号X相同的方式缩放的数字图像此处,数字图像具有(N1-ND)×N2个图像像素。应注意,数字图像在图9A中说明的机器视觉系统900中具有参考编号910。在一些实施方案中,为了输出数字图像数字处理器908/911从1260处形成的数字图像移除最末ND行图像像素。
应注意,在1270处由数字处理器908/911输出的数字图像与像素阵列输入信号X的图像信号XS部分极为相似。举例来说,在图1375-j1中表示的数字图像的列具有峰值,其位于与图1315-j1中表示的像素阵列输入信号X的图像信号XS部分的对应列的峰值相同的位置处,且具有相同的约全标度的1/4的级。作为另一实例,在图1375-j2中表示的数字图像的列具有峰值,其位于与图1315-j2中表示的像素阵列输入信号X的图像信号XS部分的对应列的峰值相同的位置处,且具有相同的约全标度的3/4的级。作为又一实例,在图1375-j3中表示的数字图像的列具有峰值,其位于与图1315-j3中表示的像素阵列输入信号X的图像信号XS部分的对应列的峰值相同的位置处,且具有相同的约全标度的级。
根据以上公开内容,机器视觉系统900可输出数字图像910,其中与其每个像素相关联的数字像素值以大体上相同的方式与收集自场景903a的对应部分的光能量相关,其中i=1…(N1-ND)且j=1…N2。相比之下,机器视觉系统100输出数字图像110,其中与列中每个像素(其中i=1…N1且j=1…N2)相关联的数字像素值是收集自场景903a的条j的对应部分的单一函数,但所述函数可变化。此处,根据个别列接收到的总光能量,从列到列以及从数字图像110到另一随后形成的数字图像110',所述函数可变化。
另外,机器视觉系统900可经配置以输出数字值阵列V,其中每一元素Vj指示像素阵列1100的列j的所有(N1-ND)个光敏像素1101接收到的累计光能量,其中j=1…N2。在一些实施方案中,机器视觉系统900可使用数字值阵列V获得阵列其中每一元素‖[XS]j‖是针对像素阵列1100的列j的图像信号XS的列[XS]j的量值。如图13A中所说明,图像信号XS是像素阵列1100接收到的输入像素阵列信号X的的部分。根据下文描述的技术,针对像素阵列1100的列j的列图像信号向量[XS]j的量值‖[XS]j‖可有利地直接根据对应于列图像信号向量[XS]j的二进制测量信号向量Yj来确定,而无需确定(例如使用技术1200的操作1250、1260、1270)以及进一步处理数字图像的列的数字像素值。
图14展示技术1400,其用于确定上文指出的对应于像素阵列1100的光敏像素1101接收到的图像信号XS的数字值阵列V。举例来说,技术1400可在使用上文结合图11所描述的图像传感器907和数字处理器908/911的机器视觉系统900中实施。为了执行技术1400,数字处理器908/911经配置以具有对与背景信号XB相关的信息的存取权。
背景信号XB是像素阵列输入信号X的特定情况,在方程式(22)中表达且在图13A到13B中说明,对于所述背景信号,对应于图像信号XS的部分为零:
其中XS=0。 (22')
背景信号XB由像素阵列1100在其光敏像素1101被防止接收机器视觉系统900的透镜106从可见场景部分903a收集的光能量(例如通过启动透镜前的遮板或通过在透镜上放置盖子以阻挡来自场景的光到达像素阵列)时接收到。由此,背景信号XB包含参考信号XD和固定模式噪声XN。技术1200的操作1210、1220和1230(上文结合图12所描述)可用于获得对应于背景信号XB的背景二进制测量信号YB:
YB=sign(ΦXB)。 (24')
根据技术1200,背景二进制测量信号YB包含N2个列背景二进制测量向量[YB]j,其中每一者包含M个系数且对应于背景信号XB的N2个列[XB]j中的相应一个,其中j=1…N2。技术1200的操作1240可用于将对应于背景信号XB的背景二进制测量信号YB存储在与数字处理器908/911相关联的存储器中以供数字处理器用于执行技术1400。另外,N2个列背景信号向量[XB]j中的每一者的量值‖[XB]j‖可按以下方式中的任一种计算。在其中可忽略固定模式噪声XN(即,XN≈0)且相同电平的参考信号XD应用于ND行暗像素1106中的每一行的一些实施方案中,每一列背景信号向量[XB]j的量值‖[XB]j‖可估算为‖[XB]j‖≈NDXD。在一些实施方案中,如果固定模式噪声XN(尽管与参考信号XD相比较小)不容忽视,即,XN≠0,则量值‖[XB]j‖可估算为:
其中是对应于背景信号XB的数字图像的数字像素值的列的量值。此处,数字图像可使用技术1200例如通过形成具有行数M=kN1的过取样背景二进制测量信号YB而获得,其中举例来说,k=2、5或10。一旦使用上述方式或任何其它方式确定,背景信号XB的列的相应量值也会被存储在与数字处理器908/911相关联的存储器中以供数字处理器用以执行技术1400。
技术1400用于处理传感器阵列1100接收到的像素阵列输入信号X(例如,在方程式(22)中表达且在图13A中说明)。应注意,技术1400的由图像传感器907用以将接收到的像素阵列输入信号X变换为二进制测量信号Y的操作1210、1220和1230,以及数字处理器908/911用以将二进制测量信号Y缓存在与数字处理器相关联的缓冲存储器中以供进一步处理的操作1240,与作为上文结合图12详细地描述的技术1200的部分执行的操作1210、1220、1230和1240相同。出于此原因,在此不再结合图14描述技术1400的操作1210、1220、1230和1240。由此,以下描述涉及用于二进制测量信号Y的处理的技术1400的操作。
在1450处,数字处理器908/911(1)针对像素阵列1100的列j,检索缓存的二进制测量信号Y中对应于像素阵列输入信号X的列Xj的列二进制测量向量Yj,其中j=1…N2,以及(2)针对所述像素阵列的同一列j,检索存储的背景二进制测量信号YB中对应于背景信号XB的列[XB]j的列背景二进制测量向量[YB]j,且确定检索的列二进制测量向量Yj与列背景二进制测量向量[YB]j之间的距离Vj。应注意,二进制向量Yj与[YB]j之间的距离Vj的值是二进制向量Yj与[YB]j的相异程度的度量标准。此处,检索的列二进制测量向量Yj与列背景二进制测量向量[YB]j之间的确定距离Vj指示像素阵列1100的列的j的(N1-ND)个光敏像素1101接收到的图像信号XS的列[XS]j的量值‖[XS]j‖,如下所解释。
在一些实施方案中,检索的列二进制测量向量Yj与列背景二进制测量向量[YB]j之间的距离Vj在1450处通过数字处理器908/911确定为归一化的汉明距离Vj=dham(Yj,[YB]j)。此外,根据方程式(8),像素阵列1100的列j的像素输入信号X的列Xj与所述像素阵列的同一列j的背景信号XB的列[XB]j之间归一化的向量角dang(Xj,[XB]j)在某一容限内等于其相应测量值的归一化汉明距离dham(Yj,[YB]j)。这在数学上可表达为
Vj=dham(Yj,[YB]j)≈dang(Xj,[XB]j)。 (8")
图15中说明的向量图1445展示信号空间中像素阵列1100的列j的列像素输入信号向量Xj(例如图13B的图1315中所示)、对应列背景信号向量[XB]j(例如图13B的图1315中所示,在[XS]j为零的情况下)以及对应列图像信号向量[XS]j(例如图13B的图1315中所示部分,对应于光敏像素1101的(N1-ND)个行)之间的定向。应注意,由于固定模式噪声XN(包含于像素输入信号X和背景信号XB中的每一者中)约为零,因此列图像信号向量[XS]j大体上与列背景信号向量[XB]j正交。由此,列像素输入信号向量Xj与列背景信号向量[XB]j之间的向量角θ(Xj,[XB]j)=πdang(Xj,[XB]j)通过向量图1445中说明的结构与列图像信号向量[XS]j的量值‖[XS]j‖相关,即,θ(Xj,[XB]j)∝‖[XS]j‖。以此方式,在1450处通过数字处理器908/911确定的列二进制测量向量Yj与列背景二进制测量向量[YB]j之间的距离Vj也与列图像信号向量[XS]j的量值‖[XS]j‖相关:
Vj=dham(Yj,[YB]j)∝‖[XS]j‖。 (30)
操作1450重复N2次,针对每对检索到的列二进制测量向量Yj和对应的列背景二进制测量向量[YB]j进行一次,其中j=1…N2,以形成数字值阵列其指示像素阵列1100的相应第1、2、…、N2列的相应列图像信号向量的量值操作1450的N2次重复可同时或依序执行。
图16A是展示作为操作1450的N2次重复的结果输出的数字值阵列V的实例的图1455。应注意,指示像素阵列1100的列j1的列图像信号向量的量值的数字值处于约最小级Vmin,其对应于从光照平面112照射的产生器102的部分散射的光的较小能量。另外,指示像素阵列1100的列j3的列图像信号向量的量值的数字值处于约最大级VMAX,其对应于从光照平面112照射的对象103a的部分的顶部表面的背景散射的光的较高能量。此外,指示像素阵列1100的列j2的列图像信号向量的量值的数字值具有对应于从光照平面112照射的对象103a的部分的顶部表面的前景散射的光的中等能量的中间级。应注意,尽管数字值Vj根据方程式(30)与相应列图像信号向量[XS]j的量值‖[XS]j‖相关,但最小级Vmin、中间级以及最大级VMAX未必与可见场景903a的相应部分散射的光的能量成线性比例。在1450处确定的数字值Vj可如下所描述用以计算列图像信号向量[XS]j的量值‖[XS]j‖,因为这些量值与可见场景903a的相应部分散射的光的能量成线性比例。
在1460处,数字处理器908/911检索背景信号XB的列[XB]j的已存储量值‖[XB]j‖且将其与1450处确定的列二进制测量向量Yj与列背景二进制测量向量[YB]j之间的距离Vj以计算像素阵列1100的列j的(N1-ND)个光敏像素1101接收到的图像信号XS的列[XS]j的量值‖[XS]j‖。由此,数字处理器908/911根据下式使用向量图1445和方程式8'获得像素阵列1100的列j的列图像信号向量[XS]j的量值‖[XS]j‖
‖[XS]j‖=‖[XB]j‖tan(θ(Xj,[XB]j))
=‖[XB]j‖tan(πdham(Yj,[YB]j))
=‖[XB]j‖tan(πVj)。 (31)
操作1460重复N2次,针对像素阵列1100的列j的每对检索到的列背景信号向量[XB]j的量值‖[XB]j‖和对应的数字值Vj进行一次,以计算像素阵列1100的相应第1、2、…、N2列的相应列图像信号向量的量值的阵列。操作1460的N2次重复可同时或依序执行。
在1470处,数字处理器908/911将像素阵列1100的相应第1、2、…、N2列的相应列图像信号向量的量值的阵列输出到一或多个输出装置。在一些实施方案中,输出装置可以是与数字处理器908/911相关联的显示装置。在一些实施方案中,输出装置可以是与数字处理器908/911相关联的存储装置。
图16B是展示作为操作1460的N2次重复的结果输出的量值的阵列的实例的图1475。应注意,像素阵列1100的列j1的列图像信号向量的量值具有约全标度的1/4的级,其与从光照平面112照射的传送器102的部分散射的光的较小能量成线性比例。此外,像素阵列1100的列j3的列图像信号向量的量值具有约全标度的级,其与从光照平面112照射的对象103a的部分的顶部表面的背景散射的光的较高能量成线性比例。此外,像素阵列1100的列j2的列图像信号向量的量值具有约全标度的3/4的级,其与从光照平面112照射的对象103a的部分的顶部表面的前景散射的光的中等能量成线性比例。
在一些受关注情况下,技术1400的一或多个操作可按以下方式修改,例如,可简化。如上文所论述,如果可忽略固定模式噪声XN,即,XN≈0,且相同电平的参考信号XD应用于ND行暗像素1106中的每一行,则每一列背景信号向量[XB]j的量值(其中j=1…N2)可估算为在此类情况下,对应于背景信号XB的背景二进制测量信号YB具有N2个相同的列背景二进制测量向量其中[YB]1具有M个系数。在这些情况下,由于仅单个列背景二进制测量向量[YB]1和单个量值‖[XB]1‖≈NDXD需要写入存储装置以稍后用于执行操作1450和1460,所述存储装置可具有较小大小且因此可以是图像传感器907自身的部分。由此,每一检索的列二进制测量向量Yj(其中j=1…N2)与单个列背景二进制测量向量[YB]1之间归一化的汉明距离dham(Yj,[YB]1)在1450处确定为Vj=dham(Yj,[YB]1)。以此方式,每一检索的列二进制测量向量Yj与单个列背景二进制测量向量[YB]1之间归一化的汉明距离dham(Yj,[YB]1)的前述简化确定可通过位于图像传感器907自身上的数字处理器908/911的处理电路执行。另外,在1460处,根据方程式31将像素阵列1100的相关联列j的每一列图像信号向量[XS]j的量值‖[XS]j‖计算为‖[XS]j‖=NDXDtan(πVj)。像素阵列1100的相关联列j的每一列图像信号向量[XS]j的量值‖[XS]j‖的前述简化计算可通过位于图像传感器907自身上的数字处理器908/911的处理电路执行。
根据以上公开内容,机器视觉系统900可输出光照平面112稀疏照射的场景903a的1D表示,其中所述1D表示是相对于机器视觉系统的像素阵列1100的列j形成的投影。如上文根据技术1400所描述,所述投影可形成为图像信号列向量[XS]j的量值‖[XS]j‖的阵列。有益的是,相比于形成类似的场景903a的1D表示将要包含(i)计算对应于图像信号XS的数字图像的的N2个像素列中的每一者的所有数字像素值(例如,使用上文结合图12描述的技术1200的操作序列1250、1260和1270)、随后(ii)计算相应像素列的量值的情况,所公开的量值‖[XS]j‖的阵列的形成更快且需要更少计算资源。
尽管已相对于各种实施例论述本发明,但应认识到本发明包括由此公开内容支持的新颖和非显而易见的权利要求。
Claims (15)
1.一种适用于形成低信息内容场景的一维数字表示的机器视觉系统,所述系统包括:
a)图像传感器,其经配置以接收图像信号且处理所述图像信号以输出二进制测量信号,所述图像信号指示从场景收集的光能量,所述图像传感器包括
i)以行和列布置的光敏像素和暗像素的像素阵列,所述像素阵列包括
A)与所述像素阵列的所述行一对一对应的像素输出控制总线阵列,所述像素输出控制总线中的每一者经配置且布置以将像素输出控制信号提供到所述像素阵列的相应行上的像素,以及
B)与所述像素阵列的所述列一对一对应的像素列电路阵列,每一像素列电路包括
I)像素输出总线,其经配置且布置以对像素输出信号求和,以及
II)像素线性阵列,其以一对一的对应性与所述像素控制总线阵列耦合,
所述像素线性阵列包括
(a)接收所述图像信号的一部分的所述光敏像素的线性阵列,每一光敏像素包括
(i)光信号源,其响应于所述光敏像素接收到的光能量,以及
(ii)输出选择电路,其与像素输出控制总线耦合以控制所述光信号源到所述像素输出总线的耦合,所述光敏像素通过所述耦合将像素输出信号提供到所述像素输出总线,
(b)所述暗像素的线性阵列,每一暗像素包括
(i)暗信号源,其响应于所述暗像素接收到的参考信号,以及
(ii)输出选择电路,其与另一像素输出控制总线耦合以控制所述暗信号源到所述像素输出总线的耦合,所述暗像素通过所述耦合将像素输出信号提供到所述像素输出总线,
ii)与所述像素阵列耦合的取样模式产生器,所述取样模式产生器经配置以将所述像素输出控制信号的序列提供到所述像素输出控制总线阵列,且还经配置以将所述参考信号提供到所述暗像素,其中
A)所述像素输出控制信号的所述序列中的每一元素对应于取样模式矩阵的一行,其经预定以通过所述输出总线阵列上的所述像素输出信号的选择性求和来形成对应于所述像素阵列的列的测量系数阵列,测量系数包括以非规范基底表示的所述图像信号的信息,
B)向所述像素输出控制总线阵列提供所述序列中的所述元素使得在所述像素输出总线上形成测量信号,所述测量信号包括用于所述取样模式矩阵的每一行的测量系数阵列,以及
C)向所述像素阵列的所述暗像素提供所述参考信号会控制暗像素对所述测量信号的贡献,
iii)数字转换器,其与所述像素输出总线阵列耦合以用于二进制化所述测量信号,从而形成所述二进制测量信号,以及
b)数字处理器,其与所述图像传感器耦合以接收所述二进制测量信号,所述数字处理器配置有
i)用于从所述图像传感器在所述图像传感器已处理所述图像传感器接收到的背景信号时输出的背景二进制测量信号中存取列背景二进制测量向量的指令,所述列背景二进制测量向量对应于与所述像素阵列的列相关联的所述背景信号的一部分,所述背景信号包括所述暗像素在所述光敏像素被防止接收从所述场景收集的所述光能量时接收到的所述参考信号,
ii)用于从所述二进制测量信号中存取列二进制测量向量的指令,所述列二进制测量向量对应于所述像素阵列的所述列的所述光敏像素接收到的所述图像信号的所述部分,以及
iii)用于形成数字值的指令,所述数字值指示所述像素阵列的所述列的所述光敏像素接收到的所述图像信号的所述部分的量值,用于形成所述数字值的所述指令包含用于计算所述列背景二进制测量向量与所述列二进制测量向量之间的距离的指令。
2.根据权利要求1所述的机器视觉系统,其中所述背景信号进一步包括所述像素阵列上存在的固定模式噪声,所述固定模式噪声使所述像素输出总线上通过所述测量信号的不依赖光能量的变化确定的像素输出信号与所述参考信号不相关。
3.根据权利要求1所述的机器视觉系统,其中所述数字处理器用以形成所述数字值的所述列背景二进制测量向量与所述列二进制测量向量之间的所述距离是归一化的汉明距离。
4.根据权利要求1所述的机器视觉系统,其中所述数字处理器进一步配置有用于以下操作的指令:(i)存取与所述像素阵列的所述列相关联的所述背景信号的列的量值;以及(ii)组合所述背景信号列的所述量值和所述列背景二进制测量向量与所述列二进制测量向量之间的所述距离以形成数字值,所述数字值与所述像素阵列的所述列的所述光敏像素接收到的所述图像信号的所述部分的所述量值成线性比例。
5.根据权利要求4所述的机器视觉系统,其中所述背景二进制测量信号和与所述像素阵列的相应列相关联的背景信号列的量值存储在与所述数字处理器相关联的存储器上。
6.根据权利要求1所述的机器视觉系统,其中所述数字处理器配置有用于针对所述像素阵列的所述列中的每一者形成数字值以输出对应于所述像素阵列接收到的所述图像信号的数字值阵列的指令。
7.根据权利要求6所述的机器视觉系统,其中
i)用于存取所述列背景二进制测量向量的所述指令包括用于针对所述像素阵列的所述列中的每一者存取列背景二进制测量向量的指令,
ii)用于存取所述列二进制测量向量的所述指令包括用于针对所述像素阵列的所述列中的每一者存取列二进制测量向量的指令,以及
iii)用于形成所述像素阵列的所述列中的每一者的数字值的所述指令包括用于计算每一存取的列背景二进制测量向量与对应的存取的列二进制测量向量之间的距离的指令。
8.根据权利要求6所述的机器视觉系统,其中所述列背景二进制测量向量是单个列背景二进制测量向量,且其中
i)用于存取所述列二进制测量向量的所述指令包括用于针对所述像素阵列的所述列中的每一者存取列二进制测量向量的指令,以及
ii)用于形成所述像素阵列的所述列中的每一者的数字值的所述指令包括用于计算所述单个列背景二进制测量向量与每一存取的列二进制测量向量之间的距离的指令。
9.根据权利要求8所述的机器视觉系统,其中所述单个列背景二进制测量向量存储在存储器中。
10.根据权利要求9所述的机器视觉系统,其中所述图像传感器包括所述存储器和所述数字处理器。
11.一种适用于形成低信息内容场景的一维数字表示的方法,所述方法包括:
使用包括布置成行和列的光敏像素和暗像素的像素阵列形成背景信号,所述暗像素布置在与所述光敏像素不同的行中,其中在所述背景信号的所述形成期间,所述暗像素接收参考信号且所述光敏像素被防止接收入射光能量;
通过以下方式获得所述背景信号的背景测量信号
i)供应多组控制信号到所述像素阵列的所述行,其中每一行的像素共享共同控制信号,且所述多组控制信号中的每一组表示取样矩阵的不同向量,以及
ii)对于所述多组控制信号中的每一组,对所述列中的至少一列的像素输出信号求和,其中所述背景测量信号包括可用于所述列中的每一列的背景测量向量;
使用所述像素阵列形成图像信号,其中在所述图像信号的所述形成期间,所述暗像素接收所述参考信号且所述光敏像素接收所述入射光能量;
通过以下方式获得所述图像信号的图像测量信号
i)将表示所述取样矩阵的所述多组控制信号供应到所述像素阵列的所述行,
以及
ii)针对所述多组控制信号中的每一组,对所述列中的每一列的像素输出信号求和,其中所述图像测量信号包括所述列中的每一列的图像测量向量;
针对所述像素阵列的每一列,
i)确定所述图像测量向量与所述背景测量向量之间的距离;以及
ii)根据所述确定的距离产生指示所述列的所述光敏像素接收到的所述图像信号的一部分的量值的数字值。
12.根据权利要求11所述的方法,其中所述图像测量向量与所述背景测量向量之间的所述距离的所述确定包括计算归一化的汉明距离。
13.根据权利要求11所述的方法,其中所述输出像素值的所述产生包括通过将所述列的所述背景信号的量值乘以所述确定的距离的正切来缩放所述确定的距离中的每一者。
14.根据权利要求11所述的方法,其中所述背景信号的所述背景测量信号的所述获得包括,对于所述多组控制信号中的每一组,对所述列中的每一列的像素输出信号求和,其中所述背景测量信号包括所述列中的每一列的背景测量向量。
15.根据权利要求11所述的方法,其包括:
将可用于所述列中的每一列的所述背景测量向量存储在与所述像素阵列共置的存储器中,
其中所述距离的所述确定和所述数字值的所述产生通过与所述像素阵列共置的处理器执行。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/997,469 | 2016-01-15 | ||
US14/997,469 US9883121B2 (en) | 2016-01-15 | 2016-01-15 | Machine vision system for forming a one dimensional digital representation of a low information content scene |
PCT/US2017/013328 WO2017123863A1 (en) | 2016-01-15 | 2017-01-13 | Machine vision system for forming a one dimensional digital representation of a low information content scene |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108886588A true CN108886588A (zh) | 2018-11-23 |
Family
ID=58018213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780015184.0A Pending CN108886588A (zh) | 2016-01-15 | 2017-01-13 | 用于形成低信息内容场景的一维数字表示的机器视觉系统 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9883121B2 (zh) |
EP (1) | EP3403398B1 (zh) |
KR (1) | KR20180114049A (zh) |
CN (1) | CN108886588A (zh) |
WO (1) | WO2017123863A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110398477A (zh) * | 2019-07-03 | 2019-11-01 | 香港光云科技有限公司 | 材质分类及识别方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10240910B2 (en) * | 2016-09-07 | 2019-03-26 | Board Of Trustees Of Southern Illinois University On Behalf Of Southern Illinois University Carbondale | Systems and methods for compressive image sensor techniques utilizing sparse measurement matrices |
CN115022559A (zh) * | 2017-06-14 | 2022-09-06 | 株式会社半导体能源研究所 | 摄像装置及电子设备 |
US10527557B2 (en) * | 2017-12-29 | 2020-01-07 | Radiant Vision Systems, LLC | Adaptive diffuse illumination systems and methods |
US11255797B2 (en) * | 2019-07-09 | 2022-02-22 | Kla Corporation | Strontium tetraborate as optical glass material |
US11968063B2 (en) * | 2021-06-24 | 2024-04-23 | Leading Ui Co., Ltd. | Single-wire communication system and control method thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393911A (zh) * | 2011-07-21 | 2012-03-28 | 西安电子科技大学 | 基于压缩感知的背景杂波量化方法 |
CN103714571A (zh) * | 2013-09-23 | 2014-04-09 | 西安新拓三维光测科技有限公司 | 一种基于摄影测量的单像机三维重建方法 |
CN104065891A (zh) * | 2013-03-20 | 2014-09-24 | 康耐视股份有限公司 | 机器视觉3d线扫描图像获取及处理 |
US20150382026A1 (en) * | 2010-09-30 | 2015-12-31 | Alcatel-Lucent Usa Inc. | Compressive Sense Imaging |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5105276A (en) | 1990-11-15 | 1992-04-14 | Eastman Kodak Company | DC restoration of sampled imagery signals |
JP3122732B2 (ja) | 1992-04-30 | 2001-01-09 | 宏介 佐藤 | 読出し装置および距離測定装置 |
US6786411B2 (en) | 2000-12-28 | 2004-09-07 | Texas Instruments Incorporated | Image sensor array readout for simplified image compression |
US7026596B2 (en) | 2003-10-30 | 2006-04-11 | Micron Technology, Inc. | High-low sensitivity pixel |
JP4830270B2 (ja) | 2004-06-14 | 2011-12-07 | ソニー株式会社 | 固体撮像装置および固体撮像装置の信号処理方法 |
US20060239336A1 (en) | 2005-04-21 | 2006-10-26 | Baraniuk Richard G | Method and Apparatus for Compressive Imaging Device |
CN102065248B (zh) | 2006-11-17 | 2013-03-20 | 硅通讯技术有限公司 | 自动调节参考电压的低功耗图像传感器以及包含此传感器的光学点击装置 |
JP5322539B2 (ja) | 2008-08-29 | 2013-10-23 | 矢崎総業株式会社 | ワイヤハーネスの配索構造 |
US8860835B2 (en) | 2010-08-11 | 2014-10-14 | Inview Technology Corporation | Decreasing image acquisition time for compressive imaging devices |
US9111526B2 (en) | 2010-10-25 | 2015-08-18 | Qualcomm Incorporated | Systems, method, apparatus, and computer-readable media for decomposition of a multichannel music signal |
US8405763B2 (en) | 2010-12-23 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Video camera for reconstructing varying spatio-temporal resolution videos |
US20120281126A1 (en) | 2011-04-11 | 2012-11-08 | Fossum Eric R | Digital integration sensor |
GB201201230D0 (en) | 2012-01-25 | 2012-03-07 | Univ Delft Tech | Adaptive multi-dimensional data decomposition |
CN102708781A (zh) | 2012-02-28 | 2012-10-03 | 京东方科技集团股份有限公司 | 一种像素电路及其驱动方法、显示器件及显示方法 |
US9191026B2 (en) | 2013-02-18 | 2015-11-17 | Sony Corporation | Image sensor and imaging method with single shot compressed sensing |
US10113870B2 (en) | 2013-03-20 | 2018-10-30 | Cognex Corporation | Machine vision system for forming a digital representation of a low information content scene |
-
2016
- 2016-01-15 US US14/997,469 patent/US9883121B2/en not_active Expired - Fee Related
-
2017
- 2017-01-13 WO PCT/US2017/013328 patent/WO2017123863A1/en active Application Filing
- 2017-01-13 CN CN201780015184.0A patent/CN108886588A/zh active Pending
- 2017-01-13 KR KR1020187023647A patent/KR20180114049A/ko unknown
- 2017-01-13 EP EP17704856.8A patent/EP3403398B1/en active Active
- 2017-12-26 US US15/854,214 patent/US10284793B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150382026A1 (en) * | 2010-09-30 | 2015-12-31 | Alcatel-Lucent Usa Inc. | Compressive Sense Imaging |
CN102393911A (zh) * | 2011-07-21 | 2012-03-28 | 西安电子科技大学 | 基于压缩感知的背景杂波量化方法 |
CN104065891A (zh) * | 2013-03-20 | 2014-09-24 | 康耐视股份有限公司 | 机器视觉3d线扫描图像获取及处理 |
CN103714571A (zh) * | 2013-09-23 | 2014-04-09 | 西安新拓三维光测科技有限公司 | 一种基于摄影测量的单像机三维重建方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110398477A (zh) * | 2019-07-03 | 2019-11-01 | 香港光云科技有限公司 | 材质分类及识别方法 |
CN110398477B (zh) * | 2019-07-03 | 2022-06-24 | 香港光云科技有限公司 | 材质分类及识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180124333A1 (en) | 2018-05-03 |
US9883121B2 (en) | 2018-01-30 |
EP3403398B1 (en) | 2020-03-04 |
US20170208263A1 (en) | 2017-07-20 |
WO2017123863A1 (en) | 2017-07-20 |
KR20180114049A (ko) | 2018-10-17 |
US10284793B2 (en) | 2019-05-07 |
EP3403398A1 (en) | 2018-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6666385B2 (ja) | マシーンビジョン3dラインスキャンイメージ取得及び処理 | |
CN108886588A (zh) | 用于形成低信息内容场景的一维数字表示的机器视觉系统 | |
US10677593B2 (en) | Machine vision system for forming a digital representation of a low information content scene | |
Antipa et al. | Single-shot diffuser-encoded light field imaging | |
Ma et al. | Extensions of compressed imaging: flying sensor, coded mask, and fast decoding | |
Khan et al. | Toward developing tangling noise removal and blind inpainting mechanism based on total variation in image processing | |
Tian | Fourier ptychographic reconstruction using mixed Gaussian–Poisson likelihood with total variation regularisation | |
Ye et al. | Research on mechanism of joint-coding imaging based on generative adversarial neural network | |
Le Guludec et al. | Deep unrolling for light field compressed acquisition using coded masks | |
CN108599773A (zh) | 一种基于确定性测量矩阵的振动信号数据压缩采集方法 | |
Wang et al. | Single‐pixel compressive imaging based on motion compensation | |
CN108777799A (zh) | 一种基于可分离压缩传感理论的压缩编码孔径成像方法 | |
Yu et al. | MsDC‐DEQ‐Net: Deep Equilibrium Model (DEQ) with Multiscale Dilated Convolution for Image Compressive Sensing (CS) | |
Antholzer et al. | Compressive time-of-flight 3D imaging using block-structured sensing matrices | |
Katkovnik et al. | Computational ghost imaging: Advanced compressive sensing (CS) technique | |
Hu et al. | Optimization of Binary Measurement Matrix Based on Gradient Descent Method | |
Kumar et al. | Shape Recovery by Point Illumination using a Rotating Point Spread Function Imager | |
Kalantari Khandani | Performance Enhancement of Time Delay and Convolutional Neural Networks Employing Sparse Representation in the Transform Domains | |
CN113129225A (zh) | 基于Dense Net网络的计算鬼成像重建恢复方法 | |
Gastaud et al. | Background Fluctuation Analysis from the Multiscale Entropy | |
Katz et al. | Quantum Inspired Imaging with Compressive Sensing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20210702 |
|
AD01 | Patent right deemed abandoned |