CN109716754A - 用于捕获稀疏照明场景的数字图像的机器视觉系统 - Google Patents

用于捕获稀疏照明场景的数字图像的机器视觉系统 Download PDF

Info

Publication number
CN109716754A
CN109716754A CN201780058558.7A CN201780058558A CN109716754A CN 109716754 A CN109716754 A CN 109716754A CN 201780058558 A CN201780058558 A CN 201780058558A CN 109716754 A CN109716754 A CN 109716754A
Authority
CN
China
Prior art keywords
matrix
signal
pixel
measured value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780058558.7A
Other languages
English (en)
Inventor
约翰·麦加里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Ltd Co
Cognex Corp
Original Assignee
Cognex Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Ltd Co filed Critical Cognex Ltd Co
Publication of CN109716754A publication Critical patent/CN109716754A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种方法包含通过具有像素阵列的图像传感器产生两个或更多个测量值，所述测量值包含包含在一组符号位中的信息，每一测量值的所述产生包含(i)在所述像素阵列上形成图像信号；以及(ii)根据所述图像信号及一组像素采样模式来比较从所述像素阵列的像素输出的累积像素电流，以产生所述测量值的所述组符号位；缓冲所述测量值中的至少一者以形成缓冲测量值；将所述缓冲测量值的信息与所述测量值的信息进行比较以产生差分测量值；以及将所述差分测量值与所述组像素采样模式的信息相组合，以产生与在所述像素阵列上形成的所述图像信号中的一或多者相关的一或多个数字图像的至少一部分。

Description

用于捕获稀疏照明场景的数字图像的机器视觉系统
相关申请案的交叉参考
本申请案依据35 U.S.C.§119(e)(1)主张2016年9月26日申请的第62/399,936号美国临时申请案及第15/420,622号美国实用新型申请案的优先权的权益，所述申请案以引用的方式并入本文中。
背景技术
本发明大体上涉及机器视觉，并且更特定来说涉及通过数字化大体上可压缩的图像(即，根据一些编码方法可通过至少比像素值集小50％的一组数字很好地表示的数字图像)来操作的机器视觉系统。例如，自然稀疏图像，例如由光平面照明的场景形成的图像大体上是可压缩的，这是因为稀疏图像可由对对应于场景中的照明点的相对较小数目个像素的量值及位置进行编码的一组数字表示，而所有其它像素值可编码为单个数字，其可为零。
一种用于从所关注物体的表面捕获信息的机器视觉方法涉及一种包含数码相机的二维(2D)成像装置，所述数码相机聚焦在由在相对于所述数码相机的固定位置处布置的光源提供的照明平面上。通过在大体上垂直于照明平面的方向上移动所关注物体(或成像装置)，可逐渐收集表示所关注物体的表面的三维(3D)点云用于后续分析。在此方法中，3D点云收集的速度通常受到数码相机可捕获数字图像的最大速率的限制，这可通过数码相机的图像传感器的设计来确定。
常规互补金属氧化物半导体(CMOS)图像传感器架构已经适于提供超高速图像捕获，但是大小、成本、复杂性及支持系统要求通常使得此类装置在商业上可行的机器视觉系统中的集成变得不切实际。
发明内容
一方面，所揭示技术可实施为方法，所述方法包含通过具有像素阵列的图像传感器产生两个或更多个测量值，所述两个或更多个测量值中的每一者包含包含在一组符号位中的信息，所述两个或更多个测量值中的每一测量值的所述产生包含：(i)在所述像素阵列上形成图像信号；以及(ii)根据所述图像信号及一组像素采样模式的至少一部分来比较从所述像素阵列的至少一些像素输出的累积像素电流，以产生所述测量值的所述组符号位；缓冲所述两个或更多个测量值中的至少一个测量值以形成缓冲测量值；将所述缓冲测量值的信息与所述两个或更多个测量值的信息进行比较以产生差分测量值；以及将所述差分测量值与所述组像素采样模式的信息组合，以产生与在所述像素阵列上形成的所述图像信号中的一或多者相关的一或多个数字图像的至少一部分。
实施方案可包含以下特征中的一或多者。在一些实施方案中，在所述像素阵列上的所述图像信号的所述形成中的每一者可包含在作为所述图像信号的部分包含的所述像素阵列的像素子集上接收参考信号，且所述组合可包含将所述参考信号的信息与所述差分测量值及所述组像素采样模式的所述信息组合以产生一或多个数字图像的所述至少一部分。
在一些实施方案中，所述两个或更多个测量值可包含第一测量值及第二测量值。此处，所述第一测量值对应于包含参考信号的图像信号，且所述第二测量值对应于包含所述参考信号及所关注信号的另一图像信号，当所述像素阵列获取在所述像素阵列处接收的所关注图像时，所述所关注信号形成。另外，所述缓冲可包含所述第一测量值的缓冲。
在一些情况下，所述缓冲所述至少一个测量值可包含对基于所述参考信号产生的所述两个或更多个测量值中的两者或更多者进行平均化，以形成所述缓冲测量值。
在一些情况下，所述组合可包含使用与(i)从与所述差分测量值相关联的一组符号位形成的差分测量值矩阵与(ii)从所述组像素采样模式形成的采样矩阵的乘法相关的操作来形成一或多个数字图像的所述至少一部分。此外，所述所关注图像可为稀疏图像，且所述采样矩阵可因式分解为稀疏随机矩阵及带矩阵的乘积。举例来说，所述组合可包含执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法，以产生数字图像的所述至少一部分。作为另一实例，所述组合可包含执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法；以及将所述稀疏矩阵乘法的结果与从所述带矩阵导出的卷积内核的系数进行卷积，以产生包括代表所述所关注图像的数字图像的至少一部分的一或多个数字图像的所述至少一部分。
在另一方面中，所揭示技术可实施为一种视觉系统，其包含：图像传感器，其包含像素阵列、与所述像素阵列耦合的采样模式产生器，以及与所述像素阵列耦合的读出电路；及数字处理器，其与所述图像传感器的所述读出电路耦合。所述像素阵列是可控制的以形成参考信号及图像信号，所述图像信号形成为所述参考信号及所关注信号的合成，当所述像素阵列获取所关注图像时，所述所关注信号形成。所述读出电路经配置以产生测量值矩阵，其包括通过根据由所述采样模式产生器产生的一组像素采样模式比较从所述像素阵列输出的累积像素电流而产生的一组符号位中包含的信息。另外，所述数字处理器经配置以从所述图像传感器的所述读出电路接收基于所述参考信号产生的第一测量值矩阵，从所述图像传感器的所述读出电路接收基于所述图像信号产生的第二测量值矩阵，将所述第一测量值矩阵的信息与所述第二测量值矩阵的信息进行比较，以形成差分测量值矩阵，以及将所述差分测量值矩阵与所述组像素采样模式的信息组合以产生与所述所关注信号相关的数字图像的至少一部分。
实施方案可包含以下特征中的一或多者。在一些实施方案中，所述图像传感器可包含参考信号产生器，其用以提供所述参考信号的合成部分。此处，所述像素阵列包含与所述参考信号产生器耦合的像素的子集，所述子集的所述像素中的每一者接收所述参考信号的所述合成部分并输出与所述参考信号的所述合成部分的参考电平成比例的暗像素电流。另外，所述数字处理器经配置以将所述参考电平的信息与所述差分测量值矩阵及所述组像素采样模式的所述信息组合以产生数字图像的所述至少一部分。
在一些实施方案中，所述数字处理器经配置以使用与所述差分测量值矩阵与从所述组像素采样模式形成的采样矩阵的乘法相关的操作来产生数字图像的所述至少一部分。例如，所述所关注图像可为稀疏图像，且所述采样矩阵从稀疏随机矩阵及带矩阵的乘积构成。
此外，所述数字处理器经配置以执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法，以产生包括代表由所述带矩阵的带宽限制效应有效地过滤的所述所关注图像的数字图像的至少一部分的一或多个数字图像的所述至少一部分。此外，所述数字处理器经配置以将所述稀疏矩阵乘法的结果与从所述带矩阵导出的卷积内核的系数进行卷积，以产生代表所述所关注图像的数字图像的所述至少一部分。
在一些实施方案中，所述读出电路可包含由所述像素阵列的列布置的读出电路。
在附图及以下描述中阐述所揭示技术的一或多个实施方案的细节。从描述、图式及权利要求书，其它特征、方面、描述及潜在优点将变得显而易见。
附图说明
图1展示用于捕获3D点云的视觉系统的实例。
图2A到2B展示用于产生在图像传感器上形成的所关注信号的差分测量值以及用于基于差分测量值产生对应于所关注信号的数字图像的过程的实例的方面。
图3展示待用于图1的视觉系统中用于实施图2A到2B的过程的图像传感器的实例。
图4A到4B展示包含在图3的图像传感器中的像素的方面。
图5展示用于从合成图像信号的测量值产生对应于合成图像信号的所关注信号的数字图像的过程的实例。
各种图式中的相似参考数字及名称指示相似元件。
具体实施方式
在本发明中，大写符号通常用于表示矩阵量。矩阵的行号由下标i标识，列号由下标j标识。一般来说，小写符号用于表示向量，其可为矩阵的行或列。举例来说，xi指代X的行向量，指代X的列向量，而指代行向量xi的元素。括号用于共同引用矩阵的所有向量或元素，举例来说，
X＝(xi)＝(xj)。
冒号与下标一起用于指代由矩阵的行及/或列的子集组成的子矩阵。举例来说，(xi:i+m)指代X的子矩阵，由X的从行i开始的m行组成。
图1是用于实施用于捕获3D点云的方法的视觉系统100的图。视觉系统100包含激光束产生器101、物体传送器102、物体103、数码相机105、数字通信信道109及数字处理器111。数码相机105包含成像透镜106、图像传感器107及相机的数字处理器108。激光束产生器101形成照明平面112，也称为激光束。数字处理器111包含描绘示范性数字图像110的显示器，数字图像110可代表由数码相机105接收的图像(也称为所关注图像)。
如图1中所展示，照明平面112经配置以在物体103移动通过物体传送器102上的场景时与物体103相交。数码相机105相对于激光束产生器101定位，使得透镜106的物体平面104大体上与照明平面112重合。
在操作中，成像透镜106收集由场景散射的光并将其聚焦在图像传感器107上，因此形成由图像传感器107接收的光学图像(也称为所关注图像)。包含光敏像素的矩形阵列的图像传感器107可经触发以在一段时间内形成电信号，所述电信号是由图像传感器107接收的光学图像的模拟。形成在图像传感器107上的此模拟信号(称为图像信号)经采样并转换成数字图像信息，称为测量值。相机的数字处理器108从图像传感器107接收测量值并格式化测量值以用于通过数字通信信道109传送到数字处理器111。在一些实施方案中，相机的数字处理器108还处理测量值以形成其替代数字表示。
由数码相机105形成的测量值由本地数字处理器108或数字计算机111处理，以提取与由照明平面112与场景中的所关注物体的表面的交叉形成的照明点相关的信息。根据预定相机校准，可将对应于由图像传感器107的矩形像素阵列的个别列接收的最大照明的点的像素坐标变换为物体平面104中的世界坐标。
在一些应用中，物体103移动通过照明平面112，并且以规则间隔提取点以形成包含物体103的表面信息的3D点云。为提供对象103的表面的均匀采样，可选择移动间隔以便于与数字图像的水平分辨率一致。
当数码相机105的图像传感器107是常规图像传感器时，由图像传感器107形成的测量值通常是数字图像，其可被概念化为离散数字值的矩阵如110处所描绘，其中矩阵的每一元素的位置及量值与在图像传感器上包含的矩形像素阵列上形成的图像信号的位置及量值直接对应。在此种情况下，形成数字图像所花费的时间将相对于数字化仪的速度及数目主要随着数字图像的大小而变。
大多数常规图像传感器通过对由像素阵列的像素产生的电压信号进行采样，并将电压信号的值量化为数百或甚至数千个电平以形成数字图像来操作。数字读出的过程包含将像素的电压信号切换到连接到图像传感器的采样装置的导体，等待电压信号发展及稳定，对电压信号进行采样，将多个离散步骤中的经采样电压信号与参考信号进行比较以获得数字图像值。改进图像捕获率的已知方法涉及将行(或列)的数目限制为适应场景中的物体所期望的激光束位移所需的最小数目，但实际上有用的位移图像仍然需要数百行的像素读出。改进图像捕获率的其它方法涉及使用多个数字化仪。然而，在实践中，数字化仪的数目受到访问个别像素电压所必需的导体的限制。在常规CMOS图像传感器中，导体是不透明的，通常位于光敏区域附近的光路中，并且只能堆叠在有限数目的层中。上述可将数字化仪的实际数目限制为小于或等于像素阵列的列或行的数目。关于数字化图像信号的高速方法已知很多，但是，最终，使用常规数字图像获取方法可实现对速度的某些实际限制。
在机器视觉系统100中，我们观察到由数码相机105的图像传感器107形成的数字图像可能相对稀疏并且具有由分段平滑函数很好地表示的结构。换句话说，相对于图像信号的尺寸，数字图像的有用信息内容可能非常小，这意味着常规图像传感器将花费大量时间来数字化无用及/或冗余信号信息。在机器视觉系统100的一些应用中，在图像传感器107上形成的稀疏图像的有用信息可包含在每列一个像素值的量值及位置中。一般来说，如果可避免图像信号的冗余读出及转换，那么可实现视觉系统的吞吐量的实质性改进。
根据来自压缩感测领域的理论，K-稀疏信号的向量角可在一些容差∈内从M个1位测量值系数恢复，所述M个1位测量值系数由随机投射的符号形成。举例来说，测量值y∈{1,-1}M，可通过取x的符号乘以采样矩阵A∈{1,-1}MxN来形成，其中A的每一元素通过从伯努利分布绘制值来独立地确定，
y＝符号(Ax)。 (1)
压缩感测提供理论上的保证，即，根据等式(1)，给定由随机投射形成的足够数目的样本，任何两个测量值向量y1及y2之间的汉明距离近似等于对应信号向量x1及x2之间的归一化角度，x1≠x2(在某个容差∈内)。已经证明，确保此伪等距所需的测量值位的数目是约为∈-2Kln(N)，换句话说，直接与稀疏度K及信号维度N的对数的乘积直接相关。
上述结果对于机器视觉系统100具有重要意义，其中由图像传感器107接收的图像形成为稀疏的，因此大体上是可压缩的，并且系统吞吐量可能受到数字图像编码及转移的常规方法的约束。
在视觉系统100中，在图像传感器107的像素阵列上形成的图像信号X的每一列向量xj可被认为是K稀疏信号，其中K＜＜N。在一些实施例中，图像传感器107可具有512行，并且由场景形成的稀疏图像可以每列256位可靠地编码。这表示相对于图像传感器像素阵列采样的常规方法，位率压缩约为16:1，并且可能是吞吐量提高16倍，这通常包含针对512行中的每一行形成及转移～8位；换句话说，图像的每列4096位。
尽管信号重建问题具有潜在的欠定性质，但仍然可进行准确的信号恢复，因为合法的答案受到图像信号的已知稀疏性的约束；最佳近似是最大稀疏的，方式如下：
实际上，通过使用采样矩阵A的转置将测量值向量(yj)反投射到信号空间中，可避免信号空间的穷尽搜索，借此得到可根据量值、稀疏性、结构及其它已知约束来正则化的图像信号近似
可通过以下步骤形成更好信号近似：1)将当前信号近似投射到测量值空间中，2)在测量值空间中形成误差向量，3)将误差向量反投射到信号空间中，4)从当前信号近似减去误差-向量，以及5)正则化以形成
可追求更好近似，直到误差向量的量值下降到进一步近似是无根据的水平。实际上，收敛于解所需的迭代数目取决于误差容限及信号正则化方法的有效性，所述信号正则化方法主要与信号的稀疏性相关。针对给定误差容限，较稀疏信号通常需要较少迭代以达到收敛。
然而，由于等式(4)的解通过任何方式仅提供原始信号的向量角度信息，因此通常不可能在由空间及/或时间分离的测量值恢复的信号之间进行量值比较。
作为与第9,453,730号美国专利中描述的用于确定图像的数字信息的过程相关的实例，考虑由矩阵表示的离散的二维图像信号，其通过基于二进制测量值矩阵中的采样矩阵A的随机投射来编码，根据：
Y＝符号(AX)。 (5)
可代表由第9,453,730号美国专利中描述的列-并行图像数字化设备执行的操作的等式(5)，在Y中对2维图像信号X的列向量内的相对量值进行编码，但是其可能无法对X的行向量内的相对量值进行编码，这意味着通过这些手段通常不可能完全恢复2维图像信号X。
尽管存在上述限制，但是可基于用于确定下文结合图2A到2B描述的图像的数字信息的过程200，通过将为已知信号的参考信号XB添加到所关注信号XI，来实现从测量值位的信号量值的编码及恢复。实际上，通过使用如例如下文结合图3描述的图像传感器的图像传感器，从产生参考信号向量XR及噪声信号向量XN的组成来形成参考信号向量XB，XB＝XR+XN。因而，可从以下等式产生图像信号向量X＝XI+XB的测量值向量Y
在等式(6)中，所关注信号XI对应于在像素阵列处接收的图像(也称为所关注图像)。举例来说，根据机器视觉系统100，当透镜106将图像聚焦在像素阵列处时，称图像在像素阵列处被接收。如上文论述，当包含传送器202及物体203的场景用照明平面112稀疏地照明时，由图像传感器107的像素阵列的列接收的信号通常是稀疏的，即K＜＜N。
所关注信号XI是在像素阵列上形成的图像信号X的潜在分量。可从以下等式产生表示为的所关注信号XI的列向量的数字近似
等式(7)意味着与寻找相对于参考信号的衡量最大稀疏信号近似的系数相关的额外自由度，以便满足符号一致性约束。然而，因为参考信号的列向量是由大体上等效系数构成的，与所关注信号无关，所以可有效地近似恢复信号量值所需的比例因子。
参考信号向量及对应所关注信号可被认为是表示存在于N维信号空间中的直角三角形的两条腿，其中图像信号向量xj(来自等式6)表示斜边。参考信号与图像信号之间的向量角可从其对应测量值向量之间的差值dY的量值近似
dY＝符号(Y-符号(AXB))。 (8)
由于参考信号向量是已知的，因此所关注信号的量值可从以下等式近似
给定信号量值，通过寻找最大稀疏信号向量可恢复所关注信号最大稀疏信号向量的测量空间表示与差分测量值dyj充分一致，此通过以下方式：
实际上，直接从差分测量值中近似信号量值可能就足够，如以下等式所示：
如前所述，通过使用采样矩阵A的转置将差分测量dY反投射到信号空间中并根据稀疏度进行正则化，可避免信号空间的穷尽搜索。因而，可根据等式(12)及(13)产生信号近似
图2A到2B展示根据本发明的各个方面的用于产生数字图像的过程200的实例。过程200的操作可由图像传感器(例如，下文结合图3描述的图像传感器307)及数字处理器执行。此外，执行过程200的一些操作的图像传感器可用在数码相机105中，并且执行过程200的其它操作的数字处理器可为数字处理器108/111。
在210A处，在像素阵列上形成第一图像信号XB。第一图像信号也称为参考信号XB。在具有N个行及N2个列的像素阵列上形成的参考信号XB的实例在图2A的插图气泡中说明。
在一些实施方案中，在210A处形成参考信号XB包含光学及/或电子地遮挡像素阵列，使得有效地防止像素阵列捕获及/或感测由在像素阵列处的透镜106形成的图像(也称为所关注图像)。下文结合图3及图4B详细描述通过保持复位信号对像素阵列进行电子遮蔽的实例。作为另一个例子，可通过在形成参考信号XB时将曝光时间设置为零来实现像素阵列的电子遮蔽。此遮蔽像素阵列的方法是潜在有利的，因为其允许暗电流噪声的累积及后续消除，其在没有复位信号的情况下在采样时间间隔内累积在光敏像素中(其中在220A处执行参考信号XB的采样)。
在其它实施方案中，在210A处形成参考信号XB包含光学地及/或电子地遮蔽光源(例如，照明平面112)，使得有效地防止像素阵列暴露于源自光源的光学能量。例如，基于激光的光源101可为如此明亮，并且曝光如此短，以至于所需要做的就是周期性地将其关闭以在像素阵列上形成仅包含参考信号XB的第一图像信号，而XI＝0。此遮蔽方法的益处是XB的形成与X的形成(下文在210B处描述)相同，添加作为XI接收的光除外。
以此方式，前述遮蔽实施方案中的任一者确保XI＝0，即，在210A处形成参考信号XB的同时不形成所关注信号。
在220A处，对参考信号XB进行采样以产生测量值YB。这可由图像传感器根据等式(5)执行，其中X＝XB。因而，测量值YB含有以对应于基于AXB确定的测量值系数的符号的符号位状态编码的信息。举例来说，符号位“1”可表示值“+1”，且符号位“0”表示值“-1”。此外，在220A处，使用具有M个行的采样矩阵A，逐行地形成测量值YB，其中M＜＜N。
在230A处，测量值YB由图像传感器输出。例如，图像传感器可在230A处逐行传输测量值YB以用于传感器外缓冲。
现在参考图2B，在240A处，在与数字处理器相关联的参考测量值缓冲器中缓冲测量值YB。在图2B的插图气泡中说明作为具有M个行及N2个列的矩阵而被缓冲的测量值YB的实例。缓冲测量值YB将由数字处理器进一步处理，如下文描述。
现在返回到图2A，在210B处，在完成测量值YB的传输时，由像素阵列接收第二图像信号X。由于在210B处未使用在210A处使用的遮蔽，所以除参考信号XB之外，第二图像信号还包含对应于在像素阵列处接收的图像(也称为所关注图像)的潜在所关注信号XI，使得X＝XI+XB。对于所揭示技术特别关注的是，在像素阵列处接收的图像是如上结合等式(6)到(13)所描述的稀疏图像。此外，图像信号XI+XB由像素阵列接收，如下文结合图3及图4A到4B详细描述。在图2A的另一插图气泡中说明由具有N个行及N2个列的像素阵列接收的图像信号XI+XB的实例。
在220B处，对图像信号XI+XB进行采样以形成测量Y。这可由图像传感器根据等式(5)执行，其中X＝XI+XB。因而，测量值Y含有以对应于基于A(XI+XB)确定的测量值系数的符号的符号位的状态编码的信息。再次，符号位“1”可表示值“+1”，且符号位“0”表示值“-1”。此外，使用在220A处使用的相同采样矩阵A，在220B处逐行地形成测量值Y。
在230B处，测量值Y由图像传感器输出。例如，图像传感器可在230B处逐行地传输测量值Y，以由数字处理器进一步处理。
现在参考图2B，在240B处，可在与数字处理器相关联的测量值缓冲器中任选地缓冲测量值Y。在图2B的另一个插图气泡中说明作为具有M个行及N2个列的矩阵缓冲的测量值Y的实例。
在250处，将测量值Y与测量值YB进行比较以形成差分测量值dY。举例来说，数字处理器可从测量Y中减去测量值YB以形成差分测量值dY。差分测量值dY含有M×N2个系数，每一系数具有属于集合{-1,0,1}的值，其中值“1”表示大于零的减法结果，值“0”表示减法结果等于零，且值“-1”表示小于零的减法结果。在图2B的另一插图气泡中说明差分测量值dY的实例。
在260处，求得对应于所关注信号XI的数字图像由于所关注信号XI对应于在像素阵列处形成的图像，因此在260处求得的数字图像指示在像素阵列处接收的图像。在一些实施方案中，针对每一个列j，数字处理器例如根据等式(11)求得对应于测量值向量sign(Axj)的最大稀疏向量测量值向量sign(Axj)在某一容差δ内与对应差分测量值向量dyj符号一致。在一些实施方案中，可根据等式(10)来执行操作260。在260处求得的向量是对应于所关注信号XI的数字图像的列。在图2B的另一插图气泡中说明数字图像的实例。
在270处，输出数字图像以用于显示、存储或进一步处理。举例来说，数字处理器可将数字图像输出到输出装置。在一些实施方案中，输出装置可为与数字处理器相关联的显示装置。在一些实施方案中，输出装置可为与数字处理器相关联的存储装置。根据图1的机器视觉系统100的操作，可进一步处理存储的数字图像以提取在像素阵列处形成的图像的信息，例如通过作为照明平面112的部分的来自所关注物体103的表面的散射激光的散射引起的光点的位置及强度的信息。
再次参考图2A，在230B处完成测量值Y的传输时，可任选地产生测量Y的另一个例子。因而，可执行过程200的操作序列210B、220B及230B以分别(i)形成第二图像信号X的后续例子，(ii)对第二图像信号X的后续实例进行采样以产生测量值Y的后续例子，以及(iii)将测量值Y的后续例子输出到数字处理器，用于结合缓冲测量值YB对其进行进一步处理。
在一些实施方案中，用于产生第二测量值的操作序列210B、220B及230B可经执行预定数目的额外次数，例如，1、2、5、10、20、50、100、200、500、1000或更多次数，针对每一次，执行用于产生第一测量值的操作序列210A、220A及230A。在其它实施方案中，用于产生第一测量值的操作序列210A、220A及230A仅在图像传感器通电时执行一次。在一些其它实施方案中，可在每次执行用于产生第二测量值的操作序列210B、220B及230B之后执行用于产生第一测量值的操作序列210A、220A及230A。在前述实施方案中的每一者中，在每次用于产生第二测量值的操作序列210B、220B及230B之后，由数字处理器执行操作集250、260及270。
图3是与结合过程200使用的图像传感器207一致的图像传感器307的框图。图像传感器307包含具有多行光敏像素350及多行暗像素360的像素阵列，使得像素阵列的列包含光敏像素350及暗像素360两者。图像传感器307进一步包含用于产生一组像素采样模式的电路，其包含采样模式产生器310及采样矩阵行寄存器330。在一些实施方案中，图像传感器307包含参考信号产生器320，也称为参考电压产生器。另外，图像传感器307包含读出电路，其包含与采样模式产生器310耦合并且对应于包含光敏像素350的像素阵列的行及包含暗像素360的像素阵列的行的像素输出选择线340；与参考电压产生器320耦合并对应于包含暗像素360的像素阵列的行的参考电压线341；对应于包含光敏像素350及暗像素360的像素阵列的列的电流输出节点370；与对应电流输出节点370耦合的比较器380；及与比较器380耦合的输出移位寄存器390。
图3还描绘与结合过程200使用的数字处理器208/211一致的数字处理器308/311的部分表示。举例来说，数字处理器308/311包含测量值存储缓冲器331。
在操作中，像素阵列以如下方式形成图像信号XI+XB。图像(也称为所关注图像)聚焦在像素阵列上，使得光敏像素350形成对应所关注信号XI，而参考电压产生器320在参考电压线上341上提供表示参考信号XB的至少一(合成)部分的电压信号到暗像素360。因而，在一些实施方案中，参考信号XB被提供作为参考电压向量V，其具有等于暗像素360的行数目的系数数目。
在一些应用中，参考电压向量V经配置使得XB的列向量的量值近似等于对应于图像传感器307对所关注信号XI的全尺度响应的列向量的量值，借此提供对宽范围图像信号量值的灵敏度。
在所关注信号XI非常弱及/或信号量值的恢复不是必需的其它应用中，图像传感器307可经配置使得提供参考信号XR的暗像素360被省略、去激活或忽略，以在XB＝XR+XN的形成中有效地呈现XR＝0并且使得XB＝XN，其可表示图像传感器307的背景噪声水平。
在图像信号XI+XB的形成之后，采样模式产生器310相继在采样矩阵行寄存器330上形成采样矩阵A的行1到M。采样矩阵A的行中的每一者表示相应采样模式，且因此，采样矩阵A的行1到M形成一组采样模式。采样矩阵行寄存器330的内容驱动像素输出选择线340，因此设置像素选择线的对应状态。像素输出选择线340的状态又使得某些像素350及360将相应像素电流供应到电流输出节点370。例如，针对像素阵列的每一列，由所述组像素采样模式中的一者确定的像素输出选择线340的状态致使选择(i)第一组像素的像素电流，其包含光敏像素350中的至少一者及暗像素360中的至少一者，到第一电流输出节点370以累积第一电流，及(ii)第二组像素的像素电流，其包含光敏像素中的至少另一者及暗像素中的至少另一者，到第二电流输出节点以累积第二电流。由比较器380比较在所有电流输出节点370上累积的所得电流，使得输出移位寄存器390根据等式yi＝符号(ai(XI+XB))形成测量值Y的矩阵的行yi。应注意，这些比较的结果确定测量值的行yi的符号位的状态。测量值Y的矩阵从图像传感器307逐行输出，并由数字处理器308/311的测量值存储缓冲器331接收。
图4A是展示光敏像素450的方面的电路图。光敏像素450与上文结合图3描述的图像传感器307的光敏像素350一致。图4B是展示暗像素460的方面的电路图。暗像素460与上文结合图3描述的图像传感器307的暗像素360一致。在图4A到4B两者中，像素450/460与像素输出选择线440及电流输出节点470耦合，像素输出选择线440及电流输出节点470分别与上文结合图3描述的图像传感器307的像素输出选择线340及电流输出节点370一致。在一些实施方案中，像素输出选择线440由像素阵列的行的所有像素450/460共享。在其它实施方案中，像素输出选择线440由像素阵列的行的一些像素450/460共享。
现在参考图4A，光敏像素450包含钉扎光电二极管406、复位晶体管407、转移门408、跨导器409、输出选择晶体管410、411及浮动扩散节点412。钉扎光电二极管406可通过复位晶体管407复位并允许针对曝光周期累积光产生的电荷。累积电荷通过转移门408转移到浮动扩散节点412用于临时存储。存储在浮动扩散节点412处的对应像素电压电平对应于光敏像素450对图像信号X＝XI+XB的贡献，并控制跨导器409以提供与存储的像素电压电平成比例的电流源。此外，可使用复位电压电平选择性地激活包含在光敏像素450中的每一者中的复位晶体管407。在此类情况下，钉扎光电二极管406中累积的与所关注信号XI相关的电荷被阻止迁移到浮动扩散节点412，因此，有效地创建条件，其中XI＝0，其对应于图像信号为X＝XB，且借此提供在差分测量值dY的形成中使用的测量值YB的形成。因而，复位电压电平存储在相应浮动扩散节点处，以控制像素阵列的光敏像素的相应跨导器，以提供与存储的复位电压电平成比例的相应电流源。
现在参考图4B，暗像素360与参考电压线441耦合，参考电压线441与上面结合图3描述的图像传感器307的参考电压线341一致。根据图3中所说明的图像传感器307的实例，参考电压线441可由一行的所有暗像素460共享。暗像素460包含跨导器409、输出选择晶体管410、411及CMOS开关413。由参考电压信号线441提供的参考电压电平使用CMOS开关413缓冲。以此方式，类似于光敏像素450，暗像素460的跨导器409提供与缓冲参考电压电平成比例的电流源。
现在参考图4A到4B两者，取决于像素输出选择线440的状态，来自光敏像素450或暗像素460的跨导器409的像素电流可通过晶体管410或411切换到两个电流输出节点470中的一者，两个电流输出节点470由列上的所有像素450及460共享。应注意，像素350、360中的每一者的选择晶体管410、411是图像传感器307的列向读出电路的以及像素输出选择线440/340、电流输出节点470/370及上文结合图3描述的其它组件的一部分。
在一些实施方案中，包含在光敏像素450或暗像素460中的任一者中的跨导器409可实施为PMOS(正沟道金属氧化物半导体)晶体管，因此，使得由跨导器409对在电流输出节点470上累积的电流贡献的像素电流与存储在浮动扩散节点412上的电压电平成正比。因此，当在像素阵列处形成的图像稀疏时，例如在图1的机器视觉系统100中，表示对应图像信号X的信息所必需的像素电流将是相对较小的，这是因为未曝光像素将要求超过与跨导器晶体管409的偏置相关的较小量的很少电流，以便在线性状态下操作。
图5展示用于从图像信号X＝XI+XB的测量值产生对应于潜在所关注信号XI的数字图像的过程500的实例。
过程500的操作可由类似于结合过程200使用的数字处理器的数字处理器508/511来执行。在此实例中，数字处理器508/511与图像传感器507及输出装置512通信，图像传感器507及输出装置512分别与结合过程200使用的图像传感器207及输出装置212一致。
在540A(对应于230A)处，数字处理器508/511从图像传感器507接收对应于图像信号XB的测量值YB。在540B(对应于230B)处，数字处理器508/511从图像传感器507接收对应于图像信号X＝XI+XB的测量值Y。应注意，测量值Y及测量值YB由图像传感器507在过程200的相应操作220B及220A处形成。例如，在图像传感器的光敏像素存储与图像信号X＝XI+XB相关的像素电压电平的同时已形成测量值Y，并且在图像传感器的光敏像素存储大体上等于其复位电压电平的像素电压电平的同时已产生测量值YB。
在550处，数字处理器508/511将测量值YB的信息与测量值Y的信息进行比较。举例来说，数字处理器508/511可从测量值Y减去测量值YB以形成差分测量值dY。(i)从差分测量值dY导出的信息、(ii)像素采样模式组(ai)的信息以及(iii)参考电压电平XR的信息的组合可用于产生代表所关注信号XI的信息。
在一些实施方案中，如第9,453,730号美国专利在c.10,ll.10-28及ll.41-64；c.11,ll.13-32；c.12,ll.24-32；c.12,l.61–c.13,l.54；c.14,ll.1-29所揭示，采样矩阵A∈{-1,0,1}MxN可由稀疏随机矩阵Θ∈{-1,0,1}MxN及带矩阵Ψ∈{-1,0,1}NxN的乘积构成：
A＝ΘΨ。 (14)
在一些应用中，Ψ用于带宽限制信号，以便于增加在测量值Y中编码的信号的稀疏性。举例来说，带矩阵Ψ可包含用于计算近似空间导数的系数，乘以带矩阵Ψ是等效于通过内核的卷积，所述内核包含由ψ给出的2n个系数，例如：
在等式(15)中展示的实例中，n＝4，因此卷积内核ψ具有8个系数。
在560处，已经配置有稀疏随机矩阵Θ的信息及卷积内核ψ的系数的数字处理器508/511循序地将Θ的转置的行乘以差分测量值dY的列以循序地形成行(zi-n:i+n)，其中i＝1...N。在560处形成的行(zi-n:i+n)经缓冲以形成与ψ卷积的所关注信号XI的第一近似的一部分。
在564处，数字处理器508/511将行(zi-n:i+n)卷积ψ以产生行后者是差分测量值dY的行向量，其反投射到信号空间中。应注意，在564处产生的反投射差分测量在数学上等效于ATdY，然而，为提高计算效率，数字处理器508/511利用采样矩阵A是两个大体上稀疏因子Θ及Ψ的乘积的事实，尽管相对密集。采样矩阵A的此因式分解允许由ATdY隐含的计算密集的密集矩阵乘法被包含稀疏矩阵乘以Θ然后用ψ卷积的更有效的方法替换，如上文描述。因而，数字处理器508/511可包含稀疏矩阵乘法器，用于将差分测量值dY乘以从采样矩阵因式分解的稀疏随机矩阵Θ的转置。稀疏矩阵乘法器可用硬件、固件、软件或其组合来实施。
在568处，数字处理器508/511对进行正则化以产生对应于所关注信号XI的数字图像的值。在一些实施例中，在568处执行的正则化可包含对非正则化图像的列向量进行秩值过滤以识别系数，所述系数可被归零或以其它方式调整，以在所产生的数字图像中产生结构化稀疏度，这与所关注信号XI的已知结构大体上一致。
在570处，数字处理器508/511将对应于所关注信号XI的数字图像输出到输出装置512用于存储、显示或进一步分析，如结合过程200所述。
所揭示技术相对于第9,453,730号美国专利中所揭示的技术具有至少两个主要益处。
第一，在过程200的250或过程500的550处产生的差分测量值dY的列向量dyj表示相对于大体上等效参考信号向量所进行的测量。因此，从差分测量值dY重建的数字图像的像素将具有正确的相对量值关系。
第二，当从测量值Y减去参考测量值YB以形成差分测量值dY时，差分测量值dY的剩余非零系数主要是所关注信号XI的贡献，因为，在图像传感器307中，由产生的累积电流差分必须在方向上相反且量值大于以产生差分测量值系数的非零结果。由于参考测量值YB是由参考信号XB的投射形成，其包含图像传感器307的图像传感器噪声XN并且在某些情况下包含所产生的参考信号XR，因此得出差分测量值dY的非零系数表示大体上与图像传感器噪声XN的影响无关的图像信号的信息。
尽管如此，重要的是应注意，针对固定参考信号XB，重建数字图像的最终信噪比(SNR)将受到差分测量值dY中的非零系数的数目的影响，这是因为根据稀疏度K及信号维度N的对数的乘积，测量值位的有效数目与信号与测量值空间之间的映射的精度成反比。

Claims (15)

1.一种方法，其包括：
通过具有像素阵列的图像传感器产生两个或更多个测量值，所述两个或更多个测量值中的每一者包括包含在一组符号位中的信息，所述两个或更多个测量值中的每一测量值的所述产生包括：
(i)在所述像素阵列上形成图像信号；以及
(ii)根据所述图像信号及一组像素采样模式的至少一部分来比较从所述像素阵列的至少一些像素输出的累积像素电流，以产生所述测量值的所述组符号位；
缓冲所述两个或更多个测量值中的至少一个测量值以形成缓冲测量值；
将所述缓冲测量值的信息与所述两个或更多个测量值的信息进行比较以产生差分测量值；以及
将所述差分测量值与所述组像素采样模式的信息组合，以产生与在所述像素阵列上形成的所述图像信号中的一或多者相关的一或多个数字信号的至少一部分。
2.根据权利要求1所述的方法，其中
在所述像素上的所述图像信号的所述形成中的每一者包括在作为所述图像信号的部分包含的所述像素阵列的像素子集上接收参考信号，且
所述组合包括将所述参考信号的信息与所述差分测量值及所述组像素采样模式的所述信息组合以产生一或多个数字图像的所述至少一部分。
3.根据权利要求1所述的方法，其中
所述两个或更多个测量值包括第一测量值及第二测量值，所述第一测量值对应于包括参考信号的图像信号，且所述第二测量值对应于包括所述参考信号及所关注信号的另一图像信号，当所述像素阵列获取在所述像素阵列处接收的所关注图像时，所述所关注信号形成，且
所述缓冲包括所述第一测量值的缓冲。
4.根据权利要求3所述的方法，其中所述缓冲所述至少一个测量值包括对基于所述参考信号产生的所述两个或更多个测量值中的两者或更多者进行平均化，以形成所述缓冲测量值。
5.根据权利要求3所述的方法，其中
所述组合包括使用与(i)从与所述差分测量值相关联的一组符号位形成的差分测量值矩阵与(ii)从所述组像素采样模式形成的采样矩阵的乘法相关的操作来形成一或多个数字图像的所述至少一部分。
6.根据权利要求5所述的方法，其中
所述所关注图像是稀疏图像，且
所述采样矩阵可因式分解为稀疏随机矩阵及带矩阵的乘积。
7.根据权利要求6所述的方法，其中所述组合包括：
执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法，以产生数字图像的所述至少一部分。
8.根据权利要求6所述的方法，其中所述组合包括：
执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法；以及
将所述稀疏矩阵乘法的结果与从所述带矩阵导出的卷积内核的系数进行卷积，以产生包括代表所述所关注图像的数字图像的至少一部分的一或多个数字图像的所述至少一部分。
9.一种视觉系统，其包括：
图像传感器，其包括像素阵列、与所述像素阵列耦合的采样模式产生器，以及与所述像素阵列耦合的读出电路；及
数字处理器，其与所述图像传感器的所述读出电路耦合；
其中所述像素阵列是可控制的以形成参考信号及图像信号，所述图像信号形成为所述参考信号及所关注信号的合成，当所述像素阵列获取所关注图像时，所述所关注信号形成，
其中所述读出电路经配置以产生测量值矩阵，所述测量值矩阵包括通过根据由所述采样模式产生器产生的一组像素采样模式比较从所述像素阵列输出的累积像素电流而产生的一组符号位中包含的信息；且
其中所述数字处理器经配置以
从所述图像传感器的所述读出电路接收基于所述参考信号产生的第一测量值矩阵，
从所述图像传感器的所述读出电路接收基于所述图像信号产生的第二测量值矩阵，
将所述第一测量值矩阵的信息与所述第二测量值矩阵的信息进行比较，以形成差分测量值矩阵，以及
将所述差分测量值矩阵与所述组像素采样模式的信息组合以产生与所述所关注信号相关的数字图像的至少一部分。
10.根据权利要求9所述的视觉系统，其中所述图像传感器进一步包括：
参考信号产生器，其用以提供所述参考信号的合成部分；
其中所述像素阵列包含与所述参考信号产生器耦合的像素的子集，所述子集的所述像素中的每一者接收所述参考信号的所述合成部分并输出与所述参考信号的所述合成部分的参考电平成比例的暗像素电流；且
其中所述数字处理器经配置以将所述参考电平的信息与所述差分测量值矩阵及所述组像素采样模式的所述信息组合以产生数字图像的所述至少一部分。
11.根据权利要求9所述的视觉系统，其中所述数字处理器经配置以使用与所述差分测量值矩阵与从所述组像素采样模式形成的采样矩阵的乘法相关的操作来产生数字图像的所述至少一部分。
12.根据权利要求11所述的视觉系统，其中
所述所关注图像是稀疏图像，且
所述采样矩阵从稀疏随机矩阵及带矩阵的乘积构成。
13.根据权利要求12所述的视觉系统，其中所述数字处理器经配置以执行所述差分测量值矩阵与所述稀疏随机矩阵的至少一部分的转置的稀疏矩阵乘法，以产生包括代表由所述带矩阵的带宽限制效应有效地过滤的所述所关注图像的数字图像的至少一部分的一或多个数字图像的所述至少一部分。
14.根据权利要求13所述的视觉系统，其中所述数字处理器经配置以将所述稀疏矩阵乘法的结果与从所述带矩阵导出的卷积内核的系数进行卷积，以产生代表所述所关注图像的数字图像的所述至少一部分。
15.根据权利要求9所述的视觉系统，其中所述读出电路包括由所述像素阵列的列布置的读出电路。
CN201780058558.7A 2016-09-26 2017-04-10 用于捕获稀疏照明场景的数字图像的机器视觉系统 Pending CN109716754A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662399936P 2016-09-26 2016-09-26
US62/399,936 2016-09-26
US15/420,622 2017-01-31
US15/420,622 US9652692B1 (en) 2016-09-26 2017-01-31 Machine vision system for capturing a digital image of a sparsely illuminated scene
PCT/US2017/026866 WO2018057063A1 (en) 2016-09-26 2017-04-10 Machine vision system for capturing a digital image of a sparsely illuminated scene

Publications (1)

Publication Number Publication Date
CN109716754A true CN109716754A (zh) 2019-05-03

Family

ID=58670527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058558.7A Pending CN109716754A (zh) 2016-09-26 2017-04-10 用于捕获稀疏照明场景的数字图像的机器视觉系统

Country Status (5)

Country Link
US (1) US9652692B1 (zh)
KR (1) KR20190054146A (zh)
CN (1) CN109716754A (zh)
DE (1) DE112017004809T5 (zh)
WO (1) WO2018057063A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443447B2 (en) * 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US20230217128A1 (en) * 2021-12-31 2023-07-06 Samsung Electronics Co., Ltd. Flexible computational image sensor with compressive sensing capability

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316348A (ja) * 1991-08-30 1993-11-26 Fuji Xerox Co Ltd 画像読み取り装置及び画像読み取り方法
KR100707071B1 (ko) * 2005-12-02 2007-04-13 매그나칩 반도체 유한회사 자동 블랙 레벨 보상 기능을 갖는 이미지 센서 및 자동블랙 레벨 보상방법
CN101132486A (zh) * 2006-08-25 2008-02-27 比亚迪股份有限公司 一种cmos图像传感器的模拟图像信号处理方法及其电路
CN101448078A (zh) * 2008-12-15 2009-06-03 昆山锐芯微电子有限公司 图像传感器和图像信号处理方法
US20120262622A1 (en) * 2011-04-18 2012-10-18 Samsung Electronics Co., Ltd. Image sensor, image processing apparatus and manufacturing method
CN102883115A (zh) * 2011-07-15 2013-01-16 联咏科技股份有限公司 影像感测器及其黑阶校正方法
CN103248836A (zh) * 2012-02-14 2013-08-14 全视科技有限公司 用于成像像素的黑色电平校正的方法和系统
CN104065891A (zh) * 2013-03-20 2014-09-24 康耐视股份有限公司 机器视觉3d线扫描图像获取及处理
US20150049227A1 (en) * 2011-01-19 2015-02-19 Kabushiki Kaisha Toshiba Solid state imaging device
CN104469187A (zh) * 2013-09-12 2015-03-25 株式会社东芝 固体摄像装置以及相机
US20160010990A1 (en) * 2013-03-20 2016-01-14 Cognex Corporation Machine Vision System for Forming a Digital Representation of a Low Information Content Scene
CN105852889A (zh) * 2015-01-30 2016-08-17 佳能株式会社 控制装置及控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3122732B2 (ja) 1992-04-30 2001-01-09 宏介 佐藤 読出し装置および距離測定装置
WO2006116134A2 (en) 2005-04-21 2006-11-02 William Marsh Rice University Method and apparatus for compressive imaging device
US8860835B2 (en) 2010-08-11 2014-10-14 Inview Technology Corporation Decreasing image acquisition time for compressive imaging devices
US9111526B2 (en) 2010-10-25 2015-08-18 Qualcomm Incorporated Systems, method, apparatus, and computer-readable media for decomposition of a multichannel music signal
US8405763B2 (en) 2010-12-23 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Video camera for reconstructing varying spatio-temporal resolution videos
US9191026B2 (en) 2013-02-18 2015-11-17 Sony Corporation Image sensor and imaging method with single shot compressed sensing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05316348A (ja) * 1991-08-30 1993-11-26 Fuji Xerox Co Ltd 画像読み取り装置及び画像読み取り方法
KR100707071B1 (ko) * 2005-12-02 2007-04-13 매그나칩 반도체 유한회사 자동 블랙 레벨 보상 기능을 갖는 이미지 센서 및 자동블랙 레벨 보상방법
CN101132486A (zh) * 2006-08-25 2008-02-27 比亚迪股份有限公司 一种cmos图像传感器的模拟图像信号处理方法及其电路
CN101448078A (zh) * 2008-12-15 2009-06-03 昆山锐芯微电子有限公司 图像传感器和图像信号处理方法
US20150049227A1 (en) * 2011-01-19 2015-02-19 Kabushiki Kaisha Toshiba Solid state imaging device
US20120262622A1 (en) * 2011-04-18 2012-10-18 Samsung Electronics Co., Ltd. Image sensor, image processing apparatus and manufacturing method
CN102883115A (zh) * 2011-07-15 2013-01-16 联咏科技股份有限公司 影像感测器及其黑阶校正方法
CN103248836A (zh) * 2012-02-14 2013-08-14 全视科技有限公司 用于成像像素的黑色电平校正的方法和系统
CN104065891A (zh) * 2013-03-20 2014-09-24 康耐视股份有限公司 机器视觉3d线扫描图像获取及处理
US20160010990A1 (en) * 2013-03-20 2016-01-14 Cognex Corporation Machine Vision System for Forming a Digital Representation of a Low Information Content Scene
CN104469187A (zh) * 2013-09-12 2015-03-25 株式会社东芝 固体摄像装置以及相机
CN105852889A (zh) * 2015-01-30 2016-08-17 佳能株式会社 控制装置及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高岑: ""基于混合域累加的TDI型CMOS图像传感器关键技术研究"", 《中国博士学位论文全文数据库（电子期刊）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight

Also Published As

Publication number Publication date
KR20190054146A (ko) 2019-05-21
WO2018057063A1 (en) 2018-03-29
DE112017004809T5 (de) 2019-06-19
US9652692B1 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
JP6666385B2 (ja) マシーンビジョン３ｄラインスキャンイメージ取得及び処理
US11423562B2 (en) Device and method for obtaining distance information from views
US10677593B2 (en) Machine vision system for forming a digital representation of a low information content scene
Schuon et al. High-quality scanning using time-of-flight depth superresolution
CN104137150B (zh) 测距成像中的运动补偿
US10284793B2 (en) Machine vision system for forming a one dimensional digital representation of a low information content scene
CN105931196A (zh) 基于傅里叶光学建模的编码光圈相机图像恢复方法
CN109716754A (zh) 用于捕获稀疏照明场景的数字图像的机器视觉系统
WO2017205829A1 (en) Method for reducing the error induced in projective image-sensor measurements by pixel output control signals
CN105704371A (zh) 一种光场重聚焦方法
CN107727238A (zh) 基于掩膜板调制的红外并行压缩成像系统及成像方法
CN104217412B (zh) 一种机载超分辨率图像重建装置及重建方法
Zhang et al. First arrival differential lidar
Suo et al. A self-synchronized high speed computational ghost imaging system: A leap towards dynamic capturing
León-López et al. Reconstruction of multispectral light field (5d plenoptic function) based on compressive sensing with colored coded apertures from 2D projections
Ng Image Processing Scheme For Single Pixel Imaging
Gergelyi et al. Digital Micromirror Device (DMD) projector based test bench for vision chips
Zhai et al. Multiaperture Super Resolution Algorithm Based on the Sensor Array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190503

WD01 Invention patent application deemed withdrawn after publication