CN108364298B - 用于将像素识别为局部极值点的方法和布置 - Google Patents

用于将像素识别为局部极值点的方法和布置 Download PDF

Info

Publication number
CN108364298B
CN108364298B CN201810051048.3A CN201810051048A CN108364298B CN 108364298 B CN108364298 B CN 108364298B CN 201810051048 A CN201810051048 A CN 201810051048A CN 108364298 B CN108364298 B CN 108364298B
Authority
CN
China
Prior art keywords
sensing element
certain
image data
imaging
binarized image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810051048.3A
Other languages
English (en)
Other versions
CN108364298A (zh
Inventor
A·阿斯特洛姆
R·福切海梅
M·约翰尼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick IVP AB
Original Assignee
Sick IVP AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick IVP AB filed Critical Sick IVP AB
Publication of CN108364298A publication Critical patent/CN108364298A/zh
Application granted granted Critical
Publication of CN108364298B publication Critical patent/CN108364298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了用于将像素识别为局部极值点的方法和布置。用于将某个像素识别为局部极值点的方法及成像和处理电路。成像和处理电路分别在与所述某个像素相关联的某个感测元件中以及在其两个或更多个最靠近的近邻感测元件中基于曝光期间感测的光生成感测的信号电平。它基于所述感测的信号电平与至少两个不同的阈值电平之间的比较提供所述某个感测元件和其所述两个或更多个最靠近的近邻感测元件的二值化图像数据。然后，成像和处理电路借助于被配置为对提供的二值化图像数据进行操作的计算元件基于提供的所述某个感测元件的二值化图像数据不同于提供的其所述两个或更多个最靠近的近邻感测元件的二值化图像数据而将所述某个像素识别为局部极值点。

Description

用于将像素识别为局部极值点的方法和布置
技术领域
本文的实施例涉及基于接近传感器图像处理(Near Sensor Image Processing,NSIP)架构的成像和处理电路，用于将像素识别为局部极值点。
背景技术
当像素位置的图像数据值相对于作为与所述像素位置最靠近的近邻的至少两个像素位置的图像数据值是最大值或最小值时，局部极值点(LEP)存在于该像素位置中。可以有不同的理由希望将像素识别为LEP(即，确定或决定像素是LEP)。例如，关于冲击时间(TTI)估计的算法(参见例如WO 2013/107525)是基于LEP的识别。TTI旨在估计当相机与由相机看到的物体在朝着彼此或远离彼此相对移动时相机与由相机看到的物体之间可能发生可能的碰撞的时间，当物体相对地接近相机或远离相机移动时，相机通过一系列图像对物体进行成像。作为所述专利的TTI估计算法的基础的解决方案是基于估计运动的“逆”(即，图像特征停留在相同像素位置多长时间)的算法。出于此目的，该算法基于识别LEP。由于操作可以对像素位置独立执行并且LEP与非常局部的数据相关，因此计算可以并行地进行并且因此TTI算法的实现方式非常适合在用于并行计算的硬件架构(例如，单指令多数据(SIMD)类型的处理器)上实现。特别地，实现方式很好地用于具有直接在图像感测电路系统上或与图像感测电路系统紧密联系或者甚至与单个感测元件紧密联系的处理能力的并行架构。例如，发明人可以表明，他们的利用TTI估计算法的基于LEP的方法大大减少了计算负担，并且也使得它本身自然地通过使用接近传感器图像处理(NSIP)架构，例如在NSIP类型的处理器上实现，这使得能够有非常成本高效的实现方式和低功耗。
NSIP是大约30年前首次描述的概念，其中光学传感器阵列和特定的低级处理单元被紧密地集成到混合模数设备中。尽管其总体复杂度低，但仍然可以高速执行大量的图像处理操作，从而与最先进的解决方案有利地竞争。
图1是NSIP概念的第一个商业实现方式(LAPP1100芯片)的架构的示意性框图。它包括128个处理器片，每个像素一个处理器片。除了光感测电路系统外，每个片还包含微小的算术单元和14位存储装置。图像数据可以从移位寄存器中读出，但也可以被测试128位线图像(line image)内一个或多个设置的位(全局OR)的出现或设置的位的总数(COUNT)。在板上没有模数(A/D)转换器。代替地，如果A/D转换是基于LAPP1100的应用的一部分，那么它可以通过使用若干不同原理之一在软件中实现。一种是基于利用每个CMOS光电二极管在曝光期间所呈现的近似线性放电。然后可以使用选定数量的寄存器连同算术单元来实现并行计数器，对于每个像素，当光电二极管达到预定义电平时，该计数器停止计数。然而，A/D转换常常不是必要的。许多任务(诸如对某些特征进行过滤或执行自适应阈值处理)可以就通过利用芯片的像素读出电路结合每个像素处可用的小位处理器容易地完成。与LAPP1100相关的经验已经以NSIP的名义进行了总结和发表。
图2示意性地示出了用于提供像素的图像数据的LAPP1100的基本光感测部分a-f。电容器b表示光电二极管c的固有电容。当开关a接通时，二极管预充电至其满值。当开关关断并且光电二极管由于光生电流而放电时，比较器d的输入端上的电压降低。在某个电平处，这个电压超过参考电压e，并且输出f切换其与像素的图像数据对应的逻辑值。然后可以在位串行算术逻辑单元g中处理该输出(即，作为位值的图像数据)。光感测部分a-f可以被认为与光感测元件或像素读出电路对应，并且位串行算术逻辑单元g可以被认为与也可以被命名为像素处理器或位处理器的计算元件对应。许多任务(诸如针对某些特征进行过滤、直方图化或进行自适应阈值处理)可以通过利用像素读出电路结合可用于每个像素的位处理器来执行。当来自像素读出的输出表示图像强度高于或低于阈值的信息时，它可以被称为二值化的图像数据。但是，从预充电到输出切换的持续时间包括图像强度的全部或至少更多信息，其可以被处理器用于A/D转换或其它强度相关的操作。这个概念自然给出了高的动态范围以及非常高的帧速率。
在解释NSIP架构的处理器部分时，将它视为字长等于其传感器部分中的像素数的单个处理器可能是方便的。处理器的主要部分是包含所述字长的大小的寄存器字的寄存器文件。第二个寄存器是累加器。NSIP的后续实现方式还包含其它和/或附加的寄存器，以增强某些类型的处理。第一类简单操作是“点操作”，诸如AND、OR等等。它们通常在寄存器和累加器之间应用，从而修改累加器以保持新的结果。第二类通常非常有用的操作是由邻域逻辑单元(NLU)进行的“局部操作”，其中可以在寄存器上同时应用3元素的模板，以形成低级过滤操作。这种操作的一维示例是操作“(01x)R1”，其将模板(01x)与字中的每个位置进行比较，并且在模板适合的地方生成逻辑1，否则生成逻辑0。这个特定的模板检查位位置本身具有值1同时其左边的近邻是0，而右边的近邻允许是1或0(即，“不关心”)。这个局部操作符可能例如在涉及寻找强度图像中的边缘时以及对于寻找局部极值点有用。
第三类操作是“全局操作”。这些用于许多不同的目的，诸如在寄存器中寻找最左边或最右边的1，或者将从某个位置起的所有位清零或设置一组连续的零位。全局操作全部源自使用两个输入寄存器作为操作对象的标记操作。第一个寄存器中的设置的位被看作是第二个寄存器中的对象的指针。对象是1的连通集(connected sets)。被指向的对象将被保留并转发到结果。
通过手头的上述操作，可以实现大多数典型的低级图像处理任务。指令在例如16位总线上从外部或芯片内部的序列器或微处理器一次一个地发出。经处理的图像可以例如在相同的总线或专用的I/O通道上被读出。但是，最经常的是，计算某个特定的标量值(诸如图像特征的位置、最高强度值、一阶矩等等)就足够了。出于该原因，NSIP架构常常包含计数状态COUNT，它被配置为始终反映累加器中设置的位的数量以及指示是否在累加器中设置一个或多个位的全局OR。由于这种状态信息，基于NSIP的应用常常不需要从芯片读出完整的常规图像，从而显著使应用加速。作为示例，可以仅通过使用b个COUNT操作以及对COUNT结果的适当缩放和求和来找到所有值f(i)之和，每个f(i)例如由处理器中的b个位表示。
当在以上介绍的NSIP架构上实现本文的实施例时，从图像数据提取LEP。提取LEP的最简单操作之一是在3x1邻域中寻找局部最小值。这意味着，如果中心像素与其两个近邻相比都具有较低强度，那么这个像素就是LEP。如所认识到的，寻找这样的局部最小值可以通过使用基本的NSIP NLU操作实现，但是也可以通过使用其它顺序操作来完成。还由于以上解释的NSIP概念，将存在便于在明和暗区域中都找到局部最小值的高动态范围。
下面的公开是基于NSIP概念的一些进一步实现方式的示例。
Eklund J-E，Svensson C和
Figure BDA0001552377660000041
“Implementation of a Focal PlaneProcessor.A realization of the Near-Sensor Image Processing Concept”，IEEETrans.VLSI Systems，4，(1996年)。
El Gamal A.，“Trends in CMOS Image Sensor Technology and Design”，International Electron Devices Meeting Digest of Technical Papers，第805-808页(2002年)。
Guilvard A.等人，“A Digital High Dynamic Range CMOS Image Sensor withMulti-Integration and Pixel Readout Request”，Proc.of SPIE-IS&T ElectronicImaging，6501，(2007年)。
图3是来自模拟的图，其仅仅是用于例示图像中的LEP并为了更好地理解LEP。已经从标准图像取了一行，并且LEP已经被标记。LEP已经在局部3×1邻域中被识别，并且在这种情况下与局部最小值对应。寻找LEP的NSIP操作可以被定义为(101)，这意味着，如果中心像素没有超过其阈值但是其两个最靠近的(即，最近的)近邻已经都超过该阈值，那么中心像素是与局部最小点对应的LEP。在图中，图像的一部分已经被放大，以更好地例示在黑点处指示的LEP。来自所示的图中使用的图像的每一行由512个像素组成，并且在所示的特定情况下沿着选定的行有大约70个LEP。
发明内容
鉴于以上内容，一个目的是提供关于通过使用基于接近传感器图像处理(NSIP)的架构将像素识别为局部极值点(LEP)的一个或多个改进。
根据本文实施例的第一方面，通过由成像和处理电路执行的用于将某个像素识别为局部极值点(即，LEP)的方法来实现该目的。成像和处理电路包括多个计算元件和多个感测元件。感测元件分别被配置为感测光并且作为响应而提供像素的二值化图像数据。计算元件分别被配置为对来自所述感测元件的不同子集的二值化图像数据进行操作，其中每个子集包括感测元件和该感测元件的至少两个最靠近的近邻感测元件。成像和处理电路分别在与所述某个像素相关联的某个感测元件中以及在所述某个感测元件的两个或更多个最靠近的近邻感测元件中基于曝光期间感测到的光生成感测信号电平。成像和处理电路然后基于所述感测信号电平与至少两个不同的阈值电平之间的比较来提供所述某个感测元件和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据。另外，成像和处理电路借助于被配置为对所提供的二值化图像数据进行操作的计算元件来将所述某个像素识别为LEP。识别是基于所提供的所述某个感测元件的二值化图像数据不同于所提供的所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据。不同指示在所述某个像素中存在局部最大值或最小值。
根据本文实施例的第二方面，通过包括指令的计算机程序来实现该目的，当指令由成像和处理电路执行时，使成像和处理电路执行根据第一方面的方法。
根据本文实施例的第三方面，通过包括根据第二方面的计算机程序的计算机可读介质来实现该目的。
根据本文实施例的第四方面，通过用于将某个像素识别为LEP的成像和处理电路来实现该目的。成像和处理电路包括多个计算元件和多个感测元件。感测元件分别被配置为感测光并且作为响应提供像素的二值化图像数据。计算元件分别被配置为对来自所述感测元件的不同子集的二值化图像数据进行操作，其中每个子集包括感测元件和该感测元件的至少两个最靠近的近邻感测元件。成像和处理电路分别被配置为在与所述某个像素相关联的某个感测元件中以及在该某个感测元件的两个或更多个最靠近的近邻感测元件中基于曝光期间感测到的光生成感测信号电平。成像和处理电路被配置为基于所述感测信号电平与至少两个不同的阈值电平之间的比较来提供所述某个感测元件和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据。成像和处理电路被配置为借助于被配置为对所提供的二值化图像数据进行操作的计算元件来将所述某个像素识别为LEP。识别是基于所提供的所述某个感测元件的二值化图像数据不同于所提供的所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据。不同指示在所述某个像素中存在局部最大值或最小值，因此该某个像素是局部极值点。
本文的实施例是关于通过使用基于NSIP的架构将像素识别为LEP，并且涉及在提供识别所基于的二值化图像数据时使用两个或更多个阈值电平。本文公开了为这个目的而使用两个或更多个阈值电平的不同方式。如以上公开的，使用两个或更多个阈值电平实现更健壮和对噪声更不敏感的LEP识别。这也使得NSIP架构对于识别LEP更有用，并且对于在实际中使用更令人感兴趣。因此，本文的实施例在涉及使用基于NSIP的架构将像素识别为LEP时提供了改进。因此，本文的实施例还例如实现基于LEP和NSIP的改进的传感器，并且实现来自在NSIP架构上实现的基于LEP的算法的改进的结果。
附图说明
参考所附的示意图更详细地描述本文实施例的示例，下面简要描述这些示意图。
图1是接近传感器图像处理(NSIP)概念的第一商业实现方式LAPP1100的架构的示意性框图。
图2示意性地示出了LAPP1100的光感测和处理元件的部分。
图3是来自模拟的图，仅用来例示图像中的局部极值点(LEP)。
图4a是示意性地例示根据本文实施例的、可以被用来实现成像和处理电路的NSIP架构的框图。
图4b-图4c是用于例示在具有二值化图像数据的情况下的LEP的示意图。
图5示意性地示出了可以被用于实现本文一些实施例的实现方式的、组合的感测元件和计算元件的部分。
图6是示意性地例示根据本文实施例的方法的实施例的流程图。
图7是用于例示根据本文实施例的成像和处理电路以及如何能够将其配置为执行方法的实施例的功能框图。
图8a-图8c是例示涉及使成像和处理电路执行所述方法的计算机程序产品和计算机程序的实施例的示意图。
具体实施方式
在整个以下描述中，在适用时相似的附图标记可以用于表示相似的元件、单元、模块、电路、节点、部分、项或特征。仅在图中示出的一些实施例中出现的特征在附图中通常用虚线指示。
在下文中，本文实施例由示例性实施例例示。应当注意的是，这些实施例不一定是相互排斥的。来自一个实施例的组件可以默认假设为存在于另一个实施例中，并且那些部件可以如何在其它示例性实施例中使用对于本领域技术人员而言是清楚的。
作为朝着本文实施例发展的一部分，将首先进一步详细描述在背景技术中指出的情况和问题。
如上的具有二值化图像数据的传统NSIP架构一般被预期在噪声的影响方面是健壮的。但是，在关于使用常规NSIP架构来识别LEP的实验和模拟期间发现，当它被用于识别LEP并且特别是连续LEP序列(所谓的LEP串(run))时，噪声的影响仍然可能快速地使性能劣化，由此使得基于NSIP的寻找LEP的解决方案比其它可能情况不太让人感兴趣。例如，作为噪声的结果，LEP串中断并趋向于比它们应当的短，这例如负面影响基于LEP串的估计，例如导致太高的速度估计。
因此，如果可以降低噪声的这种负面影响，那么在涉及通过使用基于NSIP的架构而将像素识别为LEP时将有改进。
图4是示意性地例示可以用于实现本文实施例的、基于NSIP架构的成像和处理电路400的框图。
成像和处理电路400包括图像感测电路系统410(其可替代地例如可以被命名为图像传感器部分或光感测部分)，以及计算电路系统420(其可替代地例如可以被命名为处理电路系统)。计算电路系统420被配置为对来自图像感测电路系统410的输出(即，图像数据，例如二值化的图像数据)，特别是对局部图像数据(诸如单独像素或一组近邻像素的图像数据值)进行操作。
图像感测电路系统410包括感测元件411，该感测元件411包括例如包括图中指示的感测元件4111,1。每个感测元件(例如感测元件4111,1)提供对应位置(即，像素位置，例如对于感测元件4111,1的像素位置p1,1，如图所示)中的像素的二值化图像数据。还在图中标记另一个像素位置pF,-2，仅用于例示原理。图像感测电路系统410的每个感测元件411(例如感测元件4111,1)可以例如包括或对应于图2中示出的光感测部分a-f。图中的感测元件411被布置成行和列。如图所示，感测元件411可以被布置成F列(其中F是整数)，并且因此可以分别被编号为1-F。另外，感测元件411以及因此还有像素分别可以被布置成3行，该3行具有可以编号为0的中心行以及可以编号为-1的中心行的前一行和可以编号为+1的后一行。在一些实施例中，感测元件411被布置成5行，其中两个附加行可以分别编号为+2和-2。因此，图像感测电路系统410的感测元件可以按列和行由其地点或位置来引用。例如，图中示出的感测元件4111,1可以被称为列1且行1中的感测元件，并且因此可以提供像素位置p1,1中的像素的二值化图像数据。因此，图像帧中的像素(其中该像素由列1-F中的列x中并且位于中心行0中的感测元件提供)可以由其位置px,0表示。
在所示的架构中，如果针对像素的LEP是相对于这个像素在同一列中的两个或更多个最靠近的近邻像素被识别的，即，识别LEP所相对的像素位置彼此对准并与LEP的像素位置对准，则可能是有利的。或者，换句话说，在图中例示的某个方向上识别LEP。在这种情况下，可以通过对中心行中的像素位置的二值化图像数据与在同一列中最靠近的前一个像素位置和后一个像素位置的二值化图像数据进行比较来识别LEP。例如，可以通过对p1,0的二值化图像数据与p1,1和p1,-1的二值化图像数据进行比较来识别p1,0中的LEP。或者，一般而言，识别在像素位置px,0中是否存在LEP可以通过对px,0(其中x可以是列1-F中的任何一个)的二值化图像数据与px,-1和px,1的二值化图像数据进行比较并且还可能与px,-2和px,2的二值化图像数据进行比较来完成。
一般而言，图像感测电路系统410可以包括总数为F×H个的感测元件411以及因此总数为F×H个的像素，其中H表示行数并且F表示列数。这个总数与图像感测电路系统410的分辨率对应。感测元件411可以如所示出的那样布置成矩阵，即，F>1且H>1，或者布置成线或单行，即，H＝1、F>1。在矩阵的情况下，图像感测电路系统410可以被称为二维(2D)图像传感器或1.5D图像传感器，其中1.5D可以被用来指示行和列的数量与常规2D图像传感器相比有较大程度的区别，即，F>>H。对于本文的实施例，优选的是具有如图中所示的3行或5行并且列的数量F>>5。例如，列的数量(即，F)实际中可以预期处于100的量级，并且例如在128或256的范围内。
感测元件411以及由此对应的像素可以与某个形状因子相关联。形状因子可以由比率a/b给出，其中针对感测元件411中的一个在图中指示出a和b。当存在方形形状时，比率因此是1。
计算电路系统420包括计算元件421，其包括例如图中所指示的计算元件421F。计算元件可以可替代地被命名为像素处理器或位处理器，并且每个计算元件可以例如包括或对应于图2中示出的位串行算术逻辑单元g。
计算元件421中的每一个(包括计算元件421F)可以与一个和/或一组感测元件411相关联并且被配置为对来自该一个和/或一组感测元件411的图像数据进行操作，并且由此还与对应的一个或多个像素位置相关联，通常以预定的方式和/或例如通过并根据正使用的硬件架构(例如，根据正使用的某个NSIP芯片或电路系统)确定。例如，在所示出的图中，计算元件421F可以被配置为对来自同一列中(在所示的示例中因此是列F中)的感测元件的图像数据进行操作。计算元件421可以特别地与一些感测元件411相关联(例如，与一些感测元件411集成)。在图中，所示出的单行的计算元件可以分别特别地与中心像素行的感测元件相关联，并且可以被命名为计算元件4111-F。
总之，计算元件421可以与中心行的感测元件411集成，从而形成中心行元件，每个中心行元件可以包括光电二极管、比较器、简单逻辑单元和某个存储器。与中心行相邻的感测元件(即，在-1行、+1行中，以及在一些实施例中在-2行、+2行中的感测元件)可以进而各自包括光电二极管和比较器。来自这些相邻像素感测元件的输出(即，图像数据)由中心行的感测元件(即，由中心行的逻辑单元)处理，使得例如像素px,-1的和像素px,+1的与一个或多个二进制值对应的二值化图像数据由同一列x中(即，对应于像素位置px,0等)的计算元件处理。
如应当理解的，将在图4a中示出的架构的上下文中的图像帧与由感测元件411从同一次曝光所提供的图像数据集合对应。
图4b-图4c示意性地例示了应当如何对与某个像素位置px,0最靠近的近邻像素位置px,-1、px,1的二值化图像数据进行取值以便所述某个像素位置px,0的二值化图像数据被识别为LEP。这些图分别示出了局部最小值和局部最大值的形式的LEP。
图5示出了组合地示出可以用于实现本文一些实施例的感测元件511和计算元件521的示意性框图。感测元件511可以与图4中的任何感测元件411对应，并且计算元件521可以与图4中的任何计算元件421对应。另外，感测元件511可以与类似于LAPP1100中的光感测部分对应，参见例如图2中的a-f，但是除了第一比较器511d1之外还用另一个、第二比较器511d2进行扩展。比较器分别与不同的阈值电平相关联。在图中将不同的阈值电平表示为TH1和TH2。阈值电平TH1和TH2中的任何一个或两个可以外部设置，即，可以是例如通过在包括计算元件521的设备(例如，芯片)上执行的软件可配置的。可替代地或附加地，可以预先确定和/或预定义阈值电平中的一个或两个。
类似于图2的LAPP1100情况，所示出的感测元件511还包括光电二极管511c和表示光电二极管511c的固有电容的电容器511b以及开关511a。当开关511a接通时，光电二极管511c可以预充电到其满值。当开关关断时，光电二极管511c可以由于光生电流而放电，并且比较器511d1和511d2的输入端上的电压分别下降。在某个电平处，比较器511d1的电压可以超过阈值电平TH1，并且比较器511d1的输出511f1切换其与像素的第一二值化图像数据对应的逻辑值。类似地，在某个电平处，比较器511d2的电压可以超过阈值电平TH2，并且比较器511d2的输出511f2切换其与像素的第二二值化图像数据对应的逻辑值。
然后可以在计算元件521中处理在这里与可以具有相同值或由于两个不同的阈值电平而不同的两个位对应的输出(即，二值化图像数据)。
通常期望将附加比较器(例如，比较器511d2)的阈值电平TH2保持为非常接近另一个(例如，主)比较器511d1的阈值电平TH1，诸如高一个或几个百分点内，例如，大约高1％，但这可能依赖于需要处理的噪音级别、应用区域等等。通过例行实验可以找到合适的差异。
作为使用附加比较器的替代方案但仍能够应用不同阈值电平的是使用同一个比较器两次，其中在光电二极管处具有相同的感测电平，仅改变阈值电平并执行另一读出。与二极管的放电相比，阈值数值的这种改变可以并且应当被快速地执行，但是，如果它可以如图5中所示的解决方案那样并行地(即，同时)进行，那么当然将仍可以实现二值化图像数据的更快供应。
下面的表1示出了当两个阈值电平H和L导致每个像素位置的二值化图像数据的两个输出时以及当像素px,0的二值化图像数据要与像素px,0的一个最靠近的近邻像素px,-1的二值化图像数据进行比较时的状态的可能解释。提供二值化图像数据的感测元件可以例如如图5所示。阈值H(例如，TH1)可以是比阈值L(其可以是较低的阈值，例如TH2)更高的阈值。本领域技术人员认识到，当要识别LEP时，表1也是相关的，因为那时唯一的区别在于还与至少另一个最靠近的近邻像素px,+1进行比较。还认识到的是，可以定义逻辑操作以找出哪个状态存在。
Figure BDA0001552377660000121
表1-当两个阈值电平导致每个像素位置的二值化图像数据的两个输出时的状态的可能解释
因此，由于使用了两个阈值电平，因此更多信息可用于与将像素识别为LEP相关的决策制定。这实现对噪声更不敏感的、更健壮的LEP检测。由表1所示的情况可以与对应的但其中每个感测元件仅使用单个阈值的情况(即，如常规那样)进行比较。参见以下表2，其中相对于表1的解释差异已被标出。
Figure BDA0001552377660000131
表2-当单个阈值电平导致每个像素位置的二值化图像数据的单个输出时的状态的可能解释。
在用于LEP检测的常规算法中，例如为了识别像素位置px,0中的LEP，如果使用图4中示出的架构，那么当像素的二值化图像数据是相对于该像素在同一列中最靠近的近邻像素(即，px,-1和px,1)的二值化图像数据的局部最大值或最小值时，该像素被识别为LEP。用于LEP检测的这个条件可以被描述为：
LEPX,0＝(PX,0＞PX,-1)∩(PX,0＞PX,+1)
在这里P表示像素位置中的二值化图像数据，例如，Px,0指的是像素位置px,0中的二值化图像数据。这里已经通过对于所有涉及的像素位置使用同一个阈值电平来提供二值化图像数据。或者，换句话说，可以从使用这个阈值电平的比较器输出对于每个涉及的像素位置的二值化图像数据。
在一些实施例中，基于如上所述的使用不同的阈值电平，上述条件由以下条件代替，由此实现对噪声更不敏感：
LEPX,0＝(PX,0＞PX,-1)∩(PX,0＞PX,+1)∩(PX,0＞QX,-2)∩(PX,0＞QX,+2)
在这里，P如以上那样的表示二值化图像数据，例如，来自使用第一阈值电平(例如，如上面所提到的TH1)的比较器的输出。Q也表示像素位置中的二值化图像数据，但是该二值化图像数据在这里已经通过使用另一个、有利地更高的阈值电平来提供。例如，Q可以是来自使用另一个阈值电平(例如，如上面所提到的TH2，其中TH2>TH1)的比较器的输出。例如，如果TH1是参考电压电平Vref，那么TH2可以是Vref*1.01。
图6是示意性地例示由成像和处理电路(其在下文中将通过成像和处理电路400来例示)执行的方法的实施例的流程图。该方法用于将某个像素(例如，像素位置px,0中的像素)识别为LEP。
成像和处理电路400包括多个计算元件(例如，计算元件421A-F)和多个感测元件(例如，感测元件411A-F,-1、411A-F,0、411A-F,1)。感测元件411A-F,-1、411A-F,0、411A-F,1分别被配置为感测光并且作为响应提供像素的二值化图像数据。计算元件421A-F分别被配置为对来自所述感测元件的不同子集的二值化图像数据进行操作。每个子集包括感测元件(例如，感测元件411x,0)以及该感测元件的至少两个最靠近的近邻感测元件(例如，感测元件411x,-1、411x,1)。
该方法包括以下动作，在可能且合适时，这些动作可以按照任何合适的次序进行和/或在时间上完全或部分重叠地执行。要注意的是，流程图中一些动作框左侧的示意性图示仅仅是简化示例，这些简化示例仅是为了便于理解而添加的，而不应当以任何方式被认为是限制以下动作中所述的内容。
动作61
成像和处理电路400分别在与所述某个像素相关联的某个感测元件(例如，感测元件411x,0)中并且在该感测元件的两个或更多个最靠近的近邻感测元件(例如，感测元件411x,-1、411x,1)中生成感测到的信号电平。感测到的信号电平是基于曝光期间感测到的光。
动作62
成像和处理电路400基于所述感测到的信号电平与至少两个不同阈值电平之间的比较来提供所述某个感测元件(例如，感测元件411x,0)和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件(即，例如，感测元件411x,-1、411x,1)的二值化图像数据。所述某个感测元件和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件可以彼此对准，诸如通过被包括在同一列中，如对于所述感测元件411x,0、411x,-1、411x,1的情况那样。在这种情况下，LEP将根据对准在某个方向上被识别。所述至少两个不同的阈值电平可以是如上所述的阈值电平(例如，TH1和TH2)。
在一些实施例中，所述至少两个不同的阈值电平分别与比较器(例如，比较器511d1、511d2)相关联。即，每个阈值电平可以有一个比较器。比较器可以被包括在感测元件411x,0、411x,-1、411x,1中的每一个中并且被配置为提供二值化图像数据。在一些另外的实施例中，所述比较器511d1、511d2被配置为分开提供二值化图像数据，由此每个比较器向每个感测元件提供二进制图像数据的一位。
而且，在一些实施例中，所述某个感测元件和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件中的至少一个(例如，感测元件411x,0、411x,-1、411x,1中的至少一个)的二值化图像数据被提供至少两次。每次基于所述至少两个不同的阈值电平中不同的一个。这可以是每个感测元件多于一个比较器的替代方案并且仍然能够通过使用至少两个不同的阈值电平来提供二值化图像数据。
此外，在一些实施例中，所述至少两个不同的阈值电平中的、用于所述某个感测元件(即，例如感测元件411x,0)中的比较的阈值电平不同于所述至少两个不同的阈值电平中的、用于最靠近的前一个和最靠近的后一个感测元件(例如，感测元件411x,-1、411x,1)中的比较的另一个阈值电平。
而且，在一些实施例中，所述两个或更多个最靠近的近邻感测元件包括最靠近的前一个和最靠近的后一个感测元件(例如，感测元件411x,-1、411x,1)以及还有前面第二最靠近和后面第二最靠近的感测元件(例如，感测元件411x,-2、411x,2)。通过还包括第二最靠近的近邻，可以提高对噪声的健壮性。在这些实施例中，如果所述至少两个不同的阈值电平中的、用于最靠近的前一个和最靠近的后一个感测元件(例如感测元件411x,-1、411x,1)中的比较的阈值电平不同于所述至少两个不同的阈值电平中的、用于前面第二最靠近和后面第二最靠近的像素感测元件(例如感测元件411x,-2、411x,2)中的比较的另一个阈值电平，那么是有利的。
动作63
成像和处理电路400借助于被配置为对所提供的二值化图像数据进行操作的计算元件(例如，计算元件421x)将所述某个像素识别为LEP。基于所提供的所述某个感测元件411x,0的二值化图像数据不同于所提供的所述某个感测元件411x,0的所述两个或更多个最靠近的近邻感测元件(即，感测元件411x,-1、411x,1)的二值化图像数据，所述某个像素被识别为LEP。不同指示在所述某个像素中存在局部最大值或最小值。
本文的实施例是关于通过使用基于NSIP的架构将像素识别为LEP，并涉及当提供识别所基于的二值化图像数据时利用两个或更多个阈值电平的不同方式，由此实现更健壮和对噪声更不敏感的LEP识别。这使得NSIP架构对于识别LEP更加有用，并且更有兴趣在实际中使用。因此，本文的实施例在涉及通过使用基于NSIP的架构将像素识别为LEP时提供了改进。
作为结果，本文的实施例还例如实现基于LEP和NSIP的改进的传感器，以及实现来自于在NSIP架构上实现的基于LEP的算法的改进结果。
图7是用于例示成像和处理电路700(其例如可以与成像和处理电路400对应)可以如何被配置为执行上面关于图6讨论的方法和动作的实施例的示意性框图。
因此，成像和处理电路700用于将所述某个像素识别为所述局部极值点。
成像和处理电路700可以包括处理模块701，诸如用于执行所述方法和/或动作的部件、一个或多个硬件模块(包括例如一个或多个处理器)和/或一个或多个软件模块。处理模块701可以包括计算电路系统420并且还可以包括图像感测电路系统410。
成像和处理电路700还可以包括存储器702，存储器702可以包括(诸如包含或存储)计算机程序703。计算机程序703包括可由运动编码器700直接或间接执行以使得它执行所述方法和/或动作的“指令”或“代码”。存储器702可以包括一个或多个存储器单元并且还可以被布置为存储数据，诸如本文实施例的功能和动作中涉及的或者用于执行本文实施例的功能和动作的配置和/或应用。
而且，成像和处理电路700可以包括作为例示性硬件模块并且可以包括或对应于一个或多个处理器的处理电路704。处理电路704在一些实施例中可以完全或部分地与计算电路系统420对应。在一些实施例中，处理模块701可以包括(例如，至少部分地“以其形式体现”或“由其实现”)处理电路704。在这些实施例中，存储器702可以包括可由处理电路704执行的计算机程序703，借此成像和处理电路700可操作或被配置为执行其所述方法和/或动作。
通常，成像和处理电路700(例如，处理模块701)包括输入/输出(I/O)模块705，输入/输出(I/O)模块705被配置为(例如，通过执行)涉及去往/来自其它单元和/或设备的通信，诸如向这些其它单元和/或设备发送信息和/或从这些其它单元和/或设备接收信息。在适用的时候I/O模块705可以通过获得(例如，接收)模块和/或提供(例如，发送)模块来例示。
另外，在一些实施例中，成像和处理电路700(例如，处理模块701)包括作为例示性硬件和/或(一个或多个)软件模块的生成模块706、提供模块707和识别模块708中的一个或多个。这些模块可以完全或部分地由处理电路704来实现。
成像和处理电路700包括多个计算元件(例如，计算元件421A-F)和多个感测元件(例如，感测元件411A-F,-1、411A-F,0、411A-F,1)。感测元件没有在图7中具体指示，但可以例如被包括在处理模块701中和/或生成模块706中和/或提供模块707中或之外。而且，计算元件没有在图7中具体指示，但是可以例如被包括在处理模块701和/或处理电路704和/或识别模块708中。
如上面已经提到的，感测元件分别被配置为感测光并且作为响应提供像素的二值化图像数据。计算元件分别被配置为对来自所述感测元件的不同子集的二值化图像数据进行操作，每个子集包括感测元件及该感测元件的至少两个最靠近的感测元件。
因此，成像和处理电路700和/或处理模块701和/或处理电路704和/或生成模块706分别可操作或被配置为在与所述某个像素相关联的所述某个感测元件中以及在所述某个感测元件的所述两个或更多个最靠近的近邻感测元件中生成感测到的信号电平。
另外，成像和处理电路700和/或处理模块701和/或处理电路704和/或提供模块707可操作或被配置为基于所述感测到的信号电平与所述至少两个不同的阈值电平之间的所述比较来提供所述某个感测元件和所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据。
而且，成像和处理电路700和/或处理模块701和/或处理电路704和/或识别模块708可操作或被配置为借助于被配置为对所提供的二值化图像数据进行操作的所述计算元件来基于所提供的所述某个感测元件的二值化图像数据不同于所提供的所述某个感测元件的所述两个或更多个最靠近的近邻感测元件的二值化图像数据而将所述某个像素识别为局部极值点。
图8a-图8c是例示与计算机程序相关的实施例的示意图，计算机程序可以是计算机程序703并且包括在由处理电路704和/或处理模块701执行时使成像和处理电路700如上所述执行的指令。
在一些实施例中，提供了包括计算机程序703的载体，诸如数据载体，例如计算机程序产品。载体可以是电信号、光信号、无线电信号和计算机可读介质之一。计算机程序703因此可以被存储在计算机可读介质上。载体排除了暂态传播信号，并且载体可以对应地被命名为非暂态载体。作为计算机可读介质的载体的非限制性示例是存储卡或如图8a中的存储棒801、如图8b中的诸如CD或DVD的盘存储介质802、如图8c中的大容量存储设备803。大容量存储设备803通常基于(一个或多个)硬盘驱动器或(一个或多个)固态驱动器(SSD)。大容量存储设备803可以使得其被用于存储可在计算机网络804(例如，互联网或局域网(LAN))上访问的数据。
计算机程序703还可以作为纯粹的计算机程序来提供，或者包括在一个或多个文件中。该一个或多个文件可以存储在计算机可读介质上，并且例如通过在例如计算机网络804上(诸如经由服务器从大容量存储设备803)下载而可用。服务器可以是例如web或文件传输协议(FTP)服务器。该一个或多个文件可以例如是用于直接或间接下载到成像和处理电路700并在成像和处理电路700上执行的可执行文件，以例如通过处理电路704如上所述地执行。该一个或多个文件还可以或可替代地用于涉及相同或另一个处理器的中间下载和编译，以使得它们在进一步下载和执行之前可执行，从而使得成像和处理电路700如上所述地执行。
要注意的是，前面提到的任何(一个或多个)处理模块可以被实现为软件和/或硬件模块，例如，在现有硬件中和/或作为专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。还要注意的是，前面提到的任何(一个或多个)硬件模块和/或(一个或多个)电路可以例如被包括在单个ASIC或FPGA中，或者被分布在若干分开的硬件部件中，无论是单独包装还是被组装成片上系统(SoC)。本文实施例的成像和处理电路优选地在NSIP架构上，例如在NSIP类型的处理器的芯片实现方式(诸如LAPP1100芯片或类似芯片)上实现。本文的一些实施例可以通过在NSIP芯片上编程(诸如通过安装计算机程序703)来实现。
本领域技术人员还将认识到，本文讨论的模块和电路系统可以指硬件模块、软件模块、模拟和数字电路和/或配置有(例如，存储在存储器中的)软件和/或固件的一个或多个处理器的组合，其中当软件和/或固件由一个或多个处理器执行时，使得根据本文实施例的成像和处理电路被配置为和/或执行本文实施例的上述动作。
要注意的是，在可能和/或合适的情况下，本文的一个或多个实施例(例如，涉及一个或多个方法和/或实体)可以在同一个物理布置或实体中实现。
如本文所使用的，术语“单元”可以指一个或多个功能单元，其中每个单元可以被实现为节点中的一个或多个硬件模块和/或一个或多个软件模块。
作为示例，表述“部件”可以是与以上结合附图列出的模块对应的模块。
如本文所使用的，术语“存储器”可以指硬盘、磁存储介质、便携式计算机软磁盘或盘、闪存、随机存取存储器(RAM)等。此外，存储器可以是处理器的内部寄存器存储器。
还要注意的是，本文使用的任何枚举术语(诸如如本文可能使用的第一方法、第二方法和第一布置、第二布置等等)本身应当被认为是非限制性的，并且这种术语本身不暗示着某种等级关系。在没有任何明确的相反信息的情况下，通过枚举的命名应当被认为仅仅是实现不同名称的方式。
如本文所使用的，表述“被配置为”可以意味着处理电路被配置为或适于借助于软件或硬件配置来执行本文描述的一个或多个动作。
如本文所使用的，术语“数量”、“值”可以是任何类型的数字，诸如二进制、实数、虚数或有理数等。而且，“数量”、“值”可以是一个或多个字符，诸如字母或字母串。而且，“数量”、“值”可以由位、位串或字来表示。
如本文所使用的，表述“在一些实施例中”已经被用来指示所描述的实施例的特征可以与本文公开的任何其它实施例组合。
当使用词语“包括”或“包含”时，应当将其解释为非限制性的，即，意味着“至少由......组成”。
本文中的实施例不限于上述优选实施例。可以使用各种替代、修改和等同物。因此，上述实施例不应当被视为限制由所附权利要求定义的本公开的范围。

Claims (14)

1.一种由成像和处理电路(400；700)执行的用于将某个像素识别为局部极值点的方法，其中所述成像和处理电路(400；700)包括多个计算元件(421A-F)和多个感测元件(411A-F,-1、411A-F,0、411A-F,1)，所述感测元件(411A-F,-1、411A-F,0、411A-F,1)分别被配置为感测光并且作为响应提供像素的二值化图像数据，所述计算元件(421A-F)分别被配置为对来自所述感测元件(411A-F,-1、411A-F,0、411A-F,1)的不同子集的二值化图像数据进行操作，每个子集包括感测元件(411x,0)和所述感测元件(411x,0)的至少两个最靠近的近邻感测元件(411x,-1、411x,1)，其中所述方法包括：
-基于曝光期间感测到的光，分别在与所述某个像素相关联的某个感测元件(411x,0)中以及在所述某个感测元件(411x,0)的两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)中，生成(61)感测到的信号电平，
-基于所述感测到的信号电平与至少两个不同的阈值电平之间的比较，提供(62)所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)的二值化图像数据，以及
-基于所提供的所述某个感测元件(411x,0)的二值化图像数据不同于所提供的所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)的二值化图像数据，借助于被配置为对所提供的二值化图像数据进行操作的计算元件(421x)，将所述某个像素识别(63)为局部极值点，所述不同指示在所述某个像素中存在局部最大值或最小值。
2.如权利要求1所述的方法，其中所述至少两个不同的阈值电平分别与比较器(511d1、511d2)相关联，所述比较器包括在每个感测元件(411x,0、411x,-1、411x,1)中并且被配置为提供二值化图像数据。
3.如权利要求2所述的方法，其中所述比较器(511d1、511d2)被配置为分开提供二值化图像数据，由此每个比较器向每个感测元件(411x,0、411x,-1、411x,1)提供二值化图像数据的一位。
4.如权利要求1至3中任一项所述的方法，其中所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)中的至少一个的二值化图像数据被提供至少两次，每次基于所述至少两个不同的阈值电平中的不同的一个。
5.如权利要求1至3中任一项所述的方法，其中所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)彼此对准。
6.一种包括指令的计算机可读介质，所述指令在由成像和处理电路(400；700)执行时使所述成像和处理电路(400；700)执行如权利要求1-5中任一项所述的方法。
7.一种用于将某个像素识别为局部极值点的成像和处理电路(400；700)，其中所述成像和处理电路(400；700)包括多个计算元件(421A-F)和多个感测元件(411A-F,-1、411A-F,0、411A-F,1)，所述感测元件(411A-F,-1、411A-F,0、411A-F,1)分别被配置为感测光并且作为响应提供像素的二值化图像数据，所述计算元件(421A-F)分别被配置为对来自所述感测元件(411A-F,-1、411A-F,0、411A-F,1)的不同子集的二值化图像数据进行操作，每个子集包括感测元件(411x,0)和所述感测元件(411x,0)的至少两个最靠近的近邻感测元件(411x,-1、411x,1)，其中所述成像和处理电路(400；700)被配置为：
基于曝光期间感测到的光，分别在与所述某个像素相关联的某个感测元件(411x,0)中以及在所述某个感测元件(411x,0)的两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)中，生成(61)感测到的信号电平，
基于所述感测到的信号电平与至少两个不同的阈值电平之间的比较，提供(62)所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)的二值化图像数据，以及
基于所提供的所述某个感测元件(411x,0)的二值化图像数据不同于所提供的所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)的二值化图像数据，借助于被配置为对所提供的二值化图像数据进行操作的计算元件(421x)，将所述某个像素识别(63)为局部极值点，所述不同指示在所述某个像素中存在局部最大值或最小值。
8.如权利要求7所述的成像和处理电路(400；700)，其中所述至少两个不同的阈值电平分别与比较器(511d1、511d2)相关联，所述比较器包括在每个感测元件(411x,0、411x,-1、411x,1)中并且被配置为提供二值化图像数据。
9.如权利要求8所述的成像和处理电路(400；700)，其中所述比较器(511d1、511d2)被配置为分开提供二值化图像数据，由此每个比较器向每个感测元件(411x,0、411x,-1、411x,1)提供二值化图像数据的一位。
10.如权利要求7至9中任一项所述的成像和处理电路(400；700)，其中所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)中的至少一个的二值化图像数据被提供至少两次，每次基于所述至少两个不同的阈值电平中的不同的一个。
11.如权利要求7至9中任一项所述的成像和处理电路(400；700)，其中所述某个感测元件(411x,0)和所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)彼此对准。
12.如权利要求7至9中任一项所述的成像和处理电路(400；700)，其中所述至少两个不同的阈值电平中的、用于所述某个感测元件(411x,0)中的比较的阈值电平不同于所述至少两个不同的阈值电平中的、用于最靠近的前一个和最靠近的后一个感测元件(411x,-1、411x,1)中的比较的另一个阈值电平。
13.如权利要求7至9中任一项所述的成像和处理电路(400；700)，其中所述某个感测元件(411x,0)的所述两个或更多个最靠近的近邻感测元件(411x,-1、411x,1)包括最靠近的前一个和最靠近的后一个感测元件(411x,-1、411x,1)以及前面第二最靠近的和后面第二最靠近的感测元件(411x,-2、411x,2)。
14.如权利要求13所述的成像和处理电路(400；700)，其中所述至少两个不同的阈值电平中的、用于最靠近的前一个和最靠近的后一个感测元件(411x,-1、411x,1)中的比较的阈值电平不同于所述至少两个不同的阈值电平中的、用于前面第二最靠近的和后面第二最靠近的像素感测元件(411x,-2、411x,2)中的比较的另一个阈值电平。
CN201810051048.3A 2017-01-27 2018-01-19 用于将像素识别为局部极值点的方法和布置 Active CN108364298B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17153606.3 2017-01-27
EP17153606.3A EP3296954A1 (en) 2017-01-27 2017-01-27 Method and arrangements for identifying a pixel as a local extreme point

Publications (2)

Publication Number Publication Date
CN108364298A CN108364298A (zh) 2018-08-03
CN108364298B true CN108364298B (zh) 2022-03-11

Family

ID=57965669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810051048.3A Active CN108364298B (zh) 2017-01-27 2018-01-19 用于将像素识别为局部极值点的方法和布置

Country Status (3)

Country Link
US (1) US10489899B2 (zh)
EP (1) EP3296954A1 (zh)
CN (1) CN108364298B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585174B2 (en) * 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit
CN109493357B (zh) * 2018-11-16 2021-06-18 浙江海洋大学 一种数码影像近景图像的边界提取方法
CN112784832B (zh) * 2021-02-09 2022-09-09 西南科技大学 一种物体标记点识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685993A (zh) * 2012-08-30 2014-03-26 全视科技有限公司 用于减少cmos图像传感器的模拟图像数据中的噪声的方法及设备
CN104054110A (zh) * 2012-01-20 2014-09-17 西克Ivp股份公司 根据图像感测的碰撞时间
CN104838645A (zh) * 2012-12-20 2015-08-12 索尼公司 成像元件、成像装置、电子设备、阈值计算装置和成像方法
CN105144699A (zh) * 2013-03-15 2015-12-09 拉姆伯斯公司 阈值监测的有条件重置的图像传感器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883971A (en) * 1996-10-23 1999-03-16 International Business Machines Corporation System and method for determining if a fingerprint image contains an image portion representing a smudged fingerprint impression
US10129495B2 (en) * 2016-03-25 2018-11-13 Qualcomm Incorporated Apparatus and method for generating local binary patterns (LBPS)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104054110A (zh) * 2012-01-20 2014-09-17 西克Ivp股份公司 根据图像感测的碰撞时间
CN103685993A (zh) * 2012-08-30 2014-03-26 全视科技有限公司 用于减少cmos图像传感器的模拟图像数据中的噪声的方法及设备
CN104838645A (zh) * 2012-12-20 2015-08-12 索尼公司 成像元件、成像装置、电子设备、阈值计算装置和成像方法
CN105144699A (zh) * 2013-03-15 2015-12-09 拉姆伯斯公司 阈值监测的有条件重置的图像传感器

Also Published As

Publication number Publication date
US10489899B2 (en) 2019-11-26
CN108364298A (zh) 2018-08-03
EP3296954A1 (en) 2018-03-21
US20180218488A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP3902741B2 (ja) 半導体集積回路装置
CN110050267B (zh) 用于数据管理的系统和方法
Lopich et al. A SIMD cellular processor array vision chip with asynchronous processing capabilities
CN111480169B (zh) 用于模式识别的方法、系统和装置
CN108364298B (zh) 用于将像素识别为局部极值点的方法和布置
Chen et al. Flexible hardware architecture of hierarchical K-means clustering for large cluster number
US10474730B2 (en) Median value determination in a data processing system
US11775807B2 (en) Artificial neural network and method of controlling fixed point in the same
DK2805305T3 (en) IMPACT TIME FROM IMAGE DETECTION
Ding et al. Real-time stereo vision system using adaptive weight cost aggregation approach
CN108366262B (zh) 运动编码器
CN109961516B (zh) 表面获取方法、装置及非暂态电脑可读取记录媒体
CN111797971A (zh) 应用卷积神经网络进行数据处理的方法、装置和电子系统
Shahzad et al. Enhanced watershed image processing segmentation
Dudek A flexible global readout architecture for an analogue SIMD vision chip
JP2016045721A (ja) データ格納方法、三値内積演算回路、それを備えた半導体装置、及び、三値内積演算処理プログラム
Zhang et al. A hardware-oriented histogram of oriented gradients algorithm and its VLSI implementation
US20230362498A1 (en) Electronic system configured for image processing and utilizing multiple binary neural networks
Liu et al. Traffic flow video detection system based on line scan CMOS sensor
Lopich et al. Aspa: Asynchronous–synchronous focal-plane sensor-processor chip
US20230231979A1 (en) Image signal processor processing image data having non-bayer pattern and image processing device including same
Dudek et al. A general-purpose cmos vision chip with a processor-per-pixel simd array
Chen et al. Calculating depth image with pixel-parallel processor for a TOF image sensing system
Le Blevec et al. Pipelined Architecture for a Semantic Segmentation Neural Network on FPGA
Pamidimukkala Generalized adaptive variable bit truncation model for approximate stochastic computing

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant