CN107636488A - 用于提高飞行时间像素阵列的分辨率的方法和设备 - Google Patents

用于提高飞行时间像素阵列的分辨率的方法和设备 Download PDF

Info

Publication number
CN107636488A
CN107636488A CN201680026553.1A CN201680026553A CN107636488A CN 107636488 A CN107636488 A CN 107636488A CN 201680026553 A CN201680026553 A CN 201680026553A CN 107636488 A CN107636488 A CN 107636488A
Authority
CN
China
Prior art keywords
pixel
pel array
calculation unit
different
depth calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680026553.1A
Other languages
English (en)
Other versions
CN107636488B (zh
Inventor
弗莱德·康斯坦丁·卡尔代伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107636488A publication Critical patent/CN107636488A/zh
Application granted granted Critical
Publication of CN107636488B publication Critical patent/CN107636488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

描述了一种具有图像信号处理器的设备。图像信号处理器具有多个深度计算单元以计算不同的像素阵列位置的相应飞行时间深度值。多个深度计算单元中的每一个将从像素阵列中的同一像素接收响应信号，使得多个深度计算单元能够根据来自像素阵列的像素的不同组的相应响应信号来计算像素阵列的所述不同的位置的多个深度值，所述像素是所述组中的每一个的成员。组中的每一个包括足以计算相应深度值的不同的接收时钟相位的像素。还描述了另一设备，其中多个深度值是根据各自包括同一像素的像素的不同组类似地计算出的，但是其中深度计算单元计算多个深度值中的每一个。

Description

用于提高飞行时间像素阵列的分辨率的方法和设备
技术领域
本发明的领域总体上涉及图像处理，并且更具体地，涉及用于提高飞行时间像素阵列的分辨率的方法和设备。
背景技术
许多现有的计算系统包括作为集成外围装置的一个或多个传统图像捕获相机。当前趋势是通过将深度捕获集成到其成像组件中来增强计算系统成像能力。例如，可以使用深度捕获来执行各种智能对象识别功能，诸如面部识别(例如，用于安全系统解锁)或手势识别(例如，用于无接触用户界面功能)。
被称为“飞行时间”成像的一个深度信息捕获方法将光从系统发射到对象上并且从图像传感器的多个像素测量光的发射与它在传感器上的反射图像的接收之间的时间。由飞行时间像素产生的图像对应于如通过多个不同的(x,y)像素位置处的唯一深度测量(z)所表征的对象的三维轮廓。
发明内容
描述了具有图像信号处理器的设备。所述图像信号处理器具有多个深度计算单元以计算不同的像素阵列位置的相应飞行时间深度值。所述多个深度计算单元中的每一个将从像素阵列中的同一像素接收响应信号，使得所述多个深度计算单元能够根据来自所述像素为其成员的所述像素阵列中的像素的不同组的相应响应信号，计算所述像素阵列的所述不同的位置的多个深度值。所述组中的每一个包括足以计算相应深度值的不同的接收时钟相位的像素。也描述了另一设备，其中多个深度值是根据各自包括同一像素的像素的不同组类似地计算出的，但是其中深度计算单元计算所述多个深度值中的每一个。
描述了具有用于利用具有接收时钟相位的像素阵列中的像素来生成飞行时间响应信号的装置的设备。所述设备还包括用于根据从所述像素阵列中的像素的不同组生成的飞行时间响应信号的不同集合来计算不同的深度值的装置，其中，所述像素是所述组中的每一个的成员，并且，所述集合中的每个集合是利用足以执行飞行时间深度计算的接收时钟相位来生成的。
附图说明
以下描述和附图用于展示本发明的实施例。在附图中：
图1示出飞行时间系统；
图2示出适于增强图像分辨率的飞行时间像素阵列；
图3示出实现图2的改进方案的像素阵列和图像信号处理器的实施例；
图4示出适于增强图像分辨率的另一飞行时间像素阵列；
图5示出适于增强图像分辨率的另一飞行时间像素阵列；
图6示出用于以增强粒度来捕获飞行时间图像的方法；
图7示出计算系统。
具体实施方式
图1示出飞行时间系统的操作的描绘。在图1的方案中，不可见(例如，红外(IR))光从图像传感器为其一部分的相机发射。该光从相机前方的对象的表面反射并撞击在IR像素阵列的像素上。每个像素在每个相应像素活动(也就是说，并非阵列中的所有像素需要同时活动)的时间段期间响应于所接收到的IR光而生成信号。来自像素的对应组的这些信号的组被处理以确定每个像素组与对象的其对应部分之间的距离，这产生该对象的总体3D图像。
在图1中观察到的波形的集合对应于被提供给四个像素的组的时钟信号的实施例，该四个像素的组生成用于确定像素阵列位置101的深度值的信号(注意，波形可以是模拟的(例如，正弦曲线)并且不限于像图1中所描绘的那样为数字的)。具体地，一组正交时钟信号I+、Q+、I-、Q-被分别应用于I+像素、Q+像素、I-像素和Q-像素。如本领域中已知的，I+信号通常具有0°相位，Q+信号通常具有90°相位偏移，I-信号通常具有180°的相位偏移并且Q-信号通常具有270°相位偏移。四个像素依照其相应时钟信号的唯一脉冲位置从入射IR光收集电荷并且作为响应生成四个相应信号。通常，四个像素的组的曝光时间消耗多个时钟周期T，因为每时钟周期仅可以收集少量的电荷，并且因此在可提供足够强的输出信号之前需要多个时钟周期来在每个像素中生成足够的电荷。因此，像素的“读出”可以利用在每个读出之间插入的许多时钟周期而周期性地进行。
对于任何特定读出，由四个像素的组生成的四个响应信号被处理以确定从位置101到相机前方的对象的距离。然后对于下一个读出周期重复该过程以确定相同位置101的下一个距离值。因此，注意，可针对每读出周期为来自四个像素组的位置101生成单个Z像素值(这再次可能消耗多个时钟周期T)。
问题是所产生的图像的粒度或分辨率。这里，需要消耗四个像素的大表面区域来生成仅单个深度值。这与像素阵列中的物理像素的实际分辨率相比对应于图像分辨率的1：4降低。
图2涉及在所生成的IR图像与像素阵列内的实际物理像素之间具有1:1分辨率的改进方案。在图1的方案中每四个像素能生成仅一个深度值，相比之下，相反在图2的方案中，可为每四个像素生成四个深度值。
图2的方案基于跨像素阵列按照特定模式指派不同的接收时钟相位，使得IR像素阵列中的每个像素可被视为四个不同的像素组的成员，这四个不同的像素组各自将所有四个时钟信号包括在它之内。因为每个像素可与各自能够生成其自身的相应深度值的四个不同组相关联，所以图像的分辨率接近每像素有一个深度值(而不是每四个像素有一个深度值)。
图2示出IR像素阵列，其中每个不同的接收时钟相位被赋予数字：1、2、3或4。如可从图2看到的，接收时钟相位被按照以下规则模式分配给跨越行对的不同的IR像素：
121212...
343434...
集中于像素201，注意像素201可被视为是四个像素202、203、204和205的四个不同组的成员。相对于像素组202，像素201占据该组的右下角。相对于像素组203，像素201占据该组的左下角。相对于像素组204，像素201占据该组的左上角。相对于像素组205，像素201占据该组的右上角。
重要的是，因为时钟相位的前述规则模式，四个组202、203、204、205中的每一个将所有四个相位1、2、3和4包括在其组成像素内。也就是说，这些组中的任一个内的每个像素具有其相位与该同一组内的任何其他像素不同的接收时钟。因此，每个组202、203、204、205能够生成其自身的对应深度值。具体地，像素组202能够生成对应于阵列位置206的深度值，像素组203能够生成对应于阵列位置207的深度值，像素组204能够生成对应于阵列位置208的深度值，并且像素组205能够生成对应于阵列位置209的深度值。
因此可在像素201的每个角处生成深度值。由于不同相控的接收时钟信号被路由到不同的像素的规则模式的重复性，可为具有四个相邻像素(即，除IR像素阵列的最外侧像素之外的所有像素)的所有像素角生成深度值。因此，可以与物理像素本身的分辨率大致相同的分辨率生成深度值。图2的方案因此能够以大致是图1的方案的分辨率4倍的分辨率来生成深度图像。
重要的是，所生成的深度值中的每一个对应于针对特定阵列位置进行的真实深度计算。也就是说，它们不涉及针对其他阵列位置计算的其他深度值的任何线性组合或其他内插。在这个意义上，分辨率增强是实际的而不是内插的。重要的是，在各种实施例中，深度计算其自身是非线性公式——例如，它是两个像素/相位对之间的收集电荷中的差的比率。在图1的方案中仅仅对像素之间的值进行内插或求平均以提高分辨率与如在图2的方案中一样按提高的分辨率实际地计算不同位置处的比率在数学上不相同。
图3示出图像信号处理器(ISP)302如何可以被设计来处理图2的改进方案。如图3中所观察到的，ISP将响应信号从特定像素路由到四个不同的深度计算单元303_1至303_4。深度计算单元根据由像素生成的四个不同相位的响应信号来计算深度值。被路由到任何特定深度计算单元的特定输入信号对应于用来计算特定深度值的四个像素组中的一个。
例如，参考图2和图3两者，深度计算单元303_1接收与组202相关联的输入信号，深度计算单元303_2接收与组203相关联的输入信号，深度计算单元303_3接收与组204相关联的输入信号并且深度计算单元303_4接收与组205相关联的输入信号。重要的是，每个深度计算单元303_1至303_4可并行地或并发地操作。因此，可并发地生成四个像素值。
ISP 302可以用可编程或硬连线逻辑电路加以实现。现场可编程门阵列(FPGA)或可编程逻辑器件(PLD)是前者的示例，而专用逻辑电路是后者的示例。这里，每个深度计算单元可以作为这种逻辑电路的单独的实例被实现。
图3未示出任何特定电路以指示除深度计算单元303_1至303_4在并行布置中的放置以外的所有四个像素值的并发生成。可以想象，所有四个深度计算单元能耦合到相同的读出时钟信号，使得每个深度计算单元一致同步地操作。这里，例如，针对每个读出时钟周期生成四个输出深度值。
作为逻辑电路的替代，ISP 302可以作为在某种处理器或处理核心上执行的软件或固件或其他形式的程序代码被实现。这里，例如，每个深度计算单元可以被视为深度计算指令序列的单独的实例，其中每个指令序列在底层处理核心上并发地执行以便基本上并行地生成所有四个像素值。例如，如果ISP作为多线程处理器被实现，则每个深度计算单元作为处理器并发地执行的深度计算指令的单独的线程被实现。
ISP 302也可以作为硬件逻辑电路和软件的某种组合被实现。无论如何，在深度计算单元对数字值进行操作的程度上，在像素与其对应的深度计算单元之间可以存在模数转换器，以使通过该像素生成的响应信号数字化。在其他的实施方式中可以想象到，深度计算单元可以作为模拟电路被实现，在此情况下将不存在这样的模数电路。
尽管以上讨论强调了可并发地计算不同的深度值，然而在实践中，它们不必严格地如此。例如，单个深度计算单元能接收被数字化并存储在缓冲存储器和/或寄存器中的响应信号的不同集合。响应信号的集合然后被相继地转发到单个深度计算单元并由其进行操作。
不同的像素值被复用到同一深度计算单元中的粒度可以根据实施例而变化。例如，同一像素组的不同的像素值可以被单独地存储并转发到同一深度计算单元中，并且/或者不同的像素组的相应像素值可以被单独地存储并转发到同一深度计算单元中。此类方案可以特别适合于例如不同时读出所有像素阵列行的像素阵列(例如，其中滚动快门方案被利用)。
像素阵列301和ISP 302的实施例可以将像素阵列301和ISP 302实现在分离的半导体管芯上或者可以将像素阵列301和ISP 302集成在同一半导体管芯上。在后者的实施例中，可以将ISP 302(或其部分)物理上集成到与像素阵列301相同的表面区域中。例如，可以将深度值计算单元电路实例(或它们的部分)的阵列物理上集成在像素之中(例如，深度值计算单元可以物理上位于要确定深度值的四个像素附近、内、之中等)。
图4示出与图2和图3的图案相比改进的接收时钟相位分配模式。该改进的相位分配模式提供来自像素阵列的总信号，其提供边缘效应或边缘失真的更容易滤出。
这里，假定像素阵列面向具有诸如一组阶梯的突变边缘的表面。线401对应于两个邻近阶梯平台之间的台阶。组402(和如图4中观察到的在组402之下的每个组)对应于到相机的“顶部”或更近的平台，并且组404(和如图4中观察到的在组404之下的每个组)对应于离相机“底部”或更远的平台。
所有这些组应该对应于健康或干净的深度计算，因为它们相关联的所有像素与特定平台的同一表面对齐。更靠近相机是因为它们与上部平台对齐，与组404和在组404之下的组将生成比组402和在组402之下的组更小的深度值。
组403和在组403之下的组将生成不正确的读数，因为两个阶梯平台之间的边缘贯穿它们。一些像素与上部平台对齐，而其他像素与下部平台对齐。因此组403和在403之下的组将产生错误的且很可能与和组402或组404相关联的任何值广泛不同的深度值。
可以想象到，组403与组402和404之间的深度值的明显差异可以足以滤出与组403及其相关联的下部组相关联的所有读数。然而，对于处理来自阵列的信号的ISP或其他处理组件来说，无法知道广泛不同的值对应于错误还是正在观察的对象的实际结构。
如图4中观察到的，图4的改进模式跨像素阵列使行实例中的一个的序列交替。具体地说，具有相位1和2的一行被用图案表达为
121212...
相比之下，具有相同时钟相位的后续行在之后被用模式表达为
212121...
通过使行实例中的一个的模式交替，从沿着线401的组产生的像素值将沿着线401规则地波动并且因此将更易于标识为可被滤出的“噪声”。行图案的交替对线401不通过的其他组没有有害影响，因为所有这些组仍然包含所有四个相位。
图5指示本文教导可被应用于除四相飞行时间系统之外的其他飞行时间系统。这里，图5描绘了被应用于针对使用九个不同的接收时钟相位的飞行时间系统的像素阵列的相位的模式。集中于像素501，注意存在九个像素的九个不同组，像素501在每个组包含所有九个相位的情况下可被认为是所述九个不同组的成员。根据这些组，可针对像素501及其所有周围像素计算一个唯一深度值。因此图5的方法能够为每个像素位置生成深度值。
图6示出通过如本文中所描述的飞行时间系统执行的方法。如图6中观察到的，该方法包括利用具有接收时钟相位的像素阵列中的像素生成飞行时间响应信号601。该方法也包括根据从像素阵列中的像素的不同组生成的飞行时间响应信号的不同集合来计算602不同的深度值，其中，像素是这些组中的每一个的成员并且利用足以执行飞行时间深度计算的接收时钟相位来生成这些集合中的每个集合。
尽管以上讨论已集中于讨论像素阵列的子部分，然而应该理解的是，可遍及例如像素阵列的全体应用上述的技术以生成飞行时间相机前方的对象的三维图像。该图像可以例如用于标识面部或手势。附加地，尽管以上实施例已强调了针对像素所属于的组中的每一个的多个深度计算重用同一像素信号，但是可以想象到，可以存在不是重用同一信号而是针对多个深度计算生成来自同一像素的多个信号的其他实施例。
图7示出诸如个人计算系统(例如，台式或膝上型电脑)或诸如平板装置或智能手机的移动或手持计算系统的示例性计算系统700的描绘。如图7中观察到的，基本计算系统可以包括中央处理单元701(其可以包括例如多个通用处理核)、设置在应用处理器或多核处理器750上的主存储器控制器717、以及系统存储器702、显示器703(例如，触摸屏、平面板)、本地有线点对点链路(例如，USB)接口704、各种网络I/O功能705(诸如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，WiFi)接口706、无线点对点链路(例如，蓝牙)接口707和全球定位系统接口708、各种传感器709_1至709_N、一个或多个相机710、电池711、电源管理控制单元712、扬声器和麦克风713以及音频编码器/解码器714。
应用处理器或多核心处理器750可以包括其CPU 701内的一个或多个通用处理核715、一个或多个图形处理单元716、主存储器控制器717、I/O控制功能718以及一个或多个图像信号处理器719。通用处理核715通常执行计算系统的操作系统和应用软件。图形处理单元716通常执行图形密集功能以例如生成被呈现在显示器703上的图形信息。存储器控制功能717与系统存储器702由接口对接。图像信号处理器719从相机接收图像信息并且处理原始图像信息以供下游使用。电源管理控制单元712通常控制系统700的功耗。
触摸屏显示器703、通信接口704-707、GPS接口708、传感器709、相机710和扬声器/麦克风编解码器713、714中的每一个可被视为相对于在适当情况下包括集成外围装置(例如，一个或多个相机710)的整个计算系统的各种形式的I/O(输入和/或输出)。取决于实施方式，这些I/O组件中的各个组件可以被集成在应用处理器/多核心处理器750上或者可以位于管芯外或应用处理器/多核心处理器750的封装外部。
在一个实施例中，一个或多个相机710具有用于照射对象的光源和接收多个时钟相位的像素阵列以实现飞行时间深度测量系统。图像信号处理器719可以被设计成将来自像素的同一响应信号运转到多于一个深度计算单元以改进与以上教导一致的捕获图像的分辨率。在实施例中，光源是IR光源并且像素阵列的像素对IR光敏感。
在应用处理器或其他处理器的通用CPU核心上执行的应用软件、操作系统软件、装置驱动程序软件和/或固件(或具有执行程序代码的指令执行流水线的其他功能块)可以将命令导向相机系统并且从相机系统接收图像数据。
本发明的实施例可以包括如上面所阐述的各种过程。这些过程可以用机器可执行指令加以具体实现。这些指令可用于使通用或专用处理器执行某些进程。可替选地，这些过程可以由包含用于执行过程的硬连线逻辑的特定硬件组件或者由编程计算机组件和定制硬件组件的任何组合来执行。
本发明的元件也可以作为用于存储机器可执行指令的机器可读介质来提供。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁光盘、闪速存储器、ROM、RAM、EPROM、EEPROM、磁或光卡、传播介质或者适用于存储电子指令的其他类型的介质/机器可读介质。例如，本发明可以作为计算机程序被下载，其可以经由通信链路(例如，调制解调器或网络连接)通过具体实现在载波或其他传播介质中的数据信号被从远程计算机(例如，服务器)转移到请求计算机(例如，客户端)。
在上述说明书中，已经参考本发明的特定示例性实施例描述了本发明。然而，将显然的是，在不脱离如所附权利要求书中阐述的本发明的更广泛的精神和范围的情况下，可以对其作出各种修改和改变。因此，将在说明性而不是限制性意义上考虑本说明书和附图。

Claims (30)

1.一种设备，包括：
图像信号处理器，所述图像信号处理器具有多个深度计算单元，以计算不同的像素阵列位置的相应飞行时间深度值，所述多个深度计算单元中的每一个从像素阵列中的同一像素接收响应信号，使得所述多个深度计算单元能够根据来自所述像素阵列中的像素的不同组的相应响应信号来计算所述像素阵列的所述不同的位置的多个深度值，所述像素是所述组中的每一个的成员，所述组中的每一个包括足以计算相应深度值的不同的接收时钟相位的像素。
2.根据权利要求1所述的设备，其中，所述多个深度计算单元由逻辑电路构成。
3.根据权利要求2所述的设备，其中，所述多个深度计算单元由专用逻辑电路构成。
4.根据权利要求2所述的设备，其中，所述多个深度计算单元被布置成并发地计算所述多个深度值。
5.根据权利要求1所述的设备，其中，所述图像信号处理器被实现为执行程序代码的处理器，并且所述多个深度计算单元被实现为存储在机器可读存储介质上的多个程序代码序列。
6.根据权利要求5所述的设备，其中，所述处理器是多线程处理器，并且所述多个程序序列包括将在不同的线程上执行的多个程序代码实例。
7.根据权利要求1所述的设备，其中，所述不同的接收时钟相位包括I+、I-、Q+和Q-。
8.根据权利要求1所述的设备，其中，所述像素阵列的每像素接收时钟分配展示以下的模式：
121212…
343434…
其中以上1、2、3和4对应于不同的接收时钟相位。
9.根据权利要求8所述的设备，其中，所述像素阵列的每像素接收时钟分配展示以下的模式：
121212...
343434...
212121...。
10.一种方法，包括：
利用具有接收时钟相位的像素阵列中的像素来生成飞行时间响应信号；以及
根据从所述像素阵列中的像素的不同组生成的飞行时间响应信号的不同集合来计算不同的深度值，所述像素是所述组中的每一个的成员，利用足以执行飞行时间深度计算的接收时钟相位来生成所述集合中的每个集合。
11.根据权利要求10所述的方法，其中，所述不同的深度值被并发地生成。
12.根据权利要求10所述的方法，其中，所述计算用逻辑电路执行。
13.根据权利要求10所述的方法，其中，所述计算通过执行程序代码来执行。
14.根据权利要求13所述的方法，还包括在多线程处理器上执行所述程序代码，其中，不同的线程被分配给不同的飞行时间深度计算。
15.根据权利要求10所述的方法，其中，所述方法还包括：
生成带有所述像素阵列的相机的前方的对象的三维轮廓图像，所述深度值中的每一个是所述三维轮廓图像的一部分。
16.根据权利要求15所述的方法，还包括使用所述三维轮廓图像来执行以下中的一个：
识别面部；
识别手势。
17.一种计算系统，包括：
处理核；
I/O控制中枢；
红外像素的阵列；
图像信号处理器，所述图像信号处理器具有多个深度计算单元，以计算不同的像素阵列位置的相应飞行时间深度值，所述多个深度计算单元中的每一个从像素阵列中的同一像素接收响应信号，使得所述多个深度计算单元能够根据来自所述像素阵列中的像素的不同组的相应响应信号来计算所述像素阵列的所述不同的位置的多个深度值，所述像素是所述组中的每一个的成员，所述组中的每一个包括足以计算相应深度值的不同的接收时钟相位的像素。
18.根据权利要求17所述的计算系统，其中，所述多个深度计算单元由逻辑电路构成。
19.根据权利要求18所述的计算系统，其中，所述多个深度计算单元由专用逻辑电路构成。
20.根据权利要求18所述的计算系统，其中，所述多个深度计算单元被布置成并发地计算所述多个深度值。
21.根据权利要求17所述的计算系统，其中，所述图像信号处理器被实现为执行程序代码的处理器，并且所述多个深度计算单元被实现为存储在机器可读存储介质上的程序代码序列。
22.根据权利要求17所述的计算系统，其中，所述一个或更多个深度计算单元被设计成并发地计算所述多个深度值。
23.一种设备，包括：
图像信号处理器，所述图像信号处理器具有深度计算单元以计算不同的像素阵列位置的相应飞行时间深度值，所述深度计算单元针对所述相应飞行时间深度值中的每一个从像素阵列中的同一像素接收响应信号，所述深度计算单元根据从所述像素阵列中的像素的不同组生成的相应响应信号来计算所述不同的像素阵列位置的所述相应飞行时间深度值，所述像素是所述组中的每一个的成员，所述组中的每一个包括足以计算相应深度值的不同的接收时钟相位的像素。
24.根据权利要求23所述的设备，其中，所述深度计算单元由逻辑电路构成。
25.根据权利要求24所述的设备，其中，所述深度计算单元由专用逻辑电路构成。
26.根据权利要求23所述的设备，其中，所述图像信号处理器被实现为执行程序代码的处理器，并且所述深度计算单元被实现为存储在机器可读存储介质上的程序代码序列。
27.根据权利要求23所述的设备，其中，所述不同的接收时钟相位包括I+、I-、Q+和Q-。
28.根据权利要求23所述的设备，其中，所述像素阵列的每像素接收时钟分配展示以下的模式：
121212…
343434…
其中以上1、2、3和4对应于不同的接收时钟相位。
29.根据权利要求28所述的设备，其中，所述像素阵列的每像素接收时钟分配展示以下的图案：
121212...
343434...
212121...。
30.根据权利要求23所述的设备，还包括在所述图像信号处理器与所述像素阵列之间的存储电路，以存储所述响应信号和所述多个响应信号。
CN201680026553.1A 2015-07-20 2016-06-10 用于提高飞行时间像素阵列的分辨率的方法和设备 Active CN107636488B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/804,243 2015-07-20
US14/804,243 US9921298B2 (en) 2015-07-20 2015-07-20 Method and apparatus for increasing the resolution of a time of flight pixel array
PCT/US2016/037029 WO2017014859A1 (en) 2015-07-20 2016-06-10 Method and apparatus for increasing the resolution of a time of flight pixel array

Publications (2)

Publication Number Publication Date
CN107636488A true CN107636488A (zh) 2018-01-26
CN107636488B CN107636488B (zh) 2021-05-11

Family

ID=56345201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026553.1A Active CN107636488B (zh) 2015-07-20 2016-06-10 用于提高飞行时间像素阵列的分辨率的方法和设备

Country Status (6)

Country Link
US (2) US9921298B2 (zh)
EP (1) EP3326004B1 (zh)
JP (1) JP6716603B2 (zh)
KR (1) KR20170130594A (zh)
CN (1) CN107636488B (zh)
WO (1) WO2017014859A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087057A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
CN112135114A (zh) * 2019-06-24 2020-12-25 英飞凌科技股份有限公司 使用合并模块的飞行时间图像传感器分辨率增强和增加的数据鲁棒性
CN112461154A (zh) * 2019-09-09 2021-03-09 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
CN113840105A (zh) * 2020-06-08 2021-12-24 意法半导体(R&D)有限公司 用于dtof传感器的路由

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624984B1 (ko) 2018-03-21 2024-01-15 삼성전자주식회사 ToF 센서와 이를 이용한 3차원 영상 장치 및 3차원 영상 장치의 구동 방법
KR102473650B1 (ko) 2018-04-13 2022-12-02 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
CN109164432A (zh) * 2018-09-14 2019-01-08 Oppo广东移动通信有限公司 深度获取模组及电子装置
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN109474784B (zh) * 2018-11-21 2020-07-17 维沃移动通信有限公司 一种预览图像处理方法及终端设备
JP7259525B2 (ja) * 2019-04-26 2023-04-18 株式会社デンソー 光測距装置およびその方法
KR20220081522A (ko) 2020-12-09 2022-06-16 에스케이하이닉스 주식회사 이미지 센서
KR102354158B1 (ko) * 2021-01-14 2022-01-21 박천수 다중위상 상관벡터합성 거리측정방법 및 장치
JPWO2022209219A1 (zh) * 2021-03-31 2022-10-06

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036996A1 (en) * 2006-02-08 2008-02-14 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
WO2012012607A2 (en) * 2010-07-21 2012-01-26 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
CN102376728A (zh) * 2010-08-11 2012-03-14 三星电子株式会社 单元像素、光电检测装置及使用其测量距离的方法
CN102567986A (zh) * 2010-10-21 2012-07-11 索尼公司 3d飞行时间相机和方法
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法
KR20130078460A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 포토 게이트를 선택적으로 제어하는 이미지 센서

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283213B2 (en) * 2005-02-08 2007-10-16 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
EP1860462A1 (de) * 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
EP1901093B1 (de) * 2006-09-15 2018-11-14 Triple-IN Holding AG Aufnahme von Entfernungsbildern
JP2009180659A (ja) * 2008-01-31 2009-08-13 Fujifilm Corp 裏面照射型撮像素子及び距離測定装置
US8203699B2 (en) 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
KR101646908B1 (ko) 2009-11-27 2016-08-09 삼성전자주식회사 거리 정보를 감지할 수 있는 이미지 센서
KR101824672B1 (ko) * 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
US9786252B2 (en) 2012-09-10 2017-10-10 Samsung Electronics Co., Ltd. Method and apparatus for suppressing background light in time of flight sensor
US9497440B2 (en) 2013-04-05 2016-11-15 Microsoft Technology Licensing, Llc Burst-mode time-of-flight imaging
US10078137B2 (en) 2013-06-21 2018-09-18 Irvine Sensors Corp. LIDAR device and method for clear and degraded environmental viewing conditions
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
KR102136850B1 (ko) * 2013-11-12 2020-07-22 삼성전자 주식회사 깊이 센서, 및 이의 동작 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080036996A1 (en) * 2006-02-08 2008-02-14 Canesta, Inc. Method and system to correct motion blur and reduce signal transients in time-of-flight sensor systems
JP2009079988A (ja) * 2007-09-26 2009-04-16 Fujifilm Corp 測距方法および装置ならびにこれに用いられる撮像素子
JP2009085705A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 測距装置および測距方法並びにプログラム
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备
WO2012012607A2 (en) * 2010-07-21 2012-01-26 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (tof) systems
CN102376728A (zh) * 2010-08-11 2012-03-14 三星电子株式会社 单元像素、光电检测装置及使用其测量距离的方法
CN102567986A (zh) * 2010-10-21 2012-07-11 索尼公司 3d飞行时间相机和方法
KR20130078460A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 포토 게이트를 선택적으로 제어하는 이미지 센서
CN102663712A (zh) * 2012-04-16 2012-09-12 天津大学 基于飞行时间tof相机的深度计算成像方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110087057A (zh) * 2019-03-11 2019-08-02 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
CN112135114A (zh) * 2019-06-24 2020-12-25 英飞凌科技股份有限公司 使用合并模块的飞行时间图像传感器分辨率增强和增加的数据鲁棒性
US11991341B2 (en) 2019-06-24 2024-05-21 Infineon Technologies Ag Time-of-flight image sensor resolution enhancement and increased data robustness using a binning module
CN112461154A (zh) * 2019-09-09 2021-03-09 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
CN112461154B (zh) * 2019-09-09 2023-11-10 睿镞科技(北京)有限责任公司 3d成像方法、装置和深度相机
CN113840105A (zh) * 2020-06-08 2021-12-24 意法半导体(R&D)有限公司 用于dtof传感器的路由

Also Published As

Publication number Publication date
EP3326004B1 (en) 2021-11-03
JP2018522203A (ja) 2018-08-09
EP3326004A1 (en) 2018-05-30
KR20170130594A (ko) 2017-11-28
US20180156894A1 (en) 2018-06-07
JP6716603B2 (ja) 2020-07-01
WO2017014859A1 (en) 2017-01-26
US20170024894A1 (en) 2017-01-26
CN107636488B (zh) 2021-05-11
US10054673B2 (en) 2018-08-21
US9921298B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
CN107636488A (zh) 用于提高飞行时间像素阵列的分辨率的方法和设备
JP6424510B2 (ja) 移動物体検出方法及びシステム
KR101821729B1 (ko) 의사랜덤 가이드되는 지문등록
US10360731B2 (en) Method and device for implementing virtual fitting
CN107430192A (zh) 增加飞行时间测量的帧速率的方法和装置
CN108875133A (zh) 确定建筑布局
EP3135033B1 (en) Structured stereo
US20150262415A1 (en) Image processing device, system, image processing method, and image processing program
CN107004278A (zh) 3d数据捕获中的标记
IN2014KN01351A (zh)
CN107851327A (zh) 粗细搜索方法及图像处理装置
US20190133692A1 (en) Systems and methods for obtaining a structured light reconstruction of a 3d surface
CN105303572B (zh) 基于主被动结合的深度信息获取方法
CN101750029A (zh) 基于三焦点张量的特征点三维重建方法
CN103017676A (zh) 三维扫描装置和三维扫描方法
JP2016122444A (ja) 焦点スタックから適応スライス画像を生成する方法および装置
CN103136760A (zh) 一种基于fast与daisy的多传感器图像匹配方法
EP3371780A1 (en) System and methods for imaging three-dimensional objects
WO2014177604A1 (en) Method and system for generating a 3d model
US9842402B1 (en) Detecting foreground regions in panoramic video frames
CN108430302A (zh) 图像处理装置、图像处理方法和程序
JP2017053812A (ja) ３次元測定装置、照明装置、パターン生成装置、および方法
CN107589834A (zh) 终端设备操作方法及装置、终端设备
CN102685368B (zh) 以子列为单位的扫描方法
CN104052982B (zh) 集成成像显示器的标定方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant