CN110335302A - 从单个传感器生成的深度图 - Google Patents

从单个传感器生成的深度图 Download PDF

Info

Publication number
CN110335302A
CN110335302A CN201910609181.0A CN201910609181A CN110335302A CN 110335302 A CN110335302 A CN 110335302A CN 201910609181 A CN201910609181 A CN 201910609181A CN 110335302 A CN110335302 A CN 110335302A
Authority
CN
China
Prior art keywords
region
focal length
depth
depth map
length measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910609181.0A
Other languages
English (en)
Other versions
CN110335302B (zh
Inventor
D·哈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Italian Semiconductor (r&d) Co Ltd
Original Assignee
Italian Semiconductor (r&d) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Italian Semiconductor (r&d) Co Ltd filed Critical Italian Semiconductor (r&d) Co Ltd
Publication of CN110335302A publication Critical patent/CN110335302A/zh
Application granted granted Critical
Publication of CN110335302B publication Critical patent/CN110335302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及从单个传感器生成的深度图。用于生成深度图的装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将该图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。

Description

从单个传感器生成的深度图
本申请是申请日为2016年04月26日、申请号为201610267138.7、发明名称为“从单个传感器生成的深度图”的发明专利申请的分案申请。
技术领域
一些实施例涉及用于从图像传感器捕获的单个图像生成深度图的装置和方法。
背景技术
使用(例如在CMOS架构中实施的)光电二极管像素的图像传感器是已知的。这种图像传感器具有很多应用。在一些应用中，可以提供像素阵列。用于确定到对象的距离的设备是已知的。
此外，当前的光子学3D图/深度设备通常被限制于针对其进行了优化的单个应用。例如，在多个相机或者相机阵列提供的一些设备中，图像可以被用于确定距离。计算相机应用可以比较这些图像内的特征，并且通过使用与相机或者相机阵列关联的本征和非本征参数的知识，确定相距设备的距离。计算相机应用因此可以创建3D图像与关联的3D深度图。
发明内容
根据第一方面，提供用于生成深度图的装置，该装置包括：单个相机模块，具有固定近场焦距，被配置为捕获单个图像；图像分割器，被配置为将图像分区成多个区域；焦距度量确定器，被配置为确定针对多个区域中的每个区域的焦距度量；以及深度图生成器，被配置为针对多个区域中的每个区域将焦距度量映射成深度值并且将多个深度值组合以生成针对单个相机的深度图。
单个相机模块可以被配置为捕获另一单个图像，图像分割器可以被配置为将另一图像分区成多个区域，焦距度量确定器可以被配置为确定针对多个区域中的每个区域的另一焦距度量；并且深度图生成器可以被配置为针对多个区域中的每个区域将焦距度量映射成另一深度值并且将多个另一深度值组合以生成针对单个相机的另一深度图。
装置可以进一步包括对象确定器，其被配置为从深度图确定深度图内与和背景分离的至少一个对象关联的位置。
对象确定器可以被配置为从另一深度图确定另一深度图内与至少一个对象关联的位置。
装置可以进一步包括对象追踪器，其被配置为追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。
装置可以进一步包括姿势确定器，其被配置为从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。
装置可以进一步包括控制器，其被配置为基于所识别的姿势控制装置的功能。
根据第二方面，提供用于生成深度图的方法，该方法包括：使用具有固定近场焦距的单个相机模块捕获单个图像；将图像分区成多个区域；确定针对多个区域中的每个区域的焦距度量；针对多个区域中的每个区域将焦距度量映射成深度值；以及将多个深度值组合以生成针对单个相机的深度图。
方法可以进一步包括：从单个相机模块捕获另一单个图像；将另一图像分区成多个区域；确定针对多个区域中的每个区域的另一焦距度量；针对多个区域中的每个区域将焦距度量映射成另一深度值；以及将多个另一深度值组合以生成针对单个相机的另一深度图。
方法可以进一步包括从深度图确定深度图内与和背景分离的至少一个对象关联的位置。
方法可以进一步包括从另一深度图确定另一深度图内与至少一个对象关联的位置。
方法可以进一步包括追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。
方法可以进一步包括从以下中的至少一个识别姿势：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。
方法可以进一步包括基于所识别的姿势控制装置的功能。
根据第三方面，提供用于生成深度图的装置，该装置包括：用于使用具有固定近场焦距的单个相机模块捕获单个图像的装置；用于将图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成深度值的装置；以及用于将多个深度值组合以生成针对单个相机的深度图的装置。
装置可以进一步包括：用于从单个相机模块捕获另一单个图像的装置；用于将另一图像分区成多个区域的装置；用于确定针对多个区域中的每个区域的另一焦距度量的装置；用于针对多个区域中的每个区域将焦距度量映射成另一深度值的装置；以及用于将多个另一深度值组合以生成针对单个相机的另一深度图的装置。
装置可以进一步包括用于从深度图确定深度图内与和背景分离的至少一个对象关联的位置的装置。
装置可以进一步包括用于从另一深度图确定另一深度图内与至少一个对象关联的位置的装置。
装置可以进一步包括用于追踪深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变的装置。
装置可以进一步包括用于从以下中的至少一个识别姿势的装置：深度图内与和背景分离的至少一个对象关联的位置；另一深度图内与至少一个对象关联的位置；以及深度图内与和背景分离的至少一个对象关联的位置和另一深度图内与至少一个对象关联的位置之间的改变。
装置可以进一步包括用于基于所识别的姿势控制装置的功能的装置。
附图说明
现在仅通过示例的方式参照附图，其中：
图1示出了包括单个相机传感器设置的用于从单个图像生成深度图的示例设备；
图2a和图2b示出了根据一些实施例的示例兴趣区域设置；
图3示出了根据一些实施例的示例深度图生成器/姿势确定器装置；
图4示出了根据一些实施例的示例焦距测量与对象距离图；
图5a至图5c示出了根据一些实施例的示例图像、具有兴趣区域和焦距测量的图像、以及从该图像生成的深度图；以及
图6示出了如图3所示的深度图生成器/姿势确定器装置的操作的流程图。
具体实施方式
与如本文中描述的实施例关联的概念是采用单个相机从单个图像确定深度图。
移动电话中的常规的多个相机或者相机阵列实施方式可以例如确定远离移动电话的对象的运动并且因此实现对移动电话的姿势控制。首先，多个相机可以捕获图像。图像信号处理器(ISP)或者处理器可以接着后处理图像以构造3D图。虽然多相机实施方式通常不增加移动电话的Z高度(或者厚度)(这是“像素竞赛”中对于较高分辨率的移动相机而言的普遍问题)，但是两个或者多个相机在设备中的使用需要单个相机两倍(或者M倍)的体积。此外，在一些实施例中，深度图可以从使用飞行时间或者相似光学传感器强化的单个相机生成。这种配置是有问题的并且需要大量硬件和处理以便确定深度图。
在一些情况下，单个相机可以从多个图像确定深度图。例如通过拍摄具有不同焦点的两个或者多个分立图像，或者通过使得能够扫描(换句话说，从2个分立视点捕获图像)的相机。在这种实施例中，问题在于，在不同时间进行的曝光可能是两个不同对象的图像(例如当对象非常迅速地移动时)或者已经在曝光之间移动了的相同对象的图像。
如下文中进一步描述的概念涉及用于从单个图像生成深度图的装置和方法。在这种装置中，具有固定焦距并且具有短的场深度的单个相机被用于捕获可以被分割成(兴趣)区域的图像。这些图像区域或者部分或者分区可以被分析以便确定针对每个区域的焦距度量。接着通过使用焦距度量值和相距传感器的对象距离之间的关系，针对每个区域生成一系列对象距离值以形成深度图。所生成的深度图接着可以被分析以便确定对象和对对象分类并且此外追踪对象。例如，追踪手指或者手的位置。对对象的追踪接着可以被用于执行姿势确定并且此外用于控制功能或者参数。例如，在汽车环境中，相机可以被设置在汽车中，该相机捕获图像并且确定手或者手指对象，从中的对象追踪的姿势识别可以控制音量功能。在以下示例中，深度图在对象追踪和姿势识别应用中被采用。然而，要理解的是，深度图可以具有很多潜在应用。
对于图1，示出了示例电子设备100。设备100可以包括像素102的阵列。阵列的像素可以是任何合适的像素类型。此外，在像素102的阵列之上定位有固定焦距短场深度透镜101。
来自像素阵列的输出可以被提供到处理器104。处理器可以被配置为运行或者执行任何合适的应用或者程序，诸如单个图像深度图确定、对象确定、对象追踪、以及姿势控制。此外，在一些实施例中，该设备包括存储器105，存储器105被配置为存储应用或者程序代码并且此外存储诸如来自像素102的图像数据、或者对象分类和/或追踪数据之类的数据。
处理器的输出可以控制例如音频子系统106。然而，诸如显示器之类的任何合适的输出都可以被控制。例如，显示器可以允许对深度图的表现和/或显示所捕获的图像。备选地或者附加地，深度图和/或对象信息和/或姿势控制信息可以经由接口108输出。该接口可以将输出提供到另一设备和/或通信链路。通信链路可以是无线电链路、因特网、无线局域网、移动通信网络、或者任何其它合适的链路。
对于图3，深度图生成器/对象分析器/姿势确定器的示意性表示。在一些实施例中，这一功能可以在处理器内实施并且被编码在存储在存储器中的程序内。然而，在一些实施例中，图3所示的块被实施在硬件或者硬件和软件的组合内。
图3例如示出了兴趣区域(RoI)分割器301。RoI分割器301可以被配置为接收来自固定焦距近微距(near macro)相机的图像数据。对于图5a，示例捕获图像示出了靠近相机的手的图像，其中手具有指向相机的指向手指。
RoI分割器301接着可以被配置为将图像分割成若干不同的区域。这些区域可以根据任何期望的设置分布在图像之上。例如，在一些实施例中，ROI分割器被配置为生成一系列非重叠的规则分布区域。然而，这些区域可以被设置成不规则分布、非重叠/部分重叠或者重叠分布。ROI的尺寸可以针对特定应用被调谐。
对于图2a和图2b，示出了兴趣区域分布的两个示例兴趣区域设置。例如，图2a示出了区域的网格设置，其中图像数据201被分割成设置成行和列的长方形或者正方形区域203。对于图2b，图像数据201被分割成不规则设置，其中区域213由在图像中心处相交的径向线段215分割并且进一步由位于相距图像中心的限定半径值处的各种同心圆弧217分割。此外，对于图5b，示出了具有兴趣区域501的图5a所示的所捕获图像500的示例。图5b因此示出了以行和列设置的长方形区域501的网格覆在图像之上。RoI分割器301此外可以将针对每个所确定的区域的图像数据输出到焦距度量确定器303。
在一些实施例中，焦距度量确定器303被配置为接收与限定区域关联的图像值。焦距度量确定器303可以被配置为确定关于针对区域的图像数据的焦距度量。这一焦距度量可以是任何合适的焦距度量或者测量，诸如调制传递函数(MTF)或者空间频率响应(SFR)。焦距度量确定器303接着可以将针对区域的焦距度量值输出到深度图生成器305。图5b因此还针对每个区域501示出了焦距统计或者度量503，其指示图像锐度，其中当手指靠近相机时图像锐利并且对于远处对象来说图像离焦。在图5a至图5c所示的示例中，焦距度量提供从0(离焦＝远)到5(对焦＝近)的量度，然而可以实施任何其它合适的度量范围或者尺度。换句话说，焦距统计或者度量的粒度可以基于深度图的应用被控制。
在一些实施例中，深度图控制器302可以进一步控制焦距度量确定器303。例如，焦距度量确定器303可以被配置为当实施不同的应用时在焦距度量之间切换。
在一些实施例中，深度图生成器305被配置为接收与每个区域关联的焦距度量值并且从这一值确定深度或者距离值。这例如可以包括从聚焦的度量值映射到深度图值。这一映射可以是线性映射或者非线性映射。例如，图5c示出了从图5b所示的焦距度量值的深度图的映射，其中对象离相机越近，深度图区域黑暗强度增加。因此，对于图5a至图5c中的示例，与“手指”关联的区域具有所指示的最黑暗的区域。换句话说，知道了透镜聚焦在的距离，距离与焦距统计曲线可以被测量和/或表征。因此，可以估算基于单独区域图像焦距度量值的每个对象的近似距离。
在一些实施例中，深度图控制器302可以被配置为控制兴趣区域分割器301限定对兴趣区域的设置或者配置。
对于图4，示出了焦距测量与对象距离的图，从中，深度图生成器可以使用轮廓401将焦距值映射到深度值。在图4中，具有其固定焦距微距模式具有短场深度403的相机被配置为使得具有对焦的图像部分的任何区域(换句话说，相距相机的短距离)将产生高的焦距统计或者度量。相似地，相同的设置被配置为使得具有离焦的图像部分的任何区域(例如与相机相距一定距离)将产生低的焦距统计。换句话说，在使用低F数的透镜时，保持场深度短，并且针对图4中由区域403所示的场深度内的对象产生高焦距测量，并且度量随着对象距离增加而减少。深度图生成器305可以将一系列深度值(例如与图像区域关联的深度图)输出到帧存储307a。在一些实施例中，深度图控制器302可以被配置为确定合适的映射函数以将焦距度量值转换为距离值。
图3进一步示出了帧存储307a。帧存储307a可以被配置为接收来自深度图生成器305的深度图。帧存储接着可以将这些深度图存储在存储器中以用于之后使用，诸如对象确定/分类/追踪和/或姿势确定。
图3进一步示出了对象确定器307b，其被配置为接收来自深度图生成器305或者帧存储307a的深度图。对象确定器307b可以从深度图标识图像内的对象或者对图像内的对象分类。具有在正确焦平面内(与相机相距已知距离范围)的对象的区域接着可以产生最高的焦距度量。知道特定的区域允许计算对象的XY(和近似的Z)坐标。
此外图3示出了对象追踪器307c。对象追踪器307c可以接收若干帧之上的来自对象确定器307b的信息，并且基于从图像生成的深度图确定X、Y、以及Z方向上的对象轨迹。换句话说，具有最佳焦距的区域可以被用于对象追踪。在一些实施例中，对象可以在其停留于相同焦平面内的同时被追踪。然而，在一些实施例中，基于具有最高焦距度量的区域，对象仍然可以被追踪，其中相对于相机的距离改变也被追踪。
在其中多个区域具有相同的焦距度量的一些实施例中，可以决定是取整个图像的加权质心(或者具有大于确定阈值的焦距度量的区域)还是定位和追踪多个对象。
在一些实施例中，对象追踪器被配置为在对象移动时在帧到帧的基础上追踪对象的XYZ坐标。在这种实施例中，可以采用高帧率相机提升对象可以行进而仍然被追踪的最大速度。
在一些实施例中，来自对象确定器307b的确定对象和来自对象追踪器307c的对象追踪信息可以被传递到姿势识别器309。
在一些实施例中，装置可以包括姿势识别器309。姿势识别器309可以被配置为接收所确定的对象和/或所追踪的对象，并且确定所追踪的对象在X、Y、以及Z空间中的运动是否匹配限定的姿势。
在一些实施例中，姿势识别器309可以被配置为学习新的姿势，换句话说，姿势识别器309可以被训练。姿势识别器309可以被配置为将任何标识的姿势输出到特性控制器311。
在一些实施例中，装置包括特性控制器311，特性控制器311被配置为响应于所识别的姿势并且基于所识别的姿势控制装置的功能或者特性。例如，特性控制器可以被配置为改变用户界面显示，以便显示文本的下一页或者提高或者降低音轨的音量。
对于图6，示出了诸如图3所示的装置的示例操作的流程图。
装置被配置为接收来自固定焦距相机的图像。
在图6中由步骤601示出了接收来自固定焦距相机的图像的操作。
图像接着可以被分割成区域。
在图6中由步骤603示出了将图像分割成(兴趣)区域的操作。
装置可以进一步确定针对每个区域的焦距度量。
在图6中由步骤605示出了确定针对每个区域的焦距度量的操作。
此外，装置可以被配置为将确定的区域焦距度量映射到深度值。
在图6中由步骤607示出了将焦距度量映射到深度值的操作。
装置接着可以被配置为从深度图确定对象位置和/或对象分类和/或对象追踪值。这些值可以被存储或者在其它应用中使用。
在图6中由步骤609示出了从深度图确定针对对象的特性的操作。
此外，在一些实施例中，装置被配置为从所检测的或者所确定的对象的运动来确定姿势。
在图6中由步骤611示出了从所标识的对象姿势的运动来确定姿势的操作。
此外，在一些实施例中，装置可以被配置为基于所检测的姿势控制装置的特性和/或功能。
在图6中由步骤613示出了基于姿势控制特性/功能的操作。
示例应用可以在自动姿势识别范围内。因为这实际上是机器视觉，所以可以在收集焦距测量或者统计之前将各种不同算法(例如锐化、边缘增强、噪声减少、Canny滤波器等)应用于图像。在一些实施例中，装置图像阵列是光谱敏感阵列的IR区域。此外，在一些实施例中，装置进一步包括提供光源的IR照射器(IR LED)。
一些实施例可以被提供在电子设备中。应该领会的是，设备可以是任何合适的设备。仅通过示例的方式而不加限制，该设备可以是移动电话、智能电话、平板电脑、计算机、相机等。
上文已经描述了具有不同变化的各种实施例。应该注意的是，本领域技术人员可以将这些各种实施例和变化的各种元件组合。这种更改、修改、以及改善旨在作为本公开的一部分，并且旨在处于本发明的范围内。因此，以上描述仅通过示例的方式，并且不旨在于进行限制。本发明仅如以下权利要求和其等同物中限定的那样进行限制。

Claims (22)

1.一种装置，包括：
单个相机模块，具有固定焦距微距模式，所述固定焦距微距模式具有短场深度，所述单个相机模块被配置为捕获第一单个图像；
图像分割器，被配置为将所述第一单个图像分区成多个区域；
焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；以及
深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成深度图；以及
对象确定器，被配置为：
在所述多个区域中的一个区域具有最高焦距度量和最小深度值的情况下，基于所述深度图和所述一个区域来确定所述第一单个图像内的最靠近定位的对象；以及
在所述多个区域中的多于一个区域具有作为针对所述多个区域的最高焦距度量的相同焦距度量的情况下，针对至少所述多于一个区域来确定所述深度图中所述深度值的加权质心，并且基于所述加权质心来确定所述第一单个图像内的最靠近定位的对象。
2.根据权利要求1所述的装置，其中所述单个相机模块被配置为捕获第二单个图像，所述图像分割器被配置为将所述第二单个图像分区成所述多个区域，所述焦距度量确定器被配置为确定针对所述多个区域中的每个区域的另一焦距度量；并且所述深度图生成器被配置为：针对所述多个区域中的每个区域将所述焦距度量映射成另一深度值，并且将多个另一深度值组合以生成另一深度图。
3.根据权利要求2所述的装置，进一步包括对象追踪器，所述对象追踪器被配置为：追踪所述深度图内所述最靠近定位的对象的位置与所述另一深度图内所述最靠近定位的对象的位置之间的改变。
4.根据权利要求3所述的装置，进一步包括姿势确定器，所述姿势确定器被配置为根据以下中的至少一项来识别姿势：
所述深度图内所述最靠近定位的对象的所述位置；
所述另一深度图内所述最靠近定位的对象的所述位置；以及
所述深度图内所述最靠近定位的对象的所述位置与所述另一深度图内所述最靠近定位的对象的所述位置之间的所述改变。
5.根据权利要求4所述的装置，进一步包括控制器，所述控制器被配置为基于所识别的姿势来控制所述装置的功能。
6.根据权利要求1所述的装置，其中所述对象确定器进一步被配置为：在所述多个区域中的多于一个区域具有作为针对所述多个区域中的所述最高焦距度量的所述相同焦距度量的情况下，通过确定所述多于一个区域和其他区域的深度值的加权质心来确定所述加权质心，所述其他区域具有高于阈值焦距度量的焦距度量。
7.根据权利要求1所述的装置，其中所述对象确定器进一步被配置为：在所述多个区域中的多于一个区域具有作为针对所述多个区域中的所述最高焦距度量的所述相同焦距度量的情况下，通过确定整个深度图的所有区域的深度值的加权质心来确定所述加权质心。
8.一种方法，包括：
利用具有固定焦距微距模式的单个相机模块来捕获第一单个图像，所述固定焦距微距模式具有短场深度；
将所述第一单个图像分区成多个区域；
确定针对所述多个区域中的每个区域的焦距度量；
针对所述多个区域中的每个区域将所述焦距度量映射成深度值；
将多个深度值组合以生成深度图；以及
在所述多个区域中的一个区域具有最高焦距度量和最小深度值的情况下，基于所述深度图和所述一个区域来确定所述第一单个图像内的最靠近定位的对象；以及
在所述多个区域中的多于一个区域具有作为针对所述多个区域的最高焦距度量的相同焦距度量的情况下，针对至少所述多于一个区域来确定所述深度图中所述深度值的加权质心，并且基于所述加权质心来确定所述第一单个图像内的最靠近定位的对象。
9.根据权利要求8所述的方法，进一步包括：
利用所述单个相机模块来捕获第二单个图像；
将所述第二单个图像分区成所述多个区域；
确定针对所述多个区域中的每个区域的另一焦距度量；
针对所述多个区域中的每个区域将所述焦距度量映射成另一深度值；以及
将多个另一深度值组合以生成另一深度图。
10.根据权利要求9所述的方法，进一步包括：
追踪所述深度图内所述最靠近定位的对象的位置与所述另一深度图内所述最靠近定位的对象的位置之间的改变。
11.根据权利要求10所述的方法，进一步包括根据以下中的至少一项来识别姿势：
所述深度图内所述最靠近定位的对象的所述位置；
所述另一深度图内所述最靠近定位的对象的所述位置；以及
所述深度图内所述最靠近定位的对象的所述位置与所述另一深度图内所述最靠近定位的对象的所述位置之间的所述改变。
12.根据权利要求11所述的方法，进一步包括基于所识别的姿势来控制电子设备的功能。
13.根据权利要求8所述的方法，进一步包括：在所述多个区域中的多于一个区域具有作为针对所述多个区域中的所述最高焦距度量的所述相同焦距度量的情况下，通过确定所述多于一个区域和其他区域的深度值的加权质心来确定所述加权质心，所述其他区域具有高于阈值焦距度量的焦距度量。
14.根据权利要求8所述的方法，进一步包括：在所述多个区域中的多于一个区域具有作为针对所述多个区域中的所述最高焦距度量的所述相同焦距度量的情况下，通过确定针对整个深度图的所有区域的深度值的加权质心来确定所述加权质心。
15.一种装置，包括：
单个相机模块，具有固定焦距微距模式，所述单个相机模块被配置为捕获第一单个图像；
图像分割器，被配置为将所述第一单个图像分区成多个区域；
焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；以及
深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成深度图；以及
对象确定器，被配置为：
在所述多个区域中的特定区域具有最高焦距度量和最小深度值的情况下，基于所述深度图和所确定的特定区域来确定所述第一单个图像内的最靠近定位的对象；以及
在所述多个区域中的多于一个区域具有作为针对所述多个区域的最高焦距度量的相同焦距度量的情况下，基于所述深度图和所确定的特定区域来确定所述多于一个区域中的每个区域内的最靠近定位的对象。
16.根据权利要求15所述的装置，进一步包括姿势确定器，所述姿势确定器被配置为：根据所确定的特定区域内所述最靠近定位的对象的位置来识别姿势。
17.一种方法，包括：
利用具有固定焦距微距模式的单个相机模块来捕获第一单个图像，所述固定焦距微距模式具有短场深度；
将所述第一单个图像分区成多个区域；
确定针对所述多个区域中的每个区域的焦距度量；
针对所述多个区域中的每个区域将所述焦距度量映射成深度值；
将多个深度值组合以生成深度图；
在所述多个区域中的特定区域具有最高焦距度量和最小深度值的情况下，基于所述深度图和所确定的特定区域来确定所述第一单个图像内的最靠近定位的对象；以及
在所述多个区域中的多于一个区域具有作为针对所述多个区域的最高焦距度量的相同焦距度量的情况下，基于所述深度图和所确定的特定区域来确定所述多于一个区域中的每个区域内的最靠近定位的对象。
18.根据权利要求17所述的方法，进一步包括：根据所确定的特定区域内所述最靠近定位的对象的位置来识别姿势。
19.一种装置，包括：
单个相机模块，具有固定焦距微距模式，所述单个相机模块被配置为捕获第一单个图像；
图像分割器，被配置为将所述第一单个图像分区成多个区域；
焦距度量确定器，被配置为确定针对所述多个区域中的每个区域的焦距度量；以及
深度图生成器，被配置为针对所述多个区域中的每个区域将所述焦距度量映射成深度值，并且将多个深度值组合以生成深度图；以及
对象确定器，被配置为：
确定所述多个区域中具有最高焦距度量和最小深度值的特定区域；
基于所述深度图和所确定的特定区域来确定所述第一单个图像内的最靠近定位的对象；
在所述最靠近定位的对象停留在与所述特定区域相同的焦平面的同时，追踪所述最靠近定位的对象；以及
在所述最靠近定位的对象离开与所述特定区域相同的焦平面的情况下，停止追踪所述最靠近定位的对象。
20.根据权利要求19所述的装置，进一步包括姿势确定器，所述姿势确定器被配置为：在所述最靠近定位的对象停留在与所述特定区域相同的焦平面的同时，根据所述最靠近定位的对象的所述追踪来识别姿势。
21.一种方法，包括：
利用具有固定焦距微距模式的单个相机模块来捕获第一单个图像，所述固定焦距微距模式具有短场深度；
将所述第一单个图像分区成多个区域；
确定针对所述多个区域中的每个区域的焦距度量；
针对所述多个区域中的每个区域将所述焦距度量映射成深度值；
将多个深度值组合以生成深度图；
确定所述多个区域中具有最高焦距度量和最小深度值的特定区域；
基于所述深度图和所确定的特定区域来确定所述第一单个图像内的最靠近定位的对象；
在所述最靠近定位的对象停留在与所述特定区域相同的焦平面的同时，追踪所述最靠近定位的对象；以及
在所述最靠近定位的对象离开与所述特定区域相同的焦平面的情况下，停止追踪所述最靠近定位的对象。
22.根据权利要求21所述的方法，进一步包括：在所述最靠近定位的对象停留在与所述特定区域相同的焦平面的同时，根据所述最靠近定位的对象的所述追踪来识别姿势。
CN201910609181.0A 2015-12-23 2016-04-26 从单个传感器生成的深度图 Active CN110335302B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15202560.7 2015-12-23
EP15202560.7A EP3185209B1 (en) 2015-12-23 2015-12-23 Depth maps generated from a single sensor
CN201610267138.7A CN106911922B (zh) 2015-12-23 2016-04-26 从单个传感器生成的深度图

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610267138.7A Division CN106911922B (zh) 2015-12-23 2016-04-26 从单个传感器生成的深度图

Publications (2)

Publication Number Publication Date
CN110335302A true CN110335302A (zh) 2019-10-15
CN110335302B CN110335302B (zh) 2024-06-25

Family

ID=

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098436A (ja) * 2007-10-17 2009-05-07 Nikon Corp 合焦測定装置、合焦測定方法およびプログラム
US20090167930A1 (en) * 2007-12-27 2009-07-02 Ati Technologies Ulc Method and apparatus with fast camera auto focus
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备
EP2395392A1 (de) * 2010-06-10 2011-12-14 Arnold&Richter Cine Technik GmbH&Co. Betriebs KG Kameraobjektiv und Kamerasystem mit einer Maske zur Ermittlung von Tiefeninformation
WO2011158515A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
GB201317905D0 (en) * 2013-03-14 2013-11-27 Csr Technology Inc System and method for real time 2D to 3D conversion of a video in a digital camera
US8615108B1 (en) * 2013-01-30 2013-12-24 Imimtek, Inc. Systems and methods for initializing motion tracking of human hands
CN103619090A (zh) * 2013-10-23 2014-03-05 深迪半导体(上海)有限公司 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法
CN103618891A (zh) * 2013-11-27 2014-03-05 天津大学 一种立体相机微距会聚拍摄质量客观评价方法
CN104344816A (zh) * 2013-08-08 2015-02-11 赫克斯冈技术中心 具有微透镜阵列的大地测量装置
GB201515378D0 (en) * 2015-08-28 2015-10-14 Imperial College Mapping a space using a multi-directional camera
CN106911922A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 从单个传感器生成的深度图

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098436A (ja) * 2007-10-17 2009-05-07 Nikon Corp 合焦測定装置、合焦測定方法およびプログラム
US20090167930A1 (en) * 2007-12-27 2009-07-02 Ati Technologies Ulc Method and apparatus with fast camera auto focus
CN102273190A (zh) * 2008-10-31 2011-12-07 惠普开发有限公司 适合于选择聚焦设置的方法和数字成像设备
EP2395392A1 (de) * 2010-06-10 2011-12-14 Arnold&Richter Cine Technik GmbH&Co. Betriebs KG Kameraobjektiv und Kamerasystem mit einer Maske zur Ermittlung von Tiefeninformation
WO2011158515A1 (ja) * 2010-06-17 2011-12-22 パナソニック株式会社 距離推定装置、距離推定方法、集積回路、コンピュータプログラム
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
US8340456B1 (en) * 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US8615108B1 (en) * 2013-01-30 2013-12-24 Imimtek, Inc. Systems and methods for initializing motion tracking of human hands
GB201317905D0 (en) * 2013-03-14 2013-11-27 Csr Technology Inc System and method for real time 2D to 3D conversion of a video in a digital camera
CN104344816A (zh) * 2013-08-08 2015-02-11 赫克斯冈技术中心 具有微透镜阵列的大地测量装置
CN103619090A (zh) * 2013-10-23 2014-03-05 深迪半导体(上海)有限公司 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法
CN103618891A (zh) * 2013-11-27 2014-03-05 天津大学 一种立体相机微距会聚拍摄质量客观评价方法
GB201515378D0 (en) * 2015-08-28 2015-10-14 Imperial College Mapping a space using a multi-directional camera
CN106911922A (zh) * 2015-12-23 2017-06-30 意法半导体(R&D)有限公司 从单个传感器生成的深度图

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
FENGQUAN ZHANG 等: "The design and implementation of interactive game based on PTAM", 《 2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》, 31 October 2015 (2015-10-31), pages 47 - 51, XP032867056, DOI: 10.1109/CISP.2015.7407848 *
GE SU-MING 等: "Research on Management Method of Geological Disaster Prevention and Cure Project in Chongqing City", 《OVERSEAS ENGLISH》, no. 24, 31 December 2014 (2014-12-31), pages 282 - 300 *
RAMY M. BAHY 等: "A no-reference blur metric guided fusion technique for multi-focus images", 《 2011 28TH NATIONAL RADIO SCIENCE CONFERENCE (NRSC)》, 30 April 2011 (2011-04-30), pages 1 - 9, XP031947086, DOI: 10.1109/NRSC.2011.5873620 *
WU, YC 等: "Direct particle depth displacement measurement in DHPTV using spatial correlation of focus metric curves", 《OPTICS COMMUNICATIONS》, vol. 345, no. 5, 30 June 2015 (2015-06-30), pages 71 - 79 *
冯春: "基于单目视觉的目标识别与定位研究", 《基于单目视觉的目标识别与定位研究》, no. 2014, 15 December 2014 (2014-12-15), pages 138 - 48 *
马旭 等: "面向未知区域深度测量的序列图像稠密点特征生成算法", 《航空学报》, vol. 36, no. 02, 28 February 2015 (2015-02-28), pages 596 - 604 *
马晨 等: "非量测相机倾斜航空影像空三加密精度评价", 《遥感信息》, vol. 30, no. 06, 30 November 2015 (2015-11-30), pages 71 - 75 *

Also Published As

Publication number Publication date
CN106911922B (zh) 2019-08-06
US10839537B2 (en) 2020-11-17
EP3185209A1 (en) 2017-06-28
US20170188017A1 (en) 2017-06-29
CN106911922A (zh) 2017-06-30
EP3185209B1 (en) 2019-02-27

Similar Documents

Publication Publication Date Title
CN106911922B (zh) 从单个传感器生成的深度图
CN204480228U (zh) 运动感测和成像设备
US10997465B2 (en) Information processing device, information processing method, and storage medium
CN105933589B (zh) 一种图像处理方法及终端
JP6129309B2 (ja) ジェスチャに基づくユーザインターフェース
CN108446648B (zh) 一种虹膜采集系统及虹膜识别系统
US20140037135A1 (en) Context-driven adjustment of camera parameters
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
US10466335B2 (en) Method and apparatus for generating image data by using region of interest set by position information
US10846866B2 (en) Irradiation system, irradiation method, and program storage medium
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
JP2019164842A (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
CN109769326B (zh) 一种追光方法、装置及设备
CN104902182A (zh) 一种实现连续自动对焦的方法和装置
CN110290351A (zh) 一种视频目标跟踪方法、系统、装置和存储介质
JP2014186505A (ja) 視線検出装置及び撮像装置
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
JP6261199B2 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
CN116664620A (zh) 一种基于追踪系统的画面动态捕捉方法及相关装置
CN106951077B (zh) 一种提示方法及第一电子设备
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
KR20150005094A (ko) 전자 디바이스 및 전자 디바이스에서 눈 영역 검출 방법
JP2016125953A (ja) 形状認識装置及び形状認識方法
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
CN103581538A (zh) 数字拍摄设备和控制所述数字拍摄设备的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant