CN104604221B - 用于生成深度图像的设备 - Google Patents

用于生成深度图像的设备 Download PDF

Info

Publication number
CN104604221B
CN104604221B CN201380046006.6A CN201380046006A CN104604221B CN 104604221 B CN104604221 B CN 104604221B CN 201380046006 A CN201380046006 A CN 201380046006A CN 104604221 B CN104604221 B CN 104604221B
Authority
CN
China
Prior art keywords
unit
images
image
rgb image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380046006.6A
Other languages
English (en)
Other versions
CN104604221A (zh
Inventor
李峻瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN104604221A publication Critical patent/CN104604221A/zh
Application granted granted Critical
Publication of CN104604221B publication Critical patent/CN104604221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于生成深度图像的设备，根据本公开的示例性实施例的设备被配置成通过下述方式来甚至在低亮度级下也执行精确的立体匹配：获得RGB图像和/或IR图像，并且使用所获得的RGB图像和/或IR图像来提取深度图像。

Description

用于生成深度图像的设备
技术领域
本公开的示例性方面涉及用于生成深度图像的设备。
背景技术
如众所周知的，人的视觉是用于获得周围环境的信息的感官之一，并且可以通过两只眼睛识别物体的位置和远近。也就是说，通过两只眼睛输入的视觉信息被合成为一个距离信息，以使得人能够自由地活动。立体摄像系统可以是用于将视觉结构实现到机器中的摄像系统。
立体摄像系统执行与通过使用两个摄像装置获得的图像有关的立体匹配，其中，立体摄像系统在立体匹配处理中使用两个摄像装置的双眼视差来获得深度图像。深度图像数据被用于识别。
与此同时，立体摄像装置难以在低亮度级下识别图像，从而在获得深度图像时产生问题。
发明内容
技术问题
本公开的示例性方面要基本解决至少上述问题和/或缺点，并且要提供至少如下所述的优点。因此，本公开涉及提供一种用于生成深度图像的设备，该设备被配置成通过在低亮度级下获得IR(红外)图像来生成立体图像。
问题的解决方案
在本公开的一个总的方面中，可以提供一种用于生成深度图像的设备，所述设备包括：摄像单元，被配置成输出左RGB(红-绿-蓝)图像和右RGB(红-绿-蓝)图像以及左IR(红外)图像和右IR(红外)图像；以及第一生成单元，被配置成根据从摄像单元接收的IR图像来生成深度图像。
在本发明的一些示例中，摄像单元可以包括：第一传感器单元，被配置成获得左RGB图像和左IR图像；第二传感器单元，被配置成获得右RGB图像和右IR图像；以及至少一个发射单元，被配置成发射红外线。
在本发明的一些示例中，发射单元可以包括单个红外装置或多个红外装置。
在本发明的一些示例中，红外装置可以包括LD(激光二极管)和LED(发光二极管)中的任一个。
在本发明的一些示例中，摄像单元还可以包括：分光器(splitter)，该分光器布置在发射单元的前端，以使从发射单元发射的红外线以预定模式分散。
在本发明的一些示例中，第一生成单元包括：同步单元，被配置成使第一传感器单元和第二传感器单元的输出当中的左IR图像和右IR图像同步；以及第二生成单元，被配置成根据从同步单元接收的左IR图像和右IR图像生成深度图像。
在本公开的另一总的方面中，可以提供一种用于生成深度图像的设备，所述设备包括：摄像单元，被配置成获得下述中的任一者：左RGB图像和右RGB图像，左RGB图像及IR图像(RGB/IR图像)和右RGB图像及IR图像(RGB/IR图像)，以及左IR图像和右IR图像；以及第一生成单元，被配置成控制摄像单元获得下述中的任一者：左RGB图像和右RGB图像，左RGB/IR图像和右RGB/IR图像，以及左IR图像和右IR图像，以及根据从摄像单元接收的左RGB图像和右RGB图像或者左IR图像和右IR图像来生成深度图像。
在本发明的一些示例中，摄像单元可以包括：第一传感器单元，被配置成获得左RGB图像、左RGB/IR图像和左IR图像中的任一个；第二传感器单元，被配置成获得右RGB图像、右RGB/IR图像和右IR图像中的任一个；光接收单元，被配置成检测光照强度；以及至少一个发射单元，被配置成通过响应于第一生成单元的控制而被开启或关闭来发射红外线。
在本发明的一些示例中，发射单元可以包括单个红外装置或多个红外装置。
在本发明的一些示例中，红外装置可以包括激光二极管和LED中的任何一个。
在本发明的一些示例中，摄像单元还可以包括：分光器，该分光器布置在发射单元的前端，以使从发射单元发射的红外线以预定模式分散。
在本发明的一些示例中，第一生成单元可以包括：控制器，被配置成响应于光接收单元所检测的光强度来控制发射单元的开和关；同步单元，被配置成使来自第一传感器单元和第二传感器单元的输出的左IR图像和右IR图像同步；以及第二生成单元，被配置成根据从同步单元接收的左IR图像和右IR图像来生成深度图像。
在本发明的一些示例中，第一生成单元还可以包括：开关单元，该开关单元被配置成响应于控制器的控制来开启或关闭发射单元。
在本发明的一些示例中，控制器可以被配置成当光接收单元所检测的光强度在预定的光照强度以下时将发射单元改变为开启状态。
在本公开的另一总的方面中，可以提供一种用于生成深度图像的设备，所述设备包括：摄像单元，被配置成获得左RGB图像和右RGB图像、或者左RGB图像及IR图像(RGB/IR图像)和右RGB图像及IR图像(RGB/IR图像)；以及第一生成单元，被配置成：控制摄像单元获得RGB图像或RGB/IR图像，以及根据从摄像单元接收的左/右RGB图像或左/右IR图像来生成深度图像。
在本发明的一些示例中，摄像单元可以包括：第一传感器单元，被配置成获得左RGB图像或左RGB/IR图像；第二传感器单元，被配置成获得右RGB图像或右RGB/IR图像；以及至少一个发射单元，被配置成通过响应于第一生成单元的控制而被开启或关闭来发射红外线。
在本发明的一些示例中，发射单元可以包括单个红外装置或多个红外装置。
在本发明的一些示例中，红外装置可以包括激光二极管和LED中的任一个。
在本发明的一些示例中，摄像单元还可以包括：分光器，该分光器布置在发射单元的前端，以使从发射单元发射的红外线以预定模式分散。
在本发明的一些示例中，第一生成单元可以包括：同步单元，被配置成使第一传感器单元和第二传感器单元的输出同步；第二生成单元，被配置成根据从同步单元接收的左IR图像和右IR图像来生成深度图像；以及控制器，被配置成响应于从同步单元接收的左RGB图像和右RGB图像的像素的平均亮度来开启或关闭发射单元。
在本发明的一些示例中，第一生成单元还可以包括：开关单元，该开关单元被配置成响应于控制器的控制来开启或关闭发射单元。
在本发明的一些示例中，控制器可以被配置成当RGB图像的像素的平均值小于阈值时开启发射单元。
本发明的有益效果
根据本公开的实例性实施例的用于生成深度图像的设备的有益效果在于：通过同时获得经由向目标发射红外线而得到的IR图像以及RGB图像，甚至在低亮度级下也能生成精确的深度图像。
根据本公开的实例性实施例的用于生成深度图像的设备的另一有益效果在于：设备在在正常亮度级下进行通常操作的情况下检测低亮度级，以获得RGB图像和IR图像或者获得仅IR图像，由此可以使用IR图像来生成精确的深度图像。
附图说明
图1是示出根据本公开的第一示例性实施例的用于生成深度图像的设备的框图。
图2是示出根据本公开的第二示例性实施例的用于生成深度图像的设备的框图。
图3是示出根据本公开的第三示例性实施例的用于生成深度图像的设备的框图。
具体实施方式
通过参考下面的示例性实施例的详细描述和附图可以更容易地理解本公开的优点和特征。因此，本公开不限于下面将描述的示例性实施例，而是可以以其他形式被实施。相应地，所描述的方面旨在包括落入本公开的范围和新颖构思内的所有这样的变更、修改和变型。
现在，将参照附图详细地描述本公开的示例性实施例。
图1是示出根据本公开的第一示例性实施例的用于生成深度图像的设备的框图。
参照图1，根据本公开的第一示例性实施例的深度图像可以包括摄像单元(1)和深度图像生成单元(2)，其中，可以将由深度图像生成单元(2)生成的深度图像提供到编码器单元(3)。例如，编码器单元(3)用于以H.264对所接收的立体图像进行编码，在下文中将省略其详细说明，这是因为与图像编码有关的技术是本领域技术人员所公知的，与图像编码有关的技术也可以应用于本公开的其他确定示例性实施例。
尽管本公开的示例性实施例说明和示出了摄像单元(1)、深度图像生成单元(2)和编码器单元(3)形成在单独的硬件配置中，然而本公开不限于此，因此摄像单元(1)、深度图像生成单元(2)和编码器单元(3)可以形成在同一硬件(例如，摄像装置等)内的单独的芯片中，或者可以形成在一个芯片中。
根据本公开的示例性实施例的摄像单元(1)包括第一传感器单元(11)、IR(红外)发射单元(12)和第二传感器单元(13)，并且获得与目标有关的IR图像和RGB(红-绿-蓝)图像。应明白，根据本公开的示例性实施例的摄像单元(1)的部件不限于附图中示出的构造。
例如，第一和第二传感器单元(11和13)可以是CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器，并且分别获得左RGB图像和左IR图像以及右RGB图像和右IR图像。然而，本领域的技术人员应明白，第一和第二传感器单元(11和13)不限于CCD传感器或CMOS传感器，并且能够执行与其类似的功能的任何其他装置可以用于第一和第二传感器单元(11和13)。
在本公开的示例性实施例中，出于方便的缘故，下文将针对以下情况提供说明：第一传感器单元(11)获得的图像是左图像，而第二传感器单元(13)获得的图像是右图像。然而，本公开不限于此。
IR发射单元(12)可以包括单个红外装置或多个红外装置，并且向目标发射红外线。尽管在本公开的示例性实施例中，IR发射装置(12)包括诸如LD(激光二极管)或LED(发光二极管)的红外装置，然而红外装置不限于此，并且应明白，不排除能够向目标发射红外线的红外装置的应用。
尽管本公开的示例性实施例说明和示出了一个IR发射单元(12)，然而本公开不限于此。也就是说，随着IR发射单元(12)的数量的增加，输出也增加，这表示IR发射单元(12)的增加的数量可以带来能够在低亮度级下进行识别并且也能够识别到远程距离的增加的IR识别范围，以使得可以根据适当的识别距离来确定IR发射单元(12)的数量。
与此同时，包括激光二极管的IR发射单元(12)具有平直度(straightness)，并且根据本公开的第一示例性实施例的深度图像还可以包括分光器，其布置在IR发射单元(12)的前端，以使从IR发射单元(12)发射的红外线以预定模式分散。根据本公开的第一示例性实施例的第一和第二传感器单元(11和13)可以同时获得经由从IR发射单元(12)发射红外线得到的IR图像以及RGB图像。
图1的深度图像生成单元(2)可以包括同步单元(21)、对准单元(22)和生成单元(23)。
同步单元(21)可以从第一和第二传感器单元(11和13)接收左IR图像和右IR图像。同步单元(21)可以执行所接收的左IR图像和右IR图像的同步。本公开的示例性实施例中的术语同步表示接收图像的时间的相等对准。也就是说，同步单元(21)执行下述对准：在该对准中，在基本相同的时间接收左图像和右图像。
对准单元(22)执行校准，以使得所输入的左IR图像和右IR图像对准。在对准单元(22)的对准处理中，编码器单元(3)可以从摄像单元(1)的第一和第二传感器单元(11和13)接收校准数据，将校准数据变换成对准参数并发送到对准单元(22)。对准单元(22)可以使用从编码器单元(3)接收的对准参数来执行与图像有关的校准，其中，执行从同步单元(21)接收的同步。
生成单元(23)可以根据对准后的左图像和右图像来生成深度图像。由生成单元(23)生成深度图像的方法可以包括立体匹配方法，但是本公开不限于此，并且可以采用其他各种深度图像生成方法。对准单元(22)和生成单元(23)的操作是本领域的技术人员所公知的，因此省略了其详细说明。
现在，将描述根据本公开的第一示例性实施例的用于生成深度图像的设备的操作。
在根据本公开的第一示例性实施例的用于生成深度图像的设备中，IR发射单元(12)总是处于开启状态，并且向目标发射红外线，同时第一和第二传感器单元(11和13)分别获得RGB图像和IR图像。
此后，同步单元(21)可以对左IR图像和右IR图像执行同步，并将执行了同步的左IR图像和右IR图像发送到对准单元(22)。对准单元(22)可以使左图像和右图像对准，并且生成单元(23)可以基于这些左图像和右图像来生成深度图像。
因此，根据本公开的第一示例性实施例，IR发射单元(12)可以发射红外线，第一和第二传感器单元(11和13)可以获得RGB图像和IR图像，并根据来自RGB图像和IR图像的IR图像来生成深度图像，并且在低亮度级下提取精确的深度图像。
本发明的方式
图2是示出根据本公开的第二示例性实施例的用于生成深度图像的设备的框图。
参照图2，根据本公开的第二示例性实施例的用于生成深度图像的设备可以包括摄像单元(1)和深度图像生成单元(2)，其中可以将深度图像生成单元(2)生成的深度图像提供到编码器单元(3)。
根据本公开的第二示例性实施例的摄像单元(1)可以包括第一传感器单元(11)、IR发射单元(12)、光接收单元(14)和第二传感器单元(13)，其中，深度图像生成单元(2)可以包括同步单元(21)、对准单元(22)、生成单元(23)、控制器(24)和开关单元(25)。
本公开的第二示例性实施例与本公开的第一示例性实施例在结构上的不同点在于第二实施例包括摄像单元(1)的光接收单元(14)、深度图像生成单元(2)的控制器(24)和开关单元(25)，因此将集中于与第一实施例的不同点进行说明。
摄像单元(1)的第一和第二传感器单元(11和13)分别获得左RGB图像和右RGB图像，或者左RGB图像和IR图像及右RGB图像和IR图像。IR发射单元(12)在正常光照强度下处于关闭状态，并且在检测到光接收单元(14)的光照强度具有小于预定光照强度的亮度级的情况下通过控制器(24)的控制变为开启状态，随后将详细描述其细节。
光接收单元(14)可以接收布置有摄像单元(1)的区域的光，并且将光(光照)强度发送到深度图像生成单元(2)的控制器(24)。光接收单元(14)可以包括光传感器或亮度传感器，但是本公开不限于此。
深度图像生成单元(2)的控制器(24)可以从光接收单元(14)接收光强度，并且控制开关单元(22)在所接收的光强度小于预定亮度级时开启IR发射单元(12)，而在所接收的光强度大于预定亮度级时关闭IR发射单元(12)。开关单元(22)可以响应于控制器(24)的控制来切换IR发射单元(12)的开和关。
根据本公开的第二示例性实施例的同步单元(21)可以在正常光强度的情况下从第一和第二传感器单元(11和13)接收RGB图像，而在小于预定光强度的情况下接收RGB图像和IR图像，或仅接收IR图像。
现在，将描述根据本公开的第二示例性实施例的用于生成深度图像的设备的操作。
在正常光强度的情况下，即在光接收单元(14)检测到的光强度处于正常亮度级内的情况下，根据本公开的第二示例性实施例的用于生成深度图像的设备以下述方式操作：使得同步单元(21)对由第一和第二传感器单元(11和13)获得的RGB图像进行同步，对准单元(22)将左图像和右图像对准，并且生成单元(23)基于对准后的左图像和右图像来生成深度图像。
然而，在光接收单元(14)检测到的光强度小于预定光强度的情况下，控制器(24)控制开关单元(25)将IR发射单元(12)变为开启状态。
在IR发射单元(12)变为开启状态以向目标发射红外线的情况下，第一和第二传感器单元(11和13)可以分别获得RGB图像和IR图像，或分别仅获得IR图像。提供到同步单元(21)的图像是所获得的RGB图像和IR图像当中的IR图像，或者是IR图像。
此后，同步单元(21)可以对输入的左IR图像和右IR图像进行同步，并且对准单元(22)可以将左图像和右图像对准，由此生成单元(23)可以生成深度图像。
根据本公开的第二示例性实施例，设备能够在在正常亮度级下进行通常操作的情况下检测低亮度级，获得RGB图像和IR图像，或仅获得IR图像，由此可以使用IR图像来生成精确的深度图像。
图3是示出根据本公开的第三示例性实施例的用于生成深度图像的设备的框图。
参照图3，根据本公开的第三示例性实施例的用于生成深度图像的设备可以包括摄像单元(1)和深度图像生成单元(2)，其中可以将深度图像生成单元(2)生成的深度图像提供到编码器单元(3)。
根据本公开的第三示例性实施例的摄像单元(1)可以包括第一传感器单元(11)、IR发射单元(12)和第二传感器单元(13)，其中深度图像生成单元(2)可以包括同步单元(21)、对准单元(22)、生成单元(23)、亮度检测器(luminosity sensor)(26)和开关单元(27)。
本公开的第三示例性实施例与本公开的第一实施例在配置上的不同点在于第三实施例包括深度图像生成单元(2)的亮度检测器(26)和开关单元(27)，因此将集中于与第一实施例的不同点进行说明。
摄像单元(1)的第一和第二传感器单元(11和13)分别获得左/右RGB图像和/或IR图像。IR发射单元(12)在正常光照强度下处于关闭状态，而在检测到亮度检测器(26)的光照强度具有小于预定光照强度的亮度级的情况下，通过开关单元(27)的切换变为开启状态。
深度图像生成单元(2)的亮度检测器(24)可以接收通过同步单元(21)同步的RGB图像，以监测图像的像素值的平均值，并且在像素的平均值小于阈值的情况下，确定光处于低亮度级，在该情况下开关单元(27)可以将IR发射单元(12)变为开启状态。
开关单元(27)可以响应于亮度检测器(26)的控制来切换IR发射单元(12)的开和关。
根据本公开的第三示例性实施例的同步单元(21)可以在正常光强度下从第一和第二传感器单元(11和13)接收RGB图像，在小于预定亮度级的情况下接收RGB图像和IR图像。在本公开的第三示例性实施例中，亮度检测器(26)使用RGB图像的像素来检测光照强度的平均值，由此可以接收RGB图像，而不管亮度如何。
现在，将描述根据本公开的第三示例性实施例的用于生成深度图像的设备的操作。
在正常光强度的情况下，即，在亮度检测器(26)根据RGB图像中的像素的平均值确定光处于正常光强度的情况下，根据本公开的第三示例性实施例的用于生成深度图像的设备以下述方式进行操作：使得同步单元(21)对第一和第二传感器单元(11和13)获得的RGB图像进行同步，对准单元(22)将左图像和右图像对准，并且生成单元(23)基于对准后的左图像和右图像来生成深度图像。此时，IR发射单元(12)处于关闭状态。
然而，在确定RGB图像的像素的平均值小于阈值的情况下，亮度检测器(26)控制开关单元(27)将IR发射单元(12)变为开启状态。
在IR发射单元(12)变为开启状态以向目标发射红外线的情况下，第一和第二传感器单元(11、13)可以分别获得RGB图像和IR图像。
此后，同步单元(21)对左RGB图像和右RGB图像以及左IR图像和右IR图像进行同步，并且对准单元(22)可以将IR图像对准，由此生成单元(23)可以生成深度图像。
根据本公开的第三示例性实施例，设备能够在在正常亮度级下进行通常操作的情况下检测低亮度级，获得RGB图像和IR图像，由此可以使用IR图像来生成精确的深度图像。
尽管参照多个说明性实施例描述了示例性实施例，然而应理解，本领域技术人员可设计将落入本公开的原理的精神和范围内的大量其他修改和实施例。更具体地，在本公开、附图和所附的权利要求的范围内，在本组合布置的组成部分和/或布置中可做出各种变型和修改。

Claims (10)

1.一种用于生成深度图像的设备，所述设备包括：
摄像单元，被配置成获得左RGB图像和右RGB图像组、左IR图像和右RGB图像组、左RGB图像和右IR图像组以及左IR图像和右IR图像组中的任一组；以及
第一生成单元，被配置成：
控制所述摄像单元获得左RGB图像和右RGB图像组、左IR图像和右RGB图像组、左RGB图像和右IR图像组以及左IR图像和右IR图像组中的所述任一组，以及
根据所获得的任一组来生成深度图像，
其中，所述摄像单元包括：
第一传感器单元，被配置成获得左RGB图像和左IR图像中的任一个，
第二传感器单元，被配置成获得右RGB图像和右IR图像中的任一个，
光接收单元，被配置成检测光照强度，
至少一个发射单元，被配置成通过响应于所述第一生成单元的控制而被开启或关闭来发射红外线，以及
分光器，被配置成使从所述发射单元发射的红外线以预定模式分散，
其中，所述第一生成单元包括：
控制器，被配置成响应于所述光接收单元所检测的光照强度来控制所述发射单元的开和关，
同步单元，被配置成使来自所述第一传感器单元和所述第二传感器单元的输出的左IR图像和右IR图像同步，以及
第二生成单元，被配置成根据从所述同步单元接收的左IR图像和右IR图像来生成所述深度图像；
其中，所述控制器被配置成当所述光接收单元所检测的光照强度小于预定的光照强度时，将所述发射单元改变为开启状态，并且所述同步单元被配置成当所述光照强度小于所述预定光照强度时，从所述摄像单元接收所述左IR图像和所述右IR图像。
2.根据权利要求1所述的设备，其中，所述发射单元包括单个红外装置或多个红外装置。
3.根据权利要求2所述的设备，其中，所述红外装置包括激光二极管和LED中的任一个。
4.根据权利要求1所述的设备，其中，所述分光器被布置在所述发射单元的前端。
5.根据权利要求1所述的设备，其中，所述第一生成单元还包括：
开关单元，被配置成响应于所述控制器的控制来开启或关闭所述发射单元。
6.一种用于生成深度图像的设备，所述设备包括：
摄像单元，被配置成获得左RGB图像和右RGB图像组以及左RGB图像和左IR图像及右RGB图像和右IR图像组中的一组；以及
第一生成单元，被配置成：
控制所述摄像单元获得左RGB图像和右RGB图像组以及左RGB图像和左IR图像及右RGB图像和右IR图像组中的所述一组，以及
根据所述一组来生成深度图像，
其中，所述摄像单元包括：
至少一个发射单元，被配置成通过响应于所述第一生成单元的控制而被开启或关闭来发射红外线，以及
分光器，被配置成使从所述发射单元发射的红外线以预定模式分散，并且
其中，所述第一生成单元包括：
同步单元，被配置成使第一传感器单元和第二传感器单元的输出同步，
第二生成单元，被配置成根据从所述同步单元接收的左IR图像和右IR图像来生成所述深度图像，
亮度检测器，被配置成响应于从所述同步单元接收的左RGB图像和右RGB图像的像素的平均亮度来开启或关闭所述发射单元，以及
开关单元，被配置成响应于所述亮度检测器的控制来开启或关闭所述发射单元；
其中，所述亮度检测器被配置成当所述左RGB图像和所述右RGB图像的像素的平均亮度小于阈值时，开启所述发射单元，并且所述同步单元被配置成当所述左RGB图像和所述右RGB图像的像素的平均亮度小于所述阈值时，从所述摄像单元接收所述左IR图像和所述右IR图像。
7.根据权利要求6所述的设备，其中，所述摄像单元进一步包括：
所述第一传感器单元，被配置成获得左RGB图像或左RGB/IR图像，以及
所述第二传感器单元，被配置成获得右RGB图像或右RGB/IR图像。
8.根据权利要求6所述的设备，其中，所述发射单元包括单个红外装置或多个红外装置。
9.根据权利要求8所述的设备，其中，所述红外装置包括激光二极管和LED中的任一个。
10.根据权利要求6所述的设备，其中，所述分光器被布置在所述发射单元的前端。
CN201380046006.6A 2012-09-03 2013-08-28 用于生成深度图像的设备 Active CN104604221B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0097101 2012-09-03
KR1020120097101A KR101966975B1 (ko) 2012-09-03 2012-09-03 스테레오 매칭장치
PCT/KR2013/007707 WO2014035127A1 (en) 2012-09-03 2013-08-28 Apparatus for generating depth image

Publications (2)

Publication Number Publication Date
CN104604221A CN104604221A (zh) 2015-05-06
CN104604221B true CN104604221B (zh) 2018-09-14

Family

ID=50183873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380046006.6A Active CN104604221B (zh) 2012-09-03 2013-08-28 用于生成深度图像的设备

Country Status (5)

Country Link
US (1) US9781406B2 (zh)
KR (1) KR101966975B1 (zh)
CN (1) CN104604221B (zh)
TW (1) TWI631849B (zh)
WO (1) WO2014035127A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
KR102281149B1 (ko) * 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
US9712809B2 (en) * 2015-05-22 2017-07-18 Intel Corporation Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US9800795B2 (en) 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US10346995B1 (en) * 2016-08-22 2019-07-09 AI Incorporated Remote distance estimation system and method
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108110017A (zh) * 2016-11-24 2018-06-01 比亚迪股份有限公司 复合像素单元及其制备方法、像素阵列及其应用
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
CN109978929B (zh) * 2017-12-28 2021-04-23 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN110099226B (zh) * 2018-01-31 2024-04-09 宁波舜宇光电信息有限公司 阵列摄像模组及其深度信息采集方法和电子设备
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
CN111416920A (zh) * 2019-01-07 2020-07-14 富泰华工业（深圳）有限公司 移动图像处理装置、方法及计算机可读存储介质
CN112036222B (zh) 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
CN111091063B (zh) * 2019-11-20 2023-12-29 北京迈格威科技有限公司 活体检测方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI474282B (zh) * 2008-10-03 2015-02-21 Himax Tech Ltd 深度相關的影像加強
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
RU2423018C2 (ru) * 2009-08-04 2011-06-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для преобразования стереоконтента
KR20110071207A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
KR20120080939A (ko) 2011-01-10 2012-07-18 엘지전자 주식회사 영상 처리 장치 및 그 방법
KR20120084216A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR20120091970A (ko) 2011-02-09 2012-08-20 연세대학교 산학협력단 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템

Also Published As

Publication number Publication date
US9781406B2 (en) 2017-10-03
WO2014035127A1 (en) 2014-03-06
CN104604221A (zh) 2015-05-06
KR101966975B1 (ko) 2019-04-08
US20150304631A1 (en) 2015-10-22
TWI631849B (zh) 2018-08-01
KR20140030658A (ko) 2014-03-12
TW201414285A (zh) 2014-04-01

Similar Documents

Publication Publication Date Title
CN104604221B (zh) 用于生成深度图像的设备
CN104604220B (zh) 图像处理系统
RU2698303C2 (ru) Разрешение конфликтов предпочтений освещения
CN106152937B (zh) 空间定位装置、系统及其方法
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
US9286819B2 (en) Display device, display method, integrated circuit, and program
KR20210090134A (ko) 깊이 정보 추출 장치 및 방법
CN111948798B (zh) 内窥镜系统及用于检测内窥镜的末端与组织接触的方法
CN108351523A (zh) 利用头戴式显示器使用立体照相机以及结构光的深度映射
CN104935790A (zh) 成像系统
EP3161725B1 (en) Color identification using infrared imaging
US20110102664A1 (en) Lighting control module, video camera comprising the same and control method of the same
JP2917953B2 (ja) 視点位置検出装置
US20200225350A1 (en) Depth information acquisition system and method, camera module, and electronic device
Hunter et al. Visible light communication using a digital camera and an LED flashlight
CN109791602A (zh) 在一组移动设备中定位移动设备的方法
CN109547764B (zh) 影像深度感测方法与影像深度感测装置
CN109270546A (zh) 一种基于结构光和双图像传感器的测距装置及其测距方法
KR101695728B1 (ko) 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
CN112672137A (zh) 获取深度图像的方法、结构光系统以及一种电子装置
US10606352B2 (en) Dual mode eye tracking method and system
US10942607B2 (en) Manipulation detection device and video display system that are capable detecting an object on a video display surface
KR20190039051A (ko) 스테레오 매칭장치
JP2009193349A (ja) 顔認証装置
CN211509207U (zh) 一种摄像模组

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant