CN104519338B - 产生彩色图像和深度图像的方法和设备 - Google Patents

产生彩色图像和深度图像的方法和设备 Download PDF

Info

Publication number
CN104519338B
CN104519338B CN201410520602.XA CN201410520602A CN104519338B CN 104519338 B CN104519338 B CN 104519338B CN 201410520602 A CN201410520602 A CN 201410520602A CN 104519338 B CN104519338 B CN 104519338B
Authority
CN
China
Prior art keywords
image
light
filter
wave band
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410520602.XA
Other languages
English (en)
Other versions
CN104519338A (zh
Inventor
姜柄敏
金桢祐
李泓锡
金道均
李基彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104519338A publication Critical patent/CN104519338A/zh
Application granted granted Critical
Publication of CN104519338B publication Critical patent/CN104519338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了产生彩色图像和深度图像的方法和设备。提供了通过使用第一滤光器和第二滤光器来产生彩色图像和深度图像的方法和设备，其中，第一滤光器透射多个波段的光，第二滤光器透射包括在所述多个波段中的特定波段的光。

Description

产生彩色图像和深度图像的方法和设备
本申请要求于2013年9月30日在韩国知识产权局提交的第10-2013-0116897号韩国专利申请的权益，该申请的公开通过引用全部包含于此。
技术领域
本公开的一个或更多个实施例涉及产生彩色图像和深度图像的方法和设备。
背景技术
作为获得对象的深度图像的方法，可使用飞行时间(ToF)方法，其中，深度图像基于从朝对象发射红外射线(IR)时到发射的红外光的反射光返回时的时间。例如，可通过确定发射的IR信号与发射的IR信号的反射之间的相位差来获得通过使用ToF方法获得的深度图像，其中，通过朝对象发射IR来获得发射的IR信号，并且发射的IR信号的反射从对象反射并返回。例如，与用于获得对象的深度图像的其它传统相机(例如，立体相机等)相比，采用上述方法的ToF深度相机可针对所有像素实时获得对象的深度。获得深度图像的另一方法包括使用结构光相机，所述结构光相机通过朝对象发射特定IR图案并随后执行三角测量(例如，将反射的图案特征与参考图像进行比较)来获得对象的深度信息。
一般来说，为了产生对象的三维(3D)图像，对象的彩色图像和对象的深度图像可能是必须的。可通过将彩色相机安装在深度相机(例如，ToF深度相机)附近来获得彩色图像和深度图像。如果使用ToF深度相机和彩色相机两者，则图像产生系统的尺寸变大。此外，由于ToF深度相机和彩色相机的视点不同，即，由于ToF深度相机和彩色相机分别从不同位置观察对象，因此一般需要额外地对产生的彩色图像和深度图像进行匹配的处理。
最近，已经对通过使用同一传感器产生彩色图像和深度图像的方法进行了研究，所述方法可减轻其它传统系统的匹配要求。这里，一般来说，第一入射光通过用于产生彩色图像的可见光通过滤光器，第二入射光通过用于产生深度图像的独立的红外通过滤光器。因此，为了通过使用同一传感器产生彩色图像和深度图像，光必须首先通过可见光通过滤光器和独立的红外通过滤光器。
发明内容
一个或更多个实施例可包括通过使用第一滤光器和第二滤光器产生彩色图像和深度图像的方法和设备，其中，第一滤光器透射多个波段的光，第二滤光器透射所述多个波段中的选择波段的光。
将在以下描述中部分地阐述附加方面，并且从描述中该部分将是清楚的，或者可以通过呈现的实施例的实践得知。
一个或更多个实施例可包括一种通过使用从对象反射的光来产生图像的图像产生设备，该图像产生设备包括：第一滤光器，透射从对象反射的光中的多个波段的光；第二滤光器，根据控制信号选择性地透射所述多个波段的光中的选择波段的光；检测单元，通过对所述多个波段的光进行光电转换来检测第一图像，通过对选择波段的光进行光电转换来检测第二图像；图像处理单元，通过使用差值图像和第二图像产生彩色图像和深度图像，其中，差值图像通过从第一图像减去第二图像而获得。
一个或更多个实施例可包括一种通过使用从对象反射的光来产生图像的方法，所述方法包括：执行第一滤光操作，以透射包括从对象反射的光的多个波段的光；通过对通过第一滤光操作的所述多个波段的光进行光电转换来检测第一图像；执行第二滤光操作，以透射所述多个波段的光中的选择波段的光；通过对通过第二滤光操作的选择波段的光进行光电转换来检测第二图像；基于差值图像和第二图像产生彩色图像和深度图像，其中，差值图像通过从第一图像减去第二图像而获得。
一个或更多个实施例还可包括一种非暂时性计算机可读记录介质，包括用于控制至少一个处理装置实现使用从对象反射的光来产生图像的方法的计算机可读代码。
附图说明
从以下结合附图对实施例的描述中，这些和/或其它方面将变得清楚并更易于理解，其中：
图1示出根据一个或更多个实施例的图像产生设备；
图2示出解释根据一个或更多个实施例的可使可见光和IR光通过的第一滤光器的光透射特性的曲线图；
图3A和图3B示出用于解释根据一个或更多个实施例的第二滤光器的光透射特性的曲线图；
图4示出解释根据一个或更多个实施例的产生彩色图像和深度图像的处理的示图；
图5A和图5B分别示出根据一个或更多个实施例的通过使用第一图像产生的图像和通过使用第二图像产生的图像；
图6示出根据一个或更多个实施例的可通过使用差值图像产生的图像，其中，所述差值图像通过从第一信号去除/减去第二信号而获得；
图7示出根据一个或更多个实施例的可通过使用第二图像产生的深度图像；
图8示出解释根据一个或更多个实施例的产生彩色图像和深度图像的处理的示图；
图9示出解释根据一个或更多个实施例的产生彩色图像和深度图像的处理的示图；
图10示出根据一个或更多个实施例的产生彩色图像和深度图像的方法；
图11示出根据一个或更多个实施例的通过使用差值图像和第二图像产生彩色图像和深度图像的方法；
图12示出根据一个或更多个实施例的产生彩色图像和深度图像的方法；
图13示出根据一个或更多个实施例的通过使用差值图像和第三图像产生彩色图像和深度图像的方法。
具体实施方式
现在将对实施例进行详细参照，实施例的示例在附图中示出，在附图中，相同标号始终表示相同元件。对此，实施例可具有不同形式，并且不应被解释为受限于在此阐述的描述。因此，以下仅通过参照附图来描述一个或更多个实施例，以解释本描述的多个方面。如在此所使用的，术语“和/或”包括一个或更多个关联列出的项目的任意和所有组合。在一列元素之后的诸如“……的至少一个”的描述修饰整列元素，而不仅仅修饰列表中的单个元素。
本公开的一个或更多个实施例涉及一种产生彩色图像和深度图像的方法和设备。
图1示出根据一个或更多个实施例的图像产生设备100。
参照图1，例如，图像产生设备100可包括成像设备/单元200和图像处理设备/单元300。例如，成像设备200可包括控制单元210、发射单元220、第一滤光器230、透镜240、第二滤光器250、检测单元260。例如，图像处理设备300可包括差值图像获得单元310、深度值计算单元320、彩色图像产生单元330和深度图像产生单元340。本领域普通技术人员会理解，除了图1中示出的元件之外，根据一个或更多个实施例，还可包括其它元件。在下文中，参照图1，将更详细地描述图像产生设备100、成像设备200和图像处理设备300的示例元件。
图像产生设备100可包括：成像设备200，被配置为捕捉针对对象400的图像；图像处理设备300，被配置为对捕捉的图像执行图像处理。图像产生设备100可接收从对象400反射的光，并通过使用反射的光产生针对对象400的彩色图像或深度图像。从对象400反射的光可以是当诸如太阳光的自然光从对象400反射时获得的光，并且从对象400反射的光可以是当被调制为具有预定频率的光或特定模式的光被发射到对象400并从对象400反射时获得的光。仅作为示例，可使用如上所述的飞行时间(ToF)方法产生对象400的深度图像，或者可使用如上讨论的结构光相机方法产生对象400的深度图像。
如图1中所示，例如，成像设备200可包括发射单元220、第一滤光器230、透镜240、第二滤光器250、检测单元260和例如控制这些单元的控制单元210。
如果图像产生设备100产生针对对象400的图像，则发射单元220可朝对象400发射预定波段的光。具体地说，发射单元220可基于来自控制单元210的控制信号朝对象400发射被调制到预定频率(例如，IR频率)的发射光410。仅作为示例，发射单元220可由发光二极管(LED)阵列或激光设备形成。
例如，可通过使用IR光(尤其是近红外(NIR)光)来获得表示对象400和成像设备200之间的距离的深度图像。因此，如果图像产生设备100产生深度图像，则发射单元220可朝对象400发射被调制到与IR光相应的预定频率的发射光410。
例如，第一滤光器230可透射从对象400反射的光中的多个波段的入射光，并使其入射到成像设备200上。也就是说，第一滤光器230可透射包括在从对象400反射的光中的多个波段的光。例如，多个波段的光可包括例如从发射单元220朝对象400发射的IR光的反射IR光、从对象400反射的可见光。
第一滤光器230可由可透射来自入射光的至少两个波段的光的多带通滤光器形成。例如，透过第一滤光器230的至少两个波段的光可分别是可见光和IR光。第一滤光器230可以是固定的滤光器，其中，可透过该滤光器的光的波段被预设。仅作为示例，第一滤光器可以不是可变滤光器。例如，第一滤光器230可被布置在透镜240和对象400之间或者透镜240和第二滤光器250之间。第一滤光器230还可以是第一滤光器230是透镜240上的涂层的形式。因此，从对象400反射的光可顺序地通过第一滤光器230和第二滤光器250。
图像产生设备100可通过使用可见光产生彩色图像并通过使用IR光产生深度图像。入射在成像设备200上的光可以是从对象400反射的各种类型的光，并可包括可见光或IR光以及其它波段的光。因此，第一滤光器230可在从对象400反射的各种类型的光中分别透射可见光的波段和IR光的波段，以产生彩色图像或深度图像。第一滤光器230可阻挡其它波段的光。简单地说，在一个或更多个实施例中，仅作为示例，检测单元260可包括光捕捉元件(诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器或其它光检测传感器)以及可被布置为拜耳格式的独立的可见光波段滤光器(诸如，例如红光滤光器、蓝光滤光器和绿光滤光器)。这样的检测单元260的独立的可见光波段滤光器可以与第一滤光器230和第二滤光器250区分开来。
图2示出解释第一滤光器(诸如图1的第一滤光器230)的示例光透射特性的曲线图。参照图2，第一滤光器230可透射选择波段的光。在一个或更多个实施例中，例如，这些选择波段包括范围从400nm到650nm的可见光波段以及大约850nm的IR光波段。然而，选择波段不限于此。根据实施例，可由第一滤光器230透射的光的波段可以根据第一滤光器230的特性而不同。
透镜240可收集入射在成像设备200上的光。具体地说，透镜240可收集从对象400反射的各种类型的光，包括当发射光410从对象400反射时获得的反射光420以及在对象400上反射的自然光。
第二滤光器250可根据控制信号，选择性地透射例如包括在通过第一滤光器230的多个波段的光中的特定/选择波段的光。第二滤光器250可以是可变滤光器，其中，可由第二滤光器250透射的光的波段根据控制信号而改变。例如，第二滤光器250可被控制，从而如果控制信号的电压等于或小于阈值电压，则第二滤光器250可透射所有波段(例如，包括可见光波段和IR波段)的光。然而，例如，如果控制信号的电压大于预定阈值，则第二滤光器250可透射通过第一滤光器230的光中的特定/选择波段(例如，可见光波段或IR波段)的光。换言之，根据第二滤光器250的操作，还可控制已通过第一滤光器230的多个波段的光通过第二滤光器250。可选择地，可控制已通过第一滤光器230的多个波段的光中的特定/选择波段的光通过第二滤光器250。例如，在一个或更多个实施例中，可根据由控制单元210输出到第二滤光器250的控制信号选择性地控制最终通过第一滤光器230和第二滤光器250的光的波段。
图3A和图3B示出解释第二滤光器(诸如图1的第二滤光器250)的示例光透射特性的曲线图。具体地说，图3A示出解释根据第一控制信号，哪个波段的入射光透过第二滤光器250的曲线图，例如，图3A示出所有波段的入射光可通过第二滤光器250而朝向检测单元260。图3B示出解释根据第二控制信号，哪个波段的入射光透过第二滤光器250的曲线图，例如，图3B示出可阻止与可见光相应的波段通过第二滤光器250，使得仅IR波段的光通过第二滤光器250而朝向检测单元260。仅作为示例，第一控制信号的电压可以是小于第二控制信号的电压的电压，需注意可替换的选择波段过滤控制方式也是可行的。
因此，在一个或更多个实施例中，由于入射在第二滤光器250上的光可以是已通过第一滤光器230的多个波段的光，因此通过第二滤光器250的光可被控制为所述多个波段的光(在示例第一控制信号的情况下)或所述多个波段中的特定/选择波段的光(在第二控制信号的情况下)。因此，图3B示出根据第二控制信号透过第二滤光器250的IR光和被第二滤光器250阻挡的可见光。与图2中示出的第一滤光器230的操作不同，第二滤光器250可根据第一控制信号透射可见光和IR光，并还根据第二控制信号阻挡可见光，诸如如图4和图9中所示。可选择地，第二滤光器250可被控制为根据第一控制信号透射可见光和IR光，并根据第二控制信号阻挡IR光。根据实施例，由第二滤光器250透射的光的选择波段可以根据第二滤光器250的特性而不同。
如上所述，检测单元260可通过在入射光(例如反射光420)通过第一滤光器230和第二滤光器250之后对所述入射光进行光电转换来检测图像。仅作为示例，检测单元260可通过对具有特定/选择频带的入射光或具有不同频带的入射光进行光电转换来检测图像，并且根据实施例，检测单元260可利用至少针对红光波长的红光滤光器、至少针对蓝光波长的蓝光滤光器和至少针对绿光波长的绿光滤光器，来不同地转换不同波段的入射光。检测单元260可检测与被光电转换的电荷量相应的值以用于图像。例如，与被光电转换的电荷量相应的传感器阵列的彩色值可被检测为图像。根据实施例，由于通过第一滤光器230和第二滤光器250且入射在检测单元260上的光是多个波段的光或包括在多个波段中的特定/选择波段的光，因此可通过分别对多个波段的光进行光电转换和随后对特定/选择波段的光进行光电转换来检测第一图像和第二图像，或者通过对特定/选择波段的光进行转换和随后对多个波段的光进行转换来检测第一图像和第二图像。因此，根据实施例，检测单元260可检测第一图像和第二图像，其中，第一图像通过对多个波段的光进行光电转换而获得，第二图像通过对特定/选择波段的光进行光电转换而获得。检测单元260可将检测到的图像提供给图像处理设备300。
如上所述，检测单元260可包括由光电二极管阵列或光门阵列形成的互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。光电二极管可以是钉扎光电二极管，但是不限于此。
检测单元260可将当光电二极管电路利用预定相位差操作时检测到的电荷量提供给图像处理设备300。例如，预定相位差可以是180°。具体地说，这里，使用对于一个光电二极管电路操作的时间段的参考(0°)，检测单元260可通过操作不同光电二极管以具有与参考(0°)相差180°的相位差来检测电荷量。此外，例如，检测单元260可通过操作一个光电二极管电路以具有与参考(0°)相差90°的相位差，并操作一个光电二极管电路以具有与参考(0°)相差270°的相位差，来检测电荷量。这样，检测单元260可将与利用预定相位差检测到的电荷量相应的值提供给图像处理设备300，从而所述值被用于计算用于产生深度图像的深度的值。
图1中示出的图像处理设备300可包括例如差值图像获得单元310、深度值计算单元320、彩色图像产生单元330、深度图像产生单元340，并可由一个或更多个处理装置(诸如处理器，但不限于此)形成。仅作为示例，一个或更多个处理装置可被实施为多个逻辑门的阵列，或可被实施为通用微处理器的组合，所述组合可包括计算机可读介质，诸如存储可由通用微处理器执行的计算机可读代码或指令(诸如程序)的存储器。此外，本领域普通技术人员会理解，根据实施例，处理装置是可被实施为不同硬件形式的硬件。
差值图像获得单元310可通过使用第一图像和第二图像来获得差值图像，其中，第一图像通过对多个波段的光进行光电转换而获得，第二图像通过对特定/选择波段的光进行光电转换而获得。换言之，在图4的实施例中示出的这样的实施例中，如果多个波段的光包括可见光和IR光，并且特定/选择波段的光是IR光，则差值图像可最终表示可见光(例如，仅可见光)。不同地，如图8的实施例中所示，如果特定/选择波段的光实际上是可见光，则差值图像可最终表示IR光(例如，仅IR光)。
如果差值图像表示可见光，则差值图像获得单元310可将差值图像提供给彩色图像产生单元330。如果差值图像表示IR光，则差值图像获得单元310可将差值图像提供给深度值计算单元320。
深度值计算单元320可获得对象400和图像产生设备100之间的距离，即，深度值。深度值计算单元320可通过使用捕捉的IR光计算深度值。仅作为示例，ToF方法可用作代表性方法。关于ToF方法，可通过使用捕捉的表示IR光的图像(即，IR图像)，来计算IR光朝对象400发射时和发射的IR光的反射光返回时之间的时间。之后，可通过将计算的时间乘以IR光的速度来获得对象400和图像产生设备100之间的示例距离差(即，深度值)。
彩色图像产生单元300可通过使用捕捉的表示可见光的图像来产生彩色图像。如果由差值图像获得单元310获得的差值图像是表示可见光(例如，仅表示可见光)的图像，则可通过使用差值图像来获得彩色图像。可选择地，如图8中所示，如果第二图像是表示可见光(例如，仅表示可见光)的图像，则可通过使用第二图像来获得彩色图像。由于图像可与传感器阵列的彩色值相应(其中，所述彩色值对应于由检测单元260检测的各个电荷量)，因此一个或更多个实施例可使得传感器阵列的每个像素捕捉颜色分量信息的一部分(例如，R、G或B颜色分量信息之一)，使得可通过使用附近像素的捕捉的颜色分量信息来确定或计算每个像素的所有颜色分量信息。这样的图像处理方法被称为去马赛克(demosaicing)方法。彩色图像产生单元230还可执行白平衡(AWG)或伽马调整。
深度图像产生单元340可通过使用由深度值计算单元320计算的深度值产生深度图像。例如，深度图像产生单元340可采用定义了距离值和对比度之间的关系的查找表，从而可识别针对每个像素的对比度，并可基于对比度产生深度图像。
通常，为了通过使用同一传感器来产生彩色图像和深度图像，可见光透射滤光器和分离的IR光透射滤光器将用于分别在一时间仅使可见光通过并到达传感器而在另一时间仅使IR光通过并到达传感器。为此，可使用机械滤光方法，其中，机械滤光器装置被控制为仅通过由可见光透射滤光器进行过滤的可见光以及仅通过由IR光透射滤光器进行过滤的IR光。然而，由于该机械滤光方法需要用于驱动各个滤光器的附加时间，因此，可产生彩色图像和深度图像的速度会很大。可选择地，如果使用分离的可变滤光器，则第一滤光器可选择性地通过仅可见光和所有光之一，第二滤光器可选择性地通过仅IR光和所用光之一，从而第一滤光器被操作为仅通过可见光以产生彩色图像，单独地，第二滤光器被操作为仅通过IR光以产生深度图像。然而，虽然与机械滤光方法相比，可分别产生彩色图像和深度图像(即，使用各自独立的可变滤光器)的速度可提高，但是这种多个可变滤光器方法需要若干内联可变滤光器，使得光透射率劣化，因此，与由本公开的一个或更多个实施例提供的光透射率和/或图像质量相比，图像质量劣化。
例如，在一个或更多个实施例中，针对用于产生彩色图像和深度图像的图像产生设备100，通过使用可以是固定滤光器的第一滤光器230和可以是可变滤光器的第二滤光器250，产生彩色图像和深度图像的速度以及光透射率相对于传统机械滤光方法和多个可变滤光器方法提高。在一个或更多个实施例中，第一滤光器230的这种固定方面可表示第一滤光器不是可变滤光器。
图4示出根据一个或更多个实施例的用于解释产生彩色图像和深度图像的处理的示图。
参照图4，可理解，发射单元220可朝对象400发射可被调制为具有预定频率的IR光，图像产生设备100可通过使用第一滤光器230和第二滤光器250的每个处理对从对象400反射的IR光执行两次图像检测处理。
可基于朝对象400发射IR光的图像产生设备100的发射单元220检测第一图像。对象400可不仅反射由发射单元220发射的IR光，而且反射诸如阳光的自然光或来自另一可见光源的光。因此，入射在图像产生设备100上的光可以是从对象400反射的各种类型的光，并可不仅包括可见光和IR光，而且包括可选择的波段的光。
因此，第一滤光器230可透射入射在图像产生设备100上的所有波段的光之中的例如包括可见光和IR光的多个波段的光。例如，如参照图2所述的情况。如图3A和图4中所示，可基于根据控制信号选择性地透射所有波段的光的第二滤光器250产生第一图像。
由于在产生第一图像时，第二滤光器250透射所有波段的光，因此入射在检测单元260上的光可与先前通过第一滤光器230的多个波段的光相同。因此，检测单元260可通过对多个波段的光进行光电转换来检测第一图像。这里，多个波段的光包括在朝对象400发射并从对象400反射IR光时获得的IR光和从对象400反射的可见光。
可基于朝对象400发射例如被调制为具有预定频率的IR光的图像产生单元100的发射单元220产生第二图像。如第一图像的检测一样，入射在图像产生设备100上的光可以是从对象400反射的各种类型的光，并可不仅包括可见光和IR光，而且包括可选择的波段的光。
因此，第一滤光器230可仅透射入射在图像产生设备100上的光之中的多个波段的光。第二滤光器250现可根据另一控制信号被控制为透射多个波段中的特定/选择波段的光，诸如图3B和图4中所示。
由于第二滤光器250透射特定/选择波段的光，因此入射在检测单元260上的光可以仅是已通过第一滤光器230的多个波段的特定/选择波段的光。检测单元260可检测通过对特定/选择波段的光进行光电转换而获得的第二图像。根据一个或更多个实施例，特定/选择波段可表示IR光，例如，仅与朝对象400发射并从对象400反射的IR光对应的波段。
图像处理设备300可接收由检测单元260检测的第一图像和第二图像，并通过使用差值图像和第二图像来产生彩色图像和深度图像，其中，通过从第一图像去除/减去第二图像来获得差值图像。详细地，根据一个或更多个实施例，差值图像可对应于可见光(例如，仅对应于可见光)，从而例如通过仅使用差值图像来产生彩色图像，第二图像可对应于IR光(例如，仅对应于IR光)，从而可通过仅使用第二图像来产生深度图像。
图5A和图5B分别示出通过使用第一图像产生的图像和通过使用第二图像产生的图像，诸如联系图4所论述的内容。详细地，图5A示出通过第一图像产生的图像，其中，通过对包括可见光和IR光的多个波段的光进行光电转换来检测第一图像。图5B示出基于第二图像产生的图像，其中，例如，通过对通过第一滤光器230的多个波段的特定/选择波段的光进行光电转换来检测第二图像。
参照图5A，由于IR光以及可见光被包括在第一图像中，因此整个图像会显得明亮。相反，由于仅IR光被包括在图5B的第二图像中，因此整个第二图像会显得黑暗。
图6示出根据一个或更多个实施例的可通过使用差值图像产生的图像(诸如图4中所示)，其中，通过从第一信号减去第二信号来获得差值图像。
这里，通过对包括可见光和IR光的多个波段的光进行光电转换来获得第一图像，通过对包括IR光(例如，预定频率的发射IR光)的特定/选择波段的光进行光电转换来获得第二图像。因此，可通过从第一图像减去第二图像来获得差值图像。因此，差值图像可与已通过对与仅可见光对应的可见波段的光进行光电转换而获得的结果相同。可理解，与图5A中示出的图像的质量相比，图6中示出的图像的质量提高。
图7示出根据一个或更多个实施例的可通过使用第二图像产生的深度图像，诸如图4中所示。
参照图7，可确定深度图像中的对象400中的对比度根据对象400的视角显得彼此不同。详细地，仅作为示例，当对象400在图像产生设备100附近时，对象400因此可在深度图像中显得相对明亮，而当对象400远离图像产生设备100时，对象400在深度图像中会显得相对黑暗。
图8示出解释根据一个或更多个实施例的产生彩色图像和深度图像的处理的示图。
参照图8，作为示例，可理解，发射单元220可向对象400发射可被调制为具有预定频率的IR光。因此，图像产生设备100可通过使用第一滤光器230和第二滤光器250的每个处理对从对象400反射的光执行两个图像检测处理。
当产生第一图像时，由于对象400不仅反射由发射单元220发射的IR光，而且反射诸如阳光的自然光，因此入射在图像产生设备100上的光可表示从对象400反射的各种类型的光，并可不仅包括可见光和IR光，而且包括可选择的波段的光。
第一滤光器230可透过/通过入射在图像产生设备100上的各种类型的光之中的包括可见光和IR光的多个波段的入射光。第二滤光器250可根据第一控制信号可变地透射所有波段的光，并根据第二控制信号透射可见光波段的光，例如，仅透射可见光。
由于第二滤光器250可透射所有波段的光，因此入射在检测单元260上的光可与通过第一滤光器230的多个波段的光相同。因此，检测单元260可检测通过对通过第一滤光器230的多个波段的光进行光电转换而获得的第一图像。多个波段的光包括在朝对象400发射并从对象400反射IR光时获得的IR光和从对象400反射的可见光。多个波段的光还可包括从其它源入射在图像产生设备100上的IR光或来自这样的其它源并从对象反射的IR光。
为了检测第二图像，图像产生单元100的发射单元220朝对象400发射IR光。如第一图像的检测一样，入射在图像产生设备100上的光可以是从对象400反射的各种类型的光，并可不仅包括可见光和IR光，而且包括可选择的波段的光。
第一滤光器230可透射入射在图像产生设备100上的光之中的多个波段的光，第二滤光器250可根据控制信号透射多个波段中的特定/选择波段的光。应注意，图8中示出的第二滤光器250的这种透射特性与图4中示出的第二滤光器250的透射特性不同。例如，如图8中所示，第二滤光器250可根据控制信号选择性地透射所有波段和与可见光对应的波段之一的光。与如上所述不同地，图4的第二滤光器250可根据控制信号选择性地透射所有波段和与IR光对应的波段之一的光。
针对图8，由于第二滤光器250选择性地透射通过第一滤光器230的多个波段中的与可见光对应的波段的光，因此入射在检测单元260上的光是与可见光对应的波段的光。如图8中所示，检测单元260可检测通过对与可见光对应的波段的光进行光电转换而获得的第二图像。
再次针对图8，图像处理设备300可接收由检测单元260检测的第一图像和第二图像，并通过分别使用差值图像和第二图像来产生深度图像和彩色图像，其中，通过从第一图像减去第二图像来获得差值图像。详细地，差值图像可对应于IR光，从而可从差值图像产生深度图像，第二图像可对应于可见光，从而可从第二图像产生彩色图像。
图9示出解释根据一个或更多个实施例的产生彩色图像和深度图像的处理的示图。
参照图9，可理解，图像产生设备100可通过使用第一滤光器230和第二滤光器250对从对象400反射的IR光执行三次图像检测处理。为了产生图9中的第一图像，发射单元220可朝对象400发射或可不发射被调制为具有预定频率的IR光。仅作为一个示例，将根据假设在检测第一图像和第二图像的处理中发射单元220不发射光以及仅在检测第三图像的处理中朝对象400发射被调制为具有预定频率的IR光的示例解释图9。
通过使用从对象400反射的自然光来检测第一图像。换言之，入射在图像产生设备100上的光可以是从对象400反射的诸如太阳光的自然光和/或来自可选择的源的光，并可包括在自然光中存在的可见光和IR光。反射光还可包括可选择的波段的光。
第一滤光器230透射入射在图像产生设备100上的光之中的包括与可见光对应的波段和与IR光对应的波段的多个波段的光。第二滤光器250根据第一控制信号选择性地透射所有波段的光，并根据第二控制信号透射与IR光对应的波段的光。在图9中的第一图像的产生中，第二滤光器250根据第一控制信号被控制为透射所有波段的光。
由于第二滤光器250透射所有波段的光，因此入射在检测单元260上的光可与通过第一滤光器230的多个波段的光相同。检测单元260通过对多个波段的光进行光电转换来检测第一图像。再次，多个波段的光包括在例如从对象400反射的自然光中存在的可见光和IR光。
接下来，描述检测第二图像的处理。如第一图像的检测一样，从对象400反射的光被用来检测第二图像。换言之，入射在图像产生设备100上的光可以是从对象400反射的自然光(即，太阳光)和/或来自除了发射单元220之外的光源的可见光，并可包括可在自然光中存在的可见光和IR光以及可选择的波段的光。
第一滤光器230透射入射在图像产生设备100上的光之中的包括在自然光中存在的可见光和IR光的多个波段的光。这里，第二滤光器250可根据第二控制信号被控制为透射多个波段中的特定/选择波段的光。
由于第二滤光器250透射多个波段中的特定/选择波段的光，因此入射在检测单元260上的光是通过第一滤光器230和第二滤光器250的特定/选择波段的光。检测单元260通过对特定/选择波段的光进行光电转换来检测第二图像。如图9中所示，用于产生第二图像的特定/选择波段可与自然光中存在的IR光对应。
为了检测第三图像，图像产生单元100的发射单元220可被控制为朝对象400发射被调制为具有预定频率的IR光。对象400不仅反射发射的IR光，而且反射诸如太阳光的自然光或来自除了发射单元220之外的光源的光。因此，入射在图像产生设备100上的光可包括从对象400反射的各种类型的光，并可不仅包括可见光和IR光，而且包括可选择波段的光。
为了产生第三图像，第一滤光器230透射入射在图像产生设备100上的光之中的包括可见光和IR光的多个波段的光。第二滤光器250可例如根据第二控制信号被控制为透射多个波段中的特定/选择波段的光。
由于第二滤光器250透射特定/选择波段的光，因此入射在检测单元260上的光是通过第一滤光器230和第二滤光器250的特定/选择波段的光。检测单元260通过对特定/选择波段的光进行光电转换来检测第三图像。如图9中所示，特定/选择波段可表示发射IR光的反射光。
图像处理设备300可例如从检测单元260接收第一图像、第二图像和第三图像，并通过使用差值图像和第三图像来产生彩色图像和深度图像。可通过从第一图像减去第二图像来获得差值图像。详细地，根据由图9表示的一个或更多个实施例，由于差值图像对应于可见光，因此可从差值图像产生彩色图。由于第三图像对应于IR光，因此可从第三图像产生深度图像。
根据一个或更多个实施例，图9还可表示产生具有不同分辨率的彩色图像和深度图像的处理。换言之，为了产生具有彼此不同分辨率的彩色图像和深度图像，具有相同分辨率的两个图像和具有与这两个图像的分辨率不同的分辨率的一个图像可用于产生彩色图像和深度图像。这里，通常，因为由检测单元260检测的IR光的敏感度可能弱，因此可使用像素合并方法(pixel binning method)，其中，检测单元的传感器的若干像素用于产生深度图像的一个像素。因此，如果将这种像素合并方法应用于捕捉的图像，则作为结果的图像可具有与没有应用这种合并方法的捕捉的图像不同的分辨率。因此，例如，可在仅将像素合并方法应用于第三图像的情况下，通过不对第一图像和第二图像执行这种像素合并方法来获得图9中示出的差值图像。
因此，与参照图4和图8描述的示例实施例不同，参照图9的一个或更多个实施例可包括根据在图9中从左至右分别示出的三次图像检测处理检测第一图像、第二图像和第三图像。然后，可通过使用具有相同分辨率的第一图像和第二图像来获得差值图像，从而可从差值图像产生彩色图像，而使用这种像素合并方法仅作为示例，使得第三图像具有与第一图像和第二图像的分辨率不同的分辨率，来从第三图像产生深度图像。
图10示出根据一个或更多个实施例的产生彩色图像和深度图像的方法。在下文中，应注意，根据实施例，可通过图像产生设备(诸如图1的图像产生设备100)来实现这种产生彩色图像和深度图像的方法，然而，实施例不限于此。
在操作S1010，可执行第一滤光，以仅透射从对象400反射的光中的多个波段的光。
从对象400反射的光可包括朝对象400发射的被调制为具有预定频率的IR光的反射IR光。从对象400反射的光还可包括从对象400反射的自然光。执行第一滤光的反射光可包括自对象400反射的从发射IR光获得的反射IR光和从自然光获得的反射可见光。
第一滤光可包括仅透射例如从对象400反射的所有波段的光中的多个波段的光。第二滤光可包括根据控制信号透射多个波段中的特定/选择波段的光。仅作为示例，可由固定滤光器和可变滤光器执行第一滤光和第二滤光。可根据控制信号改变可透过/通过可变滤光器的光的波段。例如，如果控制信号的电压被确定为等于或小于预定阈值电压，则可变滤光器可通过所有波段的光，而如果控制信号的电压被确定为大于预定阈值电压，则可变滤光器可仅通过特定/选择波段的光或阻挡除了特定/选择波段之外的光。换言之，根据控制信号，已通过固定滤光器的多个波段的光也可通过可变滤光器，或者，已通过固定滤光器的多个波段中的特定/选择波段的光可通过可变滤光器。根据实施例，第一滤光可包括控制在第一滤光期间产生的控制信号将等于或小于预定阈值电压的电压输出到可变滤光器，从而在第一滤光操作期间通过固定滤光器的多个波段的光直接通过可变滤光器。不同地，在第二滤光操作期间，可产生控制信号以将等于或大于预定阈值电压的电压输出到可变滤光器，从而通过第二滤光操作仅通过预定波段的光。
在操作S1020，诸如以上所论述的，可通过对多个波段的光进行光电转换来检测第一图像。
在操作S1030，可执行第二滤光以透射多个波段的光中的特定/选择波段的光。
在操作S1030，多个波段的光可包括在朝对象400发射并从对象400反射IR光时获得的IR光和从对象400反射的自然光中的可见光。第二滤光可包括透射特定/选择波段的光，例如，包括在多个波段中的IR光。在可选择的实施例中，第二滤光可包括透射不同的特定/选择波段的光，例如，包括在多个波段中的可见光。因此，根据实施例，在第二滤光中可仅透射从对象400反射的IR光以产生第二图像(诸如图4所示以及图9的第二操作和第三操作中所示)，或者在第二滤光中可仅透射从对象400反射的自然光之中的可见光以产生第二图像(诸如图8中所示)。仅作为示例，根据实施例，操作S1030还可包括产生第一控制信号或第二控制信号，并将产生的控制信号提供给例如可变滤光器以通过多个波段中的所有波段，或者仅通过IR光以及仅通过可见光之一。
在操作S1040，可通过对通过第二滤光提供的特定/选择波段的光进行光电转换来检测第二图像，例如，如图4中所示仅透射与IR光对应的波段(或仅阻挡可见光)，或如图8中所示仅透射与可见光对应的波段(或仅阻挡IR光)。
可根据实施例按任何顺序执行图4和图8中示出的图像捕捉操作顺序。例如，在图4中，可在从IR光和可见光两者捕捉图像的左侧图像捕捉操作之前执行仅从IR光捕捉图像的右侧图像捕捉操作。因此，在图10的示出点A，可确定第一图像和第二图像。
在操作S1050，通过产生差值图像来产生彩色图像和深度图像，其中，通过从第一图像减去第二图像来获得差值图像。第二图像可用于表示深度图像。在图10的示出点B，可确定彩色图像和深度图像。参照图11更详细地描述这些彩色图像产生操作和深度图像产生操作。
图11示出通过使用差值图像和第二图像产生彩色图像和深度图像的方法。
在操作S1110，可获得产生的第一图像和产生的第二图像。详细地，可通过对第一滤光期间通过的多个波段的光(例如，包括可见光波段和IR光波段的所有入射光)进行光电转换来产生第一图像。可通过对多个波段中的特定/选择波段的光进行光电转换来检测第二图像。如上所述，在由图4表示的一个或更多个实施例中，特定/选择波段可对应于IR光，而在由图8表示的一个或更多个实施例中，特定/选择波段可对应于可见光。因此，根据实施例，第二图像可表示IR光，例如仅表示IR光，第二图像可表示可见光，例如仅表示可见光。在图4和图8中示出的这样的示例图像捕捉操作中，可捕捉第一图像和第二图像以还包括朝对象发射的IR光的反射IR光，而图9示出这样的一个或更多个实施例：可在不包括发射的IR光的反射的情况下产生示例第一图像和第二图像，而仅基于发射的IR光的反射产生第三图像。这些示例不是限制性的，还可应用可选择的实现方式。
在操作S1120，图像产生设备100获得通过从第一图像去除/减去第二图像而获得的差值图像。
在操作S1130，诸如图4中所示，如果通过第二滤光提供的特定/选择波段的光是IR光(或阻挡可见光)，则例如可通过使用捕捉的第二图像来产生深度图像。
在操作S1140，通过使用差值图像来产生彩色图像。
可选择地，在操作S1150，诸如图8中所示，如果通过第二滤光提供的特定/选择波段的光是可见光(或阻挡IR光)，则可使用捕捉的相应第二图像来产生彩色图像。
在操作S1160，诸如图8中所示，可通过使用通过从第一图像去除/减去相应第二图像而获得的相应差值图像来产生深度图像。因此，在图11的示出点B，可确定彩色图像和深度图像。
图12示出根据一个或更多个实施例的产生彩色图像和深度图像的方法。在下文中，应注意，根据实施例，可通过图像产生设备(诸如图1的图像产生设备100)来实现这种产生彩色图像和深度图像的方法，然而，实施例不限于此。
参照图12，可分别对从对象400反射的光执行三次图像检测操作，即分别为第一滤光、第二滤光和第三滤光。例如，可在第一滤光和第二滤光期间不朝对象400发射光，而仅在第三滤光中朝对象400发射被调制为具有预定频率的IR光，诸如图9中所示。
在操作S1210，可执行第一滤光以透射从包括在从对象40反射的光中的所有光过滤的多个波段的光。
由于在第一滤光操作中不朝对象400发射IR光，因此从对象400反射的光为诸如太阳光的自然光和/或来自其它光源的其它光，并可包括可见光、IR光或可选择波段的光。
例如，可执行第一滤光，以透射从对象400反射的所有入射光中的多个波段的光，随后可执行第二滤光，以根据控制信号选择性地透射多个波段的光。可通过固定滤光器和可变滤光器来实现第一滤光和第二滤光。例如，可根据控制信号改变可透过可变滤光器的光的波段，诸如以上针对图9所述。
在操作S1220，可通过对通过第一滤光操作的多个波段的光进行光电转换来检测第一图像。可将与光电转换的各个电荷对应的不同的像素值检测并表示为图像。因此，在第一图像中表示的多个波段的光可包括从对象400反射的自然光之中的可见光和IR光。在图像处理过程中，可通过对可见光和IR光进行光电转换来检测第一图像。
在操作S1230，可执行第二滤光，以透射包括在多个波段中的特定/选择波段的光。
这里，由于在第二滤光操作中可不朝对象400发射被调制为具有预定频率的IR光(诸如图9中所示)，因此从对象400反射的光也可以是诸如太阳光的自然光和/或来自其它源的光，因此从对象400反射的光可包括在自然光中存在的可见光或IR光或可选择波段的光。
可通过根据控制信号透射包括在多个波段中的特定/选择波段的光来执行第二滤光。该特定/选择波段可仅对应于IR光(仅作为示例，或分别阻挡所有可见光的波段)。
在操作S1240，可通过对通过第二滤光提供的特定/选择波段的光进行光电转换来检测第二图像。
在操作S1250，在第三滤光操作中，可朝对象400发射被调制为具有预定频率的IR光。对象400不仅反射发射的IR光，而且反射诸如太阳光的自然光和/或来自其它光源的光。因此，入射在示例图像产生设备上的光可包括从对象400反射的各种类型的光，并可不仅包括可见光和IR光而且包括可选择波段的光。
在操作S1260，可执行第三滤光以过滤入射光，使得通过包括可见光和反射的IR光的多个波段的光，并且执行第三滤光以过滤多个波段，使得透射包括可见光和反射的IR光的多个波段中的特定/选择波段的光。
在操作S1270，可通过对特定/选择波段的光进行光电转换来检测第三图像。因此，在图12的示出点C，可确定第一图像、第二图像和第三图像，应注意，根据实施例，还可执行用于产生差值图像的第一图像和第二图像的处理，同时产生第三图像。
在操作S1280，可从通过从第一图像去除/减去第二图像而获得的差值图像产生彩色图像，可从第三图像产生深度图像。因此，在图12示出点D，可确定彩色图像和深度图像。
图13示出通过使用从第一图像和第二图像得到的差值图像以及第三图像来产生彩色图像和深度图像的方法。
在操作S1310，可产生第一图像、第二图像和第三图像。详细地，可通过对例如通过第一滤光提供的多个波段的光进行光电转换来检测第一图像。可通过对通过第二滤光操作提供的特定/选择波段的光进行光电转换来检测第二图像。可通过对例如包括可见光和朝对象400发射的发射IR光的反射IR光的多个波段的光中的特定/选择波段的光进行光电转换来检测第三图像。该特定/选择波段的光可包括发射IR的光的调制的频率。在一个实施例中，用于产生第二图像的特定/选择波段可与用于产生第三图像的特定/选择波段相同。应注意，通过第一滤光提供的多个波段的光可以是从对象400反射的自然光之中的可见光和IR光，而通过第二滤光提供的特定/选择波段的光可以仅是从对象400反射的自然光之中的IR光。通过第三滤光提供的特定/选择波段的光可以仅是至少从朝对象400发射并从对象400反射的IR光获得的IR光。
在操作S1320，通过从第一图像去除/减去第二图像来获得差值图像。可通过对通过第一滤光操作提供的多个波段的光进行光电转换来检测第一图像。可通过对分别通过第二滤光操作和第三滤光操作的各个特定/选择波段的光进行光电转换来分别检测第二图像和第三图像。因此，差值图像可表示通过对从对象400反射的自然光之中的可见光进行光电转换而获得的图像。
在操作S1330，通过使用差值图像来产生彩色图像。
在操作S1340，通过使用第三图像来产生深度图像。
如上所述，根据一个或更多个实施例，即使在仅使用同一图像传感器检测所有图像时也可产生彩色图像和深度图像，与用于检测彩色图像和深度图像的传统方法相比，还可提供提高的光透射率和图像产生速度，并可通过采用透射多个波段的光的第一滤光器和选择性地透射包括在多个波段的光中的特定波段的光的第二滤光器产生所述彩色图像和深度图像。
此外，一个或更多个实施例还可通过非暂时性介质(例如，计算机可读介质)中/上的计算机可读代码/指令实现，以控制至少一个硬件处理元件或装置实现上述任何实施例。所述介质可对应于提供存储和/或传输计算机可读代码的任何非暂时性介质。
计算机可读代码可以以各种方式被记录/传输到非暂时性介质上，仅作为示例，所述介质的示例包括诸如磁存储介质(如ROM、软盘、硬盘等)和光记录介质(如CD-ROM、DVD等)的记录介质和诸如互联网硬件传输介质。因此，根据本公开的一个或更多个实施例，所述非暂时性介质可以是包括或携带信号或信息的这样定义和可测量的硬件结构，诸如携带比特流的装置。非暂时性介质还可以是分布式硬件网络，使得可通过不同的硬件装置以分布式存储/传输和执行计算机可读代码。此外，处理元件或装置可包括处理器、计算机处理器、微处理器或包括可分布在和/或包括在单个装置中的处理硬件元件或装置的其它处理装置。
应理解，这里描述的实施例应被考虑为只是为了描述而不是为了限制。每个实施例中的特征或方面的描述通常应被考虑为可用于其它实施例中的其它相似特征或方面。
虽然已参照附图描述了本公开的一个或更多个实施例，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本公开的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (32)

1.一种通过使用从对象反射的光来产生图像的图像产生设备，该图像产生设备包括：
第一滤光器，透射从对象反射的光中的多个波段的光；
第二滤光器，根据控制信号选择性地透射通过第一滤光器透射的所述多个波段的光中的选择波段的光；
检测单元，通过对所述多个波段的光进行光电转换来检测第一图像，通过对选择波段的光进行光电转换来检测第二图像；
图像处理单元，通过使用差值图像和第二图像产生彩色图像和深度图像，其中，差值图像通过从第一图像减去第二图像而获得。
2.如权利要求1所述的图像产生设备，其中，彩色图像基于差值图像，深度图像不同地基于第二图像。
3.如权利要求2所述的图像产生设备，其中，深度图像不基于差值图像。
4.如权利要求1所述的图像产生设备，其中，深度图像基于差值图像，彩色图像不同地基于第二图像。
5.如权利要求4所述的图像产生设备，其中，彩色图像不基于差值图像。
6.如权利要求1所述的图像产生设备，还包括：发射单元，朝对象发射被调制为具有预定频率的红外光，
其中，所述多个波段的光包括当红外光朝对象发射并从对象反射时获得的反射的红外光以及从对象反射的可见光。
7.如权利要求6所述的图像产生设备，其中，当选择波段的光是反射的红外光时，图像处理单元基于第二图像产生深度图像，并基于差值图像产生彩色图像。
8.如权利要求6所述的图像产生设备，其中，当选择波段的光是可见光时，图像处理单元基于第二图像产生彩色图像，并基于差值图像产生深度图像。
9.如权利要求1所述的图像产生设备，还包括：发射单元，朝对象发射被调制为具有预定频率的红外光，
其中，检测单元在发射单元不发射红外光的情况下检测第一图像和第二图像，并在发射单元发射红外光的情况下检测第三图像，其中，通过第一滤光器和第二滤光器透射从对象反射的光并对透射的光进行光电转换而获得第一图像、第二图像和第三图像，其中，在获得第三图像的操作中透射的光包括发射的红外光的反射光，
图像处理单元通过使用差值图像和第三图像来分别产生彩色图像和深度图像，其中，差值图像通过从第一图像减去第二图像而获得。
10.如权利要求9所述的图像产生设备，其中，检测单元基于从对象反射的且由第一滤光器和第二滤光器透射的自然光，并对所述自然光分别进行光电转换，来检测第一图像和第二图像。
11.如权利要求9所述的图像产生设备，其中，图像处理单元基于差值图像产生彩色图像，并基于第三图像产生深度图像。
12.如权利要求9所述的图像产生设备，其中，彩色图像和深度图像具有不同分辨率。
13.如权利要求1所述的图像产生设备，其中，从对象反射的光顺序地通过第一滤光器并随后通过第二滤光器。
14.如权利要求1所述的图像产生设备，其中，第二滤光器在控制信号的电压满足第一预定阈值时透射所有波段的光，并且在控制信号的电压满足第二预定阈值时透射选择波段的光。
15.如权利要求14所述的图像产生设备，其中，第一预定阈值和第二预定阈值是相同阈值，从而与当控制信号的电压满足所述相同阈值时第二滤光器透射选择波段的光相比，当控制信号的电压以不同的方式满足所述相同阈值时第二滤光器透射所有波段的光。
16.如权利要求1所述的图像产生设备，还包括：控制单元，通过控制第二滤光器来控制哪个波段的光通过第二滤光器。
17.如权利要求1所述的图像产生设备，其中，第二滤光器通过阻止所述多个波段中不同于选择波段的光通过第二滤光器，来透射选择波段的光。
18.一种通过使用从对象反射的光来产生图像的方法，所述方法包括：
执行第一滤光操作，以透射包括从对象反射的光的多个波段的光；
通过对通过第一滤光操作的所述多个波段的光进行光电转换来检测第一图像；
执行第二滤光操作，以透射通过第一滤光操作透射的所述多个波段的光中的选择波段的光；
通过对通过第二滤光操作的选择波段的光进行光电转换来检测第二图像；
基于差值图像和第二图像产生彩色图像和深度图像，其中，差值图像通过从第一图像减去第二图像而获得。
19.如权利要求18所述的方法，其中，彩色图像基于差值图像，深度图像不同地基于第二图像。
20.如权利要求19所述的方法，其中，深度图像不基于差值图像。
21.如权利要求18所述的方法，其中，深度图像基于差值图像，彩色图像不同地基于第二图像。
22.如权利要求21所述的方法，其中，彩色图像不基于差值图像。
23.如权利要求18所述的方法，还包括：朝对象发射被调制为具有预定频率的红外光，
其中，所述多个波段的光包括当红外光朝对象发射并从对象反射时获得的反射的红外光以及从对象反射的可见光。
24.如权利要求23所述的方法，其中，当选择波段的光是反射的红外光时，产生彩色图像和深度图像的步骤包括：基于第二图像产生深度图像，并基于差值图像产生彩色图像。
25.如权利要求23所述的方法，其中，当选择波段的光是可见光时，产生彩色图像和深度图像的步骤包括：基于第二图像产生彩色图像，并基于差值图像产生深度图像。
26.如权利要求18所述的方法，还包括：
朝对象发射被调制为具有预定频率的红外光；
执行第三滤光操作，以透射包括发射的红外光的反射光的选择波段的光；
通过对选择波段的光进行光电转换来检测第三图像，其中，选择波段的光包括通过第三滤光操作的发射的红外光的反射光，
其中，产生彩色图像和深度图像的步骤包括：产生差值图像和第三图像，其中，差值图像通过从第一图像减去第二图像而获得。
27.如权利要求26所述的方法，其中，发射的红外光的预定频率在包括通过第三滤波操作的发射的红外光的反射光的选择波段内。
28.如权利要求26所述的方法，其中，执行的第一滤波操作包括：在不发射红外光的情况下，透射包括从对象反射的自然光的所述多个波段的光，
执行的第二滤波操作包括：在不发射红外光的情况下，透射包括从对象反射的自然光的选择波段的光。
29.如权利要求26所述的方法，其中，产生彩色图像和深度图像的步骤包括：基于差值图像产生彩色图像，并基于第三图像产生深度图像。
30.如权利要求26所述的方法，其中，产生深度图像的步骤不基于第一图像和第二图像。
31.如权利要求26所述的方法，其中，彩色图像和深度图像具有不同的分辨率。
32.如权利要求18所述的方法，其中，第二滤光操作通过阻止所述多个波段中不同于选择波段的光通过第二滤光操作，来透射选择波段的光。
CN201410520602.XA 2013-09-30 2014-09-30 产生彩色图像和深度图像的方法和设备 Active CN104519338B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130116897A KR102112298B1 (ko) 2013-09-30 2013-09-30 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
KR10-2013-0116897 2013-09-30

Publications (2)

Publication Number Publication Date
CN104519338A CN104519338A (zh) 2015-04-15
CN104519338B true CN104519338B (zh) 2018-03-27

Family

ID=51726326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410520602.XA Active CN104519338B (zh) 2013-09-30 2014-09-30 产生彩色图像和深度图像的方法和设备

Country Status (5)

Country Link
US (1) US9743065B2 (zh)
EP (1) EP2853919B1 (zh)
JP (1) JP6448280B2 (zh)
KR (1) KR102112298B1 (zh)
CN (1) CN104519338B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
JP6633268B2 (ja) * 2014-09-03 2020-01-22 グローリー株式会社 センサモジュール及び紙葉類処理装置
US11340352B2 (en) * 2014-12-29 2022-05-24 Pixart Imaging Inc. Image noise compensating system, and auto clean machine
TWI542891B (zh) 2014-12-29 2016-07-21 原相科技股份有限公司 光學測距方法與光學測距系統
TWI644116B (zh) * 2016-11-10 2018-12-11 光寶電子（廣州）有限公司 光學裝置
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
IL308136A (en) * 2016-11-10 2023-12-01 Magic Leap Inc Method and system for multiple F number lenses
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
TWI734079B (zh) 2018-05-29 2021-07-21 大陸商廣州印芯半導體技術有限公司 影像感測系統及其多功能影像感測器
KR102460762B1 (ko) * 2021-03-25 2022-10-31 삼성전기주식회사 이종 영상 일체형 카메라 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474648A (zh) * 2010-06-02 2012-05-23 松下电器产业株式会社 三维摄像装置
CN102812697A (zh) * 2009-10-01 2012-12-05 微软公司 用于构建色彩和深度图像的成像器
CN102918355A (zh) * 2011-04-22 2013-02-06 松下电器产业株式会社 三维摄像装置、光透过部、图像处理装置及程序
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7271839B2 (en) 2001-03-15 2007-09-18 Lg Electronics Inc. Display device of focal angle and focal distance in iris recognition system
KR100447403B1 (ko) 2001-05-12 2004-09-04 엘지전자 주식회사 홍채 인식 시스템의 초점 각도 및 거리 표시장치
JP4521555B2 (ja) * 2004-09-02 2010-08-11 富士フイルム株式会社 撮像素子ユニットおよび画像撮影装置
KR101344490B1 (ko) * 2007-11-06 2013-12-24 삼성전자주식회사 영상 생성 방법 및 장치
US8259203B2 (en) 2007-12-05 2012-09-04 Electro Scientific Industries, Inc. Method and apparatus for achieving panchromatic response from a color-mosaic imager
US7915652B2 (en) 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
JP5670481B2 (ja) * 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
KR20110140010A (ko) * 2010-06-24 2011-12-30 삼성전자주식회사 근적외광 신호를 이용한 이미지 센서
KR101925137B1 (ko) * 2010-10-29 2018-12-06 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
KR101739880B1 (ko) * 2010-12-01 2017-05-26 삼성전자주식회사 컬러 필터 어레이, 이를 포함하는 이미지 센서, 및 이를 포함하는 이미지 처리 장치
KR101722641B1 (ko) * 2010-12-23 2017-04-04 삼성전자주식회사 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102812697A (zh) * 2009-10-01 2012-12-05 微软公司 用于构建色彩和深度图像的成像器
CN102474648A (zh) * 2010-06-02 2012-05-23 松下电器产业株式会社 三维摄像装置
CN102918355A (zh) * 2011-04-22 2013-02-06 松下电器产业株式会社 三维摄像装置、光透过部、图像处理装置及程序
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法

Also Published As

Publication number Publication date
EP2853919B1 (en) 2021-11-03
JP6448280B2 (ja) 2019-01-09
CN104519338A (zh) 2015-04-15
EP2853919A1 (en) 2015-04-01
JP2015070619A (ja) 2015-04-13
KR20150037370A (ko) 2015-04-08
US9743065B2 (en) 2017-08-22
KR102112298B1 (ko) 2020-05-18
US20150092018A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
CN104519338B (zh) 产生彩色图像和深度图像的方法和设备
EP3911920B1 (en) Three-dimensional sensor including bandpass filter having multiple passbands
US9998730B2 (en) Imaging optical system and 3D image acquisition apparatus including the imaging optical system
US10574909B2 (en) Hybrid imaging sensor for structured light object capture
US10237534B2 (en) Imaging device and a method for producing a three-dimensional image of an object
US10313643B2 (en) Imaging system having four image sensors
US20150062347A1 (en) Image processing methods for visible and infrared imaging
US9658372B2 (en) Optical filtering structure in the visible and/or infrared domain
KR20140027815A (ko) 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US20150312556A1 (en) Rgb-ir sensor, and method and apparatus for obtaining 3d image by using same
US20140160253A1 (en) Hyperspectral imager
CN104181546B (zh) 彩色三维扫描激光雷达颜色信息采集显示方法
US9979951B2 (en) Imaging apparatus and imaging method including first and second imaging devices
US11435476B2 (en) Time-of-flight RGB-IR image sensor
CN107003116A (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
US20160127631A1 (en) Imaging control device
WO2015158211A1 (zh) 图像传感器和监控系统
RU2679921C1 (ru) Способ формирования цифровых спектрозональных телевизионных сигналов
WO2018207817A1 (ja) 固体撮像装置、撮像システム及び物体識別システム
US9741194B2 (en) Banknote discrimination apparatus
CN106716592A (zh) 具有光电阴极的双模式图像采集装置
RU2731880C1 (ru) Способ формирования цифровых спектрозональных телевизионных сигналов
JP2018036228A (ja) ガス画像センサ装置およびガス画像撮像測定装置およびガス画像撮像測定システム
KR20220048196A (ko) 라이다 장치
RU2708454C1 (ru) Способ формирования, передачи и восстановления сигналов разноспектральных изображений

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant