CN112639866A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN112639866A
CN112639866A CN201980057147.5A CN201980057147A CN112639866A CN 112639866 A CN112639866 A CN 112639866A CN 201980057147 A CN201980057147 A CN 201980057147A CN 112639866 A CN112639866 A CN 112639866A
Authority
CN
China
Prior art keywords
image
tof
rgb
component
hsv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980057147.5A
Other languages
English (en)
Other versions
CN112639866B (zh
Inventor
朴贞娥
朴旋希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN112639866A publication Critical patent/CN112639866A/zh
Application granted granted Critical
Publication of CN112639866B publication Critical patent/CN112639866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

根据本发明实施例的、图像处理装置的图像处理方法包括以下步骤：通过RGB相机获得第一RGB图像；从第一RGB图像中提取反射分量；通过TOF相机获得TOF IR图像；以及通过计算第一RGB图像的反射分量和TOF IR图像获得第二RGB图像，其中，TOF IR图像是从对于四个相位的IR图像生成的幅度图像或强度图像。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种使用红绿蓝(RGB)相机和飞行时间(ToF)相机的图像处理装置及图像处理方法。
背景技术
通常安装在移动设备上的红绿蓝(RGB)相机具有如下问题：当在弱光环境下捕获图像时，由于亮度极低或噪声很大，图像质量很低。作为在弱光环境下改善RGB相机的图像质量的方法，可以使用闪光功能。然而，当使用闪光功能时，由于点亮闪光灯的短距离处的光饱和，可能难以获得自然图像。作为在弱光环境下改善RGB相机的图像质量的另一种方法，可以将红外线(IR)传感器与RGB相机一起使用。然而，由于红外线传感器，RGB颜色的灵敏度可能降低。
因此，需要在弱光环境下改善RGB相机的图像质量的新方法。
发明内容
技术问题
本发明旨在提供一种使用飞行时间(ToF)相机改善红绿蓝(RGB)相机的图像质量的图像处理方法及图像处理装置。
技术方案
本发明的一个方面提供一种图像处理装置的图像处理方法，包括：使用RGB相机获取第一RGB图像；从第一RGB图像中提取反射分量；使用ToF相机获取ToF红外线(IR)图像；以及通过计算第一RGB图像的反射分量和ToF IR图像获取第二RGB图像，其中，ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。
反射分量的提取可以包括：将第一RGB图像转换为第一色调饱和值(HSV)图像；以及从第一HSV图像的明暗度分量中获取反射分量。
反射分量可以包括第一HSV图像的明暗度分量的高频分量。
反射分量的获取可以包括：对第一HSV图像的明暗度分量执行低通滤波；从第一HSV图像的明暗度分量中获取低频分量；以及从第一HSV图像的明暗度分量中去除低频分量。
第二RGB图像的获取可以包括：计算第一RGB图像的反射分量和ToF IR图像；以及通过使用通过计算第一RGB图像的反射分量和ToF IR图像获得的结果值以及第一HSV图像的色度分量和饱和度分量来获取第二RGB图像。
图像处理方法可以进一步包括：在使用ToF相机对ToF IR图像的获取和对第二RGB图像的获取之间，对ToF IR图像进行校正。
ToF IR图像的校正可以包括：对ToF IR图像进行插值，使其具有与第一RGB图像相同的尺寸；以及对ToF IR图像的亮度进行校正。
本发明的另一方面提供一种图像处理装置，包括：RGB图像获取单元，所述RGB图像获取单元被配置为从RGB相机中获取第一RGB图像；RGB图像预处理单元，所述RGB图像预处理单元被配置为从第一RGB图像中提取反射分量；ToF图像获取单元，所述ToF图像获取单元被配置为从ToF相机中获取ToF IR图像；以及图像处理单元，所述图像处理单元被配置为通过计算第一RGB图像的反射分量和ToF IR图像来获取第二RGB图像，其中，ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。
RGB图像预处理单元可以将第一RGB图像转换为第一HSV图像，然后从第一HSV图像的明暗度分量中获取反射分量。
反射分量可以包括第一HSV图像的明暗度分量的高频分量。
RGB图像预处理单元可以对第一HSV图像的明暗度分量执行低通滤波，从第一HSV图像的明暗度分量中获取低频分量，并从第一HSV图像的明暗度分量中去除低频分量。
图像处理单元可以计算第一RGB图像的反射分量和ToF IR图像，并通过使用通过计算第一RGB图像的反射分量和ToF IR图像获得的结果值以及第一HSV图像的色度分量和饱和度分量来获取第二RGB图像。
图像处理装置可以进一步包括ToF图像预处理单元，所述ToF图像预处理单元被配置为在将ToF IR图像与第一RGB图像的反射分量一起计算之前对ToF IR图像进行校正。
ToF图像预处理单元可以对ToF IR图像进行插值，使其具有与第一RGB图像相同的尺寸，并且对ToF IR图像的亮度进行校正。
有益效果
使用根据本发明实施例的图像处理装置和方法，即使在弱光环境下也可以获得具有优异图像质量的红绿蓝(RGB)图像。特别地，根据本发明实施例的图像处理装置和方法，能够获得在弱光环境下具有优异图像质量的RGB图像，而不需要追加额外的部件并且不会明显地增加计算量。
附图说明
图1是根据本发明实施例的图像处理系统的框图。
图2是根据本发明实施例的飞行时间(ToF)相机模块的框图。
图3是用于描述根据本发明实施例的ToF相机模块的输出光信号的频率的视图。
图4是用于描述根据本发明实施例的电信号生成过程的视图。
图5是用于描述根据本发明实施例的ToF相机模块的图像传感器的视图。
图6示出了从根据本发明实施例的ToF相机模块获得的四个相位图像。
图7是可以从图6的相位图像中获得的ToF红外线(IR)图像。
图8是可以从图6的相位图像中获得的深度图像。
图9是根据本发明实施例的图像处理系统中包括的图像处理装置的框图。
图10是用于描述根据本发明实施例的图像处理装置的图像处理方法的视图。
图11是用于描述根据本发明另一个实施例的图像处理装置的图像处理方法的视图。
图12是用于描述根据本发明实施例的图像处理装置的红绿蓝(RGB)图像预处理方法的视图。
图13是用于描述根据本发明实施例的图像处理装置的ToF IR图像预处理方法的视图。
图14是用于描述根据本发明实施例的通过图像处理装置匹配RGB图像和ToF IR图像的方法的视图。
图15是用于更详细地描述根据本发明实施例的图像处理方法的图像质量改善原理的视图。
图16是用于描述根据本发明实施例的图像处理方法的图像质量改善效果的视图。
具体实施方式
在下文中，将参照附图详细描述本公开的示例性实施例。
然而，本发明的技术精神不限于所描述的一些实施例，并且可以以各种不同的形式来实现，并且可以在本发明的技术精神的范围内在实施例之间选择性地组合或替换一个或多个部件。
此外，除非明确定义和描述，否则可以将本发明的实施例中使用的术语(包括技术术语和科学术语)解释为具有本发明所属领域的技术人员通常可以理解的含义。可以考虑相关技术的上下文的含义来解释通常使用的术语，例如字典中定义的术语。
此外，本发明的实施例中使用的术语用于描述实施例，而不旨在意图限制本发明。
在本说明书中，除非在短语中特别提及，否则单数形式可以包括复数形式，并且当描述“A、B和C中的至少一个(或一个或多个)”时，可以包括可以与A、B和C结合的所有组合中的一个或多个。
此外，在描述本发明的实施例的部件时，可以使用诸如第一、第二、A、B、(a)和(b)的术语。
这些术语不用于限定相应部件的本质、顺序或次序等，而仅用于将相应部件与其他部件(多个)区分开。
此外，当描述成第一部件“连接”或“耦接”到第二部件时，第一部件可以“连接”或“耦接”到第二部件并且在它们之间设置有第三部件，并且第一部件可以直接连接或耦接到第二部件。
此外，当描述成第一部件形成或设置在第二部件的“上方”或“下方”时，术语“上方”和“下方”包括一个或多个第三部件可以形成或布置在第一部件与第二部件之间、以及第一部件和第二部件可以彼此直接接触。此外，当表达为术语“上方或下方”时，术语“上方或下方”可以包括基于一个部件的向下方向以及向上方向的含义。
图1是根据本发明实施例的图像处理系统的框图。图2是根据本发明实施例的飞行时间(ToF)相机模块的框图。图3是用于描述根据本发明实施例的ToF相机模块的输出光信号的频率的视图。图4是用于描述根据本发明实施例的电信号生成过程的视图。图5是用于描述根据本发明实施例的ToF相机模块的图像传感器的视图。图6示出了从根据本发明实施例的ToF相机模块中获得的四个相位图像，图7是可以从图6的相位图像中获得的ToF红外线(IR)图像，图8是可以从图6的相位图像中获得的深度图像。
参照图1，根据本发明实施例的图像处理系统10包括ToF相机100、红绿蓝(RGB)相机200和图像处理装置300。
ToF相机100是可以获取深度信息的一种装置，并且根据ToF方法，通过测量飞行时间，即光发射、反射然后返回的时间，来计算到物体的距离。
RGB相机200可以是能够捕获RGB图像的普通相机。
ToF相机100和RGB相机200可以布置在一个装置中，例如，布置在一个移动装置中，以拍摄相同区域。
此外，图像处理装置300可以连接到ToF相机100和RGB相机200，并且可以将由ToF相机100获取的ToF图像与由RGB相机200获取的RGB图像合成以获取三维图像。
这里，示出了图像处理装置300设置在图像处理系统10中并且与ToF相机100和RGB相机相邻，但是本发明不限于此，并且图像处理装置300可以与ToF相机100和RGB相机200远程设置。可替代地，图像处理装置300的某些功能可以被包括在ToF相机100和RGB相机200中。
参照图2，ToF相机模块100包括照明单元110、透镜单元120、图像传感器单元130以及图像控制单元140。
照明单元110产生输出光信号，然后用产生的输出光信号照射物体。在这种情况下，照明单元110可以产生并输出脉冲波或连续波形式的输出光信号。连续波可以是正弦波或方波的形式。通过产生脉冲波或连续波形式的输出光信号，ToF相机模块100可以检测从照明单元110输出的输出光信号与从物体反射然后输入到ToF相机模块100的输入光信号之间的相位差。在本说明书中，输出光可以指从照明单元110输出并入射在物体上的光，输入光可以指从照明单元110输出、到达物体、从物体反射、然后输入到ToF相机模块100的光。从物体的角度来看，输出光可以是入射光，并且输入光可以是反射光。
照明单元110在规定积分时间的期间用产生的输出光信号照射物体。这里，积分时间指一帧周期。当生成多个帧时，重复设定的积分时间。例如，当ToF相机模块100以20FPS拍摄物体时，积分时间为1/20[秒]。此外，当生成100帧时，积分时间可以重复100次。
照明单元110可以产生具有不同频率的多个输出光信号。照明单元110可以依次地重复地产生具有不同频率的多个输出光信号。可替代地，照明单元110可以同时产生具有不同频率的多个输出光信号。
参照图3，照明单元110可以控制频率为f1的输出光信号在积分时间的前一半的期间产生，并且可以控制频率为f2的输出光信号在积分时间的另一半的期间产生。
根据另一个实施例，照明单元110可以控制多个发光二极管(LED)中的一部分以产生频率为f1的输出光信号，并且可以控制其余的LED以产生频率为f2的输出光信号。
为此，照明单元110可以包括产生光的光源112和对光进行调制的光调制单元114。
首先，光源112产生光。由光源产生的光可以是具有770nm至3000nm的波长的红外光或具有380nm至770nm的波长的可见光。光源可以使用LED，并且可以具有根据规定图案布置多个LED的形式。另外，光源112可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112可以是垂直腔面发射激光器(VCSEL)。VCSEL是将电信号转换成光信号的激光二极管之一，并且可以使用约800nm至1000nm，例如约850nm或940nm的波长。
光源112以规定时间间隔重复闪烁，以产生脉冲波或连续波形式的输出光信号。规定时间间隔可以是输出光信号的频率。光源的闪烁可以由光调制单元114控制。
光调制单元114控制光源112的闪烁，使得光源112产生连续波或脉冲波形式的输出光信号。光调制单元114可以通过频率调制、脉冲调制等来控制光源112产生连续波或脉冲波形式的输出光信号。
另一方面，透镜单元120收集从物体反射的输入光信号，并将收集的输入光信号传输到图像传感器单元130。
返回参照图2，图像传感器单元130通过使用通过透镜单元120收集的输入光信号来产生电信号。
图像传感器单元130可以与照明单元110的闪烁周期同步以吸收输入光信号。详细地，图像传感器单元130可以吸收与从照明单元110输出的输出光信号同相或异相的光。也就是说，图像传感器单元130可以重复地执行在光源接通时吸收入射光信号并且在光源关闭时吸收入射光信号。
接下来，图像传感器单元130可以使用具有不同相位差的多个基准信号来生成与每个基准信号相对应的电信号。基准信号的频率可以设定为等于从照明单元110输出的输出光信号的频率。因此，当照明单元110生成具有多个频率的输出光信号时，图像传感器单元130使用与频率相对应的多个基准信号生成电信号。电信号可以包括关于与每个基准信号相对应的电荷量或电压的信息。
如图4所示，根据本发明实施例的基准信号的数量可以是四个(C1至C4)。基准信号C1至C4可以具有与输出光信号相同的频率，但是它们之间可以具有90度的相位差。四个基准信号中的一个基准信号C1可以具有与输出光信号相同的相位。输入光信号的相位延迟输出光信号入射在物体上、反射并返回的距离。图像传感器单元130将输入光信号和基准信号混合。然后，图像传感器单元130可以根据每个基准信号产生与图4的阴影部分相对应的电信号。
作为另一示例，当输出光信号在曝光时间的期间以多个频率生成时，图像传感器单元130根据多个频率吸收输入光信号。例如，假定输出光信号以频率f1和f2生成，并且多个基准信号具有90度的相位差。因此，由于入射光信号具有频率f1和f2，因此可以通过具有频率f1的输入光信号和与之对应的四个基准信号来生成四个电信号。进一步，可以通过具有频率f2的输入光信号和与之对应的四个基准信号来生成四个电信号。因此，可以产生总共八个电信号。
图像传感器单元130可以被配置成多个像素以网格形式布置的结构。图像传感器单元130可以是互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。此外，图像传感器单元130可以包括接收从对象反射的红外光并且使用时间或相位差测量距离的ToF传感器。
参照图5，在具有320×240的分辨率的图像传感器单元130的情况下，76800个像素以网格形式布置。在这种情况下，如图5的阴影部分中所示，可以在多个像素之间形成规定间隔。在本发明的实施例中，将描述一个像素以及相邻像素之间的规定间隔。
根据本发明的实施例，每个像素132可以包括：第一光接收单元132-1，第一光接收单元132-1包括第一光电二极管和第一晶体管；以及第二光接收单元132-2，第二光接收单元132-2包括第二光电二极管和第二晶体管。
第一光接收单元132-1接收具有与输出光的波形相同相位的输入光信号。也就是说，当光源接通时，第一光电二极管导通以吸收输入光信号。进一步，当光源关闭时，第一光电二极管断开以停止输入光的吸收。第一光电二极管将吸收的输入光信号转换为电流，并将转换后的电流传输到第一晶体管。第一晶体管将接收到的电流转换成电信号并输出转换后的电信号。
第二光接收单元132-2接收具有与输出光的波形相反相位的输入光信号。也就是说，当光源接通时，第二光电二极管断开以吸收输入光信号。进一步，当光源关闭时，第二光电二极管导通以停止输入光的吸收。第二光电二极管将吸收的输入光信号转换为电流，并将转换后的电流传输至第二晶体管。第二晶体管将接收到的电流转换成电信号。
因此，第一光接收单元132-1可以是同相接收单元，第二光接收单元132-2可以是异相接收单元。以这种方式，当第一光接收单元132-1和第二光接收单元132-2使用时间差被激活时，根据到物体的距离，在接收的光量上产生差异。例如，当物体位于ToF相机模块100的正前方时(即，当距离为零时)，光从照明单元110输出、从物体反射然后返回的时间为零，因此光源的闪烁周期为光的接收周期。因此，仅第一光接收单元132-1接收光，第二光接收单元132-2可能不接收光。作为另一示例，当物体远离ToF相机模块100规定距离时，花费光从照明单元110输出、从物体反射然后返回的时间，因此光源的闪烁周期不同于光的接收周期。因此，在第一光接收单元132-1接收的光量与第二光接收单元132-2接收的光量上产生差异。即，可以使用输入到第一光接收单元132-1的光量和输入到第二光接收单元132-2的光量之间的差来计算到物体的距离。
返回参照图2，图像控制单元140使用从图像传感器单元130接收的电信号来计算输出光与输入光之间的相位差，并利用相位差来计算物体与ToF相机模块100之间的距离。
详细地，图像控制单元140可以使用电信号的电荷信息来计算输出光与输入光之间的相位差。
如上所述，可以针对输出光信号的每个频率来生成四个电信号。因此，图像控制单元140可以使用下式1来计算输出光信号与输入光信号之间的相位差td。
[式1]
Figure BDA0002956186630000091
这里，Q1至Q4表示四个电信号的电荷量。Q1表示与具有与输出光信号相同相位的基准信号相对应的电信号的电荷量。Q2表示与具有相对于输出光信号延迟了180度的相位的基准信号相对应的电信号的电荷量。Q3表示与具有相对于输出光信号延迟了90度的相位的基准信号相对应的电信号的电荷量。Q4表示与具有相对于输出光信号延迟了270度的相位的基准信号相对应的电信号的电荷量。
然后，图像控制单元140可以使用输出光信号与输入光信号之间的相位差来计算物体与ToF相机模块100之间的距离。在这种情况下，图像控制单元140可以使用下式2来计算物体与ToF相机模块100之间的距离d。
[式2]
Figure BDA0002956186630000092
这里，c表示光速，f表示输出光的频率。
根据本发明的实施例，可以从ToF相机模块100中获得ToF IR图像和深度图像。
在这方面，更详细地，如图6中所示，可以从根据本发明实施例的ToF相机模块100中获得对于四个相位的原始图像。这里，四个相位可以是0°、90°、180°和270°，并且对于每个相位的原始图像可以是由对于每个相位的数字化像素值形成的图像，并且可以与相位图像、相位IR图像等互换使用。
当使用图6的四个相位图像来计算式3时，可以获得幅度图像即图7的ToF IR图像。
[式3]
Figure BDA0002956186630000101
这里，Raw(x0)表示在相位0°由传感器接收的像素特定数据值，Raw(x90)表示在相位90°由传感器接收的像素特定数据值，Raw(x180)表示在相位180°由传感器接收的像素特定数据值，Raw(x270)表示在相位270°由传感器接收的像素特定数据值。
可替代地，当使用图7的四个相位图像来计算等式4时，可以获得强度图像即另一个ToF IR图像。
[式4]
强度＝|Raw(x90)-Raw(x270)|+|Raw(x180)-Raw(x0)|
这里，Raw(x0)表示在相位0°由传感器接收的像素特定数据值，Raw(x90)表示在相位90°由传感器接收的像素特定数据值，Raw(x180)表示在相位180°由传感器接收的像素特定数据值，Raw(x270)表示在相位270°由传感器接收的像素特定数据值。
这样，ToF IR图像是通过将四个相位图像中的两个相位图像彼此相减的过程生成的图像，并且在该过程中，可以去除背景光。因此，仅是具有从光源输出的波长带的信号保留在ToF IR图像中，从而提高了物体的IR灵敏度并显著降低了噪声。
在本说明书中，ToF IR图像可以指幅度图像或强度图像，并且强度图像可以与置信度图像互换使用。如图7所示，ToF IR图像可以是灰度图像。
另一方面，当使用图6的四个相位图像来计算式5和6时，可以获得图8的深度图像。
[式5]
Figure BDA0002956186630000102
[式6]
Figure BDA0002956186630000111
图9是根据本发明实施例的图像处理系统中包括的图像处理装置的框图。
参照图9，图像处理装置300包括：RGB图像获取单元310，所述RGB图像获取单元310从RGB相机200获取RGB图像；ToF图像获取单元320，所述ToF图像获取单元320从ToF相机100获取ToF图像；RGB图像预处理单元330，所述RGB图像预处理单元330对RGB图像进行预处理；ToF图像预处理单元340，所述ToF图像预处理单元340对ToF图像进行预处理；以及图像处理单元350，所述图像处理单元350使用通过RGB图像预处理单元330和ToF图像预处理单元340预处理的图像获取三维图像。如上所述，可以从ToF相机100获得的ToF图像可以是ToF IR图像和深度图像。图像处理单元350可以通过匹配并渲染RGB图像和深度图像来生成包括颜色信息和深度信息这两者的三维彩色图像。
另一方面，根据本发明的实施例，图像处理装置300可以使用由ToF相机100获取的ToF IR图像在弱光环境下改善由RGB相机200捕获的RGB图像的图像质量。
图10是用于描述根据本发明实施例的图像处理装置的图像处理方法的视图。图11是用于描述根据本发明另一个实施例的图像处理装置的图像处理方法的视图。图12是用于描述根据本发明实施例的图像处理装置的RGB图像预处理方法的视图。图13是用于描述根据本发明实施例的图像处理装置的ToF IR图像预处理方法的视图。图14是用于描述根据本发明实施例的通过图像处理装置匹配RGB图像和ToF IR图像的方法的视图。
参照图10，图像处理装置300从RGB相机200获取RGB图像(S1000)。以下，在本说明书中，从RGB相机200获得并且在预处理之前的RGB图像被称为第一RGB图像。
RGB图像预处理单元330通过颜色通道转换将第一RGB图像转换为第一色调饱和值(HSV)图像(S1010)。这里，RGB图像可以指由包括红色、绿色和蓝色的三个分量的组合表达的数据，并且HSV图像可以指由包括色度、饱和度和明暗度的三个分量的组合表达的数据。这里，色度和饱和度可以具有颜色信息，并且明暗度可以具有亮度信息。
此外，RGB图像预处理单元330将第一HSV图像的色度分量H、饱和度分量S和明暗度分量V中的明暗度分量V分离为反射分量和照明分量，并提取反射分量(S1020)。这里，反射分量可以包括高频分量，并且照明分量可以包括低频分量。在下文中，将描述为了提取反射分量，将明暗度分量V分离为低频分量和高频分量的情况、以及从其中分离高频分量的示例，但是本发明不限于此。反射分量(例如，高频分量)可以包括图像的梯度信息或边缘信息，照明分量(例如，低频分量)可以包括图像的亮度信息。
为此，参照图12，RGB图像预处理单元330对作为输入I的第一HSV图像的明暗度分量V执行低通滤波，并获取低频分量L(S1200)。当对输入I执行低通滤波时，图像模糊，因此梯度信息或边缘信息可能丢失。进一步，通过从输入I中去除低频分量L的计算获得对于第一HSV图像的明暗度分量的高频分量R(S1210)。为此，可以计算输入I和低频分量L。例如，可以执行从输入I中减去低频分量L的计算。
另一方面，图像处理装置300从ToF相机100中获取ToF IR图像(S1030)。这里，ToFIR图像可以是从对于0°、90°、180°和270°的四个相位的IR图像中生成的幅度图像或强度图像。可以如图6至7以及式3和4所述生成幅度图像。
在这种情况下，参照图11，ToF IR图像可以由ToF图像预处理单元340进行预处理(S1100)。例如，参照图13，ToF IR图像可以具有与第一RGB图像不同的尺寸，通常，ToF IR图像可以小于第一RGB图像。因此，ToF图像预处理单元340可以对ToF IR图像执行插值，以将ToF IR图像的尺寸放大至第一RGB图像的尺寸(S1300)。由于在插值过程中图像可能会失真，因此ToF图像预处理单元340可以校正ToF IR图像的亮度(S1310)。
返回参照图10，图像处理单元350使用对于第一HSV图像的明暗度分量的反射分量(例如，高频分量)、以及ToF IR图像来获取第二HSV图像的明暗度分量V’(S1040)。详细地，如图14中所示，可以将对于第一HSV图像的明暗度分量的反射分量(例如，高频分量)和ToFIR图像进行匹配(S1400)。这里，可以使用对通过将使用ToF IR图像建模的照明分量和反射分量合并来获得具有改善的亮度的图像的计算，并且该计算可以是与在步骤S1210中用于从输入图像I中去除低频分量L的计算相反的计算。例如，在步骤S1400中，可以执行将对于第一HSV图像的亮度分量的反射分量(例如，高频分量)和ToF IR图像累加的计算。以这种方式，在去除了对于第一HSV图像的明暗度分量的照明分量(例如，低频分量)之后，当计算第一HSV图像的明暗度分量的反射分量(例如，高频分量)和ToF IR图像时，可以改善在弱光环境下捕获的RGB图像的亮度。
此后，图像处理装置300使用在步骤S1040中获取的明暗度分量V’以及在步骤S1010中获取的色度分量H和饱和度分量S通过颜色通道转换来生成第二RGB图像(S1050)。在HSV图像中，色度分量H和饱和度分量S可以具有颜色信息，并且明暗度分量V可以具有亮度信息。如在本发明的实施例中，当如在步骤S1010中所获得的使用值V’、色度分量H和饱和度分量S时，仅是弱光环境下的亮度能够得到改善，其中所述值V’是通过仅计算明暗度分量V的反射分量和ToF IR图像而获得的。
图15是用于更详细地描述根据本发明实施例的图像处理方法的图像质量改善原理的视图，图16是用于描述根据本发明实施例的图像处理方法的图像质量改善效果的视图。
参照图15，输入图像可以由反射分量和照明分量的乘积形成，反射分量可以被形成为高频分量，照明分量可以被形成为低频分量，并且图像的亮度可能会被照明分量影响。然而，当从弱光环境下捕获的RGB图像中去除照明分量即低频分量时，RGB图像的亮度值可能会过度增加。在本发明的实施例中，为了补偿这一点，ToF IR图像被匹配到从其中去除了照明分量即低频分量的RGB图像的明暗度分量，其结果，可以在弱光环境下获得具有改善的图像质量的RGB图像。
参照图16，图16(a)是在弱光环境下捕获的RGB图像，图16(b)是ToF IR图像，图16(c)是根据本发明的实施例进行了处理的RGB图像，图16(d)是根据除雾技术处理的RGB图像，图16(e)是根据使用变异retinex模型(variational retinex model)作为成本函数执行优化的技术进行了处理的RGB图像。参照图16，可以看出，从根据本发明的实施例进行了处理的图16C中可以获得最佳图像质量。
以上描述了实施例，但是这些实施例仅是说明性的，并不限制本发明，并且在不脱离本实施例的基本特征的情况下，本发明所属领域的技术人员可以衍生出上面未示出的各种修改和应用。例如，可以修改和实现在实施例中具体示出的每个部件。此外，与这些修改和应用有关的差异应被解释为被包括在所附权利要求书中限定的本发明的范围内。

Claims (10)

1.一种图像处理装置的图像处理方法，包括：
使用RGB相机即红绿蓝相机获取第一RGB图像；
从所述第一RGB图像中提取反射分量；
使用飞行时间相机即ToF相机获取ToF红外线图像即ToF IR图像；以及
通过计算所述第一RGB图像的所述反射分量和所述ToF IR图像获取第二RGB图像，
其中，所述ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。
2.根据权利要求1所述的图像处理方法，其中，所述反射分量的提取包括：
将所述第一RGB图像转换为第一色调饱和值图像即第一HSV图像；以及
从所述第一HSV图像的明暗度分量中获取所述反射分量，并且
其中，所述反射分量包括所述第一HSV图像的所述明暗度分量的高频分量。
3.根据权利要求2所述的图像处理方法，其中，所述反射分量的获取包括：
对所述第一HSV图像的所述明暗度分量执行低通滤波；
从所述第一HSV图像的所述明暗度分量中获取低频分量；以及
从所述第一HSV图像的所述明暗度分量中去除所述低频分量。
4.根据权利要求2所述的图像处理方法，其中，所述第二RGB图像的获取包括：
计算所述第一RGB图像的所述反射分量和所述ToF IR图像；以及
通过使用计算所述第一RGB图像的所述反射分量和所述ToF IR图像获得的结果值以及所述第一HSV图像的色度分量和饱和度分量，来获取所述第二RGB图像。
5.根据权利要求1所述的图像处理方法，还包括：在使用所述ToF相机对所述ToF IR图像的获取和对所述第二RGB图像的获取之间，对所述ToF IR图像进行校正。
6.根据权利要求5所述的图像处理方法，其中，所述ToF IR图像的校正包括：
对所述ToF IR图像进行插值，使所述ToF IR图像具有与所述第一RGB图像相同的尺寸；以及
对所述ToF IR图像的亮度进行校正。
7.一种图像处理装置，包括：
红绿蓝图像获取单元即RGB图像获取单元，所述RGB图像获取单元被配置为从RGB相机中获取第一RGB图像；
RGB图像预处理单元，所述RGB图像预处理单元被配置为从所述第一RGB图像中提取反射分量；
飞行时间图像获取单元，即ToF图像获取单元，所述ToF图像获取单元被配置为从ToF相机中获取ToF红外线图像即ToF IR图像；以及
图像处理单元，所述图像处理单元被配置为通过计算所述第一RGB图像的所述反射分量和所述ToF IR图像来获取第二RGB图像，
其中，所述ToF IR图像是从对于四个相位的IR图像中生成的幅度图像或强度图像。
8.根据权利要求7所述的图像处理装置，其中，所述RGB图像预处理单元将所述第一RGB图像转换为第一色调饱和值图像即第一HSV图像，然后从所述第一HSV图像的明暗度分量中获取所述反射分量，并且
所述反射分量包括所述第一HSV图像的所述明暗度分量的高频分量。
9.根据权利要求8所述的图像处理装置，其中，所述RGB图像预处理单元对所述第一HSV图像的所述明暗度分量执行低通滤波，从所述第一HSV图像的所述明暗度分量中获取低频分量，并从所述第一HSV图像的所述明暗度分量中去除所述低频分量。
10.根据权利要求7所述的图像处理装置，还包括ToF图像预处理单元，所述ToF图像预处理单元被配置为在将所述ToF IR图像与所述第一RGB图像的所述反射分量一起计算之前对所述ToF IR图像进行校正。
CN201980057147.5A 2018-08-27 2019-08-27 图像处理装置及图像处理方法 Active CN112639866B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180100444A KR102590900B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법
KR10-2018-0100444 2018-08-27
PCT/KR2019/010902 WO2020045946A1 (ko) 2018-08-27 2019-08-27 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
CN112639866A true CN112639866A (zh) 2021-04-09
CN112639866B CN112639866B (zh) 2024-07-02

Family

ID=69643051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980057147.5A Active CN112639866B (zh) 2018-08-27 2019-08-27 图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US11954825B2 (zh)
KR (1) KR102590900B1 (zh)
CN (1) CN112639866B (zh)
WO (1) WO2020045946A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3798680A1 (en) * 2019-09-26 2021-03-31 Artilux Inc. Calibrated photo-detecting apparatus and calibration method thereof
KR20210043933A (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102362804B1 (ko) * 2020-06-10 2022-02-11 인천대학교 산학협력단 Ｃｃｔｖ 영상 기반의 적외선과 가시광선 융합 최적화 장치
KR102505817B1 (ko) * 2020-09-18 2023-03-06 문명일 3차원 이미지 획득 장치
KR20220084500A (ko) * 2020-12-14 2022-06-21 주식회사 씨자인 Ｔｏｆ 센서를 이용한 거리 측정 시스템 및 그 측정 방법
EP4156674A4 (en) * 2021-08-12 2023-10-11 Honor Device Co., Ltd. METHOD AND DEVICE FOR DATA COLLECTION
CN113727033A (zh) * 2021-08-12 2021-11-30 荣耀终端有限公司 数据获取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
US20110293179A1 (en) * 2010-05-31 2011-12-01 Mert Dikmen Systems and methods for illumination correction of an image
CN102334141A (zh) * 2010-04-23 2012-01-25 前视红外系统股份公司 利用融合的红外线分辨率与对比度增强
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
CN107798658A (zh) * 2016-09-07 2018-03-13 三星电子株式会社 飞行时间测量装置和减少其中深度图像模糊的图像处理方法
CN108269238A (zh) * 2017-01-04 2018-07-10 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090120159A (ko) * 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US9171361B2 (en) * 2010-04-23 2015-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US9094567B2 (en) * 2013-03-14 2015-07-28 James Olson Multi-channel camera system
US9392262B2 (en) * 2014-03-07 2016-07-12 Aquifi, Inc. System and method for 3D reconstruction using multiple multi-channel cameras
CN105069768B (zh) 2015-08-05 2017-12-29 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
KR102561099B1 (ko) * 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
EP3620821A1 (en) * 2018-09-05 2020-03-11 Infineon Technologies AG Time of flight camera and method for calibrating a time of flight camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102334141A (zh) * 2010-04-23 2012-01-25 前视红外系统股份公司 利用融合的红外线分辨率与对比度增强
CN101853492A (zh) * 2010-05-05 2010-10-06 浙江理工大学 一种夜视微光图像与红外图像融合方法
US20110293179A1 (en) * 2010-05-31 2011-12-01 Mert Dikmen Systems and methods for illumination correction of an image
CN104104941A (zh) * 2013-04-08 2014-10-15 三星电子株式会社 三维图像获取装置以及生成深度图像的方法
CN107798658A (zh) * 2016-09-07 2018-03-13 三星电子株式会社 飞行时间测量装置和减少其中深度图像模糊的图像处理方法
CN108269238A (zh) * 2017-01-04 2018-07-10 浙江舜宇智能光学技术有限公司 深度图像采集装置和深度图像采集系统及其图像处理方法

Also Published As

Publication number Publication date
CN112639866B (zh) 2024-07-02
KR102590900B1 (ko) 2023-10-19
US20210248719A1 (en) 2021-08-12
WO2020045946A1 (ko) 2020-03-05
US11954825B2 (en) 2024-04-09
KR20200023928A (ko) 2020-03-06

Similar Documents

Publication Publication Date Title
CN112639866B (zh) 图像处理装置及图像处理方法
JP4346634B2 (ja) 目標物検出装置
US8199228B2 (en) Method of and apparatus for correcting contour of grayscale image
US9916644B1 (en) Ghost artifact removal system and method
CN107534735A (zh) 终端的图像处理方法、装置和终端
CN111758047A (zh) 单芯片rgb-d相机
US9686478B2 (en) Generating high-dynamic range images using multiple filters
CN103546730A (zh) 基于多摄像头的图像感光度增强方法
CN113366383B (zh) 摄像头装置及其自动聚焦方法
WO2012093325A1 (en) Method and apparatus for multi-spectral imaging
CN110490042A (zh) 人脸识别装置和门禁设备
CN110490044A (zh) 人脸建模设备和人脸建模方法
EP3362985B1 (en) Generating high-dynamic range images using varying exposures
WO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
CN104917938A (zh) 用于移动通信设备的深度摄像装置
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
KR20200023927A (ko) 영상 처리 장치 및 영상 처리 방법
KR20150010230A (ko) 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
KR102704135B1 (ko) 카메라 장치 및 그의 오토포커싱 방법
Nedelcu et al. Hybrid visible+ near infrared color filter array for handheld consumer imaging applications
Kimachi et al. Spectral matching imager with three-phase quadrature detection
Ravindranath et al. Spectral colour image processing
Mączkowski et al. Low-cost Solution for Spectral Reflectance Estimation of 3D Surface.
Taherian et al. Design and Implementation of Digital Image Processing Algorithms in Pulse Domain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant