CN112655022A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN112655022A
CN112655022A CN201980056701.8A CN201980056701A CN112655022A CN 112655022 A CN112655022 A CN 112655022A CN 201980056701 A CN201980056701 A CN 201980056701A CN 112655022 A CN112655022 A CN 112655022A
Authority
CN
China
Prior art keywords
image
tof
rgb
feature point
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980056701.8A
Other languages
English (en)
Other versions
CN112655022B (zh
Inventor
朴贞娥
李承原
金东均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN112655022A publication Critical patent/CN112655022A/zh
Application granted granted Critical
Publication of CN112655022B publication Critical patent/CN112655022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

根据本发明实施例的图像处理装置的图像处理方法包括以下步骤：从RGB相机获得RGB图像；从ToF相机获得ToF图像；从RGB图像中提取第一RGB特征点；从ToF图像中提取第一ToF特征点；将第一RGB特征点和第一ToF特征点进行匹配并提取使得第一RGB特征点与第一ToF特征点之间的相关性等于或大于预定值的第二RGB特征点和第二ToF特征点；计算第二RGB特征点与第二ToF特征点之间的误差值；当误差值大于阈值时，更新预先存储的校准数据，并且通过使用更新后的校准数据对RGB图像和ToF图像进行校准；以及将校准后的RGB和ToF图像合成。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及一种使用RGB相机和ToF相机的图像处理装置和图像处理方法。
背景技术
3D内容被应用于许多领域，例如教育、制造和自动驾驶以及游戏和文化，并且需要深度图来获得3D内容。深度信息是表示空间中的距离的信息，并且表示2D图像中一个点相对于其他点的透视信息。
获得深度信息的方法之一是将IR(红外)结构光投射到物体上并分析来自物体的反射光以提取深度信息的方法。根据IR结构光方法，存在的问题是难以获得对于移动物体的期望水平的深度分辨率。
同时，飞行时间(TOF)方法作为一种替代IR结构光方法的技术受到关注。
根据TOF方法，通过测量飞行时间(即，光发射和反射的时间)来计算到物体的距离。ToF方法的最大优势在于，它可以快速实时地提供3D空间的距离信息。另外，用户无需应用单独的算法或硬件校正即可获得准确的距离信息。另外，可以通过测量非常接近物体或移动物体来获得准确的深度信息。
因此，正在尝试一种通过将RGB相机和ToF相机一起安装在一个设备(例如，移动设备)中，并且将从RGB相机获得的RGB图像与从ToF相机获得的深度图像合成，来产生三维彩色图像的技术。
但是，为了合成(fuse)RGB图像和深度图像，需要精确地映射RGB相机和ToF相机之间的位置关系。当在用户使用过程中由于冲击等在RGB相机和ToF相机之间发生畸变时，即使有几个像素的误差，也可能获得畸变严重的图像。因此，需要一种有效的校准方法。
发明内容
技术问题
本发明要解决的技术问题是提供一种能够校准RGB相机和ToF相机的图像处理方法和图像处理装置。
技术方案
根据本发明实施例的图像处理装置的图像处理方法可以包括：从RGB相机获得RGB图像；从ToF相机获得ToF图像；从RGB图像中提取第一RGB特征点；从ToF图像中提取第一ToF特征点；将第一RGB特征点和第一ToF特征点进行匹配并提取第一RGB特征点与第一ToF特征点之间的相关性大于或等于预定值的第二RGB特征点和第二ToF特征点；计算第二RGB特征点与第二ToF特征点之间的误差值；当误差值大于阈值时，更新预先存储的校准数据，并且通过使用更新后的校准数据对RGB图像和ToF图像进行校准；以及将校准后的RGB图像和ToF图像进行合成。
ToF图像可以包括IR图像和深度图像中的至少一个。
可以从四个相位的IR图像生成IR图像和深度图像中的至少一个。
可以通过使用RGB图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一RGB特征点，并且可以通过使用ToF图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一ToF特征点。
校准数据可以包括X值、Y值、Z值、俯仰(Pitch)值、滚动(Roll)值和偏航(Yaw)值。
图像处理方法还可以包括：从传感器接收跌落冲击感测信号，其中，当接收到跌落冲击感测信号时，可以执行计算误差值的步骤。
图像处理方法还可以包括：从传感器接收跌落冲击感测信号，其中，当接收到跌落冲击感测信号时，执行从RGB图像中提取第一RGB特征点的步骤和从ToF图像中提取第一ToF特征点的步骤。
图像处理方法还可以包括：从用户界面接收校准请求信号，其中，当接收到校准请求信号时，执行从RGB图像中提取第一RGB特征点的步骤和从ToF图像中提取第一ToF特征点的步骤。
图像处理方法还可以包括：从RGB相机获得RGB相机的自动聚焦信息，其中，可以通过进一步使用自动聚焦信息来提取第二RGB特征点和第二ToF特征点。
根据本发明实施例的图像处理装置可以包括：图像获取单元，被配置为从RGB相机获得RGB图像并且从ToF相机获得ToF图像；第一特征点提取单元，被配置为从RGB图像中提取第一RGB特征点并且从ToF图像中提取第一ToF特征点；第二特征点提取单元，被配置为将第一RGB特征点和第一ToF特征点进行匹配，并提取第一RGB特征点与第一ToF特征点之间的相关性等于或大于预定值的第二RGB特征点和第二ToF特征点；校准单元，被配置为计算第二RGB特征点与第二ToF特征点之间的误差值，当误差值大于阈值时，更新预先存储的校准数据，并通过使用更新后的校准数据来校准RGB图像和ToF图像；以及图像合成单元，被配置为将校准后的RGB图像和ToF图像合成。
ToF图像可以包括IR图像和深度图像中的至少一个。
可以从四个相位的IR图像生成IR图像和深度图像中的至少一个。
可以通过使用RGB图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一RGB特征点，并且可以通过使用ToF图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一ToF特征点。
校准数据可以包括X值、Y值、Z值、俯仰值、滚动值和偏航值。
图像处理装置还可以包括：信号接收单元，用于从传感器接收跌落冲击感测信号，其中，当接收到跌落冲击感测信号时，校准单元可以计算误差值。
图像处理装置还可以包括：信号接收单元，用于从传感器接收跌落冲击感测信号，其中，当接收到跌落冲击感测信号时，第一特征点提取单元可以从RGB图像中提取第一RGB特征点，并且从ToF图像中提取第一ToF特征点。
图像处理装置还可以包括：信号接收单元，用于从用户界面接收校准请求信号，其中，当接收到校准请求信号时，第一特征点提取单元可以从RGB图像中提取第一RGB特征点，并且从ToF图像中提取第一ToF特征点。
图像处理装置还可以包括：自动聚焦信息获取单元，用于从RGB相机获得RGB相机的自动聚焦信息，其中，第二特征点提取单元可以通过进一步使用自动聚焦信息来提取第二RGB特征点和第二ToF特征点。
有益效果
使用根据本发明实施例的图像处理装置和方法，可以实时执行RGB相机和ToF相机之间的校准，而无需用户直接访问服务中心。特别地，当使用根据本发明实施例的图像处理装置和方法时，可以利用简单的操作来执行有效的校准。
附图说明
图1是根据本发明实施例的图像处理系统的框图；
图2是根据本发明实施例的ToF相机模块的框图；
图3是用于说明根据本发明实施例的ToF相机模块的输出光信号的频率的视图；
图4是示出根据本发明实施例的产生电信号的过程的图；
图5是用于说明根据本发明实施例的ToF相机模块的图像传感器的视图；
图6是可以从根据本发明实施例的ToF相机模块获得的四个相位图像；
图7是可以从图6的相位图像获得的ToF IR图像；
图8是可以从图6的相位图像获得的深度图像；
图9是根据本发明实施例的图像处理系统中包括的图像处理装置的框图；
图10至图12是用于说明ToF相机与RGB相机之间的校准方法的图；
图13是示出根据本发明实施例的图像处理系统的图像处理方法的流程图；
图14是用于说明本发明实施例中的从第一RGB特征点和第一ToF特征点提取第二RGB特征点和第二ToF特征点的方法的图；
图15是用于说明本发明实施例中的通过使用距离信息来提取第二RGB特征点和第二ToF特征点的方法的图；
图16是示出根据本发明另一实施例的图像处理系统的图像处理方法的流程图；以及
图17是示出根据本发明又一实施例的图像处理系统的图像处理方法的流程图。
具体实施方式
虽然本发明可以添加各种修改并具有多个实施例，但是在附图中以示例的方式示出了本发明的具体实施例，并且在此将对其进行详细描述。然而，应当理解，无意将发明构思限制为所公开的特定形式，相反，发明构思将覆盖落入本发明构思的精神和范围内的所有修改、等同物和替代物。
应当理解，尽管在本文中可以使用术语“第一”、“第二”等来描述各种部件，但是这些部件不应受到这些术语的限制。这些术语仅用于将一个部件与另一个部件区分开。例如，在不脱离本发明构思的教导的情况下，下面讨论的第一部件可以被称为第二部件，并且同样地，下面讨论的第二部件可以被称为第一部件。术语“和/或”包括所列项目或所列项目之一的组合。
应当理解，当元件被称为“连接”或“耦接”到另一个元件时，它可以直接连接到另一个元件或可以耦接到另一个元件，但是也可以存在中间元件。相反，当元件被称为“直接连接”或“直接耦接”到另一元件时，应理解为不存在中间元件。
本文中用来描述本发明构思的实施例的术语并不旨在限制本发明构思的范围。除非上下文另外明确指出，否则以单数形式提及的本发明构思的元件可以是一个或多个。将进一步理解的是，当术语“包括”、“具有”等在本文中使用时，指定所描述特征、数量、步骤、操作、元件、部件和/或其组合的存在，并且不排除存在或增加一个以上其它特征、数量、步骤、操作、部件和/或其组合。
除非另有定义，否则本文中使用的所有术语(包括技术术语和科学术语)将被解释为本发明所属领域中的惯用术语。将进一步理解的是，除非在此明确地定义，否则通常使用的术语也应被解释为相关领域中的惯用术语，而不是理想化或过度形式化的含义。
在下文中，将参考附图描述示例实施例，相同或相应的元件将被赋予相同的附图标记而与附图编号无关，并且将省略重复的描述。
图1是根据本发明实施例的图像处理系统的框图，图2是根据本发明实施例的ToF相机模块的框图，图3是用于说明根据本发明实施例的ToF相机模块的输出光信号的频率的视图，图4是示出根据本发明实施例的产生电信号的过程的图，图5是用于说明根据本发明实施例的ToF相机模块的图像传感器的视图，图6是可以从根据本发明实施例的ToF相机模块获得的四个相位图像，图7是可以从图6的相位图像获得的ToF IR图像，图8是可以从图6的相位图像获得的深度图像。
参考图1，根据本发明实施例的图像处理系统10包括ToF相机100、RGB相机200和图像处理装置300。
ToF相机100是能够获得深度信息的设备之一。根据ToF方法，通过测量飞行时间(即光发射和反射的时间)来计算到物体的距离。
RGB相机200可以是能够拍摄RBG图像的普通相机。
ToF相机100和RGB相机200可以被设置在一个设备中，例如，一个移动设备中，以便拍摄相同的区域。
此外，图像处理装置300可以连接到ToF相机100和RGB相机200，并且通过将从ToF相机100获得的ToF图像和从RGB相机200获得的RGB图像合成来获得3D图像。
在此，图像处理装置300被示为在图像处理系统10中与ToF相机100和RGB相机200相邻地设置，但是不限于此，并且它可以与ToF相机100和RGB相机200远程地设置。可替代地，图像处理装置300的一些功能可以被包括在ToF相机100和RGB相机200中。
参考图2，ToF相机模块100包括照明单元110、透镜单元120、图像传感器单元130和图像控制单元140。
照明单元110产生输出光信号，然后照射物体。在这种情况下，照明单元110可以产生并输出脉冲波或连续波的形式的输出光信号。连续波可以是正弦波或方波的形式。通过产生脉冲波或连续波形式的输出光信号，ToF相机模块100可以检测从照明单元110输出的输出光信号与从物体反射后输入到ToF相机模块100的输入光信号之间的相位差。在此，输出光可以是指从照明单元110输出并入射在物体上的光，输入光可以是指从照明单元110输出并入射在物体上、到达物体、并从物体反射、然后输入到ToF相机模块100的光。从物体的角度来看，输出光可以是入射光，而输入光可以是反射光。
照明单元110在预定的积分时间内将产生的输出光信号照射到物体。在此，积分时间是指一帧周期。当产生多个帧时，重复所建立的积分时间。例如，当ToF相机模块100以20FPS拍摄物体时，积分时间为1/20秒。另外，当产生100帧时，积分时间可以重复100次。
照明单元110可以产生具有不同频率的多个输出光信号。照明单元110可以顺序地重复地产生具有不同频率的多个输出光信号。可替代地，照明单元110可以同时产生具有不同频率的多个输出光信号。
参考图3，照明单元110可以控制积分时间的前一半以产生具有频率f1的输出光信号，并且可以控制积分时间的另一半以产生具有频率f2的输出光信号。
根据另一实施例，照明单元110可以控制多个发光二极管中的一部分以产生具有频率f1的输出光信号，并且控制其余的发光二极管以产生具有频率f2的输出光信号。
为此，照明单元110可以包括产生光的光源112和对光进行调制的光调制器114。
首先，光源112产生光。由光源112产生的光可以是波长为770nm至3000nm的红外线，或者是波长为380nm至770nm的可见光。光源112可以使用发光二极管(LED)，并且可以具有根据预定图案布置有多个发光二极管的形状。此外，光源112可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112可以是垂直腔表面发射激光器(VCSEL)。VCSEL是用于将电信号转换成光信号的激光二极管中的一种，并且可以使用约800nm至1000nm，例如约850nm或约940nm的波长。
光源112通过以预定的时间间隔重复地打开/关闭，以脉冲波或连续波的形式产生输出光信号。预定时间间隔可以是输出光信号的频率。光源的打开/关闭可以由光调制器114控制。
光调制器114控制光源112的打开或关闭，使得光源112以连续波或脉冲波的形式产生输出光信号。光调制器114可以通过频率调制或脉冲调制来控制光源112以连续波或脉冲波的形式产生输出光信号。
同时，透镜单元120收集从物体反射的输入光信号，并将其传输到图像传感器单元130。
再参考图2，图像传感器单元130使用通过透镜单元120收集的输入光信号来产生电信号。
图像传感器单元130与照明单元110的开/关周期同步以吸收输入光信号。具体地，图像传感器单元130可以分别以同相和异相吸收从照明单元110输出的输出光信号。即，图像传感器单元130可以重复地执行在光源打开时吸收入射光信号并且在光源关闭时吸收入射光信号的过程。
接下来，图像传感器单元130可以使用具有不同相位差的多个基准信号来产生与每个基准信号相对应的电信号。基准信号的频率可以被设置为等于从照明单元110输出的输出光信号的频率。因此，当照明单元110以多个频率产生输出光信号时，图像传感器单元130使用与每个频率相对应的多个基准信号产生电信号。电信号可以包括关于与每个基准信号相对应的电荷或电压的量的信息。
如图4所示，根据本发明的实施例可以有四个基准信号C1至C4。基准信号C1至C4中的每一个具有与输出光信号相同的频率，但是可以彼此具有90度的相位差。四个基准信号中的一个基准信号C1可以具有与输出光信号相同的相位。输入光信号的相位被延迟了输出光信号入射到物体上并被反射回来的距离。图像传感器单元130分别将输入光信号与每个基准信号混合。然后，图像传感器单元130可以针对每个基准信号产生与图4中的阴影部分相对应的电信号。
在另一实施例中，当在积分时间内以多个频率产生输出光信号时，图像传感器单元130根据多个频率吸收输入光信号。例如，假设在频率f1和f2产生输出光信号，并且多个基准信号具有90度的相位差。然后，由于入射光信号也具有频率f1和f2，因此可以通过具有频率f1的输入光信号和与该信号相对应的四个基准信号来产生四个电信号。另外，可以通过具有频率f2的输入光信号和与其相对应的四个基准信号来产生四个电信号。因此，可以产生总共8个电信号。
图像传感器单元130可以被配置成其中多个像素以网格形式布置的结构。图像传感器单元130可以是互补金属氧化物半导体(CMOS)图像传感器，或者可以是电荷耦合器件(CCD)图像传感器。另外，图像传感器单元130可以包括ToF传感器，该ToF传感器接收从物体反射的红外光并且使用时间或相位差来测量距离。
参考图5，例如，在具有320×240的分辨率的图像传感器130的情况下，以网格形式布置76800个像素。在这种情况下，如图5的阴影部分所示，可以在多个像素之间形成预定间隔。在本发明的实施例中，将其描述为包括与像素相邻的预定间隔的1个像素。
根据本发明的实施例，每个像素132可以包括：第一光接收单元132-1，其包括第一光电二极管和第一晶体管；以及第二光接收单元132-2，其包括第二光电二极管和第二晶体管。
第一光接收单元132-1以与输出光的波形相同的相位接收输入光信号。换句话说，当光源打开时，第一光电二极管导通以吸收输入光信号。并且，当光源关闭时，第一光电二极管截止以停止吸收输入光信号。第一光电二极管将所吸收的输入光信号转换为电流并将其传输到第一晶体管。第一晶体管将所传输的电流转换成电信号并将其输出。
第二光接收单元132-2以与输出光的波形相反的相位接收输入光信号。换句话说，当光源打开时，第二光电二极管截止以吸收输入光信号。并且，当光源关闭时，第二光电二极管导通以停止吸收输入光信号。第二光电二极管将所吸收的输入光信号转换为电流，并将其传输到第二晶体管。第二晶体管将所传输的电流转换成电信号。
因此，第一光接收单元132-1可以被称为同相接收单元，第二光接收单元132-2可以被称为异相接收单元。这样，当第一光接收单元132-1和第二光接收单元132-2以时间差被激活时，根据到物体的距离，所接收的光量出现差异。例如，如果物体在TOF相机模块100的正前方(即，当距离为0时)，由于光从照明单元110被输出之后从物体被反射的时间为0，因此光源的开/关周期直接成为光接收周期。因此，仅第一光接收单元132-1接收光，而第二光接收单元132-2不接收光。作为另一示例，如果物体位于距ToF相机模块100预定距离处，则由于光从照明单元110被输出之后需要时间从物体被反射，所以光源的开/关周期与光接收周期不同。因此，由第一光接收单元132-1和第二光接收单元132-2接收的光量出现差异。即，可以使用输入到第一光接收单元132-1和第二光接收单元132-2的光量之间的差来计算到物体的距离。
再参考图2，图像控制单元140使用从图像传感器单元130接收到的电信号来计算输出光与输入光之间的相位差，并使用该相位差来计算物体与ToF相机模块100之间的距离。
具体地，图像控制单元140可以使用关于电信号的电荷量的信息来计算输出光与输入光之间的相位差。
如上所述，可以针对输出光信号的每个频率生成四个电信号。因此，图像控制单元140可以通过使用下面的等式1来计算输出光信号和输入光信号之间的相位差td。
[等式1]
Figure BDA0002953560670000101
在此，Q1至Q4是四个电信号各自的电荷量。Q1是对应于与输出光信号同相的基准信号的电信号的电荷量。Q2是与相位比输出光信号慢180度的基准信号相对应的电信号中的电荷量。Q3是与相位比输出光信号慢90度的基准信号相对应的电信号中的电荷量。Q4是与相位比输出光信号慢270度的基准信号相对应的电信号中的电荷量。
然后，图像控制单元140可以通过使用输出光信号与输入光信号之间的相位差来计算物体与ToF相机模块100之间的距离。在这种情况下，图像控制单元140可以使用下面的等式2来计算物体与ToF相机模块100之间的距离d。
[等式2]
Figure BDA0002953560670000102
在此，c是光速，f是输出光的频率。
根据本发明的实施例，可以从ToF相机模块100获得ToF IR图像和深度图像。
在这一点上，更具体地，如图6所示，可以从根据本发明实施例的ToF相机模块100获得四个相位的原始图像。在此，四个相位可以是0°、90°、180°和270°，每个相位的原始图像可以是由每个相位的数字化像素值组成的图像，并且可以与相位图像和相位IR图像等互换地使用。
如果使用图6中的四个相位图像如下面的等式3来计算，则可获得幅度图像，该幅度图像是图7的ToF IR图像。
[等式3]
Figure BDA0002953560670000111
在此，Raw(x0)可以是传感器在相位0°接收到的每个像素的数据值，Raw(x90)可以是传感器在相位90°接收到的每个像素的数据值，Raw(x180)可以是传感器在相位180°接收到的每个像素的数据值，而Raw(x270)可以是传感器在相位270°接收到的每个像素的数据值。
可替代地，如果使用图6的四个相位图像如下面的等式4来计算，可以获得强度图像，该强度图像是另一个ToF IR图像。
[等式4]
强度＝|Raw(x90)-Raw(x270)|+|Raw(x180)-Raw(x0)|
在此，Raw(x0)可以是传感器在相位0°接收到的每个像素的数据值，Raw(x90)可以是传感器在相位90°接收到的每个像素的数据值，Raw(x180)可以是传感器在相位180°接收到的每个像素的数据值，而Raw(x270)可以是传感器在相位270°接收到的每个像素的数据值。
这样，ToF IR图像是通过将四个相位图像中的两个彼此相减的过程而生成的图像，并且在该过程中，可以去除背景光。因此，仅从光源输出的波长带中的信号保留在ToFIR图像中，从而提高了对物体的IR灵敏度并显著降低了噪声。
在此，ToF IR图像可以指幅度图像或强度图像，并且强度图像可以与置信度图像互换地使用。如图7所示，ToF IR图像可以是灰度图像。
同时，如果使用图6的四个相位图像如下面的等式5和6来计算，也可以获得图8的深度图像。
[等式5]
Figure BDA0002953560670000112
[等式6]
Figure BDA0002953560670000113
(c＝光速)
图9是根据本发明实施例的在图像处理系统中包括的图像处理装置的框图。
参考图9，图像处理装置300包括：图像获取单元310，用于分别从ToF相机100和RGB相机200获得ToF图像和RGB图像；第一特征点提取单元320，用于从RGB图像中提取第一RGB特征点并从ToF图像中提取第一ToF特征点；第二特征点提取单元330，用于从第一RGB特征点和第一ToF特征点中提取第二RGB特征点和第二ToF特征点；校准单元340，用于使用第二RGB特征点和第二ToF特征点来校准RGB图像和ToF图像；以及图像合成单元350，用于通过将校准后的RGB图像和ToF图像合成来生成3D彩色图像。根据本发明实施例的图像处理装置300还可以包括：信号接收单元360，信号接收单元360用于接收触发第一特征点提取单元320、第二特征点提取单元330和校准单元340的操作的信号；以及距离信息获取单元370，距离信息获取单元370用于从ToF相机100或RGB相机200获得物体的距离信息。
如上所述，可以从ToF相机100获得的TOF图像可以是ToF IR图像和深度图像。在此，ToF IR图像可以是针对0°、90°、180°和270°的四个相位从IR图像生成的幅度图像或强度图像。幅度图像可以如图6至图7以及等式3和4所描述的那样生成。图像合成单元350可以通过合成和渲染RGB图像和深度图像来生成包括颜色信息和深度信息两者的3D彩色图像。
同时，为了使图像合成单元350将从ToF相机100获得的深度图像和从RGB相机200获得的RGB图像合成以获得高质量的3D彩色图像，需要ToF相机100与RGB相机200之间的精确对准。在将ToF相机100和RGB相机200安装在一个设备(例如一个移动设备)中时，在组装移动设备之后并且在市场上出售之前，需要预先执行ToF相机100与RGB相机200之间的校准。
图10至图12是用于说明ToF相机与RGB相机之间的校准方法的图。
参考图10至图11，预定图案的图表被布置在ToF相机100和RGB相机200的前面，并且ToF相机100和RGB相机200分别通过拍摄相同的图表来获得图案图像。
每个相机可以通过固有校准从所获得的图案图像中提取相机内部(即，在透镜和传感器之间)的参数。
在此，所提取的参数可以是焦距、光学中心和畸变校正系数。
另外，每个相机可以通过外部校准从获得的图案图像中提取相机与图表之间的参数。相机(是ToF相机)与图表之间的参数可以用外部参数X、Y、Z/俯仰/滚动/偏航和重投影误差表示，并且相机(是RGB相机)与图表之间的参数可以用外部参数X、Y、Z/俯仰/滚动/偏航和重投影误差表示。
此外，使用由每个相机通过固有校准提取的参数和通过外部校准提取的参数，可以执行两个相机之间的外部校准，并且可以提取与两个相机之间的位置相关性有关的参数。在此，与两个相机之间的位置相关性有关的参数可以用外部参数X、Y、Z/俯仰/滚动/偏航和重投影误差表示。例如，可以如下面的表1中所示来执行基于RGB图像映射ToF图像的结果，并且该结果可以如图12所示表示。
[表1]
Figure BDA0002953560670000131
在本发明的实施例中，在将ToF相机100和RGB相机200组装在一个设备中之后并且在市场上出售之前，例如，在制造阶段，可以假定使用图10和图12所示的方法预先执行了校准，并且预先存储了包括X、Y、Z/俯仰/滚动/偏航和重投影误差的校准数据。在此，作为示例，将校准数据预先存储在图像处理装置300中，但是不限于此，并且可以将校准数据预先存储在其中安装有根据本发明实施例的图像处理系统10的装置(例如移动设备)中，或者可以预先存储在远程存储器中。根据本发明的实施例，图像处理装置300可以在ToF相机100和RGB相机200之间实时地执行校准。因此，即使根据装置的使用在ToF相机100和RGB相机200之间发生畸变，也可以获得高质量的3D彩色图像而无需单独访问服务中心。
为了便于说明，在本说明书中，在将ToF相机和RGB相机组装在装置中之后并且在市场上出售之前，预先执行的校准可以被称为离线校准或过程校准。另外，在市场上出售之后的用户使用期间，在图像处理装置300中实时执行的校准可以被称为实时校准、动力学校准、动态校准等。为了便于说明，将本发明的图像处理系统描述为安装在移动设备中的示例，但是不限于此，并且本发明的实施例可以应用于通过同时安装RGB相机和ToF相机来合成3D彩色图像的所有设备。
图13是示出根据本发明实施例的图像处理系统的图像处理方法的流程图。
参考图13，如上所述，可以在产品在市场上出售之前预先执行ToF相机100和RGB相机200之间的离线校准(S100)，并且校准数据可以预先存储在图像处理装置300中(S102)。在此，校准数据可以包括X、Y、Z/俯仰/滚动/偏航以及重投影误差。
当驱动与移动设备中的3D图像有关的应用程序时(S104)，RGB相机200和ToF相机100分别开始其操作，并且图像处理装置300中的图像获取单元310获得RGB图像和ToF图像(S106，S108)。在此，如上所述，ToF图像可以包括从四个相位的IR图像生成的ToF IR图像和深度图像。
接下来，图像处理装置300中的第一特征点提取单元320从RGB图像中提取第一RGB特征点(S110)，并且从ToF图像中提取第一ToF特征点(S112)。在此，可以使用RGB图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一RGB特征点，并且可以使用边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取第一ToF特征点。在此，第一ToF特征点可以包括从ToF IR图像提取的特征点和从深度图像提取的特征点中的至少一个。用于从图像提取特征点的各种已知方法可以应用于步骤S110和S112。
接下来，图像处理装置300中的第二特征点提取单元320将第一RGB特征点和第一ToF特征点进行匹配，并提取第一RGB特征点与第一ToF特征点之间的相关性大于或等于预定值的第二RGB特征点和第二ToF特征点(S114)。在此，如果第一RGB特征点与第一ToF特征点之间的相关性大于或等于预定值，则由于这表示可以从RGB图像和ToF图像两者中提取的特征点，因此可以通过比较所提取的特征点来推断RGB相机200和ToF相机100之间的畸变程度。因此，在本说明书中，第二RGB特征点和第二ToF特征点可以被称为显著特征点(significant feature point)。在此，可以通过匹配第一RGB特征点和ToF IR图像的第一ToF特征点来提取第二RGB特征点和第二ToF特征点，或者可以通过匹配第一RGB特征点和深度图像的第一ToF特征点来提取第二RGB特征点和第二ToF特征点，或者可以通过匹配第一RGB特征点、ToF IR图像的第一ToF特征点和深度图像的第一ToF特征点来提取第二RGB特征点和第二ToF特征点。在此，ToF IR图像有利于提取物体的边缘分量作为特征点，而深度图像有利于当物体处于不同距离时将具有与特征点相同的材料和颜色的物体分类。
在步骤S114中，可以应用各种已知的方法来匹配RGB图像和ToF图像之间的特征点，例如SIFT算法或SURF算法。图14是用于说明本发明的实施例中的从第一RGB特征点和第一ToF特征点提取第二RGB特征点和第二ToF特征点的方法的图。当使用SIFT算法或SURF算法将图14(a)中用红色表示的深度图像的特征点和图14(b)中用红色表示的RGB图像的特征点进行匹配时，如图14(c)所示，可以提取相关性大于或等于预定值的第二RGB特征点和第二ToF特征点。
接下来，图像处理装置300存储关于从第二特征点提取单元320提取的第二RGB特征点和第二ToF特征点的信息(S116)，然后校准单元340计算第二RGB特征点与第二ToF特征点之间的误差值(S118)。在此，可以使用第二RGB特征点的X值、Y值、Z值、俯仰值、滚动值、偏航值和重投影误差中的至少一个以及第二ToF特征点的X值、Y值、Z值、俯仰值、滚动值、偏航值和重投影误差中的至少一个来计算误差值。误差值可以是指RGB图像与ToF图像之间的畸变程度，并且可以包括X值、Y值、Z值、俯仰值、滚动值、偏航值和重投影误差的至少一个。
此外，图像处理装置300中的校准单元340可以将步骤S118的误差值与阈值进行比较(S120)。在这种情况下，如果误差值大于阈值，则校准单元340利用新的校准数据来更新误差值(S122)，并且使用更新后的校准数据来校准RGB图像和ToF图像(S124)。
另外，图像处理装置300中的图像合成单元350通过将校准的RGB图像和ToF图像合成来生成3D彩色图像(S126)。
这样，根据本发明的实施例，即使在使用设备时由于各种原因使具有ToF相机100和RGB相机200的设备发生变形，也可以实时地自动执行校准而无需访问服务中心。
同时，如果RGB相机和ToF相机的拍摄范围是长距离，那么也可以将远距离的物体一起拍摄在RGB图像和ToF图像中，因此，第一RGB特征点和第一ToF特征点的数量可能会无数地增加，并且精度也可能降低。
因此，根据本发明的实施例，在步骤S114中，距离信息也可以用于提取第二RGB特征点和第二ToF特征点。例如，可以通过仅比较第一RGB特征点和第一ToF特征点中距相机预定距离(例如，1m)内的特征点的相关性来提取第二RGB特征点和第二ToF特征点。因此，除了提高显著特征点的精度之外，还可以极大地减少用于计算第一RGB特征点和第一ToF特征点之间的相关性的计算量。
为此，可以从图像处理装置300的距离信息获取单元370获得距离信息。在这种情况下，距离信息获取单元370可以连接到ToF相机100以从ToF相机100获得深度图像中的物体的距离信息。可替代地，距离信息获取单元370可以连接到图像处理装置300中的图像获取单元310，并且可以直接从从图像获取单元310接收的深度图像中提取物体的距离。
此外，在RGB相机和ToF相机的拍摄范围内有许多相似的图案或形状的情况下，可能难以确保RGB图像的第一RGB特征点中的一个和ToF图像的第一ToF特征点中的一个是同一物体。因此，根据本发明的实施例，如图15(a)所示，可以仅对于在RGB图像中到相机的距离在预定范围内的物体提取第一RGB特征点，而如图15(b)所示，可以仅对于ToF图像中到相机的距离在与该预定范围相同或相似的范围内的物体提取第一ToF特征点。然后，可以使用第一RGB特征点与第一ToF特征点之间的相关性来提取第二RGB特征点和第二ToF特征点。可替代地，分别从RGB图像中的整个范围和ToF图像中的整个范围中提取第一RGB特征点和第一ToF特征点，但是也可以在所提取的第一RGB特征点和第一ToF特征点之中，通过使用在RGB图像中到相机的距离在预定范围内的第一RGB特征点与在ToF图像中到相机的距离在与该预定范围相同的范围内的第一ToF特征点之间的相关性，来提取第二RGB特征点和第二ToF特征点。因此，可以极大地减少计算量，并且可以提高显著特征点的精度。
为此，可以从图像处理装置300的距离信息获取单元370获得距离信息。如上所述，可以从ToF相机100获得ToF图像的距离信息或者从深度图像中提取ToF图像的距离信息。可以使用RGB相机200中的自动聚焦(AF)功能来获得RGB图像的距离信息。例如，一般的RGB相机200可以具有自动聚焦功能，并且RGB相机200中的某些部件(例如镜筒)的位置可以物理地改变以便在物体与透镜之间聚焦。RGB相机200中的某些部件的移动程度可以根据物体与透镜之间的距离而变化，并且某些部件的移动可以由音圈电机(VCM)等来控制。在此，可以从施加到VCM的电流或霍尔IC传感器信息中推断出物体与透镜之间的距离。根据本发明实施例的图像处理装置300中的距离信息获取单元370可以从RGB相机200获得自动聚焦的物体的距离信息。
如上所述，如果仅对于预定距离或预定范围内的物体提取显著特征点，则可以提高显著特征点的精度，并且还可以极大地减少计算量。
图16是示出根据本发明另一实施例的图像处理系统的图像处理方法的流程图。对于与图13至图15中描述的内容相同的内容，将省略重复的描述。
参考图16，可以以与结合图13描述的方式相同的方式执行步骤S100至S126。同时，在本发明的实施例中，在计算第二RGB特征点与第二ToF特征点之间的误差值的步骤S118中，还可以使用跌落冲击感测信号。为此，传感器工作(S200)。在此，传感器可以是嵌入在设备(例如安装有ToF相机100和RGB相机200的移动设备)中的一个传感器，并且可以包括惯性传感器、加速度传感器、陀螺仪传感器以及重力传感器中的至少一个。在移动设备开启时，传感器可以始终处于工作状态。
传感器可以使用感测到的信息来测量移动设备的运动变化(S202)，并且当估计移动设备由于测量运动变化而已经接收到跌落冲击时，传感器可以将跌落冲击感测信号发送到图像处理装置300中的信号接收单元360(S204)。
当移动设备经受跌落冲击时，可能会在ToF相机100和RGB相机200之间发生畸变。
因此，仅当图像处理装置300通过信号接收单元360接收到跌落冲击感测信号时，才可以执行计算第二RGB特征点与第二ToF特征点之间的误差值的步骤S118。
图17是示出根据本发明又一实施例的图像处理系统的图像处理方法的流程图。对于与在图13至图16中描述的内容相同的内容，将省略重复的描述。
参考图17，可以以与结合图13描述的方式相同的方式执行步骤S100至S126。另外，可以以与结合图16描述的方式相同的方式执行步骤S200至S204。
在这种情况下，与图13和图16中描述的实施例不同，仅当图像处理装置300通过信号接收单元360接收到跌落冲击感测信号时，才确定需要校准(S300)，可以执行从RGB图像提取第一RGB特征点和从ToF图像中提取第一ToF特征点的步骤S110和S112。
可替代地，尽管未示出，但是与图13和图16中描述的实施例不同，仅当图像处理装置300通过信号接收单元360接收到跌落冲击感测信号时，才确定需要校准(S300)，还可以通过匹配第一RGB特征点与第一ToF特征点来执行提取第二RGB特征点和第二ToF特征点的步骤S114。
如上所述，仅当移动设备经受跌落冲击时，在触发步骤S110、S112、S114、S118等的情况下，可以极大地减少图像处理装置300的计算量和负荷(load)。
同时，根据本发明的另一实施例，其中用于校准请求的应用可以存储在移动设备中，并且步骤S110、S112、S114、S118等也可以仅在用户通过用户界面提出校准请求时被触发。
尽管已经参照多个示例性实施例描述了本发明，但是应当理解，本领域技术人员可以设计出的许多其他修改和实施例都将落入本发明原理的精神和范围内。例如，可以修改和实现在实施例中具体示出的每个部件。并且，与这些修改和应用有关的差异应被解释为包括在所附权利要求书所限定的本发明的范围内。

Claims (10)

1.一种图像处理装置的图像处理方法，包括：
从RGB相机获得RGB图像；
从ToF相机获得ToF图像；
从所述RGB图像中提取第一RGB特征点；
从所述ToF图像中提取第一ToF特征点；
将所述第一RGB特征点和所述第一ToF特征点进行匹配，提取所述第一RGB特征点与所述第一ToF特征点之间的相关性大于或等于预定值的第二RGB特征点和第二ToF特征点；
计算所述第二RGB特征点与所述第二ToF特征点之间的误差值；
当所述误差值大于阈值时，更新预先存储的校准数据，并且通过使用更新后的所述校准数据对所述RGB图像和所述ToF图像进行校准；以及
将校准后的所述RGB图像和校准后的所述ToF图像进行合成。
2.根据权利要求1所述的图像处理方法，其中，所述ToF图像包括IR图像和深度图像中的至少一个。
3.根据权利要求2所述的图像处理方法，其中，从四个相位的IR图像生成所述IR图像和所述深度图像中的至少一个。
4.根据权利要求1所述的图像处理方法，其中，通过使用所述RGB图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取所述第一RGB特征点，并且
通过使用所述ToF图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一个来提取所述第一ToF特征点。
5.根据权利要求1所述的图像处理方法，其中，所述校准数据包括X值、Y值、Z值、俯仰值、滚动值和偏航值。
6.根据权利要求1所述的图像处理方法，还包括：从传感器接收跌落冲击感测信号，
其中，当接收到所述跌落冲击感测信号时，执行计算所述误差值。
7.根据权利要求1所述的图像处理方法，还包括：从传感器接收跌落冲击感测信号，
其中，当接收到所述跌落冲击感测信号时，执行从所述RGB图像中提取所述第一RGB特征点和从所述ToF图像中提取所述第一ToF特征点。
8.根据权利要求1所述的图像处理方法，还包括：从用户界面接收校准请求信号，
其中，当接收到所述校准请求信号时，执行从所述RGB图像中提取所述第一RGB特征点和从所述ToF图像中提取所述第一ToF特征点。
9.根据权利要求1所述的图像处理方法，还包括：从所述RGB相机获得所述RGB相机的自动聚焦信息，
其中，通过进一步使用所述自动聚焦信息来提取所述第二RGB特征点和所述第二ToF特征点。
10.一种图像处理装置，包括：
图像获取单元，所述图像获取单元被配置为从RGB相机获得RGB图像并且从ToF相机获得ToF图像；
第一特征点提取单元，所述第一特征点提取单元被配置为从所述RGB图像中提取第一RGB特征点并且从所述ToF图像中提取第一ToF特征点；
第二特征点提取单元，所述第二特征点提取单元被配置为将所述第一RGB特征点和所述第一ToF特征点进行匹配，提取使得所述第一RGB特征点与所述第一ToF特征点之间的相关性等于或大于预定值的第二RGB特征点和第二ToF特征点；
校准单元，所述校准单元被配置为计算所述第二RGB特征点与所述第二ToF特征点之间的误差值，当所述误差值大于阈值时，更新预先存储的校准数据，并通过使用更新后的所述校准数据来校准所述RGB图像和所述ToF图像；以及
图像合成单元，所述图像合成单元被配置为将校准后的所述RGB图像和校准后的所述ToF图像合成。
CN201980056701.8A 2018-08-27 2019-08-26 图像处理装置和图像处理方法 Active CN112655022B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180100443A KR102596053B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법
KR10-2018-0100443 2018-08-27
PCT/KR2019/010865 WO2020045932A1 (ko) 2018-08-27 2019-08-26 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
CN112655022A true CN112655022A (zh) 2021-04-13
CN112655022B CN112655022B (zh) 2023-11-03

Family

ID=69644602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980056701.8A Active CN112655022B (zh) 2018-08-27 2019-08-26 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US11610339B2 (zh)
KR (1) KR102596053B1 (zh)
CN (1) CN112655022B (zh)
WO (1) WO2020045932A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210062381A (ko) * 2019-11-21 2021-05-31 삼성전자주식회사 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
KR102420954B1 (ko) * 2020-06-25 2022-08-10 주식회사 유사이언스 패턴 레이저 기반 3d 정보 센서

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
WO2014181581A1 (ja) * 2013-05-07 2014-11-13 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置
US20150341618A1 (en) * 2014-05-23 2015-11-26 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
US9838677B1 (en) 2013-06-27 2017-12-05 Amazon Technologies, Inc. Detecting impact events for dropped devices
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
US10574974B2 (en) * 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
KR102456875B1 (ko) * 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
WO2016203988A1 (ja) * 2015-06-17 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
CN108139202B (zh) * 2015-09-30 2021-06-11 索尼公司 图像处理装置、图像处理方法和程序
JP6598673B2 (ja) * 2015-12-24 2019-10-30 キヤノン株式会社 データ処理装置およびその方法
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
JP6649796B2 (ja) * 2016-02-23 2020-02-19 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US10365370B2 (en) * 2016-10-31 2019-07-30 Timothy Webster Wear tolerant hydraulic / pneumatic piston position sensing using optical sensors
US10474884B2 (en) * 2016-11-14 2019-11-12 Aisin Seiki Kabushiki Kaisha Action determination device
KR102550931B1 (ko) * 2016-11-29 2023-07-04 삼성전자주식회사 스테레오 매칭 방법 및 장치
US10818025B2 (en) * 2017-01-26 2020-10-27 Samsung Electronics Co., Ltd. Stereo matching method and apparatus
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
JP6473188B2 (ja) 2017-03-28 2019-02-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 深度マップを生成するための方法、装置およびプログラム
US11232590B2 (en) * 2017-05-24 2022-01-25 Sony Corporation Information processing apparatus, information processing method, and program
WO2018231981A1 (en) * 2017-06-15 2018-12-20 Macmillan James Method of characterizing, calibrating, and controlling galvanometer laser steering systems
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
WO2014181581A1 (ja) * 2013-05-07 2014-11-13 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置
US20150341618A1 (en) * 2014-05-23 2015-11-26 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System

Also Published As

Publication number Publication date
US20210327091A1 (en) 2021-10-21
WO2020045932A1 (ko) 2020-03-05
KR102596053B1 (ko) 2023-11-01
KR20200023927A (ko) 2020-03-06
CN112655022B (zh) 2023-11-03
US11610339B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
US11863734B2 (en) Time-of-flight camera system
CN113366383B (zh) 摄像头装置及其自动聚焦方法
US10928518B2 (en) Range image generation apparatus and range image generation method
CN102685402B (zh) 对距离改变不敏感的颜色传感器
EP2955544B1 (en) A TOF camera system and a method for measuring a distance with the system
CN111727602B (zh) 单芯片rgb-d相机
JP6717887B2 (ja) 距離補正機能を有する測距装置
CN111751808A (zh) 用于补偿来自飞行时间相机的盖的光反射的方法和设备
WO2017158483A1 (en) A vision sensor, a method of vision sensing, and a depth sensor assembly
CN110121659B (zh) 用于对车辆的周围环境进行特征描述的系统
US11425357B2 (en) Method for epipolar time of flight imaging
CN112689776A (zh) 使用彩色图像数据校准深度感测阵列
CN112655022B (zh) 图像处理装置和图像处理方法
CN112034485A (zh) 利用飞行时间相机的反射率感测
CN114930192A (zh) 红外成像组件
CN111292368A (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
CN111373222A (zh) 光投射系统
Radmer et al. Making time-of-flight range imaging cameras applicable for human-machine-interaction by depth correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant