CN107534764B - 增强图像分辨率的系统及方法 - Google Patents

增强图像分辨率的系统及方法 Download PDF

Info

Publication number
CN107534764B
CN107534764B CN201580079397.0A CN201580079397A CN107534764B CN 107534764 B CN107534764 B CN 107534764B CN 201580079397 A CN201580079397 A CN 201580079397A CN 107534764 B CN107534764 B CN 107534764B
Authority
CN
China
Prior art keywords
image
imaging device
depth map
scene
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580079397.0A
Other languages
English (en)
Other versions
CN107534764A (zh
Inventor
朱振宇
赵丛
唐克坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN107534764A publication Critical patent/CN107534764A/zh
Application granted granted Critical
Publication of CN107534764B publication Critical patent/CN107534764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于增强低分辨率深度图的分辨率的成像设备以及制作和使用所述成像设备的方法。所述成像设备能够接收低分辨率的深度图以及高分辨率图像。所述低分辨率的深度图能够由第一成像装置，例如ToF相机生成；但是，所述高分辨率图像能够由第二成像装置，例如RGB相机生成。所述成像设备能够接收所述低分辨率的深度图以及所述高分辨率图像作为强度和灰度图像并且利用所述强度和灰度图像之间的分辨率的差异生成退化模型。所述退化模型可以方便地反过来应用至所述低分辨率的深度图以创建高分辨率的深度图。在一个实施方式中，所述退化模型可以通过从所述强度及灰度图像的对应图像块比较生成。

Description

增强图像分辨率的系统及方法
背景技术
飞行时间(或者“ToF”)相机是一种基于测量从相机向场景发射的光信号的飞行时间的距离成像相机。从场景反射回的光线相对于发射出的光信号具有延迟相位。ToF相机依赖测量反射光线相对于发射光线的相位偏移来计算相机与场景之间的距离，从而获得环境深度的感知。
ToF相机通常包括感测从环境反射回的光线的图像传感器。所述图像传感器在图像采集中具有很快的速度并能感知深度。对于诸如小型机器人玩具或者其他高科技消费品的避免碰撞与导航功能来说，ToF相机的速度与深度感知将会使其成为好的候选品。但是，ToF相机相对于诸如红绿蓝(“RGB”)摄像机等普通的相机具有低的图像分辨率，这样的分辨率限制了其用途。
因此有必要提供一种改进的ToF成像系统及方法，其具有更好的分辨率以增强ToF成像系统的深度识别。
发明内容
根据本文公开的第一方面，提出一种增强图像分辨率的方法，包括：
获得场景的一个或多个图像，所述一个或多个图像与第一深度图相关；及
根据所述一个或多个图像确定所述场景的第二深度图，
其中所述第二深度图具有比所述第一深度图更高的分辨率。
所述公开的方法的示例性实施方式进一步包括获得所述场景的第一图像，
其中所述第一图像包括深度图。
在所述公开的方法的一个示例性实施方式中，获得第一图像包括通过第一成像装置捕获第一图像。
所述公开的方法的示例性实施方式进一步包括根据所述第一图像确定所述第一深度图及与所述第一图像相关的强度图像。
在所述公开的方法的一个示例性实施方式中，所述第一成像装置包括飞行时间(“ToF”)相机。
在所述公开的方法的一个示例性实施方式中，获得包括捕获所述场景的第二图像。
其中所述第二图像包括红、绿和蓝(“RGB”)图像。
在所述公开的方法的一个示例性实施方式中，捕获第二图像包括通过第二成像装置捕获所述第二图像。
在所述公开的方法的一个示例性实施方式中，所述第二成像装置包括RGB相机。
所述公开的方法的示例性实施方式进一步包括校准所述第一成像装置与所述第二成像装置中的至少一个。
在所述公开的方法的一个示例性实施方式中，校准包括：
获得所述第一与第二成像装置坐标之间的转换关系。
所述公开的方法的示例性实施方式进一步包括：
映射所述第二图像的一个或多个像素到所述第一图像。
在所述公开的方法的一个示例性实施方式中，确定包括通过所述场景的所述第一图像与所述场景的所述第二图像生成第二深度图。
在所述公开的方法的一个示例性实施方式中，生成第二深度图进一步包括使第一图像转换成与第一图像相关的强度图像和第一深度图，及使第二图像转换成与第二图像相关的灰度图像中的至少一个。
在所述公开的方法的一个示例性实施方式中，生成第二深度图进一步包括计算与第一图像相关的强度图像和与第二图像相关的灰度图像之间的关系；以及根据所述计算增强第一深度图的分辨率。
在所述公开的方法的一个示例性实施方式中，计算包括：
分析与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应的图像块之间的差别；以及
在与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应图像块之间生成一个退化模型。
在所述公开的方法的一个示例性实施方式中，增强包括应用是退化模型的逆矩阵的转换矩阵到第一深度图的每一个图像块中。
根据本文公开的另外一个方面，提出一种成像分辨率增强设备，包括：
一个或多个处理器单独地或共同地被配置成用于获得一个场景的一个或多个图像及根据所述一个或多个图像确定所述场景的第二深度图，
其中与第一深度图及第二深度图相关的一个或多个图像比第一深度图具有更高的分辨率。
所述公开的设备的实例性实施方式进一步包括用于捕获所述场景的所述一个或多个图像的第一成像装置与第二成像装置。
在所述公开的设备的一个实例性实施方式中，一个或多个处理器被配置成用于自动地生成第一成像装置的场景的第二深度图。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地校准第一成像装置及第二成像装置中的至少一个。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地获得第一与第二成像装置的坐标之间的转换关系。
在所述公开的设备的其他实例性实施方式中，第一成像装置被配置成用于获得所述场景的第一图像，并且其中第二成像装置被配置成用于获得所述场景的第二图像。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地映射所述第二图像的一个或多个像素到所述第一图像的一个或多个像素。
在所述公开的设备的其他实例性实施方式中，第一成像装置被配置成用于自动地将第一图像转换成与第一图像相关的强度图像和第一深度图，及被配置成自动地将第二图像转换成与第二图像相关的灰度图像。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成用于自动地计算所述强度图像与所述灰度图像之间的关系。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成自动地分析与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应的图像块之间的差别。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成自动地在与第一图像相关的强度图像的每一个图像块和与第二图像相关的灰度图像的每一个对应图像块之间生成一个退化模型。
在所述公开的设备的其他实例性实施方式中，一个或多个处理器被配置成通过应用是退化模型的逆矩阵的转换矩阵到第一深度图来自动地增强第一深度图的分辨率。
在所述公开的设备的其他实例性实施方式中，第一及第二成像装置中的其中一个是相机或者传感器。
在所述公开的设备的其他实例性实施方式中，第一及第二成像装置选自由红、绿和蓝(“RGB”)相机、激光相机、红外相机、超声波相机以及飞行时间(“ToF”)相机组成的群组。
在所述公开的设备的其他实例性实施方式中，第一成像装置包括一个或多个ToF相机。
在所述公开的设备的其他实例性实施方式中，第二成像装置包括一个或多个RGB相机。
在所述公开的设备的其他实例性实施方式中，所述一个或多个RGB相机包括一个或多个RGB摄像机。
在所述公开的设备的其他实例性实施方式中，一个或多个RGB相机中的每一个RGB相机包括至少一个接收来自场景的光线的透镜；过滤接收到的光线的滤波器；由过滤后的光线生成电信号的图像传感器；以及对电信号执行操作的处理器。
在所述公开的设备的其他实例性实施方式中，所述第一及第二成像装置和所述一个或多个处理器安装在移动平台上。
在所述公开的设备的其他实例性实施方式中，所述移动平台是无人飞行器。
在所述公开的设备的其他实例性实施方式中，所述移动平台是机器人。
在所述公开的设备的其他实例性实施方式中，多个ToF相机中的至少一个ToF相机包括至少一个朝场景发射光线的照明单元，接收来自场景的光线的透镜，过滤接收到的光线的滤波器，由过滤后的光线生成电信号的图像传感器以及对电信号执行操作的处理器。
在所述公开的设备的其他实例性实施方式中，多个ToF相机中的至少一个ToF相机进一步包括存储来自所述操作的结果的至少一个存储器以及一个显示所述结果的显示器。
在所述公开的设备的其他实例性实施方式中，所述照明单元包括LED或者激光二极管。
在所述公开的设备的其他实例性实施方式中，所述滤波器包括带通滤波器。
在所述公开的设备的其他实例性实施方式中，所述照明单元发射红外或近红外光线，并且其中所述带通滤波器传递红外或近红外光线。
在所述公开的设备的其他实例性实施方式中，一个或多个RGB相机中的每一个RGB相机进一步包括存储来自所述操作的结果的至少一个存储器；以及显示所述结果的显示器。
在所述公开的设备的其他实例性实施方式中，所述滤波器为绿光滤波器。
在所述公开的设备的其他实例性实施方式中，所述滤波器为红光滤波器。
在所述公开的设备的其他实例性实施方式中，所述滤波器为蓝光滤波器。
根据本文公开的另一方面，提出一种成像系统，其被配置成根据上述方法中的任意一种来自动地执行增强图像分辨率的步骤。
根据本文公开的另一方面，提出一种计算机程序产品，其包括根据上述方法中的任意一种来增强图像分辨率的指令。
附图说明
图1是示出具有增强的分辨率的成像设备的一个实施方式的示例性的顶层图。
图2是示出图1中的成像设备的一可替换的实施方式的示例性的顶层图，其中所述成像系统包括第一及第二成像装置。
图3是与场景的第一图像相关的低分辨率的示例性强度图像，所述第一图像由图2中的第一成像装置生成。
图4是由图2中的第一成像装置生成的场景的示例性的低分辨率的深度图。
图5是由图2中的第二成像装置捕获的场景的示例性的高分辨率的图像。
图6是由图5中图像生成的场景的示例性的高分辨率的灰度图像。
图7是示出图2中第一成像装置一可替换的实施方式的示例性示意图，其中所述第一成像装置包括ToF相机。
图8是示出图2中第一成像装置的另一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括滤波器和/或图像传感器。
图9是示出图8中第一成像装置的一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括显示器和/或存储器。
图10是示出图2中第二成像装置的一可替换的实施方式的示例性示意图，其中所述第二成像装置包括RGB相机。
图11是示出图2中第二成像装置的另一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括滤波器和/或图像传感器。
图12是示出图11中第一成像装置的一可替换的实施方式的示例性的顶层图，其中所述第一成像装置包括显示器和/或存储器。
图13是示出图2中成像设备另一可替换的实施方式的示例性的顶层图，其中所述成像设备由移动平台支撑。
图14是示出图13中成像设备的一可替换的实施方式的示例性的示意图，其中所述移动平台为机器人。
图15是示出创建高分辨率深度图的方法的一个实施方式的示例性顶层流程图。
图16是示出图15中方法的一可替换的实施方式的示例性流程图，其中场景的第一及第二图像被捕获。
图17是示出图15中方法的另一可替换的实施方式的示例性流程图，其中计算强度图像与灰度图像之间的退化模型及生成用于创建高分辨率深度图的转换矩阵。
图18是基于图4中低分辨率深度图而生成的场景的示例性的高分辨率深度图。
图19是示出图17中示例性的实现方法的示例性示意图，其中基于强度图像及灰度图像来计算退化模型。
图20是示出图17中另一示例性的实现方法的示例性示意图，其中生成用于创建高分辨率深度图的转换矩阵。
应当注意的是所述附图并不是按比例绘制的，并且为了图示的目的，类似结构或功能的元件在整个附图中通常用相似的标号来表示。应当注意的是所述附图只是为了便于优选实施方式的描述。所述附图并没有描述所述实施方式的所有方面，也没有限定本公开的范围。
具体实施方式
由于当前可用的ToF成像相机具有低的图像分辨率，一种改良的可提供更高图像分辨率的成像系统和方法可证明是可取的并提供一个广泛的应用基础，例如防撞、导航或者诸如无人飞行器(“UAV”)、机器人等移动平台的其他功能。所述改良的成像系统和方法有利地提供增强的深度图分辨率，从而更加有效地防撞和导航。这些结果根据本文公开的一个实施方式通过如图1中所示的成像设备100能够实现。
转到图1，具有增强的分辨率的成像设备100显示包括成像装置110，所述成像装置110与处理器130可操作地连接。所述成像装置110显示与场景175中的物体170面对。成像装置110可捕获场景175中的图像并可从被捕获的图像中生成图像数据。成像装置110可传输所述图像数据给处理器130。处理器130可接收或处理所述图像数据并创建一个或多个深度图。所述深度图可具有预设的比所述被捕获的图像的图像分辨率更高的图像分辨率。
虽然为了说明的目的，图1仅包含单个成像装置，但是成像设备100可包含多于一个的成像装置110。例如，如图2所示，成像设备100可具有诸如第一成像装置110A及第二成像装置110B的两个成像装置。所述第二成像装置110B可与所述第一成像装置110A分离，或者至少部分与所述第一成像装置110A结合。第一成像装置110A与第二成像装置110B可优选地可操作地连接在一起。第一成像装置110A和第二成像装置110B均可与处理器130可操作地连接。
成像设备100可包括任何合适数量、类型和/或结构的成像装置，例如包括并不限于激光相机、红外相机、超声波相机以及飞行时间(“ToF”)相机的第一及第二成像装置110A、110B。
无限制地，处理器130可包括一个或多个通用微处理器，例如，单个或多核处理器、特殊应用的集成电路、特殊应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器130可被配置成执行本文描述的任何方法，包括但不限于与成像处理相关的多种操作。在一些实施方式中，处理器130可包括用于处理与障碍物检测与避免相关的特定操作的专门硬件---例如，处理飞行时间数据、处理超声波数据、基于搜集到的数据确定障碍物距离、及基于所述确定的距离控制移动平台(未示出)。
在一些实施方式中，处理器130可设置在物理上接近第一及第二成像装置110A、110B的位置。在这种情况下，处理器130以及第一和第二成像装置110A、110B可被配置成进行本地通信，例如，使用硬件连接器和/或总线。本地通信的一个优点是可减少传输延迟以利于实时图像处理。
在图2中，可选的移动平台140和/或可选的显示器150可与成像设备100结合起来创建一个移动系统200。
移动平台140可包括但不限于包括自行车、汽车、卡车、轮船、小船、火车、直升机、飞机、无人机(“UAV”)或者无人机系统(“UAS”)、机器人、以上的各种混合等等。显示器150可为任何类型的显示器，包括但不限于电视机、电脑显示器、智能手机、平板电脑、智能穿戴设备、以上的各种组合等等。
处理器130可与显示器150可操作地连接。移动平台140可在环境中移动。显示器150可呈现被处理器130处理过的图像。处理器130也可与移动平台140可操作地连接。第一成像装置110A、第二成像装置110B、处理器130及显示器150均可与移动平台140可物理地连接并可与移动平台140一起移动。处理器130可与移动平台140可操作地连接，因此可基于处理器130对第一及第二成像装置110A、110B捕获的图像进行的分析来提供指令给移动平台140。处理器130也可与显示器150可操作地连接，因此成像设备100的操作者可观察被成像设备100捕获及处理的图像。
另外和/或可选地，移动系统200可符合期望地包括一个或多个额外的硬件配件(未示出)。示例性的额外的硬件配件可包括但不限于存储器160(未示出)和/或一个或多个输入/输出接口。存储器160典型的例子可为随机存取存储器(“RAM”)、静态RAM、动态RAM、只读存储器(“ROM”)、可编程ROM、可擦可编程ROM、电可擦可编程ROM、闪存、安全数字(“SD”)卡等等。示例性的输入/输出接口可为通用串行总线(USB)、数字可视接口(“DVI”)、显示端口、串行ATA(“SATA”)、IEEE1394接口(也称为火线)、串行、视频图形阵列(VGA)、超级视频图形阵列(“SVGA”)、小型计算机系统接口(“SCSI”)、高清多媒体接口(“HDMI”)、音频端口、和/或专有的输入/输出接口等。包括但不限于按钮、键盘、按键、轨迹球、显示器、监控器的一个或多个输入/输出装置165(未示出)也可符合期望地被包含在移动系统200内。
第一成像装置110A可生成诸如强度图像301(图3所示)的与第一图像相关的低分辨率的强度图像，和/或生成诸如第一深度图401(图4所示)的低分辨率的深度图。第二成像装置110B可生成与第二图像相关的具有比所述强度图像高的分辨率的灰度图像，例如灰度图像601(图6所示)。第一成像装置110A及第二成像装置110B可有利地被可操作地连接在一起，使得第一及第二成像装置110A、110B的座标可被计算出来，因此第一及第二成像装置110A、110B捕获的所有图像可采用诸如第一成像装置110A的一个装置的座标。处理器130可计算由第一成像装置110A生成的强度图像301的分辨率与由第二成像装置110B生成的灰度图像601的分辨率之间的差别。有利地，处理器130可由强度图像301及灰度图像601生成退化模型和/或基于来自第一成像装置110A的第一深度图401生成比第一深度图401更高分辨率的深度图。
在优选的实施方式中，第一成像装置110A可以是飞行时间(“ToF”)相机，第二成像装置110B可以是RGB相机，且处理器130可以是经过特殊定制并用于成像设备100的特殊处理器。
ToF相机可以是扫描仪-少光检测和测距(“雷达”)装置的一类，场景175可通过每个激光(或光)脉冲被整体捕获，而不是通过诸如扫描雷达系统中的激光束点对点地被捕获。有不同类型的ToF相机，包括距离选通ToF相机、相移直接ToF相机、以及光子混频器设备。
ToF相机捕获的一个图像可正常地被自动显示成两个图像，一个如强度图像301所示例的强度图像，以及一个如第一深度图401所示例的深度图。所述深度图可被用于测量距离，而所述强度图像可被用于协助校正所述深度图。
在优选的实施方式中，第一成像装置110A可以是相移直接ToF相机。从ToF相机发出的光线可行进到物体170并被反射回至ToF相机。从物体170反射至ToF相机的光线可以与离开ToF相机中的光源的光线具有一个延迟的相位。通过检测此相移，就可计算出ToF相机到物体170之间的距离。请以图2为例，第一成像装置110A，如果作为ToF相机提供，因此可通过测量光线行进到物体170及从物体170反射回的时间来计算出ToF相机到物体170之间的距离。第一成像装置110A还可包括其他类型的ToF相机或者其他类型的相机和/或传感器。
RGB相机可使用光接收传感器在全光谱下捕获图像，光接收传感器用于接收传统的代表红、绿和蓝(“RGB”)三种颜色各自强度值的环境图像。RGB图像捕获的图像正常地具有比ToF相机捕获的图像更高的分辨率。作为第二成像装置110B优选实施方式的RGB相机捕获的说明性图像以高分辨率图像501(图5所示)示出。RGB相机生成的诸如高分辨率图像501的图像可以为颜色全谱(未示出)的彩色图像。所述图像可以转换成灰度图像，例如灰度图像601。比较强度图像301与RGB相机生成的灰度图像601，所述灰度图像601可具有比所述强度图像301更高的分辨率。
同一个场景175中同一个物体170的多个示例性图像通过强度图像301、第一深度图401、以及第二深度图701(如图18所示)进行了说明。深度图像301阐明了物体170的一个示例性的低分辨率的强度图像。第一深度图401可为所述物体170的深度图；反之，灰度图像601阐明了一个示例性的灰度图像。在示例中，示例性的图像均显示为从同一个角度被捕获。尤其地，由不同相机，诸如第一成像装置110A与第二成像装置110B(共同地被图2示出)，生成的图像可正常地具有稍微不同的角度。虽然第一成像装置110A与第二成像装置110B可被设置为彼此物理靠近，但是第一成像装置110A与第二成像装置110B各自的透镜可相对场景175中的物体170放置在具有稍微不同的角度。这种偏差可以通过校准第一与第二成像装置110A、110B来纠正，因此所有的图像具有相同的坐标。这种校准正常地可由处理器130来执行，此校准将结合参考下面的图16来进行显示及对细节进行描述。在优选的实施方式中，第一成像装置110A的坐标可用于所有经过校准后的图像。
然后，图形可被处理器130以增强由第一成像装置110A生成的第一深度图401的分辨率(图4所示)的方式处理。增强由第一成像装置110A生成的第一深度图401的分辨率的方法将在下面进行仔细阐述及解释，并显示在图15～20中。
尽管仅仅为了阐明的目的，结合包括两个成像装置110A、110B的图2进行显示与描述，成像设备100可包括任何合适数量的成像装置。例如，所述成像设备100可具有2、3、4、5、6、或者甚至更多数量的成像装置。
如上面所讨论，第一成像装置110A的优选实施方式可以为一个ToF相机。图7示出了ToF相机701的一个示例性实施方式。ToF相机701可使用相移方法来计算物体170与相机传感器之间的距离。有许多类型的ToF相机，这些ToF相机可商用或者即将成为可用。但是，每个ToF相机都可作为所述设备100中的第一成像装置110A。
如图8所示，第一成像装置110A包括透镜111、光源112、滤波器113、图像传感器114、和/或处理器115。光源112可发射光线至场景175(图2所示)。从场景175中的物体170(图2所示)反射的光线可回到透镜111。所述透镜111可被配置成用于汇聚光线到滤波器113上。滤波器113可除掉不需要的光线，并可让剩余的光线穿过以到达图像传感器114而生成场景175的图像。然后，处理器115可处理图像并生成一个诸如强度图像301(图3所示)的强度图像与一个诸如第一深度图401(图4所示)的深度图。
透镜111优选的实施方式可以是一个数字单镜头反光(“DSLR”)透镜；但是，透镜111可包括任何传统类型的透镜。无限制地，作为透镜111的示例性的合适的透镜可包括销孔透镜、生物透镜、简单的凸面玻璃透镜、或者类似透镜中的一个或多个。另外和/或可选地，无限制地，透镜111可被配置成具有特定的成像性能，例如宏镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头、或者类似镜头中的一个或多个。
光源112可包括任何传统的光源，包括发光二极管(“LED”)和/或激光二极管。从光源112发出的光线可以是可见光、红外和/或近红外光线。光源112可设置在第一成像装置110A的任何合适的位置处，并优选地设置在靠近透镜111的位置。透镜111因此可接收从场景175与物体170回来的光线的直接反射。在一个实施方式中，透镜111与光源112可以共同定位以使光源112发出的光线(未示出)绕着透镜111围成一个环形。如此，光源112可以靠近透镜111，且光线能够均匀分布。发出的光线可以是脉冲、相位调制、和/或频率调制。在优选的实施方式中，所述发出的光线可以是相位调制。
滤波器113可以是光学滤波器，所述光学滤波器可选择地允许特定波长范围的光线通过，而阻止另外波长的光线。滤波器113可包括任何合适类型的滤波器，包括但不限于吸收滤波器、二向色滤波器、单色滤波器、红外线滤波器、紫外线滤波器、长通滤波器、带通滤波器、短通滤波器、导模谐振滤波器、金属网滤波器、偏振片等等。滤波器113可优选地包括带通滤波器，所述带通滤波器有利地传递特定波长的光线，该特定波长与光源112发出的光线的波长相同。如果光源112生成红外和/或近红外光线，滤波器113可过滤掉环境可见光及环境中的紫外光。在白天的室外环境中占主导地位的可见光与紫外光可有利地被滤掉以避免成像设备100的图像传感器114的饱和度。当成像设备100在白天户外使用时，这是特别有用的。
图像传感器114可接收来自滤波器113的光线并基于接收到的光线形成图像。图像传感器114可以是电荷耦合传感器(“CCD”)、互补金属氧化物半导体(“CMOS”)传感器、N型金属氧化物半导体(“NMOS”)传感器、和上述传感器的混合/变体、电光传感器、热/红外传感器、彩色或单色传感器、多光谱成像传感器、分光光度计、光谱仪、温度计、和/或照度计。在一个优选的实施方式中，其中成像设备100是ToF相机，图像传感器114通常可与特定类型的光源112配对。例如，射频调制的脉冲LED光源通常可与相位检测器一起使用。在另一例子中，脉冲激光光源112可与距离选通成像器一起使用。在又一个实施方式中，直接飞行时间图像传感器可与单个激光脉冲一起使用。
与处理器130(图2所示)类似，处理器115可包括任何商用图形芯片，所述芯片可在当前可用的视频设备中使用。处理器115也可以是为成像设备100特别制作的定制设计的图形芯片。处理器115也可包括用于加速2D图形或3D场景渲染、MPEG-2/MPEG-4解码、电视输出、或连接多个显示器的能力的附加芯片。在其中一个实施方式中，处理器115可在VGA标准下操作。另外和/或可选地，处理器115可包括一个或多个通用微处理器(例如，单个或多核处理器)、特定应用的集成电路、特定应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器115可被配置成执行本文描述的任何方法，包括但不限于关于图像处理的各种操作。在一些实施方式中，处理器115可包括专门硬件，用于处理与图像处理相关的专门操作。
处理器115通常可操作地连接到图像传感器114。这种连接可通过硬件或者无线连接。处理器115可处理图像传感器114接收到的原始图像，且可将所述原始图像自动转换为诸如强度图像301的强度图像与诸如第一深度图401的深度图。处理器115还可与第二成像装置110B(图11及12共同示出)的处理器125和/或处理器130(图2所示)物理地或无线地连接。图9、11及12详细所示，所述一个或多个处理器115、125、130可校准第一成像装置110A与第二成像装置110B的坐标，分析强度图像301(图3所示)的每一个图像块1110(图19所示)与灰度图像601(图6所示)的每一个对应的图像块1120(图19所示)之间的不同。所述一个或多个处理器115、125、130还可生成一个退化模型，并应用一个是退化模型的逆矩阵的转换矩阵到来自ToF相机的第一深度图401的每个图像块1210(图20所示)上，及创建高分辨率的深度图。
转向图9，第一成像装置110A还可包括显示器116和/或存储器117。第一成像装置110A的处理器115(图8所示)可与显示器116可操作地连接，其中来自图像传感器114的原始图像或来自处理器115的被处理图像可被呈现。存储器117还可可选择地包含在第一成像装置110A中。在显示在显示器116上之前或者之后，来自图像传感器114的所述原始图像或者来自处理器115的所述被处理图像可被存储在存储器117中。显示器116与存储器117可物理地关联到成像装置110的其他部件。例如，显示器116与存储器117中的每一个或者两者可通过有线或无线连接而与处理器115连接。显示器116与存储器117中的每一个或者两者还可与诸如图像传感器114的第一成像装置110A的其他部件连接。
在优选的实施方式中，图2中的第二成像装置110B可包括RGB相机。图10示出了由图像采集制成的示例性的可商用的RGB相机1601的图示。有很多其他商用的且能够在设备100中作为第二成像装置110B的RGB相机。这些RGB相机可捕获具有颜色全谱的图像及捕获可具有相对高分辨率的诸如灰度图像601(图6所示)的图像。
在其他实施方式中，如图11所示，图2中的第二成像装置110B包括透镜121、滤波器123、图像传感器124、以及处理器125。透镜121可被配置成会聚光线到滤波器123上。滤波器123可除掉不需要的光线，并让剩余的光线穿过以到达图像传感器124而生成图像。然后，处理器125可处理图像并生成一个诸如灰度图像601(图6所示)的灰度图像。
在优选的实施方式中，透镜121可以是一个数字单镜头反光(“DSLR”)透镜；但是，透镜121可包括任何传统类型的透镜。无限制地，透镜121的示例性的合适的透镜系统可包括销孔透镜、生物透镜、简单的凸面玻璃透镜、或者类似透镜中的一个或多个。另外和/或可选地，无限制地，透镜121可被配置成具有特定的成像性能，例如宏镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头、或者类似镜头中的一个或多个。
滤波器123可以是光学滤波器，所述光学滤波器可选择地传输特定波长范围的光线。滤波器123可包括吸收滤波器、二向色滤波器、单色滤波器、红外线滤波器、紫外线滤波器、长通滤波器、带通滤波器、短通滤波器、导模谐振滤波器、金属网滤波器、或者偏振片等等。滤波器123可优选地包括带通滤波器，所述带通滤波器有利地传递特定波长的光线。如果滤波器123过滤掉环境可见光及所述环境中的紫外光，在白天的室外环境占主导地位的可见光与紫外光可有利地被滤掉以避免第二成像装置110B的图像传感器124的饱和度。当成像设备100在白天户外使用时，这是特别有用的。
第二成像装置110B还可包括带通滤波器123，所述带通滤波器123大幅度地过滤掉特定波长的光线，仅留下红色、绿色或蓝色光线，且处理器125可被配置成感测所述波长。
图像传感器124可接收来自滤波器123的光线并基于接收到的光线形成图像。图像传感器124可以是电荷耦合传感器(“CCD”)、互补金属氧化物半导体(“CMOS”)传感器、N型金属氧化物半导体(“NMOS”)传感器、及上述传感器的混合/变体、电光传感器、热/红外传感器、彩色或单色传感器、多光谱成像传感器、分光光度计、光谱仪、温度计、和/或照度计。
与处理器130(图1及图2所示)类似，处理器125可包括任何由各制造商制造的商用图形芯片，这些芯片可在当前可用的视频设备中使用。可选择地，处理器125也可以是为第二成像装置110B特别制作的定制设计的图形芯片。处理器125可包括用于加速2D图形或3D场景渲染、MPEG-2/MPEG-4解码、电视输出、或连接多个显示器的能力的附加芯片。在一个实施方式中，处理器125可在VGA标准下操作。另外和/或可选地，处理器125可包括一个或多个通用微处理器(例如，单个或多核处理器)、特定应用的集成电路、特定应用的指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等等。处理器125可被配置成执行本文描述的任何方法，包括但不限于关于图像处理的各种操作。在一些实施方式中，处理器125可包括专门硬件，用于处理与图像处理相关的专门操作。
处理器125通常可操作地连接到图像传感器124。这种连接可通过硬件或者无线连接。处理器125可处理图像传感器124接收到的原始图像，且可将所述原始图像自动转换为诸如灰度图像601(图6所示)的灰度图像。处理器125还可与第一成像装置110A的处理器115和/或处理器130物理地或无线地连接。图16、19及20详细所示，所述一个或多个处理器115、125、130可校准第一成像装置110A与第二成像装置110B的坐标，分析强度图像301(图3所示)的每一个图像块1110(图19所示)与灰度图像601(图6所示)的每一个对应的图像块1120(图19所示)之间的不同。另外，所述一个或多个处理器115、125、130还可生成一个退化模型，并应用一个是退化模型的逆矩阵的转换矩阵到来自ToF相机的第一深度图401(图4所示)的每个图像块1210(图20所示)上，及创建图15与20显示及描述的高分辨率的深度图。
转向图12，在另一个实施方式中，图11中的第二成像装置110B还可包括显示器126和/或存储器127。来自图像传感器124的原始图像或来自处理器125的被处理图像可通所述显示器呈现。存储器127还可可选择地包含在本实施方式中。在显示在显示器126上之前或者之后，来自图像传感器124的所述原始图像或者来自处理器125的所述被处理图像可被存储在存储器127中。显示器126与存储器127可物理地连接到第二成像装置110B的其他部件。例如，显示器126与存储器127中的每一个或者两者可通过有线或无线连接而与处理器125连接。显示器126与存储器127中的每一个或者两者还可与第二成像装置110B的其他部件连接。来自第二成像装置110B的所述原始或被处理图像可进一步地被处理器130利用来自诸如第一成像装置110A的成像设备100其他部分的信息处理。
在其他实施方式中，可不包括处理器130，且所有的处理都可分别由第一成像装置110A和/或第二成像装置110B的处理器115与125来施行。
在一些实施方式中，可以提供分别不具备显示器116或126的第一及第二成像装置110A、110B。在这种情况下，所述设备100的唯一的显示器是显示器150，其可显示经处理后具备增强的分辨率的图像。例如，如果提供的第二成像装置110B为RGB相机，则其可不具备显示器126，并且本文讨论的图像可被直接传送给处理器130。
当成像设备100可被用于检测可见光和/或红外光谱光线并因此生成图像时，所述设备100还可适于检测其他波长的光线，包括X射线、微波、或者等等。
成像设备100可适于静态图像、视频图像、及三维图像、或等等。因此，本公开不应诠释为局限于本文显示及描述的示例性的成像系统100。
尽管只是为了阐明的目的，图9显示及描述的包括一个处理器115、一个显示器116以及一个存储器117，且图12包括一个处理器125、一个显示器126、以及一个存储器127，成像设备100可包括任何预定数量的处理器、存储器和/或显示器。可选地和/或另外，根据系统应用，处理器、存储器和/或显示器中的一个或多个可从本文显示及描述的成像设备100中省略。
在一些实施方式中，第一与第二成像装置110A、110B、处理器130中任何一个均可设置成任何合适的多个。
图13示出了移动系统200的一个实施方式。图2显示与描述的移动平台140以包括电机与螺旋桨的无人飞行器1301示出。无人飞行器是没有装载人类飞行员的飞行器，其飞行可被自动地或被远程飞行员(或有时是两者同时)控制。现在正发现无人飞行器日渐增长的包括各种空中操作的民事用途，例如数据采集和/或数据传递。本文公开的系统和方法可适合很多类型的无人飞行器，包括但不限于四轴飞行器(也称为四旋翼直升机或四转子)、单转子、双转子、三转子、六转子、及八转子旋翼无人飞行器、固定翼无人飞行器，和混合旋翼-固定翼无人飞行器。
在一些实施方式中，第一及第二成像装置110A、110B可被悬挂在无人飞行器的本体的下方。第一及第二成像装置110A、110B还可设置无人飞行器1301的顶部、无人飞行器1301的一侧、或者是与无人飞行器1301物理地结合。处理器130(图2所示)可与第一及第二成像装置110A、110B中的一个物理地结合，或者是设置在无人飞行器1301的本体的内部。无论位置，处理器130可与第一成像装置110A、第二成像装置110B、和/或诸如无人飞行器1301的移动平台140可操作地连接。
可提供显示器150或不提供显示器150给移动系统200。如果包括显示器150，则所述显示器150可物理地附接到成像设备100上，或者远程地及无线地与处理器130连接。例如，多个无人飞行器可采用桌上型电脑、笔记本电脑、智能手机或平板电脑的显示器，并且所述显示器可通过其他硬件部件与无人飞行器1301无线地连接。
图14示出了图2中移动系统200的另一个实施方式。移动平台140以包括电机与四肢的机器人1401示出。在本实施方式中，第一成像装置110A与第二成像装置110B(共同地被图2示出)可设置在诸如机器人1401的移动系统200的头部1402。处理器130可设置在机器人1401的本体1403的内部，并与第一成像装置110A、第二成像装置110B、和/或移动平台140可操作地连接。移动系统200可提供有显示器150或没有显示器150。如果包括显示器150，则所述显示器150可物理地附接到成像设备100上，和/或远程地及无线地与处理器130连接。很多最近发展的高品质机器人采用桌上型电脑、笔记本电脑、智能手机或平板电脑的显示器，并且所述显示器可通过其他硬件部件与机器人1401无线地连接。
移动平台140还可包括电机与轮子、和/或电机与轨道(都未示出)等，以实现移动功能。移动平台140可包括但不局限于自行车、汽车、卡车、轮船、小船、火车、直升机、飞机、上述各种的组合等等。
图15阐明了创建高分辨率深度图的示例性方法800。所述方法800开始于810，其中第一与第二成像装置110A、110B从稍微不同的角度捕获场景175(共同地被图2示出)中的图像。在820中，基于第一与第二成像装置110A、110B捕获的图像，处理器130可单独或者与处理器115和125共同创建场景175的高分辨率深度图。
图16阐明了图15的810中捕获图像的细节。910中，处理器130(图2所示)可通过获得第一成像装置110A与第二成像装置110B的坐标系之间的转换来校准第一成像装置110A与第二成像装置110B。920中，第一成像装置110A可捕获第一图像。930中，第二成像装置110B可捕获第二图像501(图5所示)。校准之后，940中，处理器130可映射第二成像装置110B捕获的第二图像的任意像素到第一成像装置110A的坐标中。因此，第二图像501可在新的坐标下重新采样，结果是第一图像与第二图像可以更容易的在相同的坐标系下进行比较。
转到图17，在920、930的捕获第一与第二图像及1050的校准之后，第一成像装置110A的处理器115可将第一图像转换成与第一图像相关的强度图像301(图3所示)及第一深度图像401(图4所示)。1060中，第二成像装置110B的处理器125可将校准图像转换成与第二图像相关的灰度图像601(图6所示)。1070中，处理器130可比较强度图像301与灰度图像601，并基于高分辨率灰度图像601与低分辨率强度图像301之间的差异计算出一个退化模型。由于第一与第二成像装置110A、110B之间固有的分辨率差，从第一成像装置110A生成的强度图像301可比从第二成像装置110B生成的灰度图像601的分辨率要低。例如，在其中第一成像装置110A可以是ToF相机，而第二成像装置110B可以是RGB相机的优选实施方式中，所述分辨率差异可至少为QVGA相对于VGA，约为四倍。1070中，以下面参照图19与图20所述描述的具体的方式，计算强度图像301与灰度图像601的差别以形成一个退化模型。因为第一成像装置110A与第二成像装置110B可捕获同一个场景175的图像，由强度图像与灰度图像遭受到的退化可被认为直接正比于第一深度图401(图4所示)遭受到的低分辨率。因此，1080中，处理器130可生成一个是退化模型的逆矩阵的转换矩阵。然后，在1090中，处理器130可应用所述转换矩阵到图4的低分辨率的深度图401中，以创建如第二深度图701(图18所示)示出的例子那样的高分辨率的深度图。
图19示出图17中示例性的实现方法800的示例性示意图，所述方法800是基于第一成像装置110A(图2所示)生成的强度图像301(图3所示)与第二成像装置110B(图2所示)生成的灰度图像601(图6所示)之间的分辨率差异计算出一个退化模型。图19示出了图17的1070中计算退化模型的示例性的细节。在优选的实施方式中，第一成像装置110A可以是ToF相机，而第二成像装置110B可以是RGB相机。在ToF相机的坐标下，处理器130可计算每对对应的图像块的差别。结果可以是退化模型。在退化模型里，i代表每个图像块的指标，每个图像块以虚线边界界定的小矩形示出。每个小矩形可以是一个图像块，例如1120。1120中的每个图像块可以定义为n。1110中对应的每个图像块定义为n’。处理器115、125、130中的一个或多个可计算n与n’之间的差别，并获得一对图像块n与n’的退化模型。
退化模型阐明了根据公式(1)，如何通过模糊与噪音生成过程来由高分辨率灰度图像块n’创建一个低分辨率图像块n：
Figure BDA0001450989120000201
其中Ai描述图像退化(分辨率减少)过程，n表示成像中的随机噪声。为什么每个图像块对使用不同的退化模型的原因是因为相较于全球化，退化过程是本地的且可与图像的内容相关。对于整个图像块对，可以根据公式(2)来计算：
Figure BDA0001450989120000202
通过最大似然过程，基本上的追求退化模型Ai以使退化的图像块
Figure BDA0001450989120000203
最大限度地满足
Figure BDA0001450989120000204
的观测。
图20示出图17中示例性的实现方法800的示例性示意图，所述方法800是生成一个转化矩阵以创建高分辨率深度图。图12示出了图10的1080与1090中的示例性的细节。因为第一深度图401(图4所示)及强度图像301(图3所示)可从同一个第一图像中生成，并且第一图像与第二图像可从相同场景175中拍得，可以假设所述深度图的退化模型可与强度图像相同。1080中，处理器115、125、130中一个或多个可生成是所述退化模型逆矩阵的转换矩阵。
与1070类似，每一个图像块对n/n’可具有经分别计算的转换矩阵。然后，处理器115、125、130中一个或多个可应用所述转换矩阵到深度图1010的每个图像块n’以中深度图1020中生成高分辨率深度图块n。所述转换矩阵可根据公式(3)来计算：
Figure BDA0001450989120000211
其中，
Figure BDA0001450989120000212
是ToF相机捕获的低分辨率深度图块中的第i个深度图块，Ai代表退化模型，n代表随机噪声。因此，可在优化过程中根据公式(4)来计算高分辨率的深度图块：
Figure BDA0001450989120000213
在每个图像块对重复上述步骤之后，便可获得诸如第二深度图701(图7所示)的高分辨率ToF深度图。
所描述的实施方式可以具有各种修改和替换形式，其具体例子在图中已经示出并在本文进行了详细说明。然而，应当理解，所描述的实施方式并不限于所公开的具体形式或方法，相反，本发明涵盖所有修改、等同物和替代选择。
以上示出并描述了本发明的优选实施方式，明显地，对本领域技术人员而言，这些实施方式仅仅是举例说明。本领域技术人员根据上述实施方式将作出不会脱离本发明的各种变形、改变以及替换。应当理解对本发明上述实施方式的各种变形都可应用于本发明。旨在由所附权利要求书限定本发明的范围且进而涵盖属于这些权利要求及其等效物的范围内的方法和结构。

Claims (41)

1.一种增强图像分辨率的方法，包括：
获得一个场景的一个或多个图像；及
通过第一成像装置捕获所述场景的第一图像，根据所述第一图像生成第一深度图及与所述第一图像相关的强度图像；
所述获得包括捕获所述场景的第二图像，根据所述第二图像生成与所述第二图像相关的灰度图像；
计算与所述第一图像相关的所述强度图像和与所述第二图像相关的所述灰度图像之间的关系，根据所述计算确定所述场景的第二深度图；
其中所述第二深度图具有比所述第一深度图更高的分辨率。
2.如权利要求1所述的方法，其中所述第一成像装置包括飞行时间ToF相机。
3.如权利要求1～2中任意一项所述的方法，其中所述第二图像包括红、绿和蓝RGB图像。
4.如权利要求3所述的方法，其中所述捕获所述第二图像包括通过第二成像装置捕获所述第二图像。
5.如权利要求4所述的方法，其中所述第二成像装置包括RGB相机。
6.如权利要求5所述的方法，进一步包括校准所述第一成像装置与所述第二成像装置中的至少一个。
7.如权利要求6所述的方法，其中所述校准包括：获得所述第一与所述第二成像装置的坐标之间的转换关系。
8.如权利要求7所述的方法，进一步包括：
映射所述第二图像的一个或多个像素到所述第一图像。
9.如权利要求1所述的方法，其中根据所述计算确定所述场景的第二深度图包括根据所述计算增强所述第一深度图的分辨率。
10.如权利要求9所述的方法，其中所述计算包括：
分析与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应的图像块之间的差别；以及
在与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应图像块之间生成一个退化模型。
11.如权利要求10所述的方法，其中所述增强包括应用是退化模型的逆矩阵的转换矩阵到所述第一深度图的每一个图像块中。
12.一种成像分辨率增强设备，包括：
一个或多个处理器单独地或共同地被配置成用于获得一个场景的一个或多个图像及被配置成根据所述一个或多个图像确定所述场景的第二深度图，
第一成像装置，被配置为捕获所述场景的第一图像；
第二成像装置，被配置为捕获所述场景的第二图像；
其中根据所述第一图像生成第一深度图及与所述第一图像相关的强度图像，并且根据所述第二图像生成与所述第二图像相关的灰度图像；
所述一个或多个处理器被配置为计算与所述第一图像相关的所述强度图像和与所述第二图像相关的所述灰度图像之间的关系，根据所述计算确定所述场景的第二深度图；
其中所述第二深度图具有比所述第一深度图更高的分辨率。
13.如权利要求12所述的设备，其中所述一个或多个处理器被配置成用于自动地生成所述第一成像装置的所述场景的第二深度图。
14.如权利要求13所述的设备，其中所述一个或多个处理器被配置成用于自动地校准所述第一成像装置及所述第二成像装置中的至少一个。
15.如权利要求14所述的设备，其中所述一个或多个处理器被配置成用于自动地获得所述第一与第二成像装置的坐标之间的转换关系。
16.如权利要求15所述的设备，其中所述一个或多个处理器被配置成用于自动地映射所述第二图像的一个或多个像素到所述第一图像的一个或多个像素。
17.如权利要求12所述的设备，其中所述一个或多个处理器被配置成用于自动地将所述第一图像转换成与所述第一图像相关的强度图像和第一深度图，及被配置成自动地将所述第二图像转换成与所述第二图像相关的灰度图像。
18.如权利要求12所述的设备，其中所述第一成像装置被配置成用于自动地将所述第一图像转换成与所述第一图像相关的强度图像和第一深度图，且其中所述第二成像装置被配置成用于自动地将所述第二图像转换成与所述第二图像相关的灰度图像。
19.如权利要求12所述的设备，其中所述一个或多个处理器被配置成自动地分析与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应的图像块之间的差别。
20.如权利要求19所述的设备，其中所述一个或多个处理器被配置成自动地在与所述第一图像相关的所述强度图像的每一个图像块和与所述第二图像相关的所述灰度图像的每一个对应图像块之间生成一个退化模型。
21.如权利要求20所述的设备，其中所述一个或多个处理器被配置成通过应用是所述退化模型的逆矩阵的转换矩阵到所述第一深度图来自动地增强所述第一深度图的分辨率。
22.如权利要求12～21中任意一项所述的设备，其中所述第一及第二成像装置中的其中一个是相机或者传感器。
23.如权利要求12～21中任意一项所述的设备，其中所述第一及第二成像装置选自由红、绿和蓝RGB相机、激光相机、红外相机、超声波相机以及飞行时间ToF相机组成的群组。
24.如权利要求12～21中任意一项所述的设备，其中所述第一成像装置包括一个或多个ToF相机。
25.如权利要求12所述的设备，其中所述第二成像装置包括一个或多个RGB相机。
26.如权利要求25所述的设备，其中所述一个或多个RGB相机包括一个或多个RGB摄像机。
27.如权利要求25或26所述的设备，其中所述一个或多个RGB相机中的每一个RGB相机包括至少一个接收来自所述场景的光线的透镜；过滤所述接收到的光线的滤波器；由所述过滤后的光线生成电信号的图像传感器；以及对所述电信号执行操作的处理器。
28.如权利要求13～21中任意一项所述的设备，其中所述第一及第二成像装置和所述一个或多个处理器安装在移动平台上。
29.如权利要求28所述的设备，其中所述移动平台是无人飞行器。
30.如权利要求29所述的设备，其中所述移动平台是机器人。
31.如权利要求24所述的设备，其中所述多个ToF相机中的至少一个ToF相机包括至少一个朝场景发射光线的照明单元，接收来自所述场景的光线的透镜，过滤所述接收到的光线的滤波器，由所述过滤后的光线生成电信号的图像传感器以及对所述电信号执行操作的处理器。
32.如权利要求31所述的设备，其中所述多个ToF相机中的所述至少一个ToF相机进一步包括存储来自所述操作的结果的至少一个存储器以及一个显示所述结果的显示器。
33.如权利要求31或32所述的设备，其中所述照明单元包括LED或者激光二极管。
34.如权利要求31或32所述的设备，其中所述滤波器包括带通滤波器。
35.如权利要求34所述的设备，其中所述照明单元发射红外或近红外光线，并且其中所述带通滤波器传递红外或近红外光线。
36.如权利要求27所述的设备，其中所述一个或多个RGB相机中的每一个RGB相机进一步包括存储来自所述操作的结果的至少一个存储器；以及一个显示所述结果的显示器。
37.如权利要求35所述的设备，其中所述滤波器为绿光滤波器。
38.如权利要求35所述的设备，其中所述滤波器为红光滤波器。
39.如权利要求35所述的设备，其中所述滤波器为蓝光滤波器。
40.一种成像系统，包括处理器和存储器，所述处理器执行存储在所述存储器上的指令，以根据权利要求1～11中任意一项来执行增强图像分辨率的步骤。
41.一种计算机可读存储介质，其上存储有指令，其特征在于，该指令被处理器执行时实现权利要求1～11中任意一项所述的方法。
CN201580079397.0A 2015-04-30 2015-04-30 增强图像分辨率的系统及方法 Active CN107534764B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/078096 WO2016172960A1 (en) 2015-04-30 2015-04-30 System and method for enhancing image resolution

Publications (2)

Publication Number Publication Date
CN107534764A CN107534764A (zh) 2018-01-02
CN107534764B true CN107534764B (zh) 2020-03-17

Family

ID=57198066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079397.0A Active CN107534764B (zh) 2015-04-30 2015-04-30 增强图像分辨率的系统及方法

Country Status (3)

Country Link
US (2) US10488500B2 (zh)
CN (1) CN107534764B (zh)
WO (1) WO2016172960A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818554B (zh) * 2016-09-12 2023-04-21 索尼公司 信息处理设备和信息处理方法
CN109085603A (zh) * 2017-06-14 2018-12-25 浙江舜宇智能光学技术有限公司 光学三维成像系统和彩色三维图像成像方法
KR102476404B1 (ko) * 2017-07-18 2022-12-12 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US11828849B2 (en) 2017-11-28 2023-11-28 Sony Semiconductor Solutions Corporation Illumination device, time of flight system and method
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
CN110326028A (zh) * 2018-02-08 2019-10-11 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
CN108648225B (zh) * 2018-03-31 2022-08-02 奥比中光科技集团股份有限公司 目标图像获取系统与方法
EP3672223B1 (en) * 2018-04-28 2022-12-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Data processing method, electronic device, and computer-readable storage medium
US10713756B2 (en) * 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
EP3791210A1 (en) 2018-05-09 2021-03-17 Sony Semiconductor Solutions Corporation Device and method
CN208580498U (zh) * 2018-05-31 2019-03-05 深圳市大疆创新科技有限公司 红外发射角调节结构、红外发射模块及遥控装置
CN109061658B (zh) * 2018-06-06 2022-06-21 天津大学 激光雷达数据融合方法
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
WO2020031153A1 (en) * 2018-08-10 2020-02-13 8 Rivers Capital, Llc System for optical wireless communication to extended reality immersion devices
CN111091592B (zh) 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN110012280B (zh) * 2019-03-22 2020-12-18 盎锐（上海）信息科技有限公司 用于vslam系统的tof模组及vslam计算方法
DE102019121340A1 (de) * 2019-08-07 2021-02-11 Infineon Technologies Ag Verfahren und vorrichtung zum bestimmen einer fehlfunktion und sensorsystem
US10861144B1 (en) * 2019-11-27 2020-12-08 Panasonic Intellectual Property Management Co., Ltd. Image-processing method
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
CN111654626B (zh) * 2020-06-05 2021-11-30 合肥泰禾智能科技集团股份有限公司 一种包含深度信息的高分辨率相机
CN114519763A (zh) * 2020-11-19 2022-05-20 中兴通讯股份有限公司 3d深度图构建方法、装置及ar眼镜
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN112804512B (zh) * 2021-04-13 2021-06-29 深圳阜时科技有限公司 3d深度成像方法、主控装置、以及3d成像设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685402A (zh) * 2010-11-03 2012-09-19 洛克威尔自动控制技术股份有限公司 对距离改变不敏感的颜色传感器
CN103663084A (zh) * 2012-09-18 2014-03-26 塞德斯股份公司 用于自动扶梯或电动人行道的具有前方空间监测的启动传感器
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN104471639A (zh) * 2012-07-20 2015-03-25 微软公司 语音和手势识别增强

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3803950B2 (ja) * 1999-03-04 2006-08-02 株式会社リコー 画像合成処理方法、画像合成処理装置及び記録媒体
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
CN101556696B (zh) * 2009-05-14 2011-09-14 浙江大学 基于阵列摄像机的深度图实时获取算法
US8457437B2 (en) * 2010-03-23 2013-06-04 Raytheon Company System and method for enhancing registered images using edge overlays
EP2378310B1 (en) 2010-04-15 2016-08-10 Rockwell Automation Safety AG Time of flight camera unit and optical surveillance system
KR101706093B1 (ko) 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
CN102609941A (zh) 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
US9348019B2 (en) * 2012-11-20 2016-05-24 Visera Technologies Company Limited Hybrid image-sensing apparatus having filters permitting incident light in infrared region to be passed to time-of-flight pixel
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN103337069B (zh) * 2013-06-05 2016-06-29 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
DE102013110615B3 (de) * 2013-09-26 2014-11-27 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zum Erfassen von Tiefenkarten
US20150103200A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Heterogeneous mix of sensors and calibration thereof
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
CN103955954B (zh) * 2014-04-21 2017-02-08 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
US11328486B2 (en) * 2019-04-30 2022-05-10 Google Llc Volumetric capture of objects with a single RGBD camera
CN111553859B (zh) * 2020-04-29 2020-12-01 清华大学 一种激光雷达点云反射强度补全方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685402A (zh) * 2010-11-03 2012-09-19 洛克威尔自动控制技术股份有限公司 对距离改变不敏感的颜色传感器
CN104115192A (zh) * 2012-06-25 2014-10-22 索夫特克尼特科软件公司 三维近距离交互的改进或与其有关的改进
CN104471639A (zh) * 2012-07-20 2015-03-25 微软公司 语音和手势识别增强
CN103663084A (zh) * 2012-09-18 2014-03-26 塞德斯股份公司 用于自动扶梯或电动人行道的具有前方空间监测的启动传感器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Also Published As

Publication number Publication date
US20200088855A1 (en) 2020-03-19
CN107534764A (zh) 2018-01-02
WO2016172960A1 (en) 2016-11-03
US20180059225A1 (en) 2018-03-01
US11249173B2 (en) 2022-02-15
US10488500B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
CN107534764B (zh) 增强图像分辨率的系统及方法
JP6937443B2 (ja) 撮像装置及び撮像装置の制御方法
US11671703B2 (en) System and apparatus for co-registration and correlation between multi-modal imagery and method for same
JP6552729B2 (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US10048687B2 (en) System and method for mobile platform operation
US20190295271A1 (en) Depth calculation processor, data processing method and 3d image device
US10728525B2 (en) Image capturing apparatus, image processing method, and recording medium
US10176543B2 (en) Image processing based on imaging condition to obtain color image
US20170310946A1 (en) Three-dimensional depth perception apparatus and method
US11140334B1 (en) 940nm LED flash synchronization for DMS and OMS
US20200280707A1 (en) Multichannel, multi-polarization imaging for improved perception
US20190355136A1 (en) Reduced power operation of time-of-flight camera
US20120050464A1 (en) Method and system for enhancing 3d effects for 3d video rendering
US20200195862A1 (en) Multispectrum, multi-polarization (msmp) filtering for improved perception of difficult to perceive colors
US20180191960A1 (en) Image processing device and image processing method
US10672137B2 (en) Generating a disparity map having reduced over-smoothing
WO2021068573A1 (zh) 一种障碍物检测方法、装置、设备及介质
US11032470B2 (en) Sensors arrangement and shifting for multisensory super-resolution cameras in imaging environments
JP2017504119A (ja) 人工視覚システム
CN114339185A (zh) 用于车辆相机图像的图像彩色化
WO2023244252A1 (en) 3d vision system with automatically calibrated stereo vision sensors and lidar sensor
US20170332068A1 (en) System for three-dimensional image capture while moving
US10488520B2 (en) Time-of-flight sensor
EP2642759B1 (en) Multi-lens camera system
KR102372215B1 (ko) 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240522

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Patentee after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China