CN111540003A - 一种深度图像的生成方法及装置 - Google Patents

一种深度图像的生成方法及装置 Download PDF

Info

Publication number
CN111540003A
CN111540003A CN202010341605.2A CN202010341605A CN111540003A CN 111540003 A CN111540003 A CN 111540003A CN 202010341605 A CN202010341605 A CN 202010341605A CN 111540003 A CN111540003 A CN 111540003A
Authority
CN
China
Prior art keywords
gray level
image
images
offset
object distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010341605.2A
Other languages
English (en)
Inventor
方俊龙
张合勇
杨金峰
吴旷
杨延超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN202010341605.2A priority Critical patent/CN111540003A/zh
Publication of CN111540003A publication Critical patent/CN111540003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种深度图像的生成方法及装置，获取至少两组灰度图像，基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，基于该偏移量构建匀加速模型，基于匀加速模型，计算每张灰度图像相对于确定的基准图像的偏移量，将各个灰度图像按照相对于基准图像的偏移量进行位移，并基于位移得到的目标灰度图像确定最终的目标深度图像。本发明通过确定各个灰度图像相对于基准图像的偏移量，来对各个灰度图像进行偏移，从而在物体处于运动场景时，减小各个灰度图像之间的偏移量以及深度解算误差，且不受TOF深度相机本身的硬件条件的限制。

Description

一种深度图像的生成方法及装置
技术领域
本发明涉及深度相机技术领域，更具体的说，涉及一种深度图像的生成方法及装置。
背景技术
TOF(Time-Of-Flight，飞行时间法)深度相机通过调整激光脉冲和快门打开之间的时间间隔，对场景中不同深度的物体分别成像，得到对应不同深度的多张灰度图像，通过对多张灰度图像采用深度解算方法，得到对应的深度图。
在静态场景中，TOF深度相机获取的各个灰度图像中坐标相同的像素点对应空间中的同一点，因此，基于这些灰度图像得到的深度图像相对准确。然而，在运动场景中，运动场景包括：物体运行和相机自身运动，由于TOF深度相机在获取的各个灰度图像时，物体或者相机的运动状态可能不同，因此，导致空间中的同一点在各个灰度图像中对应的像素点的坐标也不同。若将各个灰度图像中坐标相同的像素点作为空间中的同一点进行深度解算，则会导致深度解算得到的深度图像存在较大误差。
为了减小运动场景中深度解算误差，目前的主流做法为：提高TOF深度相机的帧率，使各个灰度图像之间的相对偏移量尽可能的小。但是，通过提高TOF深度相机的帧率来减小运动场景中深度解算误差存在一些问题。一方面，帧率的提高受限于TOF深度相机本身的硬件条件，比如，感光元件(Image Sensor)支持的曝光方式(全局、卷帘)和感光元件的感光性会影响曝光时间，时钟频率会影响感光元件的电荷转移时间，相机处理器的性能影响算法的处理时间，等等，这些硬件条件均会影响帧率。另一方面，当物体运行较快时，即使在较高帧率下，各个灰度图像之间的偏移量仍然较大。
发明内容
有鉴于此，本发明公开一种深度图像的生成方法及装置，以减小运动场景中深度解算误差，且不受限于TOF深度相机本身的硬件条件的限制。
一种深度图像的生成方法，包括：
获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，其中，所述偏移量包括：水平偏移量和垂直偏移量；
根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
可选的，计算相同物距对应的相邻时序的两张灰度图像之间的水平偏移量的过程包括：
将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
将水平方向相似度最大的平移量确定为水平偏移量。
可选的，所述水平偏移量的计算公式如下：
Figure BDA0002468657190000021
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，Corr(sumWi,sumWj)为相同物距对应的两张灰度图像的水平方向相似度，表达式如下：
Figure BDA0002468657190000031
式中，wim表示sumWi中的任一元素，wjm表示sumWj中的对应元素，sumWi为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行列叠加得到的行向量，sumWj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行列叠加得到的行向量。
可选的，计算相同物距对应的相邻时序的两张灰度图像之间的垂直偏移量的过程包括：
将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
将垂直方向相似度最大的平移量确定为垂直偏移量。
可选的，所述垂直偏移量的计算过程如下：
Figure BDA0002468657190000032
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度，表达式如下：
Figure BDA0002468657190000033
式中，hin表示sumHi中的任一元素，hjn表示sumHj中的对应元素，sumHi为为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行行叠加得到的列向量，sumHj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行行叠加得到的列向量。
可选的，所述基于各个灰度图像对应的各个目标灰度图像得到目标深度图像，具体包括：
从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
将得到的各个所述初始深度图进行融合得到目标深度图像。
一种深度图像的生成装置，包括：
获取单元，用于获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
投影单元，用于对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
第一偏移量计算单元，用于基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，其中，所述偏移量包括：水平偏移量和垂直偏移量；
模型构建单元，用于根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
第二偏移量计算单元，用于从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
位移单元，用于将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
图像确定单元，用于基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
可选的，所述第一偏移量计算单元具体用于：
将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
将水平方向相似度最大的平移量确定为水平偏移量。
可选的，所述水平偏移量的计算公式如下：
Figure BDA0002468657190000051
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，Corr(sumWi,sumWj)为相同物距对应的两张灰度图像的水平方向相似度，表达式如下：
Figure BDA0002468657190000052
式中，wim表示sumWi中的任一元素，wjm表示sumWj中的对应元素，sumWi为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行列叠加得到的行向量，sumWj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行列叠加得到的行向量。
可选的，所述第一偏移量计算单元具体用于：
将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
将垂直方向相似度最大的平移量确定为垂直偏移量。
可选的，所述垂直偏移量的计算过程如下：
Figure BDA0002468657190000053
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度，表达式如下：
Figure BDA0002468657190000061
式中，hin表示sumHi中的任一元素，hjn表示sumHj中的对应元素，sumHi为为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行行叠加得到的列向量，sumHj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行行叠加得到的列向量。
可选的，所述图像确定单元具体用于：
从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
将得到的各个所述初始深度图进行融合得到目标深度图像。
从上述的技术方案可知，本发明公开了一种深度图像的生成方法及装置，获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同，基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，基于该偏移量构建匀加速模型，从各个灰度图像中确定一个基准图像，并基于匀加速模型，计算每张灰度图像相对于基准图像的偏移量，将各个灰度图像按照相对于基准图像的偏移量进行位移，并基于位移得到的目标灰度图像确定最终的目标深度图像。本发明针对相同物距获取至少两个灰度图像，在进行图像偏移时，通过计算相同物距对应的相邻时序的两张灰度图像之间的偏移量来构建匀加速模型，通过该匀加速模型来确定各个灰度图像相对于基准图像的偏移量，以便根据该偏移量对各个灰度图像进行偏移，从而在物体处于运动场景时，减小各个灰度图像之间的偏移量，进而减小运动场景中的深度解算误差，并且，不受TOF深度相机本身的硬件条件的限制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种深度图像的生成方法流程图；
图2为本发明实施例公开的一种相同物距灰度图像之间的偏移量的示意图；
图3为本发明实施例公开的一种各灰度图像相对于基准图像的偏移示意图；
图4为本发明实施例公开的一种深度图像解算与融合示意图；
图5为本发明实施例公开的一种深度图像的生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种深度图像的生成方法及装置，获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同，基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，基于该偏移量构建匀加速模型，从各个灰度图像中确定一个基准图像，并基于匀加速模型，计算每张灰度图像相对于基准图像的偏移量，将各个灰度图像按照相对于基准图像的偏移量进行位移，并基于位移得到的目标灰度图像确定最终的目标深度图像。本发明针对相同物距获取至少两个灰度图像，在进行图像偏移时，通过计算相同物距对应的相邻时序的两张灰度图像之间的偏移量来构建匀加速模型，通过该匀加速模型来确定各个灰度图像相对于基准图像的偏移量，以便根据该偏移量对各个灰度图像进行偏移，从而在物体处于运动场景时，减小各个灰度图像之间的偏移量，进而减小运动场景中的深度解算误差，并且，不受TOF深度相机本身的硬件条件的限制。
参见图1，本发明一实施例公开的一种深度图像的生成方法流程图，该方法应用于TOF深度相机，生成方法包括步骤：
步骤S101、获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
为便于理解，以每组灰度图像包括三个不同的灰度图像为例进行说明，具体如下：
TOF深度相机分别对近物距、中物距和远物距依次曝光，得到三张灰度图像，按曝光时间序列依次记为：gray0、gray1和gray2。
TOF深度相机再次分别对近物距、中物距和远物距依次曝光，得到三张灰度图像，按曝光时间序列依次记为：gray3、gray4和gray5。
其中，gray0和gray3对应近物距，gray1和gray4对应中物距，gray2和gray5对应远物距。
需要说明的是，本实施例中的近物距、中物距和远物距是相对的，不是具体的距离数值，也就是说，近物距、中物距和远物距各自对应的TOF深度相机的激光脉冲和快门打开之间的时间间隔不同。
步骤S102、对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
其中，对获取的每张灰度图像分别进行一维投影具体包括：对获取的每张灰度图像分别进行水平方向投影和垂直方向投影，也即，对获取的每张灰度图像进行列叠加得到行向量sumW，对获取的每张灰度图像进行行叠加得到列向量sumH。
步骤S103、基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量；
需要说明的是，当相同物距对应多张灰度图像时，需要计算任意相邻时序的两张灰度图像之间的偏移量，最终的偏移量为第一张灰度图和最后一张灰度图之间的所有偏移量之和。
其中，两张灰度图像之间的偏移量包括：水平偏移量和垂直偏移量。
具体的，(一)计算相同物距对应的相邻时序的两张灰度图像之间的水平偏移量的过程如下：
(1)将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
(2)基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
(3)将水平方向相似度最大的平移量确定为水平偏移量。
水平偏移量的计算公式如下：
Figure BDA0002468657190000091
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，具体数值根据图像大小人为设定，Corr(sumWi,sumWj)为相同物距对应的相邻时序的两张灰度图像的水平方向相似度。
(二)计算相同物距对应的相邻时序的两张灰度图像之间的垂直偏移量的过程如下：
(1)将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
(2)基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
(3)将垂直方向相似度最大的平移量确定为垂直偏移量。
垂直偏移量的计算公式如下：
Figure BDA0002468657190000092
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，具体数值根据图像大小人为设定，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度。
需要说明的是，本实施例使用SAD(Sum of Absolute Difference，绝对误差之和)作为相似度的评价标准，SAD越小表明相似度越高，因此，两个向量的相似度为对应元素之差的平方和。
假设灰度图像的大小为M×N，对于任意相同物距对应的相邻时序的两张灰度图像，为便于叙述，分别记为：第一灰度图像和第二灰度图像，第一灰度图像和第二灰度图像对应的物距相同，第一灰度图像进行列叠加得到的行向量为：sumWi，第二灰度图像进行列叠加得到的行向量为：sumWj，第一灰度图像进行行叠加得到的列向量为：sumHi，第二灰度图像进行行叠加得到的列向量为：sumHj。
则第一灰度图像和第二灰度图像在水平方向相似度的计算公式如公式(3)所示，公式(3)如下：
Figure BDA0002468657190000101
式中，wim表示sumWi中的任一元素，wjm表示sumWj中的对应元素。
第一灰度图像和第二灰度图像在垂直方向相似度的计算公式如公式(4)所示，公式(4)如下：
Figure BDA0002468657190000102
式中，hin表示sumHi中的任一元素，hjn表示sumHj中的对应元素。
举例说明，假设TOF深度相机分别对近物距、中物距和远物距依次曝光，得到三张灰度图像，按曝光时间序列依次记为：gray0、gray1和gray2；TOF深度相机再次分别对近物距、中物距和远物距依次曝光，得到三张灰度图像，按曝光时间序列依次记为：gray3、gray4和gray5。
其中，gray0和gray3对应近物距，gray1和gray4对应中物距，gray2和gray5对应远物距。
那么本实施例中为：分别计算gray0和gray3之间的偏移量Delta1，计算gray1和gray4之间的偏移量Delta2，以及计算gray2和gray5之间的偏移量Delta3，具体参见图2所示的相同物距灰度图像之间的偏移量的示意图。
步骤S104、根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
举例说明，在实际场景中，从gray0到gray5，物体或相机一般做匀加速运动。
假设，gray0和gray1之间的偏移量为a，a也即加速度模型的初速度，加速度为b，各灰度图像之间的时间间隔相同，则构建的匀加速模型如下：
shift0_1＝a；
shift1_2＝a+b；
shift2_3＝a+2b；
shift3_4＝a+3b；
shift4_5＝a+4b。
其中，shift0_1为gray0和gray1之间的偏移量，shift1_2为gray1和gray2之间的偏移量，shift2_3为gray2和gray3之间的偏移量，shift3_4为gray3和gray4之间的偏移量，shift4_5为gray4和gray5之间的偏移量。
需要说明的是，通常情况下，将各个灰度图像中曝光时间序列居中的灰度图像确定为基准图像，当然，也可以采用其它的灰度图像作为基准图像，具体依据实际需要而定，本发明在此不做限定。
以gray3为基准图像，其他灰度图像相对于gray3的偏移量如图3所示，因此，可以得如下关系：
3a+3b＝Delta1；
3a+6b＝Delta2；
3a+9b＝Delta3；
其中，Delta1为gray0和gray3之间的偏移量，Delta2为gray1和gray4之间的偏移量，Delta3为gray2和gray5之间的偏移量。
需要说明的是，gray0和gray3之间的偏移量Delta1为：shift0_1、
shift1_2和shift2_3之和；
gray1和gray4之间的偏移量Delta2为：shift1_2、shift2_3和shift3_4之和；
gray2和gray5之间的偏移量Delta3为：shift2_3、shift3_4和shift4_5之和。
根据最小二乘法可得偏移量(相对于初速度)a的表达式以及加速度b的表达式，如下：
a＝(4Delta1+Delta2-2Delta3)/9；
b＝(-Delta1+Delta3)/6。
步骤S105、从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
基于上述论述可知，在匀加速模型确定后，匀加速模型的初速度和加速度两个参数的取值即可确定，由于各个灰度图像相对于基准图像的偏移量与匀加速模型的初速度和加速度两个参数相关，因此，基于匀加速模型，即可计算每张灰度图像相对于基准图像的偏移量。
步骤S106、将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
将各个灰度图像按照相对于基准图像的偏移量进行位移后，得到对应的目标灰度图像后，各个目标灰度图像相互之间达到配准。
步骤S107、基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
具体的，(1)、从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
举例说明，假设近物距对应两张目标灰度图像，中物距对应两张目标灰度图像，远物距对应两张目标灰度图像；
则从近物距对应两张目标灰度图像中任意选一个目标灰度图像，从中物距对应两张目标灰度图像中任意选一个目标灰度图像，从远物距对应两张目标灰度图像中任意选一个目标灰度图像，将选取的三个目标灰度图像形成一个目标灰度图像集；六张目标灰度图像最多得到八个目标灰度图像集。
(2)、针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
其中，对深度解算过程可参见现有成熟方案，此处不再赘述。
(3)、将得到的各个所述初始深度图进行融合得到目标深度图像。
举例说明，参见图4所示的深度图像解算与融合示意图，假设，目标灰度图像包括：gray0、gray1、gray2、gray3、gray4和gray5，gray0和gray3对应近物距，gray1和gray4对应中物距，gray2和gray5对应远物距。
则从近物距对应的gray0和gray3中任选一个目标灰度图像，从中物距对应的gray1和gray4中任选一个目标灰度图像，从远物距对应的gray2和gray5中任选一个目标灰度图像，则可以得到八个目标灰度图像集，分别为：depth0、depth1、depth2、depth3、depth4、depth5、depth6和depth7；将depth0、depth1、depth2、depth3、depth4、depth5、depth6和depth7进行融合，得到目标深度图像Depth。
综上可知，本发明公开了一种深度图像的生成方法，获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同，基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，基于该偏移量构建匀加速模型，从各个灰度图像中确定一个基准图像，并基于匀加速模型，计算每张灰度图像相对于基准图像的偏移量，将各个灰度图像按照相对于基准图像的偏移量进行位移，并基于位移得到的目标灰度图像确定最终的目标深度图像。本发明针对相同物距获取至少两个灰度图像，在进行图像偏移时，通过计算相同物距对应的相邻时序的两张灰度图像之间的偏移量来构建匀加速模型，通过该匀加速模型来确定各个灰度图像相对于基准图像的偏移量，以便根据该偏移量对各个灰度图像进行偏移，从而在物体处于运动场景时，减小各个灰度图像之间的偏移量，进而减小运动场景中的深度解算误差，并且，不受TOF深度相机本身的硬件条件的限制。
与上述方法实施例相对应，本发明还公开了一种深度图像的生成装置。
参见图5，本发明一实施例公开的一种深度图像的生成装置的结构示意图，该装置应用于TOF深度相机，该装置包括：
获取单元201，用于获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
投影单元202，用于对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
其中，对获取的每张灰度图像分别进行一维投影具体包括：对获取的每张灰度图像分别进行水平方向投影和垂直方向投影，也即，对获取的每张灰度图像进行列叠加得到行向量sumW，对获取的每张灰度图像进行行叠加得到列向量sumH。
第一偏移量计算单元203，用于基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，其中，所述偏移量包括：水平偏移量和垂直偏移量；
需要说明的是，当相同物距对应多张灰度图像时，需要计算任意相邻时序的两张灰度图像之间的偏移量，最终的偏移量为第一张灰度图和最后一张灰度图之间的所有偏移量之和。
其中，两张灰度图像之间的偏移量包括：水平偏移量和垂直偏移量。
因此，第一偏移量计算单元203具体可以用于：
(1)将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
(2)基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
(3)将水平方向相似度最大的平移量确定为水平偏移量。
水平偏移量的计算公式如下：
Figure BDA0002468657190000141
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，具体数值根据图像大小人为设定，Corr(sumWi,sumWj)为相同物距对应的相邻时序的两张灰度图像的水平方向相似度。
第一偏移量计算单元203具体还可以用于：
(1)将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
(2)基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
(3)将垂直方向相似度最大的平移量确定为垂直偏移量。
垂直偏移量的计算公式如下：
Figure BDA0002468657190000151
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，具体数值根据图像大小人为设定，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度。
模型构建单元204，用于根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
第二偏移量计算单元205，用于从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
基于上述论述可知，在匀加速模型确定后，匀加速模型的初速度和加速度两个参数的取值即可确定，由于各个灰度图像相对于基准图像的偏移量与匀加速模型的初速度和加速度两个参数相关，因此，基于匀加速模型，即可计算每张灰度图像相对于基准图像的偏移量。
位移单元206，用于将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
将各个灰度图像按照相对于基准图像的偏移量进行位移后，得到对应的目标灰度图像后，各个目标灰度图像相互之间达到配准。
图像确定单元207，用于基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
其中，图像确定单元207具体可以用于：
从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
将得到的各个所述初始深度图进行融合得到目标深度图像。
综上可知，本发明公开了一种深度图像的生成装置，获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同，基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，基于该偏移量构建匀加速模型，从各个灰度图像中确定一个基准图像，并基于匀加速模型，计算每张灰度图像相对于基准图像的偏移量，将各个灰度图像按照相对于基准图像的偏移量进行位移，并基于位移得到的目标灰度图像确定最终的目标深度图像。本发明针对相同物距获取至少两个灰度图像，在进行图像偏移时，通过计算相同物距对应的相邻时序的两张灰度图像之间的偏移量来构建匀加速模型，通过该匀加速模型来确定各个灰度图像相对于基准图像的偏移量，以便根据该偏移量对各个灰度图像进行偏移，从而在物体处于运动场景时，减小各个灰度图像之间的偏移量，进而减小运动场景中的深度解算误差，并且，不受TOF深度相机本身的硬件条件的限制。
需要特别说明是，系统实施例中，各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种深度图像的生成方法，其特征在于，包括：
获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，其中，所述偏移量包括：水平偏移量和垂直偏移量；
根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
2.根据权利要求1所述的生成方法，其特征在于，计算相同物距对应的相邻时序的两张灰度图像之间的水平偏移量的过程包括：
将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
将水平方向相似度最大的平移量确定为水平偏移量。
3.根据权利要求2所述的生成方法，其特征在于，所述水平偏移量的计算公式如下：
Figure FDA0002468657180000011
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，Corr(sumWi,sumWj)为相同物距对应的两张灰度图像的水平方向相似度，表达式如下：
Figure FDA0002468657180000021
式中，wim表示sumWi中的任一元素，wjm表示sumWj中的对应元素，sumWi为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行列叠加得到的行向量，sumWj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行列叠加得到的行向量。
4.根据权利要求1所述的生成方法，其特征在于，计算相同物距对应的相邻时序的两张灰度图像之间的垂直偏移量的过程包括：
将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
将垂直方向相似度最大的平移量确定为垂直偏移量。
5.根据权利要求4所述的生成方法，其特征在于，所述垂直偏移量的计算过程如下：
Figure FDA0002468657180000022
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度，表达式如下：
Figure FDA0002468657180000023
式中，hin表示sumHi中的任一元素，hjn表示sumHj中的对应元素，sumHi为为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行行叠加得到的列向量，sumHj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行行叠加得到的列向量。
6.根据权利要求1所述的生成方法，其特征在于，所述基于各个灰度图像对应的各个目标灰度图像得到目标深度图像，具体包括：
从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
将得到的各个所述初始深度图进行融合得到目标深度图像。
7.一种深度图像的生成装置，其特征在于，包括：
获取单元，用于获取至少两组灰度图像，每组灰度图像至少包括两张灰度图像，相同组中不同灰度图像对应的物距不同，不同组中的灰度图像一一对应，且相对应的灰度图像对应的物距相同；
投影单元，用于对获取的每张灰度图像分别进行一维投影，得到该灰度图像的行向量和列向量；
第一偏移量计算单元，用于基于每张灰度图像的行向量和列向量，计算相同物距对应的相邻时序的两张灰度图像之间的偏移量，其中，所述偏移量包括：水平偏移量和垂直偏移量；
模型构建单元，用于根据相同物距对应的两张灰度图像之间的偏移量，计算匀加速模型的初速度和加速度，并根据所述初速度和所述加速度构建匀加速模型；
第二偏移量计算单元，用于从获取的各个灰度图像中确定一个基准图像，并基于所述匀加速模型，计算每张灰度图像相对于所述基准图像的偏移量；
位移单元，用于将各个灰度图像按照相对于所述基准图像的偏移量进行位移，得到各个灰度图像相对于所述基准图像配准后的目标灰度图像；
图像确定单元，用于基于各个灰度图像对应的各个目标灰度图像得到目标深度图像。
8.根据权利要求7所述的生成装置，其特征在于，所述第一偏移量计算单元具体用于：
将相同物距对应的相邻时序的两张灰度图像的行向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到行向量平移后的两张灰度图像，记为第一目标灰度图像；
基于两张所述第一目标灰度图像的行向量，得到两张所述第一目标灰度图像的水平方向相似度；
将水平方向相似度最大的平移量确定为水平偏移量。
9.根据权利要求8所述的生成装置，其特征在于，所述水平偏移量的计算公式如下：
Figure FDA0002468657180000041
式中，shift1为相同物距对应的相邻时序的两张灰度图像的行向量的相对平移量，maxshift1为相对平移量的最大取值，Corr(sumWi,sumWj)为相同物距对应的两张灰度图像的水平方向相似度，表达式如下：
Figure FDA0002468657180000042
式中，wim表示sumWi中的任一元素，wjm表示sumWj中的对应元素，sumWi为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行列叠加得到的行向量，sumWj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行列叠加得到的行向量。
10.根据权利要求7所述的生成装置，其特征在于，所述第一偏移量计算单元具体用于：
将相同物距对应的相邻时序的两张灰度图像的列向量，在预设相对平移量的平移范围内按照预设平移幅度进行相对平移，得到列向量平移后的两张灰度图像，记为第二目标灰度图像；
基于两张所述第二目标灰度图像的列向量，得到两张所述第二目标灰度图像的垂直方向相似度；
将垂直方向相似度最大的平移量确定为垂直偏移量。
11.根据权利要求10所述的生成装置，其特征在于，所述垂直偏移量的计算过程如下：
Figure FDA0002468657180000051
式中，shift2为相同物距对应的相邻时序的两张灰度图像的列向量的相对平移量，maxshift2为相对平移量的最大取值，Corr(sumHi,sumHj)为相同物距对应的相邻时序的两张灰度图像的垂直方向相似度，表达式如下：
Figure FDA0002468657180000052
式中，hin表示sumHi中的任一元素，hjn表示sumHj中的对应元素，sumHi为为相同物距对应的相邻时序的两张灰度图像中的第一灰度图像进行行叠加得到的列向量，sumHj为相同物距对应的相邻时序的两张灰度图像中的第二灰度图像进行行叠加得到的列向量。
12.根据权利要求7所述的生成装置，其特征在于，所述图像确定单元具体用于：
从每个物距对应的各个目标灰度图像中，均任意选取一个目标灰度图像，形成多个目标灰度图像集，每个所述目标灰度图像集中包含每个物距对应的一个目标灰度图像；
针对每个所述目标灰度图像集进行深度解算，得到一个对应的初始深度图像；
将得到的各个所述初始深度图进行融合得到目标深度图像。
CN202010341605.2A 2020-04-27 2020-04-27 一种深度图像的生成方法及装置 Pending CN111540003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010341605.2A CN111540003A (zh) 2020-04-27 2020-04-27 一种深度图像的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010341605.2A CN111540003A (zh) 2020-04-27 2020-04-27 一种深度图像的生成方法及装置

Publications (1)

Publication Number Publication Date
CN111540003A true CN111540003A (zh) 2020-08-14

Family

ID=71967592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010341605.2A Pending CN111540003A (zh) 2020-04-27 2020-04-27 一种深度图像的生成方法及装置

Country Status (1)

Country Link
CN (1) CN111540003A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203078A (zh) * 2020-12-08 2021-01-08 首望体验科技文化有限公司 将传统二维方片视频转换为720全景立体视频的方法、装置
CN112577475A (zh) * 2021-01-14 2021-03-30 天津希格玛微电子技术有限公司 一种能够有效降低功耗的视频测距方法
TWI767484B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其深度圖計算方法
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316121A (ja) * 2006-05-23 2007-12-06 Canon Inc カラー画像形成装置、画像形成方法及びプログラム
US20110122131A1 (en) * 2008-07-24 2011-05-26 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
WO2011138472A1 (es) * 2010-05-07 2011-11-10 Telefonica, S.A. Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
US20110292370A1 (en) * 2009-05-29 2011-12-01 Canesta, Inc. Method and system to maximize space-time resolution in a Time-of-Flight (TOF) system
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN105447853A (zh) * 2015-11-13 2016-03-30 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105869108A (zh) * 2016-03-23 2016-08-17 北京环境特性研究所 一种用于动平台移动目标侦测中的图像配准方法
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN107292929A (zh) * 2017-05-08 2017-10-24 深圳市唯内德软件开发有限公司 低功耗特征点图像定位方法及装置
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110850426A (zh) * 2019-11-20 2020-02-28 杭州光珀智能科技有限公司 一种tof深度相机

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007316121A (ja) * 2006-05-23 2007-12-06 Canon Inc カラー画像形成装置、画像形成方法及びプログラム
US20110122131A1 (en) * 2008-07-24 2011-05-26 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
US20110292370A1 (en) * 2009-05-29 2011-12-01 Canesta, Inc. Method and system to maximize space-time resolution in a Time-of-Flight (TOF) system
WO2011138472A1 (es) * 2010-05-07 2011-11-10 Telefonica, S.A. Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN105447853A (zh) * 2015-11-13 2016-03-30 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
WO2017080108A1 (zh) * 2015-11-13 2017-05-18 深圳市道通智能航空技术有限公司 飞行装置、飞行控制系统及方法
CN105869108A (zh) * 2016-03-23 2016-08-17 北京环境特性研究所 一种用于动平台移动目标侦测中的图像配准方法
CN107292929A (zh) * 2017-05-08 2017-10-24 深圳市唯内德软件开发有限公司 低功耗特征点图像定位方法及装置
CN110058602A (zh) * 2019-03-27 2019-07-26 天津大学 基于深度视觉的多旋翼无人机自主定位方法
CN110850426A (zh) * 2019-11-20 2020-02-28 杭州光珀智能科技有限公司 一种tof深度相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘慧;刘加林;沈跃;朱嘉慧;李尚龙;: "基于融合深度信息的自动喷雾车全局非线性轨迹优化方法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767484B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其深度圖計算方法
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
CN112203078A (zh) * 2020-12-08 2021-01-08 首望体验科技文化有限公司 将传统二维方片视频转换为720全景立体视频的方法、装置
CN112203078B (zh) * 2020-12-08 2021-04-06 首望体验科技文化有限公司 将传统二维方片视频转换为720全景立体视频的方法、装置
CN112577475A (zh) * 2021-01-14 2021-03-30 天津希格玛微电子技术有限公司 一种能够有效降低功耗的视频测距方法

Similar Documents

Publication Publication Date Title
CN111540003A (zh) 一种深度图像的生成方法及装置
KR102345886B1 (ko) 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
US6950550B1 (en) Tracing technique and recording media of object motion
CN103649674B (zh) 测量设备以及信息处理设备
JP3059035B2 (ja) 距離測定装置
CN100365654C (zh) 图像处理装置
JP5743859B2 (ja) 画像処理装置、方法、及び画像表示装置
JP6800597B2 (ja) 制御装置、制御方法およびプログラム
JP2016029564A (ja) 対象検出方法及び対象検出装置
CN111563952B (zh) 基于相位信息与空间纹理特征实现立体匹配方法及系统
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
US20160292883A1 (en) Method of estimating the speed of displacement of a camera
JP2017117386A (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN112816967A (zh) 图像距离测量方法、装置、测距设备和可读存储介质
JP2018179577A (ja) 位置計測装置
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
CN107810384B (zh) 条纹投影方法、条纹投影装置和计算机程序产品
JP6456084B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012160063A (ja) 球体の検出方法
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
JP2004309318A (ja) 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法
RU2685761C1 (ru) Фотограмметрический способ измерения расстояний вращением цифрового фотоаппарата
KR20220078447A (ko) 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200814

WD01 Invention patent application deemed withdrawn after publication