CN114119696A - 深度图像的获取方法及装置、系统、计算机可读存储介质 - Google Patents

深度图像的获取方法及装置、系统、计算机可读存储介质 Download PDF

Info

Publication number
CN114119696A
CN114119696A CN202111445318.7A CN202111445318A CN114119696A CN 114119696 A CN114119696 A CN 114119696A CN 202111445318 A CN202111445318 A CN 202111445318A CN 114119696 A CN114119696 A CN 114119696A
Authority
CN
China
Prior art keywords
infrared
image
depth
pixel
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111445318.7A
Other languages
English (en)
Inventor
吴佳杰
孙牵宇
张宣彪
许亮
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202111445318.7A priority Critical patent/CN114119696A/zh
Publication of CN114119696A publication Critical patent/CN114119696A/zh
Priority to PCT/CN2022/125991 priority patent/WO2023098323A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本申请公开了一种深度图像的获取方法及装置、系统、计算机可读存储介质，其中，深度图像的获取方法包括：获取利用单目彩色‑红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；基于所述红外像素信息对应的深度信息生成深度图像。上述方案，能够在低成本条件下获取深度图像。

Description

深度图像的获取方法及装置、系统、计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种深度图像的获取方法及装置、系统、计算机可读存储介质。
背景技术
随着光学测量技术以及计算机视觉的发展，已经发展了用于获得深度图像的各种技术和产品。目前行业主流的深度相机有三种：一是TOF(Time Of Flight，飞行时间)系统，TOF系统从摄像机与被识别对象之间的距离或深度获得3D图像，使用向被识别对象照射光的光发射时间与从被识别对象反射光的光接收时间之间的时间差分测量距离或深度；二是RGB双目，双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感；三是结构光系统，结构光系统从被识别对象的深度获得3D图像，深度通过向被识别对象发射图案化的红外结构光并分析从被识别对象接收的红外线的图案来测量。
但是，上述几种方式都存在一定的不足。例如，RGB双目采用两组摄像头，需要两套完整硬件结构，所以系统的成本高、系统的功耗也高，同时，系统体积较大；虽然TOF和结构光可以采用单目方式，但TOF当前供应商方案较少，系统功耗高且缺失RGB信息，而结构光需要激光发射设备配合，系统成本高。
发明内容
本申请提至少供一种深度图像的获取方法及装置、系统、计算机可读存储介质。
为了解决上述问题，本申请第一方面提供了一种深度图像的获取方法，所述方法包括：获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；基于所述红外像素信息对应的深度信息生成深度图像。
可选地，所述红外像素信息包括红外像素点的像素值信息；所述基于至少N帧连续的所述原始图像中的所述红外像素信息，确定红外像素信息对应的深度信息，包括：利用至少N帧连续的所述原始图像中的各红外像素点的像素值信息，计算所述红外像素点的相位偏移；基于各个所述红外像素点的相位偏移确定各个所述红外像素点的深度信息，作为所述红外像素信息对应的深度信息。
可选地，所述原始图像包括呈矩阵排列的多个像素单元，每个像素单元包括一个所述红外像素点；所述基于所述红外像素信息对应的深度信息生成深度图像，包括：基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息；基于各所述像素单元的深度信息生成深度图像。
可选地，每个所述像素单元还包括至少一个彩色像素点；所述基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息，包括：基于所述红外像素点对应的深度信息确定所述红外像素点所在像素单元中的彩色像素点对应的深度信息。
可选地，所述基于所述红外像素信息对应的深度信息生成深度图像，包括：基于N帧连续的所述原始图像中的红外像素信息对应的深度信息生成一帧深度图像。
可选地，N＝4。
可选地，所述获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，包括：向单目彩色-红外图像采集模组发送图像帧采集信号，图像帧采集信号包括控制采集的相邻帧图像之间的相移角为2π/N的控制信号，N为大于2的正整数；接收单目彩色-红外图像采集模组在上述图像帧采集信号控制下采集得到的多帧原始图像。
为了解决上述问题，本申请第二方面提供了一种深度图像的获取装置，包括：获取模块，用于获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；确定模块，用于基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；生成模块，用于基于所述红外像素对应的深度信息生成深度图像。
为了解决上述问题，本申请第三方面提供了一种图像处理装置，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面或第二方面中的深度图像的获取方法。
为了解决上述问题，本申请第四方面提供了一种图像处理系统，包括：单目彩色-红外图像采集模组，用于采集得到多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；图像处理装置，可以包括上述第四方面中的装置，用于获取利用所述单目彩色-红外图像采集模组采集得到的多帧所述原始图像；基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；以及基于所述红外像素对应的深度信息生成深度图像。
可选地，上述图像处理装置包括系统级芯片SoC和解串器，上述单目彩色-红外图像采集模组还包括串化器；上述单目彩色-红外图像采集模组通过串化器将采集的原始图像以串行数据的方式传输至解串器，解串器对串行数据进行解串以获得原始图像并传输至系统级芯片。
为了解决上述问题，本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面或第二方面中的深度图像的获取方法。
上述方案，通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，采用单目摄像头使得硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
附图说明
图1是本申请深度图像的获取方法一实施例的流程示意图；
图2是图1中步骤S12一实施例的流程示意图；
图3是图1中步骤S13一实施例的流程示意图；
图4是本申请深度图像的获取方法一应用场景中彩色图像和深度图像的对应关系示意图；
图5是本申请深度图像的获取方法另一实施例的流程示意图；
图6是本申请深度图像的获取装置一实施例的框架示意图；
图7是本申请图像处理装置一实施例的框架示意图；
图8是本申请图像处理系统一实施例的框架示意图；
图9是图8中单目彩色-红外图像采集模组的传感器像素点结构排布示意图；
图10是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请深度图像的获取方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像。其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数。
在一个实施场景中，对相关目标的识别与监测，可以通过二维图像识别进行，例如通过彩色图像采集模组如RGB图像采集模组采集相关目标的二维图像信息，可以是本申请中的彩色像素信息，以进行相关目标的识别判断。然而，相关目标可能具有复杂的几何形状，而在利用RGB图像采集模组采集二维图像信息时，相关目标的深度信息会丢失，识别精度不高。而红外图像感受和反映的是目标及背景向外辐射能量的差异，其可以克服部分视觉上的障碍而探测到目标，具有较大的作用距离和抗干扰性，另外，红外图像的像素之间具有良好的空间相关性；因此，为了克服二维图像对目标的识别精度不高的情况，可以通过同时获取红外像素信息，来得到相关目标的深度信息。
在一个实施场景中，单目彩色-红外图像采集模组可以为RGB-IR模组，由于RGB-IR模组可以同时采集彩色图像信息和红外图像信息，采集的图像具有彩色像素点(红色像素点R、绿色像素点G和蓝色像素点B)以及红外像素点IR，因此通过RGB-IR模组采集得到的每帧原始图像中，包括有彩色像素点记录的彩色像素信息，和红外像素点记录的红外像素信息。其中，红外图像信息是由RGB-IR模组中的红外光源发射出的红外光经过反射后产生的，其中红外光源发射的红外光可以是正弦调制信号，上述相邻帧的原始图像之间的相移角可以是采集相邻帧的原始图像之间的红外光的相位偏移。，由于相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，故在一个相移角周期内，每帧原始图像中的同一个位置反射回的红外光强可能不同，由此RGB-IR模组中的传感单元感应到的红外反射光强度可能不同，进而在RGB-IR模组采集到的原始图像中的红外像素信息可能不同。
相邻帧的原始图像之间的相移角，以90°为例，在红外正弦光栅光源向场景中发射激光后，光接收器可以接收反射光线并通过每隔90°的相位进行一次采样的方式，获得多帧原始图像。
步骤S12：基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息。
上述多帧原始图像的帧数为至少N帧，至少N帧原始图像的相移角不相同，由至少N帧具有相移角差的原始图像组成一组图像，通过这一组图像中的红外像素信息可以得到多帧红外图像，然后可以通过单目深度估计的方法来获得红外图像所对应的深度信息。可以理解的是，将采集得到的视频信号经过信号调制而得到正弦波调制信号，本申请的原始图像即为调制信号中的每帧图像，而调制信号中的每帧图像在正弦波对应一个相位，即为原始图像的相移角。
步骤S13：基于所述红外像素信息对应的深度信息生成深度图像。
基于红外像素信息对应的深度信息，可以生成一帧深度图像，实现了通过单目方式采集多帧原始图像来获取一帧深度图像，使系统的成本更低，系统可以拥有更小巧的体积。
在一实施例中，上述步骤S13具体包括：基于N帧连续的所述原始图像中的红外像素信息对应的深度信息生成一帧深度图像。因此，通过将相邻帧的原始图像之间的相移角设置为2π/N，由N帧连续的原始图像组成一组图像，故组成一组图像的所有原始图像位于同一个帧周期内，于是可以基于同一个帧周期内的一组原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成一帧深度图像。
上述方案，通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，采用单目彩色红外图像采集模组使得硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
请参阅图2，图2是图1中步骤S12一实施例的流程示意图。本实施例中，所述红外像素信息包括红外像素点的像素值信息，上述步骤S12具体可以包括如下步骤：
步骤S121：利用至少N帧连续的所述原始图像中的各红外像素点的像素值信息，计算所述红外像素点的相位偏移。
步骤S122：基于各个所述红外像素点的相位偏移确定各个所述红外像素点的深度信息，作为所述红外像素信息对应的深度信息。
可以理解的是，对于每个红外像素点来说，由于每帧原始图像之间存在相移角差，其在一个周期内采集的多帧连续的原始图像中对应的红外像素信息可能不同，因此，利用每个红外像素点在至少N帧连续的所述原始图像中的红外像素信息，可以获得对应红外像素点的深度信息。
具体地，上述步骤S121具体可以包括：基于红外像素点在不同帧原始图像中的红外像素信息之间的差异，得到对应红外像素点的相位偏移。可以理解的是，以RGB-IR模组为例，由于像素点在调制的正弦波发出至接收反射波之间的过程中存在相移角，而相移角的存在导致红外像素点在每帧原始图像中的红外像素信息可能不同，于是，基于红外像素点在不同帧原始图像中的红外像素信息之间的差异，得到对应红外像素点的相位偏移。此时，上述步骤S122具体可以包括：利用每个红外像素点的相位偏移和原始图像的调制频率，获得对应红外像素点的深度信息，作为各帧原始图像中的红外像素信息对应的深度信息。可以理解的是，红外像素点的深度信息与红外像素点的相位偏移以及原始图像的调制频率相关，原始图像的调制频率是已知的，因此可以利用计算出的每个红外像素点的相位偏移和已知的原始图像的调制频率，使得红外像素点的深度信息的获取较为方便。
上述方案，利用某个红外像素点在每帧原始图像中的像素值信息，可以得到该红外像素点的相位偏移，再通过该红外像素点的相位偏移得到对应的深度信息，使得红外像素点的深度信息与其相位偏移相关联，便于深度信息的获取。
请参阅图3，图3是图1中步骤S13一实施例的流程示意图。本实施例中，所述原始图像包括呈矩阵排列的多个像素单元，每个像素单元包括一个所述红外像素点；上述步骤S13具体可以包括如下步骤：
步骤S131：基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息。
步骤S132：基于各所述像素单元的深度信息生成深度图像。
由于原始图像包括呈矩阵排列的多个像素单元，每个像素单元包括一个红外像素点，于是在获取到一组具有预设相移角的原始图像后，可以利用各红外像素点在每帧原始图像中的像素值信息，得到各红外像素点的深度信息，而基于各红外像素点的深度信息可以生成各红外像素点所在像素单元的深度信息，对于所有的红外像素点来说，都可以获取对应的深度信息，对于一组原始图像来说，由于每个红外像素点的深度信息可能不一致，使得各像素单元的深度信息不一致，从而根据所有像素单元的深度信息可以得到一帧完整的深度图像，使深度图像具有较好的准确性。
进一步地，在一实施例中，每个所述像素单元还包括至少一个彩色像素点，彩色像素点可以包括红色像素点R、绿色像素点G或蓝色像素点B；上述步骤S131具体可以包括：基于所述红外像素点对应的深度信息确定所述红外像素点所在像素单元中的彩色像素点对应的深度信息。
由于各所述像素单元还包括至少一个彩色像素点，于是基于某个红外像素点对应的深度信息可以确定该红外像素点所在像素单元中的彩色像素点对应的深度信息，因此，利用单目彩色-红外图像采集模组采集得到的多帧原始图像，不仅可以生成一帧深度图像，且根据多帧原始图像的彩色像素点还可以对应生成多帧彩色图像，即同时生成相对应的一帧深度图像和多帧彩色图像，因此利用单目彩色-红外图像采集模组能够同时实现对彩色图像和深度图像的获取，而且相对应的一帧深度图像和多帧彩色图像具有同步性。
作为一种可实施方式，单目彩色-红外图像采集模组可以通过接收彩色信号来采集彩色信息，并通过发射红外脉冲信号、接收红外反射信号来采集深度信息。例如，该单目彩色-红外图像采集模组可以包括红外发射组件，以向前方环境中发射红外脉冲信号，红外脉冲信号到达环境中的物体后，一部分被吸收后以辐射的形式发散出来，另一部分被反射回来；该单目彩色-红外图像采集模组还可以包括红外反射接收组件，通过接收红外反射信号，基于相移角差的计算将其处理为深度图像。由此，可以得到彩色像素信息和红外像素信息，并由红外像素信息得到深度图像。
可以理解的是，利用单目彩色-红外图像采集模组采集得到的至少N帧连续的原始图像，不仅可以生成一帧深度图像，且根据至少N帧连续的原始图像的彩色像素信息还可以对应生成至少N帧彩色图像，即同时生成相对应的一帧深度图像和至少N帧彩色图像，因此相对应的一帧深度图像和至少N帧彩色图像具有同步性。可以理解的是，若对具有同步性的深度图像和彩色图像进行融合时，可以免去深度图像和彩色图像融合时的配准过程，且得到的融合效果更佳。
请结合图4，图4是本申请深度图像的获取方法一应用场景中彩色图像和深度图像的对应关系示意图。在一应用场景中，至少一帧原始图像的帧数为四帧，每相邻两帧原始图像之间的相移角差为90度，如图所示，由于每帧原始图像包括彩色像素信息，因此，每帧原始图像对应可以生成一帧彩色图像，即RGB帧，又由于每帧原始图像包括红外像素信息，并根据四帧原始图像中的红外像素信息生成一帧深度图像，即深度帧，于是，所生成的一帧深度图像和四帧彩色图像具有同步性。此时彩色图像的帧率为深度图像的帧率的4倍，当原始图像帧的帧率为120fps时，彩色图像的帧率也为120fps，对应的，深度图像的帧率为30fps。
在一个实施场景中，N＝4。此时，组成一组图像的原始图像的帧数为四帧，每相邻两帧原始图像之间的相移角为π/2。具体地，将四帧原始图像划分为两组原始图像组；其中，每组原始图像组包括两帧不相邻的原始图像；对于每个红外像素点，获取红外像素点在每组原始图像组中的红外像素信息的差异值，并对红外像素点在两组原始图像组的差异值之间的比值进行反正切处理，得到红外像素点的相位偏移。可以理解的是，当原始图像的帧数为四帧时，预设相移角为90度，即相邻两帧原始图像之间的相移角为90度；例如，第一帧原始图像的相移角为0度，第二帧原始图像的相移角为90度，第三帧原始图像的相移角为180度，第四帧原始图像的相移角为270度，将第一帧原始图像和第三帧原始图像划分为第一组原始图像组，将第二帧原始图像和第四帧原始图像划分为第二组原始图像组，对于某个红外像素点而言，其在第一帧原始图像中的红外像素信息为A0°，在第二帧原始图像中的红外像素信息为A90°，在第三帧原始图像中的红外像素信息为A180°，在第四帧原始图像中的红外像素信息为A270°，于是，可以获取该红外像素点在第一组原始图像组中的红外像素信息的差异值为A0°-A180°，在第二组原始图像组中的红外像素信息的差异值为A270°-A90°，然后对红外像素点在两组原始图像组的差异值之间的比值进行反正切处理，得到红外像素点的相位偏移。具体地，红外像素点的相位偏移与其在各帧原始图像中的红外像素信息之间的关系如公式(1)所示：
Figure BDA0003384730870000101
其中，
Figure BDA0003384730870000102
为红外像素点的相位偏移，红外像素点在各帧原始图像中的红外像素信息为各帧原始图像的曝光时间内的光强积分值。
在一个实施场景中，所述红外像素点的深度信息与所述红外像素点的相位偏移成正比例关系，且与所述调制频率成反比例关系。具体地，红外像素点的深度信息与红外像素点的相位偏移以及调制频率之间的关系如公式(2)所示：
Figure BDA0003384730870000103
其中，D为红外像素点的深度信息，c为光速值(3*108m/s)，fmod为调制频率，fmod可以通过用户进行预先设置，为已知量。
于是，对于每个红外像素点，可以通过上述公式(1)和(2)计算得到红外像素点的相位偏移和深度信息，避免了复杂的深度计算公式，实现了快速准确获取相移角和深度信息。可以理解的是，在其他应用场景中，组成一组图像的原始图像的帧数也可以为其他数量帧，即N也可以为其他正整数，例如3、5、8等；例如，一组原始图像的帧数为八帧，相邻两帧原始图像之间的相移角为π/4，此时基于上述类似的原理也可以获取一组原始图像对应的一帧深度图像。
请参阅图5，图5是本申请深度图像的获取方法另一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S51：向单目彩色-红外图像采集模组发送图像帧采集信号，所述图像帧采集信号包括控制采集的相邻帧的图像之间的相移角为2π/N的控制信号，N为大于2的正整数。
步骤S52：接收所述单目彩色-红外图像采集模组在所述图像帧采集信号控制下采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息。
步骤S53：基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息。
步骤S54：基于所述红外像素对应的深度信息生成深度图像。
本实施例中，步骤S52-S54与本申请上述实施例的步骤S11-S13基本类似，此处不再赘述。
本申请实施例的深度图像的获取方法的执行主体可以为图像处理装置，例如，深度图像的获取方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该深度图像的获取方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体地，图像处理装置与单目彩色-红外图像采集模组连接，当图像处理装置向单目彩色-红外图像采集模组发送图像帧采集信号后，由于图像帧采集信号包括控制采集的相邻帧图像之间的相移角为2π/N的控制信号，N为大于2的正整数，因此单目彩色-红外图像采集模组可以根据该图像帧采集信号，采集得到多帧原始图像并发送给图像处理装置，其中，每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数；图像处理装置在接收到单目彩色-红外图像采集模组在图像帧采集信号控制下采集得到的多帧原始图像后，可以基于至少N帧连续的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，并基于红外像素对应的深度信息生成深度图像。因此，通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
请参阅图6，图6是本申请深度图像的获取装置一实施例的框架示意图。深度图像的获取装置60包括：获取模块600、确定模块602和生成模块604；获取模块600用于获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；确定模块602用于基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；生成模块604用于基于所述红外像素信息对应的深度信息生成深度图像。
上述方案，获取模块600通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而确定模块602可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，于是生成模块604进而可以生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
在一些实施例中，所述红外像素信息包括红外像素点的像素值信息；确定模块602执行基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息的步骤包括：利用至少N帧连续的所述原始图像中的各红外像素点的像素值信息，计算所述红外像素点的相位偏移；基于各个所述红外像素点的相位偏移确定各个所述红外像素点的深度信息，作为所述红外像素信息对应的深度信息。
在一些实施例中，所述原始图像包括呈矩阵排列的多个像素单元，每个像素单元包括一个所述红外像素点；生成模块604执行基于所述红外像素信息对应的深度信息生成深度图像的步骤包括：基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息；基于各所述像素单元的深度信息生成深度图像。
在一些实施例中，每个所述像素单元还包括至少一个彩色像素点；生成模块604执行基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息的步骤具体包括：基于所述红外像素点对应的深度信息确定所述红外像素点所在像素单元中的彩色像素点对应的深度信息。
在一些实施例中，生成模块604执行基于所述红外像素信息对应的深度信息生成深度图像的步骤包括：基于N帧连续的所述原始图像中的红外像素信息对应的深度信息生成一帧深度图像。
在一些实施例中，N＝4。
在一些实施例中，获取模块600执行获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像的步骤包括：向单目彩色-红外图像采集模组发送图像帧采集信号，所述图像帧采集信号包括控制采集的相邻帧图像之间的相移角为2π/N的控制信号，N为大于2的正整数；接收所述单目彩色-红外图像采集模组在所述图像帧采集信号控制下采集得到的多帧原始图像。
请参阅图7，图7是本申请图像处理装置一实施例的框架示意图。图像处理装置70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一深度图像的获取方法实施例的步骤。在一个具体的实施场景中，图像处理装置70可以包括但不限于：微型计算机、服务器，此外，图像处理装置70还可以包括笔记本电脑、智能手机、车载电脑等具有显示功能的电子设备的一部分，在此不做限定。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一深度图像的获取方法实施例中的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
上述方案，通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
请参阅图8，图8是本申请图像处理系统一实施例的框架示意图。图像处理系统80包括相互连接的单目彩色-红外图像采集模组81和图像处理装置82；单目彩色-红外图像采集模组81用于采集得到多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；图像处理装置82，为上述的图像处理装置70，图像处理装置82用于获取利用所述单目彩色-红外图像采集模组采集得到的多帧所述原始图像；基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；以及基于所述红外像素对应的深度信息生成深度图像。
在一个实施场景中，单目彩色-红外图像采集模组81为RGB-IR模组，单目彩色-红外图像采集模组81包括RGB-IR传感器810，通过RGB-IR传感器810可以采集得到多帧原始图像，每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数；图像处理装置82包括系统级芯片SoC(SystemOnChip)820，系统级芯片820可以对至少N帧连续的原始图像进行处理，基于至少N帧连续的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，并基于红外像素信息对应的深度信息生成深度图像。请结合图9，图9是图8中单目彩色-红外图像采集模组的传感器像素点结构排布的一种示意图。如图所示，RGB-IR传感器810中，每四个矩阵排列的像素点中包含一个红外像素点IR和三个彩色像素点，每八个像素点作为一组像素基本单元，包含有完整的彩色像素信息和红外像素信息(包含红色像素点R、绿色像素点G、蓝色像素点B和红外像素点IR)。在实际的深度图像的获取方法中，以200万像素点的RGB-IR传感器为例，其包括50万个红外像素点IR，在实际计算过程中，当系统级芯片820获取至少N帧连续的原始图像之后，提取其中的50万个红外像素点IR的深度信息，由于每个红外像素点IR的相位偏移φ可能不同，使得其深度信息也不一致，从而可以得到包含50万个红外像素点一一对应的深度信息的完整深度图像。
在一个实施场景中，单目彩色-红外图像采集模组81还包括串化器812，RGB-IR传感器810通过I2C接口及MIPI接口与串化器812连接；图像处理装置82还包括解串器822，解串器822通过MIPI接口及I2C接口与系统级芯片820连接；串化器812通过HSD接口与解串器822连接。单目彩色-红外图像采集模组81通过串化器812将采集的原始图像以串行数据的方式传输至解串器822，解串器822对串行数据进行解串以获得原始图像并传输至系统级芯片820。
在一应用场景中，单目彩色-红外图像采集模组81通过HSD接插件与图像处理装置82进行连接，HSD接插件用于数据传输及设备供电。在上电之后，图像处理装置82的系统级芯片820通过解串器822和串化器812对RGB-IR传感器810进行配置以启动图像采集功能。于是，RGB-IR传感器810可以生成视频信号，视频信号通过MIPI接口传输给串化器812，然后串化器812对数据进行打包并通过HSD接口传送给解串器822，并最终发送给系统级芯片820，此时系统级芯片820接收到的数据为包括彩色像素信息和红外像素信息的原始图像，于是，系统级芯片820可以采用上述任一深度图像的获取方法来进行图像处理，得到相对应的彩色图像和深度图像，之后，可以将彩色图像和深度图像在屏幕上显示，相对应的深度图像和彩色图像具有同步性。
请参阅图10，图10是本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质10存储有能够被处理器运行的程序指令100，程序指令100用于实现上述任一深度图像的获取方法实施例中的步骤。
上述方案，通过单目彩色-红外图像采集模组采集得到多帧原始图像，由于每帧原始图像包括红外像素信息，相邻帧的原始图像之间的相移角为2π/N，N为大于2的正整数，因此，由至少N帧具有预设相移角的连续的原始图像组成一组图像，进而可以基于一组具有预设相移角的原始图像中的红外像素信息，确定红外像素信息对应的深度信息，进而生成深度图像，故实现了通过单目方式获取包括深度信息的图像，系统的成本更低，系统的功耗也更低，同时，硬件可以拥有更小巧的体积，有利于实现设备的小型化和轻薄化。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种深度图像的获取方法，其特征在于，所述方法包括：
获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；
基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；
基于所述红外像素信息对应的深度信息生成深度图像。
2.根据权利要求1所述的方法，其特征在于，所述红外像素信息包括红外像素点的像素值信息；
所述基于至少N帧连续的所述原始图像中的所述红外像素信息，确定红外像素信息对应的深度信息，包括：
利用至少N帧连续的所述原始图像中的各红外像素点的像素值信息，计算所述红外像素点的相位偏移；
基于各个所述红外像素点的相位偏移确定各个所述红外像素点的深度信息，作为所述红外像素信息对应的深度信息。
3.根据权利要求2所述的方法，其特征在于，所述原始图像包括呈矩阵排列的多个像素单元，每个像素单元包括一个所述红外像素点；
所述基于所述红外像素信息对应的深度信息生成深度图像，包括：
基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息；
基于各所述像素单元的深度信息生成深度图像。
4.根据权利要求3所述的方法，其特征在于，每个所述像素单元还包括至少一个彩色像素点；
所述基于各红外像素点的深度信息生成所述红外像素点所在像素单元的深度信息，包括：
基于所述红外像素点对应的深度信息确定所述红外像素点所在像素单元中的彩色像素点对应的深度信息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述红外像素信息对应的深度信息生成深度图像，包括：
基于N帧连续的所述原始图像中的红外像素信息对应的深度信息生成一帧深度图像。
6.根据权利要求1-5任一项所述的方法，其特征在于，N＝4。
7.根据权利要求1所述的方法，其特征在于，所述获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，包括：
向单目彩色-红外图像采集模组发送图像帧采集信号，所述图像帧采集信号包括控制采集的相邻帧图像之间的相移角为2π/N的控制信号，N为大于2的正整数；
接收所述单目彩色-红外图像采集模组在所述图像帧采集信号控制下采集得到的多帧原始图像。
8.一种深度图像的获取装置，其特征在于，包括：
获取模块，用于获取利用单目彩色-红外图像采集模组采集得到的多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；
确定模块，用于基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；
生成模块，用于基于所述红外像素对应的深度信息生成深度图像。
9.一种图像处理装置，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的深度图像的获取方法。
10.一种图像处理系统，其特征在于，包括：
单目彩色-红外图像采集模组，用于采集得到多帧原始图像，其中，每帧所述原始图像包括红外像素信息，相邻帧的所述原始图像之间的相移角为2π/N，N为大于2的正整数；
图像处理装置，用于获取利用所述单目彩色-红外图像采集模组采集得到的多帧所述原始图像；基于至少N帧连续的所述原始图像中的所述红外像素信息，确定所述红外像素信息对应的深度信息；以及基于所述红外像素对应的深度信息生成深度图像。
11.根据权利要求10所述的系统，其特征在于，所述图像处理装置包括系统级芯片SoC和解串器，所述单目彩色-红外图像采集模组还包括串化器；
所述单目彩色-红外图像采集模组通过所述串化器将采集的所述原始图像以串行数据的方式传输至所述解串器，所述解串器对所述串行数据进行解串以获得所述原始图像并传输至所述系统级芯片。
12.一种计算机可读存储介质，其存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的深度图像的获取方法。
CN202111445318.7A 2021-11-30 2021-11-30 深度图像的获取方法及装置、系统、计算机可读存储介质 Pending CN114119696A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111445318.7A CN114119696A (zh) 2021-11-30 2021-11-30 深度图像的获取方法及装置、系统、计算机可读存储介质
PCT/CN2022/125991 WO2023098323A1 (zh) 2021-11-30 2022-10-18 深度图像的获取方法及装置、系统、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111445318.7A CN114119696A (zh) 2021-11-30 2021-11-30 深度图像的获取方法及装置、系统、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114119696A true CN114119696A (zh) 2022-03-01

Family

ID=80368946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111445318.7A Pending CN114119696A (zh) 2021-11-30 2021-11-30 深度图像的获取方法及装置、系统、计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114119696A (zh)
WO (1) WO2023098323A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098323A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 深度图像的获取方法及装置、系统、计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2014116610A (ru) * 2014-04-24 2015-10-27 ЭлЭсАй Корпорейшн Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
JP2018522235A (ja) * 2015-06-23 2018-08-09 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 撮影デバイス及び奥行き情報を取得するための方法
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
CN114119696A (zh) * 2021-11-30 2022-03-01 上海商汤临港智能科技有限公司 深度图像的获取方法及装置、系统、计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098323A1 (zh) * 2021-11-30 2023-06-08 上海商汤智能科技有限公司 深度图像的获取方法及装置、系统、计算机可读存储介质

Also Published As

Publication number Publication date
WO2023098323A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
US9514537B2 (en) System and method for adaptive depth map reconstruction
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
CN107917701A (zh) 基于主动式双目立体视觉的测量方法及rgbd相机系统
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
CN110390719A (zh) 基于飞行时间点云重建设备
WO2015199899A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
EP3135033B1 (en) Structured stereo
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN102997891A (zh) 场景深度的测量装置和方法
US11494925B2 (en) Method for depth image acquisition, electronic device, and storage medium
CN110530292A (zh) 一种基于无线同步的扫描系统及扫描方法
JP2022160678A (ja) ３次元画像機器
CN210719062U (zh) 一种基于无线同步的跟踪装置及扫描系统
CN102316355A (zh) 3d机器视觉信号的生成方法及3d机器视觉传感器
WO2023098323A1 (zh) 深度图像的获取方法及装置、系统、计算机可读存储介质
CN108254738A (zh) 避障告警方法、装置及存储介质
CN111510700A (zh) 图像采集装置
CN111654626A (zh) 一种包含深度信息的高分辨率相机
JP6868167B1 (ja) 撮像装置および撮像処理方法
CN112750157B (zh) 一种深度图像生成方法及装置
CN111982071B (zh) 一种基于tof相机的3d扫描方法及系统
CN113052884A (zh) 信息处理方法、信息处理装置、存储介质与电子设备
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
JP6868168B1 (ja) 撮像装置および撮像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064452

Country of ref document: HK