CN108269238B - 深度图像采集装置和深度图像采集系统及其图像处理方法 - Google Patents
深度图像采集装置和深度图像采集系统及其图像处理方法 Download PDFInfo
- Publication number
- CN108269238B CN108269238B CN201710004217.3A CN201710004217A CN108269238B CN 108269238 B CN108269238 B CN 108269238B CN 201710004217 A CN201710004217 A CN 201710004217A CN 108269238 B CN108269238 B CN 108269238B
- Authority
- CN
- China
- Prior art keywords
- depth
- image
- infrared
- depth image
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000003331 infrared imaging Methods 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
一深度图像采集装置和深度图像采集系统及其图像处理方法,其中所述深度图像采集系统包括:至少两红外成像单元;至少一彩色成像单元;一散斑投射单元和一图像处理单元,在工作的过程中,所述散斑投射单元投射红外光,所述两红外成像单元接收目标物体反射的红外光,得到两红外图像,所述彩色成像单元采集RGB图像,各所述红外图像和所述RGB图像被传送至所述图像处理单元,所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像,以提高传统深度图像的分辨率和清晰度。
Description
技术领域
本发明涉及图形采集、处理领域,更进一步,涉及一深度图像采集装置和深度图像采集系统及其图像处理方法,其将RGB图像与深度图像融合。
背景技术
随着光学测量以及计算机视觉的发展,光学三维测量技术逐渐成熟,已逐渐应用在手势控制、3D建模、汽车雷达以及机器人视觉系统等领域,也成为当前光学领域中的热点。
红外散斑双目深度技术是诸多光学三维测量技术中表现较为突出的一种技术。其基本原理是红外投射器发射出固定编码的红外光由被测物体反射后被红外相机捕获,从而计算得出被测物体与红外散斑双目深度相机的距离。与其光学三维测量技术相比,红外散斑双目深度技术具有计算量小、实时性强、精度适中等优点。
但是基于传统双目深度图像采集的基本原理,现有的红外散斑双目深度相机采集的图像都是灰度图像,并不是彩色图像。也就是说,这种方式得到的图像并不能像通常的平面图像一样通过彩色图像再现被测物体。这种方式虽然获得深度信息,具有空间立体感,但是损失了色彩信息,得到的图像的分辨率较低,图像的清晰度较差。这种效果使得用户体验较差,因此也限制了红外散斑双目深度相机的应用范围。
发明内容
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中所述深度图像采集装置采集RGB图像和深度图像,将RGB图像和深度图像融合。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中所述深度图像采集装置包括至少一彩色成像单元,以便于采集RGB图像。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中所述深度图像采集装置包括两红外成像单元和一散斑投射单元,以便于相互配合采集得到深度图像。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中在图像处理的过程中,先将两红外成像单元采集的红外图像处理得到深度图像,而后将深度图像和RGB图像进行融合处理,从而得到高精度彩色深度图像。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中所述深度图像融合了RGB图像信息,提高了双目深度图像的分辨率,提高了图像的清晰度。
本发明的一个目的在于提供一深度图像采集装置和深度图像处理处理系统及其处理方法,其中所述两红外成像单元和所述散斑投射单元以及采集成像单元同步工作,从而提高采样精度。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中在图像处理的过程中,先对各红外成像单元采集的图像各自进行去噪处理,而后再合成深度图像,从而提高合成的深度图像的精度。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中在图像处理的过程中,对RGB图像进行去噪处理,以提高图像精度。
本发明的一个目的在于提供一深度图像采集装置和深度图像采集系统及其处理方法,其中通过融合后的深度图弥补了传统双目深度图在光滑平面的测试缺陷。
为了实现以上至少一发明目的,本发明的一方面提供一深度图像采集系统,其包括:至少两红外成像单元;至少一彩色成像单元;一散斑投射单元;和一图像处理单元,在工作的过程中,所述散斑投射单元投射红外光,所述两红外成像单元接收目标物体反射的红外光,得到两红外图像,所述彩色成像单元采集RGB图像,各所述红外图像和所述RGB图像被传送至所述图像处理单元,所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元将两所述红外单元处理合成一深度图像,再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。
根据一些实施例,所述的深度图像采集系统,其中所述两红外成像单元向所述图像处理单元输出Bayer格式视频图像。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元将所述两红外图像进行去噪处理后合成所述深度图像。
根据一些实施例,所述的深度图像采集系统,其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元对所述RGB图像去噪处理后,将所述RGB图像和所述两红外图像融合。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元被设置有至少一输出接口,以便于通信连接于一电子设备,输出所述彩色深度图像。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元向所述两红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号,同步所述红外成像单元、所述彩色成像单元和所述散斑投射单元。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元在融合图像的过程中,先将所述深度图像坐标依据公式:[u,v,1]=M*[R|T]*[X,Y,Z],映射到所述RGB图像形成深度种子,其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元在融合图像的过程中,通过获取公式di=kd*dd+kc*dc中最小的n个值,寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
根据一些实施例,所述的深度图像采集系统,其中所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
根据一些实施例,所述的深度图像采集系统,其中所述图像处理单元在融合图像的过程中,根据选取的种子计算每个像素的深度:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
本发明的另一方面提供一深度图像采集装置,其包括:两红外摄像模块;一彩色摄像模块;一散斑投射器;一处理器;和一壳体,其中所述两红外摄像模块、所述彩色摄像模块和所述散斑投射模块被安装于所述壳体,以便于通过所述壳体提供固定位置,所述处理器被设置于所述壳体内,所述散斑投射器配合所述两红外摄像模块采集两红外图像,所述彩色摄像模块采集RGB图像,所述处理器将所述两红外图像和所述RGB图像融合得到一彩色深度图像。
根据一些实施例,所述的深度图像采集装置,其中所述两红外摄像模块对称分布于所述散斑投射器两侧。
根据一些实施例,所述的深度图像采集装置,其中一所述红外摄像模块和所述彩色摄像模块被集成设置。
根据一些实施例,所述的深度图像采集装置,其中所述深度图像采集装置包括一输出接口,被设置于所述壳体,所述输出接口通信连接于所处处理器,以便于通过所述输出接口通信连接于一电子设备。
根据一些实施例,所述的深度图像采集装置,其中所述处理器将两所述红外单元处理合成一深度图像,再将所述深度图像和所述RGB图像融合得到所述彩色深度图像。
根据一些实施例,所述的深度图像采集装置,其中所述两所述红外摄像模块向所述处理器输出Bayer格式视频图像。
根据一些实施例,所述的深度图像采集装置,其中所述处理器将所述两红外图像进行去噪处理后合成所述深度图像。
根据一些实施例,所述的深度图像采集装置,其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。
根据一些实施例,所述的深度图像采集装置,其中所述处理器对所述RGB图像去噪处理后,将所述RGB图像和所述两红外图像融合。
根据一些实施例,所述的深度图像采集装置,其中所述处理器被设置有至少一输出接口,以便于通信连接于一电子设备,输出所述彩色深度图像。
根据一些实施例,所述的深度图像采集装置,其中所述处理器向所述两红外摄像模块、所述彩色摄像模块、所述散斑投射器传送同步信号,同步所述红外摄像模块、所述彩色摄像模块和所述散斑投射器。
根据一些实施例,所述的深度图像采集装置,其中所述处理器在融合图像的过程中,先将所述深度图像坐标依据公式:[u,v,1]=M*[R|T]*[X,Y,Z],映射到所述RGB图像形成深度种子,其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
根据一些实施例,所述的深度图像采集装置,其中所述处理器在融合图像的过程中,通过获取公式di=kd*dd+kc*dc中最小的n个值,寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
根据一些实施例,所述的深度图像采集装置,其中所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
根据一些实施例,所述的深度图像采集装置,其中所述处理器在融合图像的过程中,根据选取的种子计算每个像素的深度:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
本发明的另一方面提供一深度图像处理方法,其包括步骤:
(A)采集至少一RGB图像;
(B)采集至少一深度图像;和
(C)融合所述RGB图像和所述深度图像形成一彩色深度图像。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(A)包括步骤:对所述RGB图像进行去噪处理,从而得到高质量的所述RGB图像。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(B)包括步骤:获取至少两红外图像,将所述两红外图像合成所述深度图像。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(B)包括步骤:对所述两红外图像进行去噪处理。
根据一些实施例,所述的深度图像处理方法,其中所述步骤红外图像为Bayer格式视频图像。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(C)中包括步骤:
(C1)将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子;
(C2)寻找RGB图像中每个像素与之距离最近的n个种子;和
(C3)根据选取的种子计算每个像素的深度。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(C1)中的映射公式为:[u,v,1]=M*[R|T]*[X,Y,Z],其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(C2)中所述距离包括空间距离与色彩距离。
根据一些实施例,所述的深度图像处理方法,其中所述步骤(C2)为寻找di=kd*dd+kc*dc最小的n个值,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
根据一些实施例,所述的深度图像处理方法,其中所述深度的计算公式为:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
附图说明
图1是根据本发明的一个优选实施例深度图像采集系统的工作原理框图。
图2是根据本发明的上述优选实施例的深度图像采集系统具体实施方式的工作原理图。
图3是根据本发明的上述优选实施例的深度图像采集系统深度图像和RGB图像融合方法框图。
图4A,4B是根据本发明的一个优选实施例的深度图像采集装置。
图5是根据本发明的上述优选实施例的深度图像处理方法框图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。
参照图1至图3,根据本发明的第一个优选实施例的深度图像采集系统100,所述深度图像采集系统100分别采集深度图像和彩色图像,将深度图像和彩色图像进行融合,得到彩色深度图像(RGB-D图像),可以被应用于不同的设备以及不同领域,比如深度相机、手势控制、3D建模、汽车雷达以及机器人视觉等领域。
所述深度图像采集系统100包括至少两红外成像单元101、至少一彩色成像单元102、一散斑投射单元103和一图像处理单元104。所述两红外成像单元101、所述彩色成像单元102以及所述散斑投射单元103通信连接于所述图像处理单元104。
所述两红外成像单元101用于和所散斑投射单元103相配合采集深度图像。所述彩色成像单元102采集用于采集RGB图像。所述图像处理单元104用于处理图像信息。具体地,在工作的过程中,所述散斑投射单元103投射红外散斑至一目标物体上,所述两红外成像单元101获取具有红外散斑特征的实时红外图像。所述彩色成像单元102获取目标物体的彩色图像。所述红外图像和所述彩色图像被传送至所述图像处理单元104,所述图像处理单元104将所述红外图像处理得到深度图像,进而将所述深度图像和所述彩色图像相融合得到RGB-D图像。
更具体地,所述散斑投射单元103向目标物体投射红外散斑光线,并且提供补充照明。所述彩色成像单元102的RGB图像传感器感光作用后,进行光电转换,向所述图像处理单元104输出RGB图像。所述两红外成像单元101的IR图像传感器响应被所述物体反射的所述散斑投射单元103投射的红外散斑光线,进行感光作用,向所述图像处理单元104输出Bayer格式的图像信息。所述图像处理单元104先将所述两所述红外成像单元101的红外图像进行处理,合成高精度的深度图像,再将深度图像和所述彩色成像单元102输出的所述RGB图像进行融合处理得到RGB-D图像。
举例地,所述两红外成像单元101可以为两红外摄像模组,所述彩色成像单元102可以为一自然光摄像模组,所述散斑投射单元103可以为一红外衍射散斑投射器,所述图像处理单元104可以一嵌入式处理器。
值得一提的是,对于传统的双目深度相机,通常只能采集深度图像,深度图像再现只是灰度图像,并不具有色彩信息,但是只有灰度信息的深度图像的分辨率较低、图像的清晰度较差,且对于一些光滑平面的图像采集效果更差。而根据本发明将采集的彩色图像融合于深度图像,得到带有色彩信息的深度图像,即RGB-D图像,从而提高了深度图像的分辨率,提高图像的清晰度,且弥补了传统的深度图像采集在光滑平面的缺陷,为使用者提供更加良好的用户体验。
进一步,所述图像处理单元104设置有一输出接口105,比如USB和MIPI接口,从而可以通过所述输出接口105将所述RGB-D图像输出。如,通过所述USB接口将所述图像采集系统连接于一电子设备,比如台式电脑、笔记本电脑、平板电脑、个人数字处理器、手机设备、可穿戴设备、汽车控制台、体感游戏设备等,从而通过所述电子设备实现图像的再现,且配合所述电子设备工作。
所述图像处理单元104向所述两红外成像单元101和所述彩色成像单元102传送控制信号,以控制所述两红外成像单元101和所述彩色成像单元102工作,比如控制所述两红外成像单元101和所述彩色成像单元102采集各自采集图像信息,并且将采集的红外图像信息和所述彩色图像信息传送至所述图像处理单元104。所述图像处理单元104向所述两红外成像单元101、所述彩色成像单元102以及所述散斑投射单元103传送同步信号,以同步所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103,提高图像采集精度。也就是说,在所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103工作之前,先对所述两红外成像单元101、所述彩色成像单元102和所述散斑投射单元103进行信号同步。
如图3所示,所述图像处理单元104将所述深度图像和所述彩色图像融合方法示意图。在图像融合的过程中,先将所述两红外成像单元101采集的红外图像进行去噪处理,即,对深度图像1和深度图像2进行去噪处理,去除深度与临近像素均存在较大差异的像素,去除差异后再红外图像进行合成,形成高精度的深度图像。
进一步,所述图像处理单元104对所述RGB图像进行去噪处理,提高图像质量。
进一步,所述图像处理单元104将合成的双目深度数据[X,Y,Z],根据公式[u,v,1]=M*[R|T]*[X,Y,Z],映射到RGB图中形成深度种子。其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
进一步,RGB图像中的每个像素寻找与之空间距离与彩色距离最小的n个种子,即di=kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
根据选取的种子计算所述像素的深度:D=D1*q1+…+Dn*qn。其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
由此,通过所述图像处理单元104的处理作用,得到彩色深度图像,即RGB-D图像。
参照图4A和4B,根据本发明的上述实施例,本发明提供一深度图像采集装置10,其包括两红外摄像模块11、一彩色摄像模块12、一散斑投射器13和一处理器14。所述两红外摄像模块11用于获取红外图像,所述彩色摄像模块12用于获取RGB图像,所述散斑投射器13用于投射红外散斑光线,所述处理器14用于处理图像信息。
本发明的这个实施例中,所述深度图像采集装置10包括一壳体16,所述两红外摄像模块11和所述彩色采集摄像模块12以及所述散斑投射器13分别被安装于所述壳体16,以便于通过所述壳体16提供固定位置,使得所述两红外摄像模块11、所述彩色摄像模块12所述散斑投射器13被稳定固定。所述处理器14被设置于所述壳体16内。
所述两红外摄像模块11分别被设置于所述散斑投射器13的两侧。特别地,所述两红外摄像模块11对称地设置于所述散斑投射器13的两侧。当然,在本发明的其他实施例中,所述两红外成像模块和所述散斑投射器13还可以是其他布局。
在本发明的这个实施例中,所述彩色摄像模块12和其中一所述红外摄像模块11集成设置。也就是说,所述采集成像模块和所述红外摄像模块11集成一个模块,位于同一位置。
进一步,所述处理器14为一集成线路板,被设置于所述壳体16的内部,以保护所述处理器14。
所述深度图像采集装置10被设有至少一输出接口15,比如USB和MIPI接口,从而可以通过所述输出接口15将所述RGB-D图像输出。如,通过所述USB接口将所述图像采集系统连接于一电子设备,比如台式电脑、笔记本电脑、平板电脑、个人数字处理器14、手机设备、可穿戴设备、汽车控制台等,从而通过所述电子设备实现图像的再现,且配合所述电子设备工作。所述输出接口15通信连接于所述图像处理器14。
在所述深度图像采集装置10工作的过程中,所述散斑投射器13投射红外散斑至一目标物体上,所述两红外摄像模块11获取具有红外散斑特征的实时红外图像。所述彩色摄像模块12获取目标物体的彩色图像。所述红外图像和所述彩色图像被传送至所述处理器14,所述处理器14将所述红外图像处理得到深度图像,进而将所述深度图像和所述彩色图像相融合得到RGB-D图像。
具体地,所述散斑投射器13向目标物体投射红外散斑光线,并且提供补充照明。所述彩色摄像模块12的RGB图像传感器感光作用后,进行光电转换,向所述图像处理单元14输出RGB图像。所述两红外摄像模块11的IR图像传感器响应被所述物体反射的所述散斑投射器13投射的红外散斑光线,进行感光作用,向所述处理器14输出Bayer格式的图像信息。所述处理器14先将所述两红外摄像模块11的红外图像进行处理,合成高精度的深度图像,再将深度图像和所述彩色摄像模块12输出的所述RGB图像进行融合处理。
值得一提的是,在传统的双目深度图像相机中,通常只能采集深度图像,而深度图像再现只是灰度图像,并不具有色彩信息,而只有灰度信息的深度图像的分辨率较低、图像的清晰度较差,且对于一些光滑平面的图像采集效果更差。而根据本发明的深度图像采集装置,将采集的彩色图像融合于深度图像,得到带有色彩信息的深度图像,即RGB-D图像,从而提高了深度图像的分辨率,提高图像的清晰度,且弥补了传统的深度图像采集在光滑平面的缺陷,为使用者提供更加良好的用户体验。
所述处理器14向所述两红外摄像模块11和所述彩色摄像模块12传送控制信号,以控制所述两红外摄像模块11和所述彩色摄像模块12工作,比如控制所述两红外摄像模块11和所述彩色摄像模块12采集各自采集图像信息,并且将采集的红外图像信息和所述彩色图像信息传送至所述处理器14。所述处理器14向所述两红外摄像模块11、所述彩色摄像模块12以及所述散斑投射器13传送同步信号,以同步所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13,提高图像采集精度。也就是说,在所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13工作之前,先对所述两红外摄像模块11、所述彩色摄像模块12和所述散斑投射器13进行信号同步。
参照图3,所述处理器14在图像融合的过程中,先将所述两红外摄像模块11采集的红外图像进行去噪处理,即,对深度图像1和深度图像2进行去噪处理,去除深度与临近像素均存在较大差异的像素,去除差异后再红外图像进行合成,形成高精度的深度图像。
进一步,所述处理器14对所述RGB图像进行去噪处理,提高图像质量。
进一步,所述处理器14将合成的双目深度数据[X,Y,Z],根据公式[u,v,1]=M*[R|T]*[X,Y,Z],映射到RGB图中形成深度种子。其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
进一步,RGB图像中的每个像素寻找与之空间距离与彩色距离最小的n个种子,即di=kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
根据选取的种子计算所述像素的深度:D=D1*q1+…+Dn*qn。其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
由此,通过所述处理器14的处理作用,得到彩色深度图像,即RGB-D图像。
参照图5,根据本发明的上述实施例,本发明提供一深度图像处理方法1000,所述方法1000包括步骤:
1001:采集至少一RGB图像;
1002:采集至少一深度图像;和
1003:融合所述RGB图像与所述深度图像形成一彩色深度图像。
其中所述步骤1001中包括步骤:对所述RGB图像进行去噪处理,从而得到高质量的所述RGB图像。
其中所述步骤1002中包括步骤:获取至少两红外图像,将所述两红外图像合成所述深度图像。
进一步,所述步骤1002中包括步骤:对所述两红外图像分别进行去噪处理。所述去噪处理为:去除深度与临近像素存在较大差异的像素。
其中所述步骤1002中,所述红外图像为Bayer格式视频图像。
其中在所述步骤1003中包括步骤:
10031:将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子;
10032:寻找RGB图像中每个像素与之距离最近的n个种子;和
10033:根据选取的种子计算每个像素的深度。
其中所述步骤10031中的映射公式为:[u,v,1]=M*[R|T]*[X,Y,Z]。
其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
其中所述步骤10032中的所述距离包括空间距离与色彩距离。
所述步骤10032即为寻找di=kd*dd+kc*dc最小的n个值。其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。同时需使得所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子
其中所述步骤10033中,计算公式为:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn))。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
Claims (27)
1.一深度图像采集系统,其特征在于,包括:
至少两红外成像单元;
至少一彩色成像单元;
一散斑投射单元;和
一图像处理单元,在工作的过程中,所述散斑投射单元投射红外光,所述两红外成像单元接收目标物体反射的红外光,得到两红外图像,所述彩色成像单元采集RGB图像,各所述红外图像和所述RGB图像被传送至所述图像处理单元,所述图像处理单元将各所述红外图像和所述RGB图像融合得到彩色深度图像;
其中所述图像处理单元将两所述红外单元处理合成一深度图像,再将所述深度图像和所述RGB图像融合得到所述彩色深度图像;
其中所述图像处理单元在融合图像的过程中,先将所述深度图像坐标按预定方式映射到所述RGB图像形成深度种子;再寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子;根据选取的种子计算每个像素的深度:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn));
其中所述图像处理单元在融合图像的过程中,通过获取公式di=kd*dd+kc*dc中最小的n个值,寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
2.根据权利要求1所述的深度图像采集系统,其中所述两红外成像单元向所述图像处理单元输出Bayer格式视频图像。
3.根据权利要求1所述的深度图像采集系统,其中所述图像处理单元将所述两红外图像进行去噪处理后合成所述深度图像。
4.根据权利要求3所述的深度图像采集系统,其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。
5.根据权利要求1所述的深度图像采集系统,其中所述图像处理单元对所述RGB图像去噪处理后,将所述RGB图像和所述两红外图像融合。
6.根据权利要求1所述的深度图像采集系统,其中所述图像处理单元被设置有至少一输出接口,以便于通信连接于一电子设备,输出所述彩色深度图像。
7.根据权利要求1所述的深度图像采集系统,其中所述图像处理单元向所述两红外成像单元、所述彩色成像单元、所述散斑投射单元传送同步信号,同步所述红外成像单元、所述彩色成像单元和所述散斑投射单元。
8.根据权利要求1至7任一所述的深度图像采集系统,其中所述图像处理单元在融合图像的过程中,先将所述深度图像坐标依据公式:[u,v,1]=M*[R|T]*[X,Y,Z],映射到所述RGB图像形成深度种子,其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
9.根据权利要求8所述的深度图像采集系统,其中所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
10.一深度图像采集装置,其特征在于,包括:
两红外摄像模块;
一彩色摄像模块;
一散斑投射器;
一处理器;和
一壳体,其中所述两红外摄像模块、所述彩色摄像模块和所述散斑投射模块被安装于所述壳体,以便于通过所述壳体提供固定位置,所述处理器被设置于所述壳体内,所述散斑投射器配合所述两红外摄像模块采集两红外图像,所述彩色摄像模块采集RGB图像,所述处理器将所述两红外图像和所述RGB图像融合得到一彩色深度图像;
其中所述处理器将两所述红外单元处理合成一深度图像,再将所述深度图像和所述RGB图像融合得到所述彩色深度图像;
其中所述处理器在融合图像的过程中,先将所述深度图像坐标按预定方式映射到所述RGB图像形成深度种子;再寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子;根据选取的种子计算每个像素的深度:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn));
其中所述处理器在融合图像的过程中,通过获取公式di=kd*dd+kc*dc中最小的n个值,寻找RGB图像中每个像素与之空间距离和彩色距离最小的n个种子,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
11.根据权利要求10所述的深度图像采集装置,其中所述两红外摄像模块对称分布于所述散斑投射器两侧。
12.根据权利要求10所述的深度图像采集装置,其中一所述红外摄像模块和所述彩色摄像模块被集成设置。
13.根据权利要求10所述的深度图像采集装置,其中所述深度图像采集装置包括一输出接口,被设置于所述壳体,所述输出接口通信连接于所处处理器,以便于通过所述输出接口通信连接于一电子设备。
14.根据权利要求10所述的深度图像采集装置,其中所述两所述红外摄像模块向所述处理器输出Bayer格式视频图像。
15.根据权利要求10所述的深度图像采集装置,其中所述处理器将所述两红外图像进行去噪处理后合成所述深度图像。
16.根据权利要求15所述的深度图像采集装置,其中所述去噪处理为去除深度与临近像素均存在较大差异的像素。
17.根据权利要求10所述的深度图像采集装置,其中所述处理器对所述RGB图像去噪处理后,将所述RGB图像和所述两红外图像融合。
18.根据权利要求10所述的深度图像采集装置,其中所述处理器被设置有至少一输出接口,以便于通信连接于一电子设备,输出所述彩色深度图像。
19.根据权利要求10所述的深度图像采集装置,其中所述处理器向所述两红外摄像模块、所述彩色摄像模块、所述散斑投射器传送同步信号,同步所述红外摄像模块、所述彩色摄像模块和所述散斑投射器。
20.根据权利要求10至19任一所述的深度图像采集装置,其中所述处理器在融合图像的过程中,先将所述深度图像坐标依据公式:[u,v,1]=M*[R|T]*[X,Y,Z],映射到所述RGB图像形成深度种子,其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
21.根据权利要求20所述的深度图像采集装置,其中所述像素与选取的种子的最短路径中不包含飞点,否则舍弃当前种子寻找下一种子。
22.一深度图像处理方法,其特征在于,包括步骤:
(A)采集至少一RGB图像;
(B)采集至少一深度图像;和
(C)融合所述RGB图像和所述深度图像形成一彩色深度图像;
其中所述步骤(C)中包括步骤:
(C1)将所述深度图像坐标按预定方式映射至所述RGB图像坐标形成深度种子;
(C2)寻找RGB图像中每个像素与之距离最近的n个种子;和
(C3)根据选取的种子计算每个像素的深度;
其中所述深度的计算公式为:D=D1*q1+…+Dn*qn,其中D为所述像素深度,D1…Dn为最近n个种子的深度,qi为(1/di)/((1/d1)+…+(1/dn));
其中所述步骤(C2)中所述距离包括空间距离与色彩距离;
其中所述步骤(C2)为寻找di=kd*dd+kc*dc最小的n个值,其中dd与dc分别为空间距离及彩色距离,参数kd、kc与n为可调参数。
23.根据权利要求22所述的深度图像处理方法,其中所述步骤(A)包括步骤:对所述RGB图像进行去噪处理,从而得到高质量的所述RGB图像。
24.根据权利要求22所述的深度图像处理方法,其中所述步骤(B)包括步骤:获取至少两红外图像,将所述两红外图像合成所述深度图像。
25.根据权利要求22所述的深度图像处理方法,其中所述步骤(B)包括步骤:对所述两红外图像进行去噪处理。
26.根据权利要求22所述的深度图像处理方法,其中所述步骤红外图像为Bayer格式视频图像。
27.根据权利要求22至26中任一所述的深度图像处理方法,其中所述步骤(C1)中的映射公式为:[u,v,1]=M*[R|T]*[X,Y,Z],其中u,v为RGB图像中的坐标,[X,Y,Z]为红外散斑双目深度图合成的数据,R、T分别为将深度图坐标系转换到RGB相机坐标系的旋转矩阵和平移矩阵,M为RGB相机内参。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710004217.3A CN108269238B (zh) | 2017-01-04 | 2017-01-04 | 深度图像采集装置和深度图像采集系统及其图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710004217.3A CN108269238B (zh) | 2017-01-04 | 2017-01-04 | 深度图像采集装置和深度图像采集系统及其图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108269238A CN108269238A (zh) | 2018-07-10 |
CN108269238B true CN108269238B (zh) | 2021-07-13 |
Family
ID=62771657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710004217.3A Active CN108269238B (zh) | 2017-01-04 | 2017-01-04 | 深度图像采集装置和深度图像采集系统及其图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108269238B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102590900B1 (ko) * | 2018-08-27 | 2023-10-19 | 엘지이노텍 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
CN109035193A (zh) * | 2018-08-29 | 2018-12-18 | 成都臻识科技发展有限公司 | 一种基于双目立体相机的成像处理方法及成像处理系统 |
CN109120861A (zh) * | 2018-09-29 | 2019-01-01 | 成都臻识科技发展有限公司 | 一种极低照度下的高质量成像方法及系统 |
TW202025083A (zh) * | 2018-12-19 | 2020-07-01 | 財團法人工業技術研究院 | 動態調整深度解析度的裝置及其方法 |
WO2021120217A1 (zh) * | 2019-12-20 | 2021-06-24 | 深圳市汇顶科技股份有限公司 | 图像采集装置、图像采集方法及采集芯片 |
WO2022016331A1 (en) * | 2020-07-20 | 2022-01-27 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method of compensating tof depth map and electronic device |
CN112967328A (zh) * | 2021-03-20 | 2021-06-15 | 杭州知存智能科技有限公司 | 图像深度信息局部动态生成方法和装置 |
EP4156085A4 (en) * | 2021-08-06 | 2023-04-26 | Shenzhen Goodix Technology Co., Ltd. | DEPTH IMAGE COLLECTION DEVICE, DEPTH IMAGE FUSION METHOD AND TERMINAL DEVICE |
CN113705408B (zh) * | 2021-08-21 | 2022-08-05 | 深圳市迪威泰实业有限公司 | 一种人脸活体检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102445688A (zh) * | 2010-08-20 | 2012-05-09 | 电装国际美国公司 | 组合的飞行时间和图像传感器系统 |
CN106095098A (zh) * | 2016-06-07 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感交互装置以及体感交互方法 |
CN106203390A (zh) * | 2016-07-22 | 2016-12-07 | 杭州视氪科技有限公司 | 一种智能盲人辅助系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102387374B (zh) * | 2010-08-30 | 2015-07-29 | 三星电子株式会社 | 用于获得高精度深度图的设备和方法 |
CN102135417B (zh) * | 2010-12-26 | 2013-05-22 | 北京航空航天大学 | 一种全自动三维特征提取方法 |
CN102710951B (zh) * | 2012-05-09 | 2014-06-25 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
CN104463880B (zh) * | 2014-12-12 | 2017-06-30 | 中国科学院自动化研究所 | 一种rgb‑d图像获取方法 |
-
2017
- 2017-01-04 CN CN201710004217.3A patent/CN108269238B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102445688A (zh) * | 2010-08-20 | 2012-05-09 | 电装国际美国公司 | 组合的飞行时间和图像传感器系统 |
CN106095098A (zh) * | 2016-06-07 | 2016-11-09 | 深圳奥比中光科技有限公司 | 体感交互装置以及体感交互方法 |
CN106203390A (zh) * | 2016-07-22 | 2016-12-07 | 杭州视氪科技有限公司 | 一种智能盲人辅助系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108269238A (zh) | 2018-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108269238B (zh) | 深度图像采集装置和深度图像采集系统及其图像处理方法 | |
CN109615652B (zh) | 一种深度信息获取方法及装置 | |
US10122998B2 (en) | Real time sensor and method for synchronizing real time sensor data streams | |
US10116915B2 (en) | Cleaning of depth data by elimination of artifacts caused by shadows and parallax | |
CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
US10158939B2 (en) | Sound Source association | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
KR20160090373A (ko) | 듀얼 렌즈 장치를 위한 촬영 방법 및 듀얼 렌즈 장치 | |
WO2018028152A1 (zh) | 一种图像采集设备、虚拟现实设备 | |
CN111445529B (zh) | 一种基于多激光测距的标定设备及方法 | |
CN111060008B (zh) | 一种3d智能视觉设备 | |
JP2958458B1 (ja) | 多眼画像センサ | |
JP7170224B2 (ja) | 三次元生成方法および三次元生成装置 | |
CN108280807A (zh) | 单目深度图像采集装置和系统及其图像处理方法 | |
JP6967464B2 (ja) | 画像処理装置 | |
Li et al. | Durlar: A high-fidelity 128-channel lidar dataset with panoramic ambient and reflectivity imagery for multi-modal autonomous driving applications | |
CN113066132A (zh) | 一种基于多设备采集的3d建模标定方法 | |
JP2000112019A (ja) | 電子3眼カメラ装置 | |
CN113945921A (zh) | 一种多模态数据采集系统及同步采集方法 | |
CN110705487B (zh) | 掌纹采集设备、方法及其图像采集装置 | |
CN106934110B (zh) | 一种由聚焦堆栈重建光场的反投影方法和装置 | |
WO2014171438A1 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
CN105447007B (zh) | 一种电子设备及数据处理方法 | |
CN111340959A (zh) | 一种基于直方图匹配的三维模型无缝纹理贴图方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |