CN111107337A - 深度信息补全方法及其装置、监控系统和存储介质 - Google Patents

深度信息补全方法及其装置、监控系统和存储介质 Download PDF

Info

Publication number
CN111107337A
CN111107337A CN201811268135.0A CN201811268135A CN111107337A CN 111107337 A CN111107337 A CN 111107337A CN 201811268135 A CN201811268135 A CN 201811268135A CN 111107337 A CN111107337 A CN 111107337A
Authority
CN
China
Prior art keywords
foreground
template
depth information
background
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811268135.0A
Other languages
English (en)
Other versions
CN111107337B (zh
Inventor
朱康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201811268135.0A priority Critical patent/CN111107337B/zh
Publication of CN111107337A publication Critical patent/CN111107337A/zh
Application granted granted Critical
Publication of CN111107337B publication Critical patent/CN111107337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的深度信息补全方法及其装置、监控系统和存储介质，通过以深度传感器探测得到的深度信息为基础，依据初始的深度信息判定场景的前后景关系，生成初始前后景模板，再通过图像处理计算得到存在待处理区域并确认其上每个像素的归属，最后利用计算机视觉中的抠图算法精确地恢复待计算区域的前后景归属，从而获得更加精准对齐的RGBD数据。本发明能够在实际场景或目标中针对不同物体边缘得到的精准的深度信息限制，且适应多种场景的限制，具有一定通用性。

Description

深度信息补全方法及其装置、监控系统和存储介质
技术领域
本发明涉及数字图像处理技术领域。尤其是涉及一种深度信息补全方法及其装置、监控系统和存储介质。
背景技术
近年来随着采集及相应的光场数据处理发展越来越快，利用光场成像作为监控系统的全新输入源，逐渐得到重视。其不仅可以模拟大孔径成像，提高监控系统的监控视野，最关键的在于该系统可以解决由于遮挡导致的信息不全，即透过遮挡看到后方信息。此外基于三维信息重建和立体全景相机深度测量的定位追踪系统，也有效提升了重点布防场景中定位准确性的需求。
在光场监控系统中较为关键是的光场渲染算法中渲染后的帧数据的每个像素点以一系列相机采样像素点为输入。光场渲染由于通过不同姿态和位置的相机充分采样了空间中的物点反射光线，进而做到去遮挡的功能，从而移除了指定焦平面与相机系统之间的物点遮挡，得到遮挡后的物点成像。而为了实现这一功能，获取场景中每一个物点的深度信息是至关重要的。
目前在工程应用上，深度信息的精细求取非常困难，有一部分纯算法方案利用双目(多视角)立体视觉算法进行计算获取对应像素点的视差，进而转换得到深度信息，但是纯视觉算法依赖于场景的RGB数据，受到了实际场景的限制，并不能做到通用性。
近些年来，借助深度传感器(结构光、TOF、毫米波等)，根据对应的成像原理，能够生成较为精确的深度信息，但仍然由于场景和目标的实际情况，造成部分像点深度信息的缺失。在不同的物体边缘得到的深度信息并不理想。例如在人脸为主体目标的情形中，头发和皮肤部分由于其材质的特殊性，会造成不同程度的深度信息与RGB数据边缘不吻合。在光场监控系统中，深度信息与RGB信息在前景目标上的吻合性对于去遮挡功能有着至关重要的作用。因此，亟需一种在借助深度传感器的基础上能够补全深度信息的方法或装置，以应对不同实际场景或目标。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种深度信息补全方法及其装置、监控系统和存储介质，用于解决现有技术中在实际场景或目标中不同物体边缘得到的深度信息不理想的问题。
为实现上述目的及其他相关目的，本发明提供一种深度信息补全方法，应用于包含至少一个相机、及至少一个深度传感器的监控系统，所述方法包括：将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
于本发明的一实施例中，所述将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐的方法包括：分别获取各所述相机、以及各所述深度传感器的内外参数、旋转矩阵、及平移向量；依据各所述深度传感器的所述内外参数，将各所述深度传感器获取的所述深度信息转化为三维点云数据，并通过在图像坐标系下的生成对应的图像坐标集合予以表示；依据各所述深度传感器的所述旋转矩阵、及平移向量，将所述三维点云数据对应于图像坐标系下的图像坐标集合转化为对应于世界坐标下的世界坐标集合；将各所述深度传感器对应的所述三维点云数据集合于一世界坐标系下的总世界坐标集合；将所述总世界坐标集合分别转化至各所述相机对应的相机坐标系下的相机坐标集合；根据各所述相机的所述内外参数得到在各所述相机视角下的深度图像，以实现所述彩色信息与所述深度信息对齐。
于本发明的一实施例中，所述实际场景中区分前后景的特点，包括以下中的任意一或多种：A、基于前景目标的显著性，越靠近图像中间的像素属于前景目标的概率越高；B、场景的深度信息并不连续，前景目标和后景物体在深度值上存在分界线，在前景目标和背景物体之间存在深度信息的断层；C、背景物体较大概率处于静止状态，依据其深度信息作为参考信息。
于本发明的一实施例中，所述利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板的方法包括：根据特点A，预先根据任意一所述相机所获取图像的分辨率生成高斯模板以模拟场景中的前后景分布，所述模板公式为：
Figure RE-GDA0002005297950000031
预设场景中最近和最远点的深度信息阈值分别为Zmin和Zmax；在无活动目标的情况下，基于当前所述相机视角下获取参考图像R的相关信息；和/或，在有活动目标的情况下，基于当前所述相机视角下拍摄的视频数据获取运行过程中的当前帧图像I的相关信息；分别获取参考图像R和当前帧图像I中像素点的深度信息概率统计HI和HR，计算公式如下：
Figure RE-GDA0002005297950000032
Figure RE-GDA0002005297950000033
依据公式
Figure RE-GDA0002005297950000034
剔除所述背景物体对当前帧图像影响的深度信息概率得到：
H′I＝HI/HR；根据特点B，H′I在前景点深度位置存在波峰，得到所述当前帧图像中前景的
深度信息为：Zf＝{i|max(b′I-i),i∈[Zmin,Zmax],b′I-i∈H′I}；所述当前帧图像中后景的深度信息默认为0；依据上述各所述深度信息可以获得所述当前帧图像的对应的初始前景模板、及初始后景模板的组合Mo为：
Figure RE-GDA0002005297950000035
于本发明的一实施例中，针对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域的方法包括：根据所述Mo进行腐蚀与膨胀处理以获得具有更高置信度的处理前景模板、及处理后景模板：
Figure RE-GDA0002005297950000036
提取包含有待计算区域以得到待计算区域模板：
Figure RE-GDA0002005297950000037
于本发明的一实施例中，所述确认所述待计算区域中每个像素的归属为：确认待计算区域中每个像素属于所述初始前景模板还是属于所述初始后景模板。
于本发明的一实施例中，所述选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息的方法包括：通过找到与所述差异像素位置距离最近的前景点，并基于所述前景点的深度信息对所述差异像素位置的深度信息重新赋值；或者，以所述差异像素位置为中心确定一包含若干临近前景点的临近区域，统计各所述前景点的深度信息并计算出均值，以作为所述差异像素位置的深度信息。
为实现上述目的及其他相关目的，本发明提供一种深度信息补全装置，包括：接收模块，用于接收由相机拍摄的场景影像中获取当任意帧图像的彩色信息、及接收由深度传感器所采集的深度信息；处理模块，用于将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
为实现上述目的及其他相关目的，本发明提供一种监控系统，包括：存储器、处理器、及通信器；所述存储器用于存储计算机程序；所述处理器运行计算机程序实现上述所述的深度信息补全方法；所述通信器连接外部相机、及深度传感器，以获取彩色信息、及深度信息。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述的深度信息补全方法。
如上所述，本发明的深度信息补全方法及其装置、监控系统和存储介质，通过以深度传感器探测得到的深度信息为基础，依据初始的深度信息判定场景的前后景关系，生成初始前后景模板，再通过图像处理计算得到存在待处理区域并确认其上每个像素的归属，最后利用计算机视觉中的抠图算法精确地恢复待计算区域的前后景归属，从而获得更加精准对齐的 RGBD数据。具有以下有益效果：
能够在实际场景或目标中针对不同物体边缘得到的精准的深度信息限制，且适应多种场景的限制，具有一定通用性。
附图说明
图1显示为本发明于一实施例中的深度信息补全方法的场景示意图。
图2显示为本发明于一实施例中的深度信息补全方法的流程示意图。
图3显示为本发明于一实施例中的深度信息补全装置的模块示意图。
图4显示为本发明于一实施例中的监控系统的结构示意图。
元件标号说明
S201～S205 方法步骤
300 深度信息补全装置
301 接收模块
302 处理模块
400 监控系统
401 存储器
402 处理器
403 通信器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，展示本发明于一实施例中的深度信息补全方法的场景示意图。如图所示，包含了在依据本发明所述深度信息补全方法的实施过程中出现的多个中间结果的示意图，下面借助这些示意图来梳理说明本发明所述方法的思路，以便于理解本发明的发明构思。
基于光场成像的监控系统，其中最关键的能力在于该系统可以解决由于遮挡导致的信息不全，即透过遮挡看到后方信息，此外基于三维信息重建和立体全景相机深度测量的定位追踪系统，可以有效提升了重点布防场景中定位准确性的需求。
要实现上述效果离不开光场渲染技术，而光场渲染需要在每个相机视角下同时存在对应的RGBD数据(RGB彩色数据-深度数据)，这就需要我们把深度传感器获取的场景深度信息映射到每一个彩色相机视角下。
与本发明一实施例中，解决这一步的思路是：将获取的深度信息转为三维点云数据，并通过一系列相关参数转换不同坐标系系下的坐标集合，最终转至每个相机的相机坐标系下，以实现在每个相机中获得彩色信息与深度信息对齐的RGBD数据。
而图1中深度信息点云投影示意图上，我们可以看到在圆形边缘处有多处缺口，以此来表示实景场景中物体边缘处的深度信息不准确或缺失。所以，深度信息转换为点云投影也存在不准确或缺失。
在每个相机获取对齐的RGBD数据后，依据所述深度信息以及依据实际场景中区分前后景的特点将任意一相机对应的所述当前帧图像进行前后景分离，如初始前、后景模板的示意图，白色高零度的区域可表示为初始前景模板，黑色低亮度的区域可表示为初始后景(背景) 模板。
然后利用图像处理中常见的膨胀与腐蚀处理，分别生成图中的膨胀模板示意图和腐蚀模板示意图，这一步的目的，在于获取更高置信度的前、后景模板。其中，膨胀模板相比初始前、后景模板放大了一定倍数，而腐蚀模板相比初始前后景模板缩小了一定倍数。
将膨胀模板与腐蚀模板融合，可以提取出包含有待计算区域的模板，所述待计算区域如图1中待计算区域模板中阴影部分区域，另外初始前景模板的范围在图中通过标注可以直观的看到。其中，所述待计算区域可以理解为实景场景中物体边缘深度信息不准确或缺失处的地方进行了放大，以便后这些区域的深度信息补全。
操作完上述步骤，接下来就是将这部分待计算区域的处理。首先通过之前得到的对应当前帧图像中的彩色信息，通过将预设的背景场景作为参考，将属于前景场景的彩色信息抠图，以得到如图展示的彩色信息图，通过其与待计算区域模板对比，可以将待计算区域中每个像素的位置判断其时属于前景还是属于后景，以此生成如图1所述的精细前、后景模板。通过这一步的操作，我们将属于前景的图像精细的确认了下来，那么下一步，我们需要再将那些经过调整后的前后景区域(即像素差异位置)赋上深度值。
通过找到像素差异位置临近的且属于前景位置，参考这些前景位置的深度值作为自己的深度值，以完成深度信息的补全。
如图2所示，展示本发明于一实施例中的深度信息补全方法的流程示意图，本发明提供一种深度信息补全方法，所述方法包括：
步骤S201：将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐。
与本发明一实施例中，所述深度相机可以是Kinect、Kinect2、RealSense、及激光雷达中任意一种，或者利用结构光、TOF时间光、以及毫米波中任意一种原理实现。
与本发明一实施例中，所述相机可以是普通具有彩色传感器的相机。
其中，所述彩色信息也为RGB色彩信息。所述RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
于本发明的一实施例中，所述将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐的方法包括：
a、分别获取各所述相机、以及各所述深度传感器的内外参数、旋转矩阵、及平移向量。
b、依据各所述深度传感器的所述内外参数，将各所述深度传感器获取的所述深度信息转化为三维点云数据，并通过在图像坐标系下的生成对应的图像坐标集合予以表示。
c、依据各所述深度传感器的所述旋转矩阵、及平移向量，将所述三维点云数据对应于图像坐标系下的图像坐标集合转化为对应于世界坐标下的世界坐标集合。
d、将各所述深度传感器对应的所述三维点云数据集合于一世界坐标系下的总世界坐标集合。
e、将所述总世界坐标集合分别转化至各所述相机对应的相机坐标系下的相机坐标集合。
f、根据各所述相机的所述内外参数得到在各所述相机视角下的深度图像，以实现所述彩色信息与所述深度信息对齐。
举例来说，假设有M个深度传感器，其内参为
Figure RE-GDA0002005297950000071
旋转矩阵为
Figure RE-GDA0002005297950000072
平移向量为
Figure RE-GDA0002005297950000073
假设有N个彩色传感器对应参数分别为
Figure RE-GDA0002005297950000074
和
Figure RE-GDA0002005297950000075
其中i∈[1,M]和j∈[1,N]。设图像上的像素点p＝(u,v)T，对应的三维物点P＝(x,y,z)T。由于光场渲染需要在每个相机视角下同时存在对应的RGBD数据(彩色信息与深度信息)，所以我们需要把深度传感器获取的场景深度信息映射到每一个彩色传感器视角下。
首先，深度传感器Di获取的深度数据
Figure RE-GDA0002005297950000076
可转化为当前坐标系下的三维点云集合
Figure RE-GDA0002005297950000077
由于小孔成像模型的内参矩阵形式为：
Figure RE-GDA0002005297950000081
所以根据深度传感器的内外参，可以获得：
Figure RE-GDA0002005297950000082
进而，对应的三维点云在世界坐标系下的坐标集合Di-w满足：
Figure RE-GDA0002005297950000083
综上，监控系统中的M个深度传感器得到的场景中所有的点云数据在世界坐标系下的坐标集合Dw为:
Dw＝{Pw|Pw∈Di-w,i∈[1,M]}；
可逆的，这些点云数据在彩色传感器Cj的相机坐标系下坐标集合
Figure RE-GDA0002005297950000084
为：
Figure RE-GDA0002005297950000085
从而根据Cj的内外参，可以得到Cj视角下的深度图
Figure RE-GDA0002005297950000086
满足：
Figure RE-GDA0002005297950000087
由此，每一个相机视角下存在了对齐后的RGB数据
Figure RE-GDA0002005297950000088
和深度数据
Figure RE-GDA0002005297950000089
步骤S202：利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板。
于本发明的一实施例中，所述实际场景中区分前后景的特点，包括以下中的任意一或多种：
A、基于前景目标的显著性，越靠近图像中间的像素属于前景目标的概率越高。
B、场景的深度信息并不连续，前景目标和后景物体在深度值上存在分界线，在前景目标和背景物体之间存在深度信息的断层。
C、背景物体较大概率处于静止状态，依据其深度信息作为参考信息。
于本发明的一实施例中，根据实际场景中区分前景与后景(背景)的经验或实验，总结出三个主要特点：前景目标由于其显著性，基本位于视野中央，故约靠近图像中间的像素会以更高概率属于前景目标；另外，场景的深度信息并不连续，前景目标和背景物体在深度值上大概率有较为明显的分界线，在前景目标和背景物体之间存在深度信息的断层；最后，背景物体大概率处于静止状态，其深度信息可以预先获取，成为参考信息。
基于上述主要特点，对场景进行初步的前后景分离，以生成初始前、后景模板。
于本发明的一实施例中，所述利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板的方法包括：
a、根据特点A，预先根据任意一所述相机所获取图像的分辨率生成高斯模板以模拟场景中的前后景分布，所述模板公式为：
Figure RE-GDA0002005297950000091
b、预设场景中最近和最远点的深度信息阈值分别为Zmin和Zmax。
c、在无活动目标的情况下，基于当前所述相机视角下获取参考图像R的相关信息；和/ 或，在有活动目标的情况下，基于当前所述相机视角下拍摄的视频数据获取运行过程中的当前帧图像I的相关信息。
d、分别获取参考图像R和当前帧图像I中像素点的深度信息概率统计HI和HR，计算公式如下：
Figure RE-GDA0002005297950000092
Figure RE-GDA0002005297950000093
e、依据公式
Figure RE-GDA0002005297950000094
剔除所述背景物体对当前帧图像影响的深度信息概率得到：H′I＝HI/HR。
f、根据特点B，H′I在前景点深度位置存在波峰，得到所述当前帧图像中前景的深度信息为：Zf＝{i|max(b′I-i),i∈[Zmin,Zmax],b′I-i∈H′I}。
g、所述当前帧图像中后景的深度信息默认为0。
h、依据上述各所述深度信息可以获得所述当前帧图像的对应的初始前景模板、及初始后景模板的组合Mo为：
Figure RE-GDA0002005297950000101
通过上述过程，基于深度传感器的深度信息初步建立起了的前、后景模板，虽然深传感器获得的深度值精度较高，但是物体边缘的深度值处理不理想，还需要进一步处理以尽可能的计算出前景目标中物体边缘对齐的RGBD数据。
步骤S203：分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域。
于本发明的一实施例中，所述膨胀与腐蚀是形态学图像处理中最基本的两种操作，所述膨胀与腐蚀能实现多种多样的功能，主要包括：消除噪声；分割出独立的图像元素，在图像中连接相邻的元素；寻找图像中的明显的极大值区域或极小值区域；求出图像的梯度。
简单来说，腐蚀和膨胀是对白色部分(高亮部分)而言的，不是黑色部分。膨胀就是图像中的高亮部分进行膨胀，“邻域扩张”，效果图拥有比原图更大的高亮区域。腐蚀就是原图中高亮部分被腐蚀，“邻域被蚕食”，效果图拥有比原图更小的高亮区域。
需要说明的是，如何判断所述待计算区域内那些像素是属于待计算区域，通过公式
Figure RE-GDA0002005297950000102
我们可以知道结果：当所述待计算区域内的像素值在 0～255以内且不等于0或255，即该像素值属于待计算区域。
于本发明的一实施例中，针对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域的方法包括：根据所述Mo进行腐蚀与膨胀处理以获得具有更高置信度的处理前景模板、及处理后景模板：
Figure RE-GDA0002005297950000103
提取包含有待计算区域以得到待侧区域模板：
Figure RE-GDA0002005297950000104
进一步地，由此M存在三种值，即前景、后景、及待计算区域：
Figure RE-GDA0002005297950000105
步骤S204：结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板。
于本发明的一实施例中，所述确认所述待计算区域中每个像素的归属为：确认待计算区域中每个像素属于所述初始前景模板还是属于所述初始后景模板。
其中，可以根据计算机视觉的相关原理，帧图像数据可以表示为前景和背景的叠加：
I＝αF+(1-α)B，其中，F、B分别为前景、及后景。
于本发明的一实施例中，通过之前得到的对应当前帧图像中的彩色信息，通过将预设的背景场景作为参考，将属于前景场景的彩色信息抠图，以得到如图展示的彩色信息图，通过其与待计算区域模板对比，可以将待计算区域中每个像素的位置判断其时属于前景还是属于后景，以此所述精细前、后景模板。
步骤S205：通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
于本发明的一实施例中，所述选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息的方法包括：通过找到与所述差异像素位置距离最近的前景点，并基于所述前景点的深度信息对所述差异像素位置的深度信息重新赋值；或者，以所述差异像素位置为中心确定一包含若干临近前景点的临近区域，统计各所述前景点的深度信息并计算出均值，以作为所述差异像素位置的深度信息，进而得到一组彩色信息与深度信息对齐程度更高的结果
于本发明的一实施例中，一个待计算区域的点被确定为是前景点之后，我们需要把这个点的深度信息变成前景点的(原来的信息是错的)。但是因为前景区域其实深度也不是每个点都完全一致的。例如前景区域是一个斜坡，实际上它的深度是渐变的，当然对于背景的深度值而言，它还是前景。
举例来说，背景(后景)在5m之外，前景区域斜坡深度信息处于2m-3m，我们需要决定这个点到底给它赋什么值(2m，2.5m还是3m)。一般而言，同处于前景，深度变化基本也是渐进的，所以当前点赋值的时候，在它周围(越近越好)找本来就是前景点的深度信息进行赋值。
如图3所示，展示本发明于一实施例中的深度信息补全装置的模块示意图。如图所示，所述深度信息补全装置300包括：接收模块301、及处理模块302。
所述接收模块301，用于接收由相机拍摄的场景影像中获取当任意帧图像的彩色信息、及接收由深度传感器所采集的深度信息。
所述处理模块302，用于将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
于本发明的一实施例中，通过各模块配合使用能够实现如图2所述的深度图像压缩方法的各步骤。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块302可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块 302的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统 (system-on-a-chip，简称SOC)的形式实现。
如图4所示，展示本发明于一实施例中的监控系统的结构示意图，如图所示，所述监控系统400包括：存储器401、处理器402、及通信器403；所述存储器401用于存储计算机程序；所述处理器402运行计算机程序实现如图2所述的深度信息补全方法；所述通信器403连接外部相机、及深度传感器，以获取彩色信息、及深度信息。
所述深度相机，顾名思义指的是可以测量物体到相机距离(深度)的相机，如微软的 Kinect、Kinect2、Intel的RealSense甚至包括激光雷达也可以归为深度相机。根据硬件实现方式的不同，目前行业内所采用的主流3D机器视觉大约有三种：结构光、TOF时间光、双目立体成像。深度相机具备以下优点：1)相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景；2)深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；3)经过进一步深化处理，可以完成三维建模等应用；4)能够快速完成对目标的识别与追踪；5)主要配件成本相对低廉，包括CCD和普通LED等，对今后的普及化生产及使用有利；6)借助CMOS的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效，无需扫描设备辅助工作。
于本发明一实施例中，所述深度相机可选Kinect、Kinect2、RealSense、及激光雷达中任意一种，或者利用结构光、TOF时间光、以及毫米波中任意一种原理实现。
于本发明一实施例中，所述通信器403可以通信连接外部设备，如相机或深度传感器，还可是直接通信接受彩色信息或深度信息。
于本发明一实施例中，所述存储器401可能包含随机存取存储器(Random AccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
于本发明一实施例中，所述处理器402可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
于本发明一实施例中，所述通信器403用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接，所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如，通信方式可以包括互联网、内联网、广域网(WAN)、局域网 (LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行实现如图1所述一种深度信息补全方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明的深度信息补全方法及其装置、监控系统和存储介质，通过以深度传感器探测得到的深度信息为基础，依据初始的深度信息判定场景的前后景关系，生成初始前后景模板，再通过图像处理计算得到存在待处理区域并确认其上每个像素的归属，最后利用计算机视觉中的抠图算法精确地恢复待计算区域的前后景归属，从而获得更加精准对齐的 RGBD数据。
本发明能够能够在实际场景或目标中针对不同物体边缘得到的精准的深度信息限制，且适应多种场景的限制，具有一定通用性。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种深度信息补全方法，其特征在于，应用于包含至少一个相机、及至少一个深度传感器的监控系统，所述方法包括：
将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；
利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；
分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；
结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；
通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
2.根据权利要求1所述的深度信息补全方法，其特征在于，所述将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐的方法包括：
分别获取各所述相机、以及各所述深度传感器的内外参数、旋转矩阵、及平移向量；
依据各所述深度传感器的所述内外参数，将各所述深度传感器获取的所述深度信息转化为三维点云数据，并通过在图像坐标系下的生成对应的图像坐标集合予以表示；
依据各所述深度传感器的所述旋转矩阵、及平移向量，将所述三维点云数据对应于图像坐标系下的图像坐标集合转化为对应于世界坐标下的世界坐标集合；
将各所述深度传感器对应的所述三维点云数据集合于一世界坐标系下的总世界坐标集合；
将所述总世界坐标集合分别转化至各所述相机对应的相机坐标系下的相机坐标集合；
根据各所述相机的所述内外参数得到在各所述相机视角下的深度图像，以实现所述彩色信息与所述深度信息对齐。
3.根据权利要求1所述的深度信息补全方法，其特征在于，所述实际场景中区分前后景的特点，包括以下中的任意一或多种：
A、基于前景目标的显著性，越靠近图像中间的像素属于前景目标的概率越高；
B、场景的深度信息并不连续，前景目标和后景物体在深度值上存在分界线，在前景目标和背景物体之间存在深度信息的断层；
C、背景物体较大概率处于静止状态，依据其深度信息作为参考信息。
4.根据权利要求3所述的深度信息补全方法，其特征在于，所述利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板的方法包括：
根据特点A，预先根据任意一所述相机所获取图像的分辨率生成高斯模板以模拟场景中的前后景分布，所述模板公式为：
Figure FDA0001845378020000021
预设场景中最近和最远点的深度信息阈值分别为Zmin和Zmax；
在无活动目标的情况下，基于当前所述相机视角下获取参考图像R的相关信息；和/或，在有活动目标的情况下，基于当前所述相机视角下拍摄的视频数据获取运行过程中的当前帧图像I的相关信息；
分别获取参考图像R和当前帧图像I中像素点的深度信息概率统计HI和HR，计算公式如下：
Figure FDA0001845378020000022
Figure FDA0001845378020000023
依据公式
Figure FDA0001845378020000024
剔除所述背景物体对当前帧图像影响的深度信息概率得到：H'I＝HI/HR；
根据特点B，H'I在前景点深度位置存在波峰，得到所述当前帧图像中前景的深度信息为：
Zf＝{i|max(b'I-i),i∈[Zmin,Zmax],b'I-i∈H'I}；
所述当前帧图像中后景的深度信息默认为0；
依据上述各所述深度信息可以获得所述当前帧图像的对应的初始前景模板、及初始后景模板的组合Mo为：
Figure FDA0001845378020000031
5.根据权利要求4所述的深度信息补全方法，其特征在于，针对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域的方法包括：
根据所述Mo进行腐蚀与膨胀处理以获得具有更高置信度的处理前景模板、及处理后景模板：
Figure FDA0001845378020000032
提取包含有待计算区域以得到待计算区域模板：
Figure FDA0001845378020000033
6.根据权利要求1所述的深度信息补全方法，其特征在于，所述确认所述待计算区域中每个像素的归属为：确认待计算区域中每个像素属于所述初始前景模板还是属于所述初始后景模板。
7.根据权利要求1所述的深度信息补全方法，其特征在于，所述选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息的方法包括：
通过找到与所述差异像素位置距离最近的前景点，并基于所述前景点的深度信息对所述差异像素位置的深度信息重新赋值；
或者，以所述差异像素位置为中心确定一包含若干临近前景点的临近区域，统计各所述前景点的深度信息并计算出均值，以作为所述差异像素位置的深度信息。
8.一种深度信息补全装置，其特征在于，包括：
接收模块，用于接收由相机拍摄的场景影像中获取当任意帧图像的彩色信息、及接收由深度传感器所采集的深度信息；
处理模块，用于将各深度传感器获取的深度信息并与各相机视角下采集的当前帧图像的彩色信息对齐；利用任意一所述相机对应的所述深度信息，并依据实际场景中区分前后景的特点，将所述相机对应的所述当前帧图像进行前后景分离，并形成相应的初始前景模板、及初始后景模板；分别对所述初始前景模板、及初始后景模板的组合进行膨胀、及腐蚀操作，以在所述初始前景模板、及初始后景模板的组合中得到待计算区域；
结合所述彩色信息，并利用抠图算法处理确认所述待计算区域中每个像素的归属，以得到精细前景模板、及精细后景模板；通过对比所述精细前景模板、及精细后景模板的组合与所述初始前景模板、及初始后景模板的组合，在所述精细前景模板、及精细后景模板的组合中找到二者间的差异像素位置，并选取与所述差异像素位置临近的至少一个前景点的深度信息作为所述差异像素位置的深度信息。
9.一种监控系统，其特征在于，包括：存储器、处理器、及通信器；
所述存储器用于存储计算机程序；所述处理器运行计算机程序实现权利要求1至7中任一项所述的深度信息补全方法；所述通信器连接外部相机、及深度传感器，以获取彩色信息、及深度信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度信息补全方法。
CN201811268135.0A 2018-10-29 2018-10-29 深度信息补全方法及其装置、监控系统和存储介质 Active CN111107337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811268135.0A CN111107337B (zh) 2018-10-29 2018-10-29 深度信息补全方法及其装置、监控系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811268135.0A CN111107337B (zh) 2018-10-29 2018-10-29 深度信息补全方法及其装置、监控系统和存储介质

Publications (2)

Publication Number Publication Date
CN111107337A true CN111107337A (zh) 2020-05-05
CN111107337B CN111107337B (zh) 2021-08-27

Family

ID=70419909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811268135.0A Active CN111107337B (zh) 2018-10-29 2018-10-29 深度信息补全方法及其装置、监控系统和存储介质

Country Status (1)

Country Link
CN (1) CN111107337B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085775A (zh) * 2020-09-17 2020-12-15 北京字节跳动网络技术有限公司 图像处理的方法、装置、终端和存储介质
CN112734825A (zh) * 2020-12-31 2021-04-30 深兰人工智能(深圳)有限公司 3d点云数据的深度补全方法和装置
CN113192179A (zh) * 2021-04-28 2021-07-30 沈阳工业大学 一种基于双目立体视觉的三维重建方法
CN113269152A (zh) * 2021-06-25 2021-08-17 北京邮电大学 一种非等间距离散深度补全的方法
CN113436304A (zh) * 2021-06-22 2021-09-24 青岛小鸟看看科技有限公司 图像渲染方法、装置及头戴式显示设备
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002595A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN104809698A (zh) * 2015-03-18 2015-07-29 哈尔滨工程大学 一种基于改进三边滤波的Kinect深度图像修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002595A1 (en) * 2012-06-29 2014-01-02 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis
CN104299220A (zh) * 2014-07-10 2015-01-21 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN104809698A (zh) * 2015-03-18 2015-07-29 哈尔滨工程大学 一种基于改进三边滤波的Kinect深度图像修复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕浩等: "基于多方向滤波的强边缘深度图像补全方法", 《集成技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085775A (zh) * 2020-09-17 2020-12-15 北京字节跳动网络技术有限公司 图像处理的方法、装置、终端和存储介质
CN112085775B (zh) * 2020-09-17 2024-05-24 北京字节跳动网络技术有限公司 图像处理的方法、装置、终端和存储介质
CN112734825A (zh) * 2020-12-31 2021-04-30 深兰人工智能(深圳)有限公司 3d点云数据的深度补全方法和装置
CN113192179A (zh) * 2021-04-28 2021-07-30 沈阳工业大学 一种基于双目立体视觉的三维重建方法
CN113192179B (zh) * 2021-04-28 2024-03-26 沈阳工业大学 一种基于双目立体视觉的三维重建方法
CN113436304A (zh) * 2021-06-22 2021-09-24 青岛小鸟看看科技有限公司 图像渲染方法、装置及头戴式显示设备
CN113269152A (zh) * 2021-06-25 2021-08-17 北京邮电大学 一种非等间距离散深度补全的方法
CN113269152B (zh) * 2021-06-25 2022-07-01 北京邮电大学 一种非等间距离散深度补全的方法
CN113963107A (zh) * 2021-09-22 2022-01-21 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统
CN113963107B (zh) * 2021-09-22 2024-04-02 西安交通大学 一种基于双目视觉的大型目标三维重建方法及系统

Also Published As

Publication number Publication date
CN111107337B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN107977997B (zh) 一种结合激光雷达三维点云数据的相机自标定方法
CN109816703B (zh) 一种基于相机标定和icp算法的点云配准方法
CN113192179B (zh) 一种基于双目立体视觉的三维重建方法
CN108010123B (zh) 一种保留拓扑信息的三维点云获取方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
WO2012049098A1 (en) Range image pixel matching method
Serna et al. Data fusion of objects using techniques such as laser scanning, structured light and photogrammetry for cultural heritage applications
CN111932601B (zh) 一种基于YCbCr颜色空间光场数据的稠密深度重建方法
CN115035235A (zh) 三维重建方法及装置
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN107004274A (zh) 估计未聚焦全光数据的深度的方法和装置
WO2016058359A1 (zh) 生成三维图像的方法和装置
CN116823895A (zh) 基于可变模板的rgb-d相机多视角匹配的数字图像计算方法及系统
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN116704111A (zh) 图像处理方法和设备
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN112288669A (zh) 一种基于光场成像的点云地图获取方法
CN107610170B (zh) 多目图像重聚焦的深度获取方法及系统
CN116721109B (zh) 一种双目视觉图像半全局匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant