CN117495936A - 深度图像处理方法和装置、电子设备和计算机可读存储介质 - Google Patents

深度图像处理方法和装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN117495936A
CN117495936A CN202311592496.1A CN202311592496A CN117495936A CN 117495936 A CN117495936 A CN 117495936A CN 202311592496 A CN202311592496 A CN 202311592496A CN 117495936 A CN117495936 A CN 117495936A
Authority
CN
China
Prior art keywords
image
depth
sub
pixel point
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311592496.1A
Other languages
English (en)
Inventor
方舒
周骥
冯歆鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Zhaoguan Electronic Technology Co ltd
NextVPU Shanghai Co Ltd
Original Assignee
Changzhou Zhaoguan Electronic Technology Co ltd
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Zhaoguan Electronic Technology Co ltd, NextVPU Shanghai Co Ltd filed Critical Changzhou Zhaoguan Electronic Technology Co ltd
Priority to CN202311592496.1A priority Critical patent/CN117495936A/zh
Publication of CN117495936A publication Critical patent/CN117495936A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

提供一种深度图像处理方法和装置、电子电路、电子设备、计算机可读存储介质和计算机程序产品。该深度图像处理方法包括：获取待处理图像及其对应的深度图像；对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。

Description

深度图像处理方法和装置、电子设备和计算机可读存储介质
技术领域
本公开涉及计算机视觉技术领域，特别涉及一种深度图像处理方法和装置、电子电路、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
图像的深度信息可以广泛地应用于自动驾驶、人机交互、移动机器人、障碍物检测和三维重建等多个领域。因此，从图像中获得较为准确的深度信息成为计算机视觉领域中一个重要的研究方向。现有的双目视觉算法中，通过获取同一场景的两幅不同视角的图像，计算两个视图中的各对匹配像素点之间的视差得到视差图，并基于该视差图获得该场景的深度信息。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一个方面，提供了一种深度图像处理方法，包括：获取待处理图像及其对应的深度图像；对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
根据本公开的另一个方面，提供了一种深度图像处理装置，包括：获取单元，被配置为获取待处理图像及其对应的深度图像；分割处理单元，被配置为对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；确定主深度值单元，被配置为基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及滤波单元，被配置为基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
根据本公开的另一个方面，提供了一种电子电路，包括被配置为执行上述深度图像处理方法的步骤的电路。
根据本公开的另一个方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上的计算机程序，其中，所述处理器被配置为执行所述计算机程序以实现上述深度图像处理方法的步骤。
根据本公开的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述深度图像处理方法的步骤。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述深度图像处理方法的步骤。
从下面结合附图描述的示例性实施例中，本公开的更多特征和优点将变得清晰。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是示出根据示例性实施例的深度图像处理方法的流程图；
图2是示出根据示例性实施例的基于深度图像确定每一个子图像中的像素点对应的主深度值的流程图；
图3是示出根据示例性实施例的基于待处理图像对更新后深度图像进行滤波处理的流程图；
图4是示出根据另一示例性实施例的深度图像处理方法的流程图；
图5示出了根据本公开的实施例的深度图像处理装置的结构框图；
图6是示出根据本公开示例性实施例的计算设备的结构框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
图像的深度信息可以广泛地应用于自动驾驶、人机交互、移动机器人、障碍物检测和三维重建等多个领域。因此，从图像中获得较为准确的深度信息成为计算机视觉领域中一个重要的研究方向。现有的双目视觉算法中，通过获取同一场景的两幅不同视角的图像，计算两个视图中的各对匹配像素点之间的视差得到视差图，并基于该视差图获得该场景的深度信息。
发明人发现，在通过相关技术生成的与图像对应的深度图上通常存在多个异常点，这将大大影响深度信息的准确性，因此需要去除这些异常点。此外，这些生成的深度图还可能存在边缘不贴合图像边缘的问题。在现有的双目视觉算法中，在生成与图像对应的深度图的过程中会采用多个窗口，其中，窗口的大小选择将可能导致深度图的膨胀效应，并且图像的内容之间可能存在相似度较高但深度值并不相同的情形。这些都可能导致深度图边缘不贴合图像边缘。由于图像边缘往往能够反映深度变化的边界，因此使深度图更加贴合图像边缘是有益的。
为了解决上述技术问题，本公开提供了一种新的深度图像处理方法和装置、电子电路、电子设备、计算机可读存储介质和计算机程序产品。在下面的详细描述中将可以清楚地看到，根据本公开实施例的深度图像处理方法可以将待处理图像分割成一个或多个子图像，并且基于此来更新与该待处理图像对应的深度图像。同时，根据本公开实施例的深度图像处理方法可以基于该待处理图像，来对更新后的深度图像进行滤波处理。与现有的双目视觉算法所生成的深度图相比，由于分割后的子图像中仅包括一个对象，不包含明显的边界，因此将获得深度值较为近似的区域，在此基础上进行的深度图像更新与修正将更为准确。同时，由于图像边缘可以表示深度变化的边界，因此，结合待处理图像的图像信息对深度图像进行滤波处理，有利于进一步提升深度信息的准确度，获得更贴合待处理图像的图像边缘的深度图像。
下面将结合附图对本公开的图像深度确定方法的示例性实施例进行进一步描述。
图1示出了根据本公开的示例性实施例的深度图像处理方法100的流程图。如图1所示，深度图像处理方法100可以包括：步骤S110、获取待处理图像及其对应的深度图像；步骤S120、对待处理图像进行分割处理，以得到一个或多个第一子图像，其中，一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；步骤S130、基于深度图像确定每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及步骤S140、基于待处理图像，对第一更新后深度图像进行滤波处理。
由于分割后的子图像中仅包括一个对象，不包含明显的边界，因此将获得深度值较为近似的区域，在此基础上进行的深度图像更新与修正将更为准确。同时，通过确定每一个子图像中的每一个像素点对应的主深度值，可以去除深度图像上存在的多个异常点，提高深度信息的准确性。进一步地，由于图像边缘可以表示深度变化的边界，因此，结合待处理图像的图像信息对深度图像进行滤波处理，有利于进一步提升深度信息的准确度，获得更贴合待处理图像的图像边缘的深度图像。
在步骤S110中，可以从适当的存储装置(本地的和/或远程的)读取已存储或缓存的待处理图像。可替代地，也可以经由有线或无线通信链路从外部其他设备接收待处理图像。具体而言，可以经由摄像机拍摄获得待处理图像，其中，摄像机可以是独立装置(例如照相机、视频摄像机、摄像头等)，也可以包括在各类电子设备(例如移动电话、计算机、个人数字助理、平板电脑、可穿戴设备等)中。摄像机可以是红外相机，也可以是可见光相机。本公开要求保护的主题的范围在上述方面不受限制。
在步骤S110中，可以通过基于诸如结构光、飞行时间原理(TOF)和激光雷达的主动式光学测距方案、基于摄像头的被动式光学测距方案或者基于二者的组合的光学测距方案来生成与待处理图像对应的深度图像。可替代地，也可以通过单目深度估计算法和利用视差的双目视觉算法来生成与待处理图像对应的深度图像。本公开要求保护的主题的范围在这方面也不受限制。
根据一些实施例，在步骤S120中，对待处理图像进行分割处理以得到一个或多个第一子图像可以包括：通过采样获取待处理图像中的多个初始中心点；将多个初始中心点中的每一个初始中心点移动到与该初始中心点对应的第一面积区域中梯度最低的位置处；计算待处理图像中与该初始中心点对应的第二面积区域中的每一个像素点与该初始中心点之间的距离；以及基于距离对待处理图像中的每一个像素点进行聚类，以获得一个或多个第一子图像。
具体而言，可以通过采样获取任意数量的初始中心点，例如10个、20个、50个等。第一面积区域可以为任何合适面积的区域，而第二面积区域也可以为任何合适面积的区域，本公开要求保护的主题的范围在这方面也不受限制。
以下示出了根据本公开的示例性实施例的对待处理图像进行分割的算法程序。如所示出的，第一面积区域为3×3的邻域，并且第二面积区域为2S×2S的区域。通过以网格步长S对像素点进行采样可以获得初始中心点Ck。然后，将这些初始中心点移动到3×3的邻域中梯度最低的位置处。对于初始中心点Ck周围2S×2S的区域内，计算该区域中每个像素点与初始中心点Ck之间的距离D。对于每个像素点而言，其可能既位于多个初始中心点Ck周围2S×2S的区域内，则通过计算并确定最小的距离D，可以将该像素点聚类到对应于最小距离D的初始中心点。
通过选取多个初始中心点，并将每个初始中心点移动到某个面积区域中梯度最低的位置处，可以避免选取的初始中心点位于图像边界上。同时，结合基于距离的聚类方法，有利于获得准确的、仅包括一个对象的分割子图像。在实施基于距离的聚类方法时，通过计算第二面积区域中的每一个像素点与初始中心点之间的距离，可以避免针对每一个中心点计算整个图像面积区域中的所有像素点与该中心点之间的距离，从而能够有效降低计算量，提高计算速度。
将理解的是，仅出于举例而列出了诸如图2等对待处理图像进行分割的算法，还可以应用任何其他合适的算法来实现图像分割，只要能够实现分割后的每个子图像中仅包括一个对象即可。
图2示出了根据本公开的示例性实施例的基于深度图像确定每一个子图像中的像素点对应的主深度值的流程图。如图2所示，步骤S130、基于深度图像确定每一个第一子图像中的每一个像素点对应的主深度值可以包括：步骤S210、基于深度图像，获取该第一子图像中的每一个像素点对应的深度值；步骤S220、从深度值中提取有效深度值，其中有效深度值是非零值；以及步骤S230、基于有效深度值确定每一个像素点对应的主深度值。
通过提取每一个子图像中的像素点对应的深度值，可以快速地初步判断该深度值是否为异常深度值。如果该子图像中的像素点对应的深度值为非零值，则可以判断该深度值为有效深度值。如果该子图像中的像素点对应的深度值为0，则可以判断该深度值为异常深度值(或称为无效深度值)。进一步地，由于无效深度值可能导致深度信息的更新产生误差，因此，通过提取深度图中的有效深度值，可以在确定并优化深度信息时摒弃无效深度值，从而获得准确的深度信息。
根据一些实施例，步骤S230、基于有效深度值确定每一个像素点对应的主深度值可以包括：计算每相邻两个像素点对应的有效深度值之间的差值；响应于确定差值小于第一预设阈值，对该相邻两个像素点进行聚合，以获得一个或多个聚合区域；计算该一个或多个聚合区域中的每一个聚合区域的面积；以及针对每一个聚合区域：响应于确定该聚合区域的面积小于第二预设阈值，确定该聚合区域中的所有像素点对应的主深度值为零；并且响应于确定该聚合区域的面积不小于第二预设阈值，确定该聚合区域中的每一个像素点对应的有效深度值作为主深度值。
具体而言，对于每个子图像中的相邻两个像素点，例如像素点1和像素点2，如果像素点1的深度值d1与像素点2的深度值d2之间的差值小于预设阈值Td，则将像素点1和像素点2聚合。以此类推，直至遍历该子图像中的所有像素点为止。然后，计算每一个经聚合的聚合区域的面积SDPij。如果该面积SDPij小于面积预设阈值Sd(即，SDPij<Sd)，则将该聚合区域中的所有像素点对应的主深度值设为0(即，确定为无效深度值)；如果该面积SDPij不小于面积预设阈值Sd(即，SDPij>＝Sd)，则保留该聚合区域中的所有有效深度值作为对应像素的主深度值。
在一些示例中，第二预设阈值(即，面积预设阈值Sd)可以被设置为符合场景需求的任何合适的数值。例如，可以将第二预设阈值设置为使得对于每一个分割后的子图像而言，其中仅有一个聚合区域的面积不小于该预设阈值而其余聚合区域的面积小于该预设阈值。由此可以保留该子图像中面积最大(深度值占据“主导地位”)的聚合区域中的像素点对应的深度值作为主深度值，从而更能表示该子图像对应的深度信息。又例如，也可以对于每一个分割后的子图像而言随机设置相同的第二预设阈值，从而简便操作。本公开要求保护的主题的范围在这预设阈值的设置方面不受限制。
图3示出了根据本公开的示例性实施例的基于待处理图像对更新后深度图像进行滤波处理的流程图。如图3所示，步骤S140、基于待处理图像，对第一更新后深度图像进行滤波处理可以包括：步骤S310、确定针对第一更新后深度图像的多个窗口；步骤S320、确定该多个窗口中的每个窗口的中心像素点；以及步骤S330、针对每个窗口，基于该窗口中的中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的所述中心像素点对应的深度值。
通过利用中心像素点的图像信息和每个像素点的图像信息对深度图像进行滤波处理，可以实现联合图像滤波，即同时考虑图像中的像素点本身的信息和对应的深度信息两者，从而可以更为清晰地确定深度值变化的边界，进一步提升深度信息的准确度，获得更贴近待处理图像的深度图像。
根据一些实施例，在步骤S310中，该多个窗口的数量例如可以为衡量运算量与运算速度之后选择的任何合适的值，例如可以为经验值，例如可以为20、50、100等。
根据一些实施例，在步骤S320中，可以根据每个窗口的大小和位置来确定对应的中心像素点。
根据一些实施例，在步骤S330中，该窗口中的中心像素点的图像信息可以包括该窗口中的中心像素点的第一像素值和第一位置坐标，并且，该窗口中的每个像素点的图像信息可以包括该窗口中每个像素点的第二像素值和第二位置坐标。
具体而言，可以根据每个窗口的大小和位置来确定对应的中心像素点c的像素值I和位置坐标P。由于位置坐标和像素值是与深度信息关联较为紧密的图像信息，因此，在处理(优化)深度信息时考虑位置坐标和像素值，可以得到较为准确的中心像素点的深度值。
在这种情况下，步骤S330、针对每个窗口，基于该窗口中的中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的中心像素点对应的深度值可以包括：计算中心像素点的第一像素值与每个像素点的第二像素值之间的差值；基于中心像素点的第一位置坐标与每个像素点的第二位置坐标，计算中心像素点与每个像素点之间的距离；以及基于差值、距离和每个像素点的第二像素值，确定中心像素点对应的更新后的深度值。
根据一些实施例，基于差值、距离和每个像素点的第二像素值，确定中心像素点对应的更新后的深度值可以包括：基于差值和距离，为每个像素点分配对应的权重；以及基于每个像素点的第二像素值和对应的权重，确定中心像素点对应的更新后的深度值。
出于示例性目的，公式(1)和公式(2)详细示出了如何确定中心像素点对应的更新后的深度值。
其中，c表示某个窗口的中心像素点，Depthc表示中心像素点c对应的更新后深度值，i表示该窗口中的任一像素点，wi表示像素点i对于中心像素点c对应的更新后深度值所贡献的权重，pi表示像素点i的像素位置(例如，第二像素坐标)，Ii表示像素点i的像素值，pc表示中心像素点c的像素位置(例如，第一像素坐标)，Ic表示像素点i的像素值，σp表示像素位置的方差，σI表示像素值的方差。
通过上述公式，可以将每个窗口中的每一个像素点的图像信息(包括位置信息和像素值信息)引入权重计算。根据公式(2)可知，像素点i的像素位置与中心像素点c的像素位置越靠近，则权重wi越大；反之，像素点i的像素位置与中心像素点c的像素位置越远离，则权重wi越小。类似地，像素点i的像素值与中心像素点c的像素值的相似度越高，则权重wi越大；反之，像素点i的像素值与中心像素点c的像素值的相似度越低，则权重wi越小。由于靠近中心像素点和/或与中心像素点的像素值相似的像素点对应的深度信息更能准确地反映中心像素点对应的深度信息，因此，通过对每个像素点对应的深度值应用相应的权重，可以更为准确地计算对应的中心像素点的深度值。
将理解的是，上述公式(1)和公式(2)仅为基于中心像素点的像素值与每个像素点的像素值之间差值和中心像素点与每个像素点之间的距离确定中心像素点对应的更新后的深度值的一种示例公式，也可以采用其他合适的方式来进行计算，例如，不考虑像素位置的方差和像素值的方差等。
图4示出了根据另一示例性实施例的深度图像处理方法400的流程图。参考图4，深度图像处理方法400可以包括与参考图1所描述的深度图像处理方法100中的步骤S110-S140类似的步骤S410-S440；以及步骤S450-1、响应于确定对待处理图像进行分割处理后得到多个第一子图像，对多个第一子图像进行合并，以获得一个或多个第二子图像；步骤S450-2、对一个或多个第二子图像中的每一个像素点对应的深度值进行平面拟合；以及步骤S450-3、基于平面拟合结果，对滤波后的第一更新后深度图像进一步更新，以获得第二更新后深度图像。
通过对更新后的深度图像进行滤波处理，可以得到去除了分割子图像中的异常深度值的深度图。进一步地，通过基于一定算法对子图像进行合并，可以减少子图像的数量，从而在保证合并后的子图像对应的深度信息之间的相似性的同时便于简单、快速的进行平面拟合。这在一定程度上缓解了平面拟合的计算复杂度，同时减少了数据存储量。此外，通过对子图像进行合并和平面拟合，可以得到填充率更高的深度图。
需要说明的是，虽然步骤S410-S450-3在图4中被描绘为按照特定的顺序，但是这不应理解为要求这些步骤必须以所示的特定顺序或者按顺行次序执行。例如，步骤S450-1中的对多个第一子图像进行合并，以获得一个或多个第二子图像可以在步骤S440之前被执行或者与其并行执行。
根据一些实施例，步骤S450-1、响应于确定对待处理图像进行分割处理后得到多个第一子图像，对多个第一子图像进行合并，以获得一个或多个第二子图像可以包括：针对多个第一子图像中的每一个第一子图像，确定该第一子图像对应的第一更新后深度图像中是否包含有效深度值；以及响应于确定该第一子图像对应的第一更新后深度图像中包含有效深度值：计算该第一子图像对应的深度图像的法向量；计算每相邻两个第一子图像对应的深度图像的法向量之间的差值；并且响应于确定差值小于第三预设阈值，将两个第一子图像进行合并，作为第二子图像。
在确定分割后的子图像的主深度值并完成深度图像的更新后，深度图中的异常深度值可以被有效地去除。进一步地，如何准确的确定这些异常深度值对应的像素点的实际深度值，对于提高深度图像的处理结果的准确度是有益的。通过对子图像进行合并，可以获得彼此之间深度信息相似度较高的数量较少的子图像，有利于后续实现平面拟合。
具体而言，在分割后子图像对应的深度图像中包含有效非零深度值的情况下，每个分割后子图像j可以通过对应的法向量来表示。
在一些示例中，相邻两个子图像对应的深度图像的法向量之间的差值可以通过两个法向量之间的夹角来表示。在该夹角小于预设阈值的情况下，可以认为这两个相邻子图像的深度相似性属性一致，因此可以对其进行合并。
将理解的是，可以根据实际场景需求来设定该预设阈值，本公开要求保护的范围在此方面不受限制。
根据另一些实施例，步骤S450-1、响应于确定对待处理图像进行分割处理后得到多个第一子图像，对多个第一子图像进行合并，以获得一个或多个第二子图像可以包括：响应于确定该第一子图像对应的第一更新后深度图像中不包含有效深度值：确定该第一子图像与相邻第一子图像中是否仅包括一个对象；响应于确定该第一子图像与相邻第一子图像中仅包括一个对象，将该第一子图像与相邻第一子图像进行合并，作为第二子图像；以及响应于确定该第一子图像与相邻第一子图像中包括多于一个对象，不对该第一子图像与相邻第一子图像进行合并。
具体而言，在分割后子图像对应的深度图像中不包含有效非零深度值的情况下，可能无法获得该子图像的有效法向量，因此，可以基于图像相似性属性来实现分割后子图像的合并。例如，如果两个或更多个子图像中仅包括一个对象，不存在图像边界，则认为这些子图像的图像相似性属性一致，可以将这些子图像进行合并。
在一些示例中，可以基于图像边缘提取算法来提取图像边界，并且基于该提取图像边界结果来确定子图像之间是否可以进行合并。
根据又一些实施例，步骤S450-1、响应于确定对待处理图像进行分割处理后得到多个第一子图像，对多个第一子图像进行合并，以获得一个或多个第二子图像可以包括：针对多个第一子图像中的相邻的两个第一子图像，确定相邻的两个第一子图像中是否仅包括一个对象；响应于确定相邻的两个第一子图像中仅包括一个对象，将相邻的两个第一子图像进行合并，作为第二子图像；以及响应于确定相邻的两个第一子图像中包括多于一个对象，不对相邻的两个第一子图像进行合并。
具体而言，可以在无需判断分割后子图像对应的深度图像中是否包含有效非零深度值的情况下直接基于图像相似性属性来实现分割后子图像的合并，操作更为简便。基于图像相似性属性来实现分割后子图像的合并的具体步骤已在上文具体描述。为了简洁起见，此处不再赘述。
将理解的是，基于深度相似性属性来实现分割后子图像的合并与基于图像相似性属性来实现分割后子图像的合并并不是互相排斥的，而是可以根据实际场景需求来选择的。例如，在主要考虑图像对应的深度信息的情况下，可以仅利用深度相似性属性来实现分割后子图像的合并。又例如，在主要考虑图像中是否存在图像边界的情况下，可以仅利用图像相似性属性来实现分割后子图像的合并。再例如，可以同时利用深度相似性属性和图像相似性属性两者来实现分割后子图像的合并。在这种场景下，可能存在基于深度相似性属性确定应进行子图像合并但基于图像相似性属性确定不应进行子图像合并的情况，或者可能存在基于深度相似性属性确定不应进行子图像合并但基于图像相似性属性确定应进行子图像合并的情况。此时，可以根据实际场景需求为这两种合并算法赋予优先级，从而得到最终是否合并子图像的结果。
根据一些实施例，在步骤S450-2中，可以将每一个合并后的子图像视为一个近似平面，然后，可以通过平面方程来对该合并后子图像中的每一个像素点对应的深度值进行平面拟合。
将理解的是，平面拟合的具体算法可以包括多种算法，例如最小二乘平面拟合等。本公开要求保护的范围在此方面不受限制。
根据一些实施例，步骤S450-3、基于平面拟合结果，对滤波后的第一更新后深度图像进一步更新，以获得第二更新后深度图像可以包括：确定所述第二更新后深度图像中是否包含无效深度值；以及响应于确定所述第二更新后深度图像中包含无效深度值，基于所述平面拟合结果计算拟合深度值来代替所述无效深度值。
如上所述，在对更新后的深度图像进行滤波处理后，准确地确定深度图中的异常深度值(无效深度值)对应的像素点的实际深度值将对于提高深度图像的处理结果的准确度是有益的。具体而言，可以将异常深度值(无效深度值)对应的像素点的位置信息(例如，位置坐标)代入到诸如平面方程中，以获得对应的平面预测深度值。由此，可以获得填充率更高的、贴合待处理图像的图像边缘的深度图像。
继续参考图4，根据一些实施例，上述深度图像处理方法400还可以包括步骤S460、对第二更新后深度图像进行滤波处理。通过对经平面预测后的深度图进行滤波处理，可以得到图像边缘过度更为自然的深度图像。在一些示例中，此处的滤波处理可以采用如上文所述的结合待处理图像的图像信息对深度图像进行的滤波处理，为了简洁起见，在此不再赘述。可替代地，也可以采用其他任何合适的滤波处理方式，以使得得到的深度图像中的边缘更加贴近图像边缘。
图5示出了根据本公开的实施例的深度图像处理装置500的结构框图。如图5所示，该深度图像处理装置500可以包括：获取单元510，被配置为获取待处理图像及其对应的深度图像；分割处理单元520，被配置为对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；确定主深度值单元530，被配置为基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及滤波单元540，被配置为基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
由于分割后的子图像中仅包括一个对象，不包含明显的边界，因此将获得深度值较为近似的区域，在此基础上进行的深度图像更新与修正将更为准确。同时，通过确定每一个子图像中的每一个像素点对应的主深度值，可以去除深度图像上存在的多个异常点，提高深度信息的准确性。进一步地，由于图像边缘可以表示深度变化的边界，因此，结合待处理图像的图像信息对深度图像进行滤波处理，有利于进一步提升深度信息的准确度，获得更贴合待处理图像的图像边缘的深度图像。
根据本公开的一些实施例，分割处理单元520可以包括：被配置为通过采样获取待处理图像中的多个初始中心点的单元；被配置为将多个初始中心点中的每一个初始中心点移动到与该初始中心点对应的第一面积区域中梯度最低的位置处的单元；被配置为计算待处理图像中与该初始中心点对应的第二面积区域中的每一个像素点与该初始中心点之间的距离的单元；以及被配置为基于距离对待处理图像中的每一个像素点进行聚类，以获得一个或多个第一子图像的单元。
根据本公开的一些实施例，确定主深度值单元530可以包括：获取深度值单元，被配置为基于深度图像，获取该第一子图像中的每一个像素点对应的深度值；提取有效深度值单元，被配置为从深度值中提取有效深度值，其中有效深度值是非零值；以及确定主深度值子单元，被配置为基于有效深度值确定每一个像素点对应的主深度值。
根据本公开的一些实施例，确定主深度值子单元可以包括：被配置为计算每相邻两个像素点对应的有效深度值之间的差值的单元；被配置为响应于确定差值小于第一预设阈值，对该相邻两个像素点进行聚合，以获得一个或多个聚合区域的单元；被配置为计算一个或多个聚合区域中的每一个聚合区域的面积的单元；以及被配置为针对每一个聚合区域执行以下操作的单元：响应于确定该聚合区域的面积小于第二预设阈值，确定该聚合区域中的所有像素点对应的主深度值为零；并且响应于确定该聚合区域的面积不小于第二预设阈值，确定该聚合区域中的每一个像素点对应的有效深度值作为主深度值。
根据本公开的一些实施例，滤波单元540可以包括：确定多个窗口单元，被配置为确定针对第一更新后深度图像的多个窗口；确定中心像素点单元，被配置为确定多个窗口中的每个窗口的中心像素点；以及更新深度值单元，被配置为针对每个窗口，基于该窗口中的中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的中心像素点对应的深度值。
根据本公开的一些实施例，该窗口中的中心像素点的图像信息可以包括中心像素点的第一像素值和第一位置坐标，并且其中，该窗口中的每个像素点的图像信息可以包括每个像素点的第二像素值和第二位置坐标。
根据本公开的一些实施例，更新深度值单元可以包括：计算差值单元，被配置为计算中心像素点的第一像素值与每个像素点的第二像素值之间的差值；计算距离单元，被配置为基于中心像素点的第一位置坐标与每个像素点的第二位置坐标，计算中心像素点与每个像素点之间的距离；以及更新深度值子单元，被配置为基于差值、距离和每个像素点的第二像素值，确定中心像素点对应的更新后的深度值。
根据本公开的一些实施例，更新深度值子单元可以包括：被配置为基于差值和距离，为每个像素点分配对应的权重的单元；以及被配置为基于每个像素点的第二像素值和对应的权重，确定中心像素点对应的更新后的深度值的单元。
根据本公开的一些实施例，还包括合并单元，被配置为响应于确定对待处理图像进行分割处理后得到多个第一子图像而对多个第一子图像进行合并，以获得一个或多个第二子图像；平面拟合单元，被配置为对一个或多个第二子图像中的每一个像素点对应的深度值进行平面拟合；以及更新深度图像单元，被配置为基于平面拟合结果，对滤波后的第一更新后深度图像进一步更新，以获得第二更新后深度图像。
根据本公开的一些实施例，合并单元可以包括：被配置为针对多个第一子图像中的每一个第一子图像，确定该第一子图像对应的第一更新后深度图像中是否包含有效深度值的单元；以及被配置为执行以下操作的单元：响应于确定该第一子图像对应的第一更新后深度图像中包含有效深度值，计算该第一子图像对应的深度图像的法向量；计算每相邻两个第一子图像对应的深度图像的法向量之间的差值；并且响应于确定差值小于第三预设阈值，将两个第一子图像进行合并，作为第二子图像。
根据本公开的一些实施例，合并单元可以包括被配置为执行以下操作的单元：响应于确定该第一子图像对应的第一更新后深度图像中不包含有效深度值：确定该第一子图像与相邻第一子图像中是否仅包括一个对象；响应于确定该第一子图像与相邻第一子图像中仅包括一个对象，将该第一子图像与相邻第一子图像进行合并，作为第二子图像；以及响应于确定该第一子图像与相邻第一子图像中包括多于一个对象，不对该第一子图像与相邻第一子图像进行合并。
根据本公开的一些实施例，合并单元可以包括：被配置为针对多个第一子图像中的相邻的两个第一子图像，确定相邻的两个第一子图像中是否仅包括一个对象的单元；被配置为响应于确定相邻的两个第一子图像中仅包括一个对象，将相邻的两个第一子图像进行合并，作为第二子图像的单元；以及被配置为响应于确定相邻的两个第一子图像中包括多于一个对象，不对的两个相邻第一子图像进行合并的单元。
根据本公开的一些实施例，更新深度图像单元可以包括：被配置为确定第二更新后深度图像中是否包含无效深度值的单元；以及被配置为响应于确定第二更新后深度图像中包含无效深度值，基于平面拟合结果计算拟合深度值来代替无效深度值的单元。
根据本公开的一些实施例，还包括被配置为对第二更新后深度图像进行滤波处理的单元。
应当理解，图5中所示深度图像处理装置500的各个单元可以与参考图1-图4描述的方法100和400中的各个步骤相对应。由此，上面针对方法100和400描述的操作、特征和优点同样适用于深度图像处理装置500及其所包括的单元。为了简洁起见，某些操作、特征和优点在此不再赘述。
本公开的另一个方面可以包括一种电子电路，该电子电路包括被配置为执行上述深度图像处理方法的步骤的电路。
本公开的又一个方面可以包括一种电子设备，该电子设备可以包括存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现上述深度图像处理方法的步骤。
本公开的又一个方面可以包括一种计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述深度图像处理方法的步骤。
本公开的又一个方面可以包括一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述深度图像处理方法的步骤。
参照图6，现将描述计算设备600，其是可以应用于本公开的各方面的硬件设备的示例。计算设备600可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机、门禁系统、考勤设备或其任何组合。上述深度图像处理装置可以全部或至少部分地由计算设备600或类似设备或系统实现。虽然计算设备600表示若干类型的计算平台中的一个示例，但是计算设备600可以包括比图6所示更多或更少的元件和/或不同的元件布置，并且不在这些方面限制所要求保护的主题的范围。
在一些实施例中，计算设备600可以包括(可能经由一个或多个接口)与总线602连接或与总线602通信的元件。例如，计算设备600可以包括总线602、一个或多个处理器604、一个或多个输入设备606以及一个或多个输出设备608。一个或多个处理器604可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备606可以是能向计算设备600输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备608可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备600还可以包括非暂时性存储设备610或者与非暂时性存储设备610连接。非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备610可以从接口拆卸。非暂时性存储设备610体现了一个或多个非暂时性计算机可读介质，其上存储包括指令的程序，所述指令在由计算设备600的一个或多个处理器执行时，致使所述计算设备600执行上述深度图像处理方法100、400及其变型。计算设备600还可以包括通信设备612。通信设备612可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
在一些实施例中，计算设备600还可以包括工作存储器614，其可以是可以存储对处理器604的工作有用的程序(包括指令)和/或数据的任何类型的存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器614中，包括但不限于操作系统616、一个或多个应用程序618、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序618中，并且上述深度图像处理装置的电子电路可以通过由处理器604读取和执行一个或多个应用程序618的指令来实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备610)中，并且在执行时可以被存入工作存储器614中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以利用诸如相机等采集图像数据并将所述图像数据发送到服务器进行后续处理。客户端也可以进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，计算设备600的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算设备600的其他组件也可以类似地分布。这样，计算设备600可以被理解为在多个位置在多个处理器上执行处理的分布式计算系统。
以下描述本公开的一些示例性方面。
方面1.一种深度图像处理方法，包括：
获取待处理图像及其对应的深度图像；
对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；
基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及
基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
方面2.根据方面1所述的方法，其中，对所述待处理图像进行分割处理以得到一个或多个第一子图像包括：
通过采样获取所述待处理图像中的多个初始中心点；
将所述多个初始中心点中的每一个初始中心点移动到与该初始中心点对应的第一面积区域中梯度最低的位置处；
计算所述待处理图像中与该初始中心点对应的第二面积区域中的每一个像素点与该初始中心点之间的距离；以及
基于所述距离对所述待处理图像中的每一个像素点进行聚类，以获得所述一个或多个第一子图像。
方面3.根据方面1所述的方法，其中，基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值包括：
基于所述深度图像，获取该第一子图像中的每一个像素点对应的深度值；
从所述深度值中提取有效深度值，其中所述有效深度值是非零值；以及
基于所述有效深度值确定所述每一个像素点对应的所述主深度值。
方面4.根据方面3所述的方法，其中，基于所述有效深度值确定所述每一个像素点对应的所述主深度值包括：
计算每相邻两个像素点对应的所述有效深度值之间的差值；
响应于确定所述差值小于第一预设阈值，对该相邻两个像素点进行聚合，以获得一个或多个聚合区域；
计算所述一个或多个聚合区域中的每一个聚合区域的面积；以及
针对所述每一个聚合区域：
响应于确定该聚合区域的面积小于第二预设阈值，确定该聚合区域中的所有像素点对应的所述主深度值为零；并且
响应于确定该聚合区域的面积不小于所述第二预设阈值，确定该聚合区域中的每一个像素点对应的所述有效深度值作为所述主深度值。
方面5.根据方面1-4中任一项所述的方法，其中，基于所述待处理图像，对所述第一更新后深度图像进行滤波处理包括：
确定针对所述第一更新后深度图像的多个窗口；
确定所述多个窗口中的每个窗口的中心像素点；以及
针对所述每个窗口，基于该窗口中的所述中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的所述中心像素点对应的深度值。
方面6.根据方面5所述的方法，其中，该窗口中的所述中心像素点的图像信息包括所述中心像素点的第一像素值和第一位置坐标，并且其中，该窗口中的每个像素点的图像信息包括每个像素点的第二像素值和第二位置坐标。
方面7.根据方面6所述的方法，其中，针对所述每个窗口，基于该窗口中的所述中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的所述中心像素点对应的深度值包括：
计算所述中心像素点的所述第一像素值与所述每个像素点的所述第二像素值之间的差值；
基于所述中心像素点的所述第一位置坐标与所述每个像素点的所述第二位置坐标，计算所述中心像素点与所述每个像素点之间的距离；以及
基于所述差值、所述距离和所述每个像素点的所述第二像素值，确定所述中心像素点对应的更新后的深度值。
方面8.根据方面7所述的方法，其中，基于所述差值、所述距离和所述每个像素点的所述第二像素值，确定所述中心像素点对应的更新后的深度值包括：
基于所述差值和所述距离，为所述每个像素点分配对应的权重；以及
基于所述每个像素点的所述第二像素值和所述对应的权重，确定所述中心像素点对应的更新后的深度值。
方面9.根据方面1-8中任一项所述的方法，还包括：
响应于确定对所述待处理图像进行分割处理后得到多个第一子图像：
对所述多个第一子图像进行合并，以获得一个或多个第二子图像；
对所述一个或多个第二子图像中的每一个像素点对应的深度值进行平面拟合；并且
基于平面拟合结果，对滤波后的所述第一更新后深度图像进一步更新，以获得第二更新后深度图像。
方面10.根据方面9所述的方法，其中，对所述多个第一子图像进行合并，以获得所述一个或多个第二子图像包括：
针对所述多个第一子图像中的每一个第一子图像，确定该第一子图像对应的所述第一更新后深度图像中是否包含有效深度值；以及
响应于确定该第一子图像对应的所述第一更新后深度图像中包含有效深度值：
计算该第一子图像对应的深度图像的法向量；
计算每相邻两个第一子图像对应的深度图像的法向量之间的差值；并且
响应于确定所述差值小于第三预设阈值，将所述两个第一子图像进行合并，作为第二子图像。
方面11.根据方面10所述的方法，其中，对所述多个第一子图像进行合并，以获得所述一个或多个第二子图像包括：
响应于确定该第一子图像对应的所述第一更新后深度图像中不包含有效深度值：
确定该第一子图像与相邻第一子图像中是否仅包括一个对象；
响应于确定该第一子图像与所述相邻第一子图像中仅包括一个对象，将该第一子图像与所述相邻第一子图像进行合并，作为第二子图像；以及
响应于确定该第一子图像与所述相邻第一子图像中包括多于一个对象，不对该第一子图像与所述相邻第一子图像进行合并。
方面12.根据方面9所述的方法，其中，对所述多个第一子图像进行合并，以获得所述一个或多个第二子图像包括：
针对所述多个第一子图像中的相邻的两个第一子图像，确定所述相邻的两个第一子图像中是否仅包括一个对象；
响应于确定所述相邻的两个第一子图像中仅包括一个对象，将所述相邻的两个第一子图像进行合并，作为第二子图像；以及
响应于确定所述相邻的两个第一子图像中包括多于一个对象，不对所述相邻的两个第一子图像进行合并。
方面13.根据方面9所述的方法，其中，基于平面拟合结果对滤波后的所述第一更新后深度图像进一步更新以获得第二更新后深度图像包括：
确定所述第二更新后深度图像中是否包含无效深度值；以及
响应于确定所述第二更新后深度图像中包含无效深度值，基于所述平面拟合结果计算拟合深度值来代替所述无效深度值。
方面14.根据方面9所述的方法，还包括：对所述第二更新后深度图像进行滤波处理。
方面15.一种电子电路，包括：
被配置为执行根据方面1-14中任一项所述的方法的步骤的电路。
方面16.一种深度图像处理装置，包括：
获取单元，被配置为获取待处理图像及其对应的深度图像；
分割处理单元，被配置为对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；
确定主深度值单元，被配置为基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及
滤波单元，被配置为基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
方面17.一种电子设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现根据方面1-14中任一项所述的方法的步骤。
方面18.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据方面1-14中任一项所述的方法的步骤。
方面19.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现根据方面1-14中任一项所述的方法的步骤。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (10)

1.一种深度图像处理方法，包括：
获取待处理图像及其对应的深度图像；
对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；
基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及
基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
2.根据权利要求1所述的方法，其中，对所述待处理图像进行分割处理以得到一个或多个第一子图像包括：
通过采样获取所述待处理图像中的多个初始中心点；
将所述多个初始中心点中的每一个初始中心点移动到与该初始中心点对应的第一面积区域中梯度最低的位置处；
计算所述待处理图像中与该初始中心点对应的第二面积区域中的每一个像素点与该初始中心点之间的距离；以及
基于所述距离对所述待处理图像中的每一个像素点进行聚类，以获得所述一个或多个第一子图像。
3.根据权利要求1所述的方法，其中，基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值包括：
基于所述深度图像，获取该第一子图像中的每一个像素点对应的深度值；
从所述深度值中提取有效深度值，其中所述有效深度值是非零值；以及
基于所述有效深度值确定所述每一个像素点对应的所述主深度值。
4.根据权利要求3所述的方法，其中，基于所述有效深度值确定所述每一个像素点对应的所述主深度值包括：
计算每相邻两个像素点对应的所述有效深度值之间的差值；
响应于确定所述差值小于第一预设阈值，对该相邻两个像素点进行聚合，以获得一个或多个聚合区域；
计算所述一个或多个聚合区域中的每一个聚合区域的面积；以及
针对所述每一个聚合区域：
响应于确定该聚合区域的面积小于第二预设阈值，确定该聚合区域中的所有像素点对应的所述主深度值为零；并且
响应于确定该聚合区域的面积不小于所述第二预设阈值，确定该聚合区域中的每一个像素点对应的所述有效深度值作为所述主深度值。
5.根据权利要求1-4中任一项所述的方法，其中，基于所述待处理图像，对所述第一更新后深度图像进行滤波处理包括：
确定针对所述第一更新后深度图像的多个窗口；
确定所述多个窗口中的每个窗口的中心像素点；以及
针对所述每个窗口，基于该窗口中的所述中心像素点的图像信息和该窗口中的每个像素点的图像信息，更新该窗口中的所述中心像素点对应的深度值。
6.一种电子电路，包括：
被配置为执行根据权利要求1-5中任一项所述的方法的步骤的电路。
7.一种深度图像处理装置，包括：
获取单元，被配置为获取待处理图像及其对应的深度图像；
分割处理单元，被配置为对所述待处理图像进行分割处理，以得到一个或多个第一子图像，其中，所述一个或多个第一子图像中的每一个第一子图像中仅包括一个对象；
确定主深度值单元，被配置为基于所述深度图像确定所述每一个第一子图像中的每一个像素点对应的主深度值，以获得第一更新后深度图像；以及
滤波单元，被配置为基于所述待处理图像，对所述第一更新后深度图像进行滤波处理。
8.一种电子设备，包括：
存储器、处理器以及存储在所述存储器上的计算机程序，
其中，所述处理器被配置为执行所述计算机程序以实现根据权利要求1-5中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求1-5中任一项所述的方法的步骤。
CN202311592496.1A 2023-11-24 2023-11-24 深度图像处理方法和装置、电子设备和计算机可读存储介质 Pending CN117495936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311592496.1A CN117495936A (zh) 2023-11-24 2023-11-24 深度图像处理方法和装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311592496.1A CN117495936A (zh) 2023-11-24 2023-11-24 深度图像处理方法和装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117495936A true CN117495936A (zh) 2024-02-02

Family

ID=89682833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311592496.1A Pending CN117495936A (zh) 2023-11-24 2023-11-24 深度图像处理方法和装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117495936A (zh)

Similar Documents

Publication Publication Date Title
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
CN110036392B (zh) 用于基于多行程数据来绘图的系统和方法
US9298990B2 (en) Object tracking method and device
EP2851880B1 (en) Method, system and storage medium for controlling an image capture device, in particular of a door station
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
US9406137B2 (en) Robust tracking using point and line features
JP2022526548A (ja) ターゲット検出方法、装置、電子機器およびコンピュータ可読記憶媒体
JP2018508078A (ja) オブジェクト追跡のためのシステムおよび方法
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
WO2023016271A1 (zh) 位姿确定方法、电子设备及可读存储介质
KR20190030474A (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
EP3314883B1 (en) Video frame processing
US10839541B2 (en) Hierarchical disparity hypothesis generation with slanted support windows
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
EP3872762A1 (en) Edge-based three-dimensional tracking and registration method and apparatus for augmented reality, and storage medium
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JPWO2018179119A1 (ja) 映像解析装置、映像解析方法およびプログラム
EP3809314A1 (en) 3d object detection from calibrated 2d images background
CN117495936A (zh) 深度图像处理方法和装置、电子设备和计算机可读存储介质
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质
CN114387324A (zh) 深度成像方法、装置、电子设备和计算机可读存储介质
CN113048950B (zh) 基站天线倾角测量方法、装置、存储介质和计算机设备
CN111968030A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN114037633B (zh) 一种红外图像处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination