CN104981841B - 3d图像数据分割的方法和装置 - Google Patents

3d图像数据分割的方法和装置 Download PDF

Info

Publication number
CN104981841B
CN104981841B CN201280078207.XA CN201280078207A CN104981841B CN 104981841 B CN104981841 B CN 104981841B CN 201280078207 A CN201280078207 A CN 201280078207A CN 104981841 B CN104981841 B CN 104981841B
Authority
CN
China
Prior art keywords
rendering
local feature
depth
segmentation
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280078207.XA
Other languages
English (en)
Other versions
CN104981841A (zh
Inventor
基奥万尼·科达拉
爱默德·鲍阿齐齐
卢卡斯·康德拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104981841A publication Critical patent/CN104981841A/zh
Application granted granted Critical
Publication of CN104981841B publication Critical patent/CN104981841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种3D图像的3D图像数据分割的方法,所述方法包括:确定(20)所述3D图像的所述多个视图(101、102、103)中的每个视图的局部特征;基于所述确定的局部特征确定(30)局部特征图;以及基于所述3D图像的所述确定的局部特征图和深度图(110)将所述3D图像数据分割(40)为多个深度区。

Description

3D图像数据分割的方法和装置
技术领域
本发明涉及一种3D图像数据分割的方法和装置。具体而言,本发明涉及一种基于稀疏图的3D图像数据中的实时对象分割的方法和装置。
背景技术
近来,已经可以向用户呈现3D图像内容。预期在未来几年内3D设备和视频内容量将迅速增加。
一方面,当前的3D显示技术可以重建聚合效应,即两只眼睛在相反方向的垂直旋转以维持双目视觉。另一方面,由于所得图像显示在平面上,所以适应性条件等其它重要深度线索在焦距变化时无法准确地再现。因此,在较远屏幕上显示较近对象时,较强正视差可能会导致视觉体验不佳。已为标准电影屏幕优化的视频内容看起来与电视屏幕或手持式显示设备上的完全不同。因此,图像数据,尤其是与观察者距离最近和最远的对象的深度值的差异必须适配不同应用的特殊属性以维持高质量的深度知觉。该操作表示为内容重定向或内容重映射。
内容重定向通常是指为了将内容适配为所需上下文而对图像或视频帧进行的调整。在3D视频内容领域,内容重定向执行与3D视频序列有关的深度范围的调整以根据终端能力和视距优化知觉。调整深度最直接的方式是根据可用深度范围线性地移动深度。然而,这可能会导致场景中对象的扁平化。或者,可以执行非线性深度调整。非线性深度调整可能允许对例如前景中的全部对象应用位移。这可能导致3D用户体验的明显改善。此外,非线性深度调整在场景操作中提供更多的自由。
为了执行非线性深度调整,需要识别3D场景中的唯一对象。这样,可以在重定位阶段执行各个对象的深度值的独立操作。例如,前景对象可以移至图像最前面。背景对象可以移至后面。被分割的对象的不同部分之间的深度比仍可保留。
然而,用于重定向的传统方法,特别是用于非线性深度操作中的图像分割的传统方法,通常分析图像的各个像素。由于图像中存在大量像素,所以这些方法需要庞大的计算资源。
如上所述,3D设备数量稳步增长。为了使3D视频内容适配各个设备,每个设备必须对图像数据进行重定向。然而,诸如移动设备之类的小型设备只能提供有限的计算能力。
因此,需要提供3D图像内容的有效图像分割的方法和装置。
也需要3D图像内容的图像分割,其可实时应用于计算资源有限的3D图像设备。
发明内容
根据第一方面,提供了一种3D图像的3D图像数据分割方法。所述3D图像包括所述图像的多个视图,即所述图像的至少两个视图,例如所述图像的第一视图和所述图像的第二视图。所述方法包括确定所述3D图像的所述多个视图中的每个视图的局部特征;基于所述确定的局部特征确定局部特征图;以及基于所述3D图像的所述确定的局部特征图和深度图将所述3D图像数据分割为多个深度区。
本发明的基本观点在于基于3D图像的所述局部特征生成的稀疏图执行图像分割。基于稀疏图的此类分析是一种有效且可靠的将3D图像数据划分为所述多个段的方式。
根据如上所述第一方面的所述方法的第一实施形式,所述局部特征图包括多个顶点,每个顶点与多个相邻顶点连接;以及所述确定局部特征图包括将边权重分配给两个顶点之间的每个边。
通过生成包括与局部特征有关的顶点的局部特征图,顶点数量相对于每个像素具有单独顶点的传统图减少。因此,执行图像分割的计算资源减少。
根据如上所述第一方面或者根据所述第一方面的所述第一形式的所述方法的第二实施形式,分割所述3D图像数据包括:量化所述3D图像的所述深度图;以及通过确定具有相同量化深度值的连续深度图元素识别深度区。
通过量化所述深度图,大量单独的深度值被转换为已知的数量有限的量化深度值。具体而言,将范围明确的深度值分配给单个量化深度。因此,与相同量化深度值有关的相邻深度图元素可被认为与3D图像内的相同区域有关。此外,通过将边权重分配给边可以实现执行图像分割的非常有效的分析。
根据所述第一方面的所述第二实施形式的所述方法的第三实施形式,所述分割包括识别包含一致性像素的纹理区;评估所述纹理区的可靠性;以及消除不可靠纹理区。
这样,可以执行一种识别包含一致性像素的纹理区的非常简单且有效的方式。
根据所述第一方面的所述第三实施形式的所述方法的第四实施形式,所述分割还包括计算不同深度区中局部特征分布的直方图。
根据所述第一方面的所述第四实施形式的所述方法的第五实施形式,所述分割还包括基于所述纹理区进行分割。
根据所述第一方面的所述第三至第五实施形式中任意实施形式的所述方法的第六实施形式,所述评估所述纹理区的所述可靠性包括:将包含数量小于第一阈值的特征的所述纹理区评估为不可靠;将包含数量大于第二阈值的特征的所述纹理区评估为可靠;以及计算纹理区的置信值;将所述置信值与第三阈值比较;以及将所述计算得出的置信值低于所述第三阈值的所述纹理区评估为不可靠;或它们的任意组合。
根据所述第一方面的所述第六实施形式的所述方法的第七实施形式,所述置信值基于所述纹理区覆盖的深度区数量和所述纹理区中局部特征的所述数量计算得出。
根据所述第一方面的所述第一至第七实施形式中的任意实施形式的所述方法的第八实施形式,所述边权重根据色差标准、所述顶点的相对距离和所述顶点的深度值的相对距离的任意组合计算得出。
通过基于这些特征确定所述边权重,可以实现一种所述用于图像分割的图像数据的可靠分析。
根据如上所述第一方面或者根据所述第一方面的任意前述实施形式的所述方法的第九实施形式,所述方法还包括:将所述3D图像数据分离成前景图像数据和背景图像数据,其中仅对所述前景图像数据执行所述分割。
通过识别背景数据并跳过所述背景图像数据的所述分割,所述分割的效率可以进一步提升。
根据第二方面,提供了一种3D图像的3D图像数据分割装置。所述装置包括局部特征确定构件,用于确定所述3D图像的多个视图中的每个视图的局部特征;图生成构件,用于基于所述确定的局部特征确定局部特征图;以及分割构件,用于基于所述3D图像的所述确定的局部特征图和深度图将所述3D图像数据分割为多个深度区。
根据如上所述第二方面的所述装置的一实施形式,所述分割构件还可包括子构件,用于执行根据所述第一方面的所述第一至第九实施形式中的任意实施形式所述的步骤。
根据如上所述第二方面或者根据所述第二方面的任意实施形式的所述装置的一实施形式,所述装置还可包括接收器,用于接收所述3D图像数据,确定所述3D图像的所述多个视图,以及确定或获取所述3D图像的所述深度图。所述接收器还可用于接收所述深度图110。
根据如上所述第二方面或者根据所述第二方面的任意实施形式的所述装置的一实施形式,所述装置还可包括提供所述3D图像数据的3D图像数据源。
根据第三方面,提供了一种执行3D图像的3D图像数据分割的装置。所述装置包括处理器,用于执行根据所述第一方面或者根据所述第一方面的任意所述实施形式所述的方法。
根据如上所述第三方面的一实施形式,所述装置还可包括接收器,用于接收所述3D图像数据,确定所述3D图像的所述多个视图,以及确定所述3D图像的深度图。
根据如上所述第三方面的一实施形式或者根据所述第三方面的任意前述实施形式,所述接收器还可用于接收所述3D图像的所述深度图。
根据如上所述第三方面的一实施形式或者据所述第三方面的任意前述实施形式,所述装置还可包括提供所述3D图像数据的3D图像数据源。
根据第四方面,本发明可以在数字电路中,或者在计算机硬件、固件、计算机软件中,或它们的组合中实施。所述计算机软件包括用于执行根据如上所述第一方面或者根据所述第一方面的所述任意前述实施形式的所述方法的程序代码。
本发明的基本观点在于,基于局部特征的数量而不是基于单独分析每个像素来执行所述图像分割。一个局部特征是一个围绕图像中某个点的块的简洁描述。通常一个图像中的局部特征的数量比像素的数量小得多。因此,可以相当快速地并且利用比基于图像的全部像素的图像分割少的计算资源执行基于局部特征的分割。
本发明的这些和其它方面将从下文描述的实施例显而易见。
附图说明
下面将参考附图通过示例的方式对本发明实施例进行描述,在附图中:
图1示意性地示出了根据本发明的方法的实施例使用的3D图像的图像数据集;
图2示意性地示出了根据本发明一实施例的3D图像数据分割方法的流程图;
图3示意性地示出了根据本发明一实施例的将3D图像数据分割为多个深度区的流程图;
图4示意性地示出了根据本发明一实施例的3D图像分割装置;
图5示意性地示出了根据本发明另一实施例的3D图像分割装置;
图6示意性地示出了根据本发明一实施例的3D图像数据分割方法的流程图;
图7示意性地示出了根据本发明另一实施例的3D图像分割装置。
具体实施方式
在下文中,描述方向的术语,例如“上方”、“下方”、“左侧”、“右侧”等只是为了更好地理解附图,并且不限制本发明。相同参考标号与相同部件有关。附图尺寸仅出于说明目的而不是以任意方式限制本发明。
由本发明所述方法使用的3D图像数据涉及表示或者可以用于生成3D图像的3D表示的所有图像数据。3D图像数据可能涉及单独的3D图像、图像序列内的单个3D图像,或者视频序列内的多个连续的3D图像。图像数据可以以非压缩格式提供或者可以根据任意压缩标准进行压缩。如果图像数据以压缩格式提供,则数据可以在执行根据本发明的分割之前进行解压缩。
图1示出了示例性的3D图像数据集。图像数据包括3D图像的多个视图101、102和103。通常,所有视图涉及3D场景的单个3D图像,其中每个视图101、102和103从不同的预定角度捕获。尽管图1的示例示出了三个视图101、102和103,但是3D图像数据也可能只包括一个或两个视图,例如有关左眼的视图和有关右眼的视图。此外,三个以上视图,例如四个、五个或更多视图也是可能的。
除了多个视图101、102和103,3D图像数据还可以包括3D图像的深度图110。深度图110可以通过从外部设备接收而直接获得。为此,可使用距离摄像机,例如飞行摄像机。或者,深度图110可以通过基于3D图像数据计算获得。例如,深度图110可以从一个或多个纹理帧获得或者深度图110可以由任意其它构件计算或提供。
图2所示为根据本发明一实施例的图示分割方法的流程图。在第一步骤10中,接收3D图像数据。3D图像数据包括如上所述的多个视图。可以获取图像的多个视图,以及深度图110。图像数据可以从摄像机、摄像机系统中获得,或数据可以从无线或有线传输接口等传输接口,或者从存储3D图像数据的存储器构件接收。用于提供3D图像数据的替代性3D图像数据源同样是可能的。
深度图110可以,例如通过基于接收到的3D图像数据在额外子步骤中计算来获得。此外,还有可能通过接收3D图像已经存在的深度图110和3D图像的上述视图获得深度图110。
在另一步骤20中,确定视图101、102和103中的每个视图的局部特征。通常使用电脑视觉中的局部特征,例如进行对象识别或图像配准。通常,局部特征对旋转、照明或透视失真具有不变性。
为了在步骤20中确定局部特征,可以使用任意已知的确定局部特征的方法。例如,可以基于尺度不变特征转换算法(SIFT)或快速鲁棒性特征算法(SURF)确定局部特征。用于确定局部特征的其它算法或者上述算法的修改也是有可能的。
一个局部特征是一个围绕某个图像点的块的简洁描述。为了计算局部特征,基于一个点的环境中的主要梯度分量计算这个点的主要方向。从这个方向开始,提取面向主方向的周围路径。在这之后,该块被分为长方形或径向网格。对于网格的每个元素,计算局部梯度的直方图。在网格元素上计算的直方图表示局部特征的分量。
通常,为场景的关键点计算局部特征。具体而言,这些关键点都与该场景的特殊元素有关,例如角、特定模式等。为了改善3D图像数据的分割,可以优选提供清楚描述周围纹理区的局部特征。为此,可以使用SIFT或SURF描述子,例如Kanade-Lucas-Tomasi(KLT)特征,深度区的重心,或者甚至使用随机点。然而,角或边缘检测子可能不太适合,因为它们倾向于识别通常占用正确分割中的纹理区的边界的点。
在完成确定图像数据中的局部特征之后,在步骤30中确定局部特征图。局部特征图基于在步骤20中确定的局部特征集生成。为了构建该图,每个局部特征与预定数量的空间上相邻的局部特征连接。因此,生成稀疏图,该图包括多个顶点,每个顶点与局部特征有关。
接着,将边权重分配给与顶点连接在一起的边。例如,RGB色差标准可以用于确定边权重。其它标准,例如两个不同顶点的相对距离或者分配给顶点的深度值的相对距离,可以用于确定边权重。此外,可以使用上述标准或者用于确定边权重的其它替代性标准的组合。
基于生成的局部特征图,应用图像切割机制。图像切割算法是已知的。然而,图像分割的传统图像切割方法基于像素进行计算。因此,传统图包括大量顶点。如此大量的顶点导致庞大的计算工作量。与此相反,基于根据本发明的稀疏图的图像切割机制可以利用较少计算资源执行。
接着,在步骤40中,基于局部特征,尤其基于局部特征图和深度图,执行分割。3D图像数据基于确定的局部特征图和深度图被分割为多个多个深度区。
图3示出了根据本发明一实施例的一种执行图像分割的方法的流程图。
深度图110可以表示为由多个深度图元素组成的二维矩阵。每个深度图元素可以是或者表示一个像素或者多个像素。
在步骤41中,执行深度图110的量化。通过这种量化,深度图110中的深度图元素的取值范围被划分为预定数量的子范围。相同子范围内所有深度图元素的取值被分配给公共量化深度值。这种量化用于识别具有相同量化深度的相邻深度图元素以确定深度区。识别的深度区被用作以下分割过程的起始点。
为了限制深度区的数量和校正不一致性,例如深度区边界处的不规则,可以将较小深度区合并到相邻深度区,如下所述:分别计算较小深度区的量化深度值和相邻深度区的所有量化深度值之间的距离,并且可以将较小深度区合并到具有最小距离的深度区。可以迭代进行该过程,直到所有深度区大于预定阈值。
在步骤42中,消除不可靠纹理区。识别纹理区并评估纹理区的可靠性。
在执行完上述图像切割30之后,识别占用具有一致性纹理和/或颜色的同质区域的一组像素。在下文中,这样的一组一致性像素被称为纹理区。基于纹理的分割用于清理深度区。例如,由于不同深度值的错误分配,一个对象可被分离成多个区域。为了识别与相同对象有关的区域,根据量化深度图从分割开始,识别与相同对象有关的深度区。
在执行将纹理区组合为公共对象之前,执行对图像切割算法计算的纹理区的可靠性的评估。图像切割过程导致不可靠纹理区的识别的深度区被删除。
存在若干方式来评估纹理区的可靠性,例如,只包含较少局部特征,例如只包含三个值的纹理区被视为不可靠。识别不可靠纹理区的另一预定阈值也是可能的。
另一种评估纹理区可靠性的可能方式应用于在多个不同深度区中分布并且被错误地检测为单个纹理区的纹理区。纹理区的每个部分可与独立对象有关。然而,这种纹理区也可正确地识别占用图像的很大部分的较大区域。为了辨别这两种可能性,将深度区缩小到包括大部分局部特征的一部分纹理区。例如,选择包括95%的局部特征的深度区。然而,另一限制纹理区的阈值也是可能的。较小比例的分散剩余局部特征被消除。剩余纹理区被视为可靠。
关于剩余纹理区,另一种评估剩余纹理区可靠性的方式基于置信值。根据以下公式计算考虑剩余纹理区可靠性的置信值:
在该公式中,nDR为纹理区覆盖的深度区的数量,nFeat为纹理区中局部特征的数量。如果置信值低于预定阈值,则纹理区被视为不可靠并被消除。否则,纹理区被视为可靠。
步骤41和42的执行并没有任何时序要求。这些步骤可以并行执行或先后执行。
此外,在图3所示方法的步骤43中,计算不同深度区中局部特征分布的直方图:为了计算局部特征分布,获取与纹理区的每个局部特征有关的深度区,以及每个计算得出的深度区中出现的局部特征的数量的直方图,以便评估纹理区的局部特征是否在不同深度区中分布。所得的直方图值在下文中被称作histogramValue。在消除所有不可靠纹理区之后,计算不同深度区中的局部特征分布的直方图。
在步骤44中,执行基于纹理区的分割。出于该目的,设立最小阈值minTreshold和最大阈值maxTreshold。如果直方图包含一个或多个所有深度区的直方图值histogramValue在以下范围内的纹理区,则两个或更多深度区被视为与相同深度区有关:
minTreshold<histogramValue<maxTreshold。
例如,最小阈值可被设为0.1,最大阈值可被设为0.9。然而,最小阈值和最大阈值的其它取值也是可能的。
此外,使用以下等式对深度图之间的深度距离进行归一化处理:
其中depth1是第一深度区的深度值,depth2是第二区域的深度值,maxDepthRange是图像中深度值的最大范围。
深度区之间的归一化深度距离必须小于预定阈值depthThres:
例如,归一化深度距离的预定阈值depthThres可以设为0.1。
这样,可以执行3D图像数据的分割以获取多个单独的深度区。由于该分割基于采用与局部特征有关的顶点的图像切割方法执行,所以只使用了稀疏图。相对于具有图像的每个像素的顶点的图,该稀疏图包括数量明显减少的顶点。因此,可以非常快速地并且利用较少的计算资源来执行根据本发明的图像分割。因此,分割也可以在只提供有限计算资源的小型移动设备上执行。
根据另一实施例,图像数据包括多个通道,例如多个色度通道或单独的颜色通道,例如红色、绿色和蓝色。在这种情况下,可以为每个通道单独执行分割。在完成各个图像分割过程之后,可以组合分割结果以获取最终的公共分割结果。
可选地,为了进一步加快图像分割,可以将图像数据分割为与前景有关的前景图像数据和与背景有关的背景图像数据。通常与背景有关的背景图像数据的图像分割不需要进行重定向。因此,通过跳过背景数据并只考虑前景图像数据可以加快图像分割。
图6示出了根据本发明一实施例的3D图像数据分割方法的流程图,该方法包括根据本发明的前述方法实施例的所有步骤。
根据另一实施例,如图7所示,提供了一种3D图像的3D图像数据分割的装置100。该装置100可以包括处理器5,用于执行根据本发明的前述方法实施例的步骤。该装置100还可包括接收器,用于接收3D图像数据,确定图像的多个视图,以及获取图像的深度图110。接收器1可以从诸如摄像机或摄像机系统、有线或无线传输接口等传输接口之类的3D图像数据源9、3D图像数据存储器或者任意其它提供3D图像数据的源接收3D图像数据。接收器可用于通过基于接收到的3D图像数据进行计算或者通过从外部设备接收深度图110来获取3D图像的深度图110。当通过从外部设备接收来获取深度图时,接收器1还可用于接收3D图像的深度图110。或者,装置100还可包括用于接收3D图像的深度图110的独立接收器。
根据另一实施例,提供了一种3D图像的3D图像数据分割的替代装置100。该装置100可包括用于执行本发明的前述方法实施例的每个步骤的构件。
例如,图5示出了根据本发明的前述方法实施例的3D图像的3D图像数据分割装置。该装置100包括局部特征确定构件2。局部特征确定构件2确定3D图像的多个视图101、102、103的局部特征,正如上文已描述的那样。或者,如图4所示,确定构件2可以由用于确定的多个独立构件,例如第一视图局部特征确定构件2-1、第二视图局部特征确定构件2-2以及第三视图局部特征确定构件2-3,形成。视图局部特征确定构件的数量可对应于图像视图的数量。此处,以N=3个视图为例。将3D图像的每个视图101、102和103分别提供给对应的视图局部特征确定构件2-1、2-2和2-3。
基于局部特征确定构件2或者相应视图局部特征确定构件2-i,0<i<N,N表示3D图像的视图数量,所确定的局部特征,图生成构件3确定局部特征图。此外,图生成构件3可基于生成的局部特征图执行图像切割。
最后,分割构件4计算3D图像数据的图像分割。因此,多个深度区基于确定的局部特征图以及深度图计算得出。
可选地,分割构件4还可包括用于执行本发明的方法实施例的对应步骤41至45的子构件。
图4和5所示的装置100还可包括接收接收器1,用于接收3D图像的3D图像数据,确定3D图像的多个视图101、102和103,以及获取3D图像的深度图110。为了接收图像数据,接收器1可以直接连接至3D图像数据源9,例如摄像机或摄像机系统。或者,接收器1也可以从诸如有线或无线传输接口等传输接口之类的3D图像数据源9、3D图像数据存储器或者任意其它提供3D图像数据的源接收图像数据。
接收器1用于通过基于接收到的3D图像数据进行计算或者通过从外部设备接收深度图110来获取3D图像的深度图110。
接收器1可以包括用于分别获取深度图110和多个视图101、102和103的子构件。获取深度图110的构件可以包括基于接收到的3D图像数据计算深度图110的构件,和/或用于接收来自外部设备的深度图110的构件。外部设备可以获取来自3D图像数据源9的3D图像数据并基于3D图像数据计算深度图110。
当从外部设备获取到深度图110时,接收器1接收到的深度图110在图4和5中作为示例示出。或者,分割装置100还可包括用于接收深度图110并向分割构件4提供接收到的深度图110的独立构件。因此,相应地,用于接收深度图110的接收器1的构件也不需要。
可选地,装置100还可包括用于执行本发明的前述方法实施例的其它构件。
如图4和5以及图7所示的3D图像数据源9可以是相对于图4和5以及图7所示装置100的外部源,或者,3D图像数据源9也可以是图4和5以及图7所示装置100的一部分。
概括地说,本发明提供了一种基于稀疏图的3D图像数据的实时对象分割的方法和装置。为了减少3D图像数据的对象分割的计算工作量,基于只包含顶点数量减少的稀疏图执行分割过程,每个顶点与图像的局部特征元素有关。这样,图中的顶点数量可以明显减少并且可以非常快速地执行图像分割。

Claims (11)

1.一种3D图像的3D图像数据分割方法,其特征在于,所述方法包括:
确定(20)所述3D图像的多个视图(101、102、103)中的每个视图的局部特征;
基于确定的局部特征确定(30)局部特征图;以及
基于所述3D图像的确定的所述局部特征图和深度图(110)将所述3D图像数据分割(40)成多个深度区;
分割(40)所述3D图像数据还包括:计算(43)不同深度区中局部特征分布的直方图。
2.根据权利要求1所述的方法,其特征在于,所述局部特征图包括多个顶点,每个顶点与多个相邻顶点连接;以及所述确定(30)局部特征图包括将边权重分配(30)给两个顶点之间的每个边。
3.根据权利要求2所述的方法,其特征在于,分割(40)所述3D图像数据还包括:
量化(41)所述深度图(100);以及
通过确定具有相同量化深度值的连续深度图元素识别(41)深度区。
4.根据权利要求3所述的方法,其特征在于,所述分割(40)所述3D图像数据还包括:
识别(42)包含一致性像素的纹理区;
评估(42)所述纹理区的可靠性;以及
消除(42)不可靠纹理区。
5.根据权利要求4所述的方法,其特征在于,分割(40)所述3D图像数据还包括:
基于所述纹理区进行分割(44)。
6.根据权利要求5所述的方法,所述评估(42)所述纹理区的所述可靠性包括:
将包含数量小于第一阈值的局部特征的所述纹理区评估(42)为不可靠;和/或
将包含数量大于第二阈值的局部特征的所述纹理区评估(42)为可靠;和/或
计算(42)纹理区的置信值;将所述置信值与第三阈值比较;并将所述计算得出的置信值低于所述第三阈值的所述纹理区评估(42)为不可靠。
7.根据权利要求6所述的方法,其特征在于,所述置信值基于所述纹理区覆盖的深度区数量和所述纹理区中局部特征的所述数量计算得出。
8.根据权利要求2至7中任意一项权利要求所述的方法,其特征在于,所述边权重根据色差标准、所述顶点的相对距离和所述顶点的深度值的相对距离的任意组合计算得出。
9.根据权利要求1至7中任意一项权利要求所述的方法,其特征在于,所述方法还包括:
将所述3D图像数据分离成前景图像数据和背景图像数据,其中仅对所述前景图像数据执行所述分割。
10.一种3D图像的3D图像数据分割的3D图像分割装置(100),其特征在于,所述装置(100)包括:
局部特征确定构件(2),用于确定所述3D图像的多个视图中的每个视图的局部特征;
图生成构件(3),用于基于所述确定的局部特征确定局部特征图;以及
分割构件(4),用于基于所述3D图像的所述确定的局部特征图和深度图(110)计算不同深度区中局部特征分布的直方图,并将所述3D图像数据分割为多个深度区。
11.一种3D图像的3D图像数据分割的3D图像分割装置(100),其特征在于,所述3D图像分割装置包括处理器,用于执行根据权利要求1至9中任意一项权利要求所述的方法。
CN201280078207.XA 2012-12-12 2012-12-12 3d图像数据分割的方法和装置 Active CN104981841B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/075284 WO2014090304A1 (en) 2012-12-12 2012-12-12 Method and apparatus for segmentation of 3d image data

Publications (2)

Publication Number Publication Date
CN104981841A CN104981841A (zh) 2015-10-14
CN104981841B true CN104981841B (zh) 2018-03-06

Family

ID=47358461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280078207.XA Active CN104981841B (zh) 2012-12-12 2012-12-12 3d图像数据分割的方法和装置

Country Status (4)

Country Link
US (1) US20160071281A1 (zh)
EP (1) EP2932466B1 (zh)
CN (1) CN104981841B (zh)
WO (1) WO2014090304A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6789762B2 (ja) * 2016-11-02 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11276250B2 (en) * 2019-10-23 2022-03-15 International Business Machines Corporation Recognition for overlapped patterns

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP3692500B2 (ja) * 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
US7333105B2 (en) * 2004-03-02 2008-02-19 Siemens Medical Solutions Usa, Inc. Active polyhedron for 3D image segmentation
US8472699B2 (en) * 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819679A (zh) * 2010-04-19 2010-09-01 李楚雅 三维医学图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RGB-(D) scene labeling: Features and algorithms;Xiaofeng Ren et al;《2012 IEEE Conference on Computer Vision & Pattern Recognition》;20120616;摘要,第2759页右栏第3-4段,第2760页右栏第2段,第2761页左栏倒数第1-2段,第2761页右栏第1段,第2762页左栏倒数第2段,图1-2 *
基于小波变换的自适应阈值三维图像分割;周术诚 等;《计算机应用与软件》;20061031;第23卷(第10期);20-22 *

Also Published As

Publication number Publication date
EP2932466B1 (en) 2019-12-04
US20160071281A1 (en) 2016-03-10
EP2932466A1 (en) 2015-10-21
CN104981841A (zh) 2015-10-14
WO2014090304A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
Chen et al. No-reference quality assessment of natural stereopairs
CN107578403B (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
US10834379B2 (en) 2D-to-3D video frame conversion
Shan et al. A no-reference image quality assessment metric by multiple characteristics of light field images
KR101743520B1 (ko) 색상 변환 장치 및 그 방법
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
Zhou et al. Projection invariant feature and visual saliency-based stereoscopic omnidirectional image quality assessment
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN104982032B (zh) 3d图像数据分割的方法和装置
CN104981841B (zh) 3d图像数据分割的方法和装置
KR20120065915A (ko) 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
CN112954355A (zh) 图像帧的处理方法及装置
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
Tamboli et al. 3D objective quality assessment of light field video frames
KR20130057586A (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130060978A (ko) 3d 영상의 화질 향상을 위한 움직임 기반의 깊이 맵 동적 재배열 방법 및 장치
KR101893793B1 (ko) 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
JP2014511533A (ja) オブジェクトベースのセグメンテーション方法
Liu An improvement of just noticeable color difference estimation
US20230064963A1 (en) Feature Detection Methods and Systems Using Deconstructed Color Image Data
CN112165615B (zh) 一种立体图像观看舒适性客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant