CN104982032A - 3d图像数据分割的方法和装置 - Google Patents

3d图像数据分割的方法和装置 Download PDF

Info

Publication number
CN104982032A
CN104982032A CN201280078212.0A CN201280078212A CN104982032A CN 104982032 A CN104982032 A CN 104982032A CN 201280078212 A CN201280078212 A CN 201280078212A CN 104982032 A CN104982032 A CN 104982032A
Authority
CN
China
Prior art keywords
rendering
local feature
segmentation
view
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280078212.0A
Other languages
English (en)
Other versions
CN104982032B (zh
Inventor
基奥万尼·科达拉
爱默德·鲍阿齐齐
卢卡斯·康德拉德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN104982032A publication Critical patent/CN104982032A/zh
Application granted granted Critical
Publication of CN104982032B publication Critical patent/CN104982032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多个视图之间的局部特征对应关系的3D图像数据的实时对象分割的方法和装置。为了减少3D图像数据的对象分割的计算工作量,基于关于图像数据的局部特征的对应关系和深度图执行分割过程。这样,计算工作量可以显著减少,而且图像分割可以快速执行。

Description

3D图像数据分割的方法和装置
说明书
本发明涉及一种3D图像数据分割的方法和装置。具体而言,本发明涉及一种基于局部特征对应关系的3D图像数据中的实时对象分割的方法和装置。
背景技术
近来,已经可以向用户呈现3D图像内容。预期在未来几年内3D设备和视频内容的量将迅速增加。
一方面,当前的3D显示技术可以重建聚合效应,即,两只眼睛在相反方向的垂直旋转以维持双目视觉。另一方面,由于所得图像显示在平面上,所以适应性条件等其它重要深度线索在焦距变化时无法准确地再现。因此,在较远屏幕上显示较近对象时,较强的正视差可能会导致视觉体验不佳。已为标准电影屏幕优化的视频内容看起来与电视屏幕或手持式显示设备上的完全不同。因此,图像数据,尤其是与观察者距离最近和最远的对象的深度值的差异必须适配不同应用的特殊属性以维持高质量的深度知觉。该操作被称为为内容重定向或内容重映射。
内容重定向通常是指为了将内容适配为所需上下文而对图像或视频帧进行的调整。在3D视频内容领域,内容重定向执行与3D视频序列有关的深度范围的调整以根据终端能力和视距来优化感知。调整深度最直接的方式是根据可用深度范围线性地移动深度。然而,这可能会导致场景中对象的扁平化。或者,可以执行非线性深度调整。非线性深度调整可能允许对例如前景中的全部对象应用位移。这可能导致3D用户体验的明显改善。此外,非线性深度调整在场景操作中提供更多的自由。
为了执行非线性深度调整,需要识别3D场景中的唯一对象。这样,可以在重定向阶段执行各个对象的深度值的独立操作。例如,前景对象可以移至图像最前面。背景对象可以移至后面。被分割的对象的不同部分之间的深度比仍可以保留。
然而,用于重定向的传统方法,特别是用于非线性深度操作中的图像分割的传统方法,通常分析图像的各个像素。由于图像中存在大量像素,所以这些方法需要庞大的计算资源。
如上所述,3D设备数量稳步增长。为了使3D视频内容适配各个设备,每个设备必须对图像数据进行重定向。然而,诸如移动设备之类的小型设备只能提供有限的计算能力。
因此,需要一种提供3D图像内容的有效图像分割的方法和装置。
同样需要3D图像内容的图像分割,其可实时应用于计算资源有限的3D图像设备上。
发明内容
根据第一方面,提供了一种3D图像的3D图像数据分割方法。所述3D图像包括所述图像的至少两个视图,所述图像的第一视图和所述图像的第二视图。所述方法包括确定所述3D图像的第一视图的局部特征;确定所述3D图像的第二视图的局部特征;确定所述3D图像的所述第一视图和所述第二视图的所述确定的局部特征之间的局部特征对应关系;以及基于所述3D图像的所述确定的局部特征对应关系和深度图将所述3D图像数据分割为多个深度区域。
通过分析所述局部特征对应关系,可以确定有关3D图像中相邻对象的非常可靠信息。这样,一种识别图像数据中的对象从而允许实时分割3D图像数据的非常有效方法是有可能的。
根据如上所述第一方面的所述方法的第一实施形式,所述分割还包括量化所述3D图像的所述深度图;以及通过确定具有相同量化深度值的相邻深度图元素识别所述深度区域。
根据所述第一方面的所述第一实施形式的所述方法的第二实施形式,所述分割还包括计算所述第一和所述第二视图中的对应局部特征的空间位移值,将所述空间位移值与预定位移值进行比较,以及消除所述空间位移值大于所述预定位移值的错误或有误局部特征对应关系。
这样,具有较大空间位移值的异常值可以很容易识别和消除,以便实现非常可靠的3D图像数据分割。
根据所述第一方面的所述第二实施形式的所述方法的第三实施形式,所述分割还包括计算所述深度区域内的所述空间位移或空间位移值的平均值。
根据所述第一方面的所述第三实施形式的所述方法的第四实施形式,所述分割还包括计算相邻深度区域的相关值;以及如果所述计算得出的相关值大于预定阈值,合并所述相邻深度区域。
通过合并具有较高相关值的相邻深度区域,关于相同对象的深度区域的一种有效组合可以得到实现。
根据所述第一方面的所述第三或所述第四实施形式的所述方法的第五实施形式,所述分割还包括生成具有对应于所述确定的局部特征的顶点的图;以及将图像分割处理应用于所述生成的图以获得辅助图像分割;其中所述相邻深度区域使用所述获得的辅助图像分割进行合并。
通过应用基于所述局部特征的这种图像分割处理,可以获得非常有用的用于分割的额外信息。
根据所述第一方面的所述第四或所述第五实施形式的所述方法的第六实施形式,所述分割还包括识别所述多个深度区域中的一个深度区域内的边缘;以及根据所述识别的边缘将所述深度区域分割为至少两个深度区域。
将一个深度区域分割为至少两个深度区域使一个深度区域内的邻近对象被识别为单独对象。
根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的第七实施形式,所述分割还包括将所述3D图像数据分割为前景图像数据和背景图像数据,其中所述分割仅对所述前景图像数据执行。
通过跳过所述背景图像数据,所述分割可以进一步简化,因此进一步减少计算量。
根据如上所述第一方面或根据所述第一方面的任意前述实施方式的所述方法的第八可能实施方式,所述图像数据从视频序列中获得。
通过对视频序列的所述图像数据执行图像分割,可以实时实现一种根据连接显示设备的非常有效的重定向和处理。这样,提供了一种非常可靠和有效的3D图像数据分割。
根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的第九实施形式,所述局部特征对应关系通过比较所述3D图像的所述第一视图和所述第二视图的所述确定的局部特征的匹配过程确定。
通过局部特征对应关系的这种匹配过程,可以很容易识别对应的局部特征。
根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的第十实施形式,其中所述空间位移值参照单个空间方向确定。
根据如上所述第一方面或根据所述第一方面的任意前述实施形式的所述方法的另一实施形式,所述图像数据包括所述图像的两个以上视图,例如,三个、四个或更多视图。每个视图涉及一个场景的单个图像并且从不同角度捕获。当所述3D图像包括两个以上视图时,可以为所述两个以上视图中的每个视图执行所述确定局部特征的步骤,相应地可以在所述两个以上视图之间执行所述确定局部特征对应关系的步骤。而且可以通过对比所述两个以上视图的所述确定的局部特征来执行所述匹配过程。
根据第二方面,提供了一种3D图像的3D图像数据分割装置。所述3D图像分割装置包括局部特征确定构件,用于确定所述3D图像的第一视图的局部特征,以及用于确定所述3D图像的第二视图的局部特征;对应关系确定构件,用于确定所述3D图像的所述第一视图和所述第二视图的所述局部特征之间的局部特征对应关系;以及分割构件,用于基于所述3D图像的所述确定的局部特征对应关系和深度图将所述3D图像数据分割为多个深度区域。
根据如上所述第二方面的所述装置的可能实施形式,所述3D图像数据包括所述图像的两个以上视图,例如,三个、四个或更多视图。每个视图涉及一个场景的单个图像并且从不同角度捕获。当所述图像数据包括两个以上视图时,所述对应构件相应地用于处理所述两个以上视图。例如,所述局部特征确定构件可以用于确定所述两个以上视图中每个视图的局部特征,所述对应关系确定构件可以相应地用于确定所述两个以上视图之间的局部特征对应关系。
根据如上所述第二方面或根据所述第二方面的任意前述实施形式的所述装置的另一实施形式,所述分割构件还可以包括子构件,用于执行根据所述第一方面的所述第一至第十实施形式中的任意一种实施形式所述的步骤。
根据第三方面,一种用于执行3D图像的3D图像数据分割装置包括处理器,用于执行根据所述第一方面或根据所述第一方面的任意实施形式所述的方法。所述装置还可以包括接收器,用于接收所述3D图像数据,用于确定所述图像的所述至少两个视图,以及用于确定所述3D图像数据的深度图110。所述接收器还可以用于接收所述深度图110。
根据如上所述第二或第三方面或根据所述第二或第三方面的任意前述实施形式所述的装置还可以包括提供所述3D图像数据的3D图像数据源。
根据第四方面,本发明可以在数字电子电路中,或在计算机硬件、固件、计算机软件中或在它们的组合中实施。所述计算机软件包括程序代码,用于执行根据如上所述第一方面或根据所述第一方面的任意前述实施形式所述的方法。
本发明的基本观点在于,基于所述图像数据的局部特征执行所述图像分割。一个局部特征是一个围绕图像的某个点的块的简洁描述。通常一个图像中的局部特征的数目比像素的数目小得多。因此,可以相当快速地并且利用比基于图像的每个单独像素的图像分割少的计算资源执行基于局部特征的分割。
本发明的这些和其它方面将从下文描述的实施例显而易见。
下面将参考附图通过示例的方式对本发明实施例进行描述,在附图中:
图1示意性地示出了根据本发明方法的一实施例使用的图像数据集;
图2示意性地示出了根据本发明一实施例的3D图像数据分割方法的流程图;
图3示意性地示出了根据本发明一实施例的将3D图像数据分割为多个深度区域的流程图;
图4示意性地示出了根据本发明一实施例的3D图像分割装置;
图5示意性地示出了根据本发明另一实施例的3D图像分割装置;
图6示意性地示出了根据本发明一实施例的3D图像数据分割方法的流程图;
图7示意性地示出了根据本发明另一实施例的3D图像分割装置。
在下文中,描述方向的术语,例如“上方”、“下方”、“左侧”、“右侧”等只是为了更好地理解附图,并且不限制本发明。相同参考标号与相同部件有关。附图尺寸仅出于说明目的而不是以任意方式限制本发明。
根据本发明所述的方法使用的3D图像数据涉及可以用于生成图像的3D表示的所有图像数据。3D图像数据可能涉及单独图像、图像序列内的单个图像,或者视频序列内的多个连续图像。图像数据可以以非压缩格式提供或者可以根据任意压缩标准进行压缩。如果图像数据以压缩格式提供,则数据可以在执行根据本发明的分割之前进行解压缩。
图1示出了示例性的3D图像数据集。图像数据至少包括3D图像的第一视图101和3D图像的第二视图102。例如,第一视图101可能关于左眼的图像数据,而视图102可能关于右眼的图像数据。尽管本发明仅参照3D图像的两个视图进行描述,但是同样有可能使本发明适应包括两个以上视图,例如三个、四个或更多视图的3D图像数据。
除了多个视图101和102,3D图像或3D图像数据还可以包括深度图110。深度图110可以通过从外部设备,例如从飞行摄像机等距离摄像机中接收而直接获得或确定。或者,深度图110可以通过计算获得或确定。例如,深度图110可以从3D图像数据计算而来。
图2所示为根据本发明一实施例的图示分割方法的流程图。在第一步骤10中,接收3D图像数据。3D图像数据包括至少两个视图,本实施例以两种视图为例,即第一视图101和第二视图102。可以确定图像数据的第一视图101和第二视图102,以及深度图110。图像数据可以从摄像机、摄像机系统中获得,或数据可以从存储3D图像数据的存储器或从提供3D图像数据的传输接口接收。用于提供3D图像数据的替代性3D图像数据源同样是可能的。
深度图110可以,例如通过基于接收到的3D图像数据在额外子步骤中计算来获得或确定。或者,还有可能通过接收已经存在的深度图110来获得或确定深度图110。例如,可以提前计算深度图110,或者可以从如上已经描述的距离摄像机中获得深度图。
在另一步骤20中,确定第一视图101和第二视图102的局部特征。通常使用电脑视觉中的局部特征,例如,进行对象识别或图像配准。通常,局部特征对旋转、照明或透视失真具有不变性。
为了在步骤20中确定局部特征,可以使用任意已知的确定局部特征的方法。例如,可以基于尺度不变特征转换算法(SIFT)或快速鲁棒性特征算法(SURF)确定局部特征。用于确定局部特征的其它算法或者上述算法的修改也是有可能的。
一个局部特征是一个围绕图像的某个点的块的简洁描述。为了计算局部特征,基于一个点的环境中的主要梯度分量计算这个点的主要方向。从这个方向开始,提取一个面向主方向的周围路径。在这之后,该块被分为长方形或径向网格。对于网格的每个元素,计算局部梯度的直方图。在网格元素上计算得来的直方图表示局部特征的分量。
通常,为场景的关键点计算局部特征。具体而言,这些关键点都与该场景的特殊元素有关,例如角、特定模式等。为了改善3D图像数据的分割,可以优选提供清楚描述周围纹理区的局部特征。为此,可以使用SIFT或SURF描述子,例如Kanade-Lucas-Tomasi(KLT)特征,深度区域的重心,或者甚至使用随机点。然而,角或边缘检测子可能不太适合,因为它们倾向于识别通常占用正确分割中的纹理区的边界的点。
参照图1,四个局部特征201a、202a、203a和204a在第一视图101中指示。第二视图102还包括四个局部特征,即201b、202b、203b和204b。
在完成确定各个图像视图101和102的局部特征之后,在步骤30中确定第一视图101和第二视图102中的局部特征之间的对应关系。这样,识别了各个视图中的对应局部特征。如图1所示,对应局部特征不一定完全位于各个视图中的相同位置。例如,局部特征201a相对于第二视图102中的对应局部特征201b位于靠近左边界的位置。同样,其它局部特征202a、203a和204a相比于第二视图102的局部特征202b、203b和204b之间也存在位移。
为了确定第一视图101和第二视图102之间的局部特征对应关系,可以执行匹配操作。为此,可以考虑各个视图的局部特征,以便识别具有相同或至少非常相似属性的第一和第二视图中的局部特征。
接着,在步骤40中,基于局部特征对应关系和深度图110执行对象分割。3D图像数据基于确定的局部特征对应关系和深度图被分割为多个深度区域。图像分割处理的实施例在图3中详细示出。
深度图110可以表示为由多个深度图元素组成的二维矩阵。每个深度图元素可以表示一个像素或多个像素。
在步骤41中,量化深度图110,或者,换言之,量化深度图元素的深度值。
通过这种量化,深度图110中的深度图元素的取值范围被划分为预定数目的子范围。相同子范围内所有深度图元素的取值被分配给公共量化深度值。
接着,组合具有相同量化深度值的相邻深度图元素,以便定义或识别深度区域。这些识别的深度区域被用作以下分割过程的起始点。为了限制深度区域的数目和校正不一致性,例如深度区域边界处的不规则,可以将较小深度区域合并到相邻深度区域,如下所述:分别计算较小深度区域的量化深度值和相邻深度区域的所有量化深度值之间的距离,并且可以将较小深度区域合并到具有最小距离的深度区域。可以迭代进行该过程,直到所有深度区域大于预定阈值。
在步骤42中,消除不正确的局部特征对应关系,也称为错误或有误的局部特征对应关系。为此,计算各个视图中的相应局部特征之间的空间位移。消除具有较大空间位移的局部特征之间的对应关系。例如,可以删除空间位移大于预定位移值,例如3σ的对应关系,其中σ表示在第一视图101和第二视图102之间识别的对应关系的空间位移的直方图的标准差。
通常,正确匹配的空间位移非常小。此外,正确的空间位移仅沿着单个方向,最好是在x维度上进行单方向移动。与此相比,错误的对应关系可以随机分布在整个图像上,其中空间位移基本上大于平均距离。
步骤41和42的执行没有任何时序要求。它们可以并行或先后执行。
在步骤43中,计算深度区域内对应的局部特征的平均空间位移。为此,只考虑x维度上的位移。y维度上的位移被认为是噪声,因此y维度上的位移值被忽略。
在步骤44中,计算两个相邻深度区域之间的相关值,并且可以合并相关的相邻深度区域。例如,如果计算得到的相关值大于预定阈值,则将两个深度区域合并到单个深度区域。否则,认为这两个深度区域是独立的。
在计算对应局部特征的平均距离之后,在步骤44中计算两个相邻深度区域之间的相关值corr,如下所示:
c o r r = 1 - ( α a b s ( D 1 - D 2 ) d e p t h R a n g e + ( 1 - α ) a b s ( m d 1 - m d 2 ) d i s t R a n g e ) / 2
在这个公式中,α是可配置的权重参数,D1和D2是第一和第二视图中的两个深度区域的深度值,md1和md2是第一和第二视图中的对应深度区域之间的计算得出的平均距离。depthRange表示量化深度值的全范围,distRange指示平均空间位移值的全范围。基于该公式,考虑两个因子,即对应深度区域的量化深度值和空间位移。
如果计算得出的相关值大于预定阈值,则将两个深度区域合并到单个深度区域。否则,认为这两个深度区域是独立的。这样,即使当对象包括具有不同深度值的多个子片段时,有可能识别较大对象。
为了进一步改进步骤44的分割,可以考虑额外信息以计算相邻深度区域之间的相关值。例如,有可能确定视图的每个局部特征的具有顶点的图。相邻顶点可以通过边缘连接在一起。图的边缘可以基于连接顶点之间的色差标准或任何其它标准规定边缘权重。基于这种稀疏图,可以采用图像分割算法,以获得辅助图像分割。此外,这种辅助图像分割可以用于根据以下公式计算相关值:
c o r r = 1 - ( α d b s ( D 1 - D 2 ) d e p t h R a n g e + ( 1 - α ) a b s ( m d 1 - m d 2 ) d i s t R a n g e ) / 2 - σ × b
其中根据上述图像分割分析,σ是权重因子,b是二进制运算符。b的值如下:如果观察到的深度区域被认为是与相同对象有关,则为+1;否则为–1。
基于这种替代性的相关值,可以如上所述采用相邻深度区域的组合。
可选地,为了改进图像数据的分割,在步骤45中执行边缘识别。使用步骤45中的这种边缘检测或边缘识别过程的结果以使图像分割适应检测的边缘。任何已知边缘检测技术可以应用于该步骤。
如果识别了在整个深度区域延伸,并且因此将深度区域完全分割为至少两个深度子区的边缘,则相应深度区域被划分为至少两个单独的深度区域。
可选地,为了进一步加快步骤45中的边缘识别,图像数据可以被分割为关于前景的前景图像数据和关于背景的背景图像数据。通常重定向不需要关于背景的背景图像数据的图像分割。因此,图像分割还可以通过跳过背景数据并且只考虑前景图像数据而加快。
图6示出了根据本发明一实施例的3D图像数据分割方法的流程图,该方法包括根据本发明的前述方法实施例的所有步骤。
根据另一实施例,如图7所示,提供了一种3D图像数据的分割装置100。装置100可以包括处理器5,用于执行根据本发明的任意前述方法实施例所述的步骤。装置100还可以包括接收器1,用于接收3D图像数据,确定图像的至少两个视图,以及确定或获取3D图像的深度图110。接收器1可以从诸如摄像机或摄像机系统之类的3D图像数据源9、传输线路或3D图像数据存储器或提供3D图像数据的任意其它源接收3D图像数据。接收器可以用于通过基于接收到的3D图像数据进行计算或者通过从外部设备接收深度图110来确定深度图110。当通过从外部设备接收来确定深度图时,接收器1还可以用于接收深度图110。或者,装置100还可以包括用于接收深度图110的独立接收器。
根据另一实施例,提供了一种3D图像数据分割的替代装置100。本装置100可以包括用于执行本发明的前述方法实施例的每个步骤的构件。
例如,图4示出了根据本发明的前述方法实施例的3D图像数据分割装置100。3D图像数据包括至少两个视图,本实施例以两个视图为例,第一视图101和第二视图102。装置100包括局部特征确定构件2。局部特征确定构件2确定第一和第二视图101和102的局部特征,正如上文已描述的那样。或者,如图5所示,确定构件2的形式可以是两个独立构件:第一视图局部特征确定构件2-1,用于确定第一视图101的局部特征;第二视图局部特征确定构件2-2,用于确定第二视图102的局部特征。分别将图像的第一和第二视图101、102提供给第一和第二视图局部特征确定构件2-1、2-2。
基于局部特征确定构件2,或第一视图局部特征确定构件2-1和第二视图局部特征确定构件2-2确定的局部特征,各个视图101和102的局部特征之间的对应关系由对应关系确定构件3确定。为此,可以执行第一视图101中确定的局部特征201a、202a、203a和204a与第二视图102中确定的局部特征201b、202b、203b和204b之间的匹配操作。
最后,分割构件4基于深度图110和局部特征对应关系计算3D图像数据的图像分割。深度图110可以由接收器1提供。局部特征对应关系可以由对应关系确定构件3提供。如前所述执行这种图像分割。因此,基于确定的局部特征对应关系和深度图计算或确定多个深度区域。
可选地,分割构件4还可以包括子构件,用于例如基于图3和6执行如上所述的本发明的方法实施例的对应步骤41至45。
如图4和5所示的装置100还可以包括接收接收器1,用于接收3D图像数据,确定图像的第一视图101和第二视图102,以及确定图像的深度图110。为了接收图像数据,接收器1可以直接连接至3D图像数据源9,例如摄像机或摄像机系统。或者,接收器1还可以从诸如无线或有线传输接口之类的3D图像数据源9、3D图像数据存储器或者提供3D图像数据的任意其它源接收图像数据。
接收器1用于通过基于接收到的3D图像数据进行计算或者通过从外部设备接收深度图110来确定深度图110。
接收器1可以包括用于分别确定深度图110和至少两个视图101和102的子构件。确定深度图110的构件可以包括基于接收到的3D图像数据计算深度图110的构件,和/或用于从外部设备接收深度图110的构件。外部设备可以从3D图像数据源9获取3D图像数据并基于3D图像数据计算深度图110。
当从外部设备获取到深度图110时,接收器1接收到的深度图110在图4和5中作为示例示出。或者,分割装置100还可以包括用于接收深度图110以及向分割构件4提供接收到的深度图110的独立构件。因此,相应地,用于接收深度图110的接收器1的构件也不需要。
可选地,装置100还可以包括用于执行本发明的前述方法实施例的其它构件。
如图4和5以及图7所示的3D图像数据源9可以是相对于图4和5以及图7所示装置100的外部源,或者,3D图像数据源9也可以是图4和5以及图7所示装置100的一部分。
总而言之,本发明基于3D图像的多个视图之间的局部特征对应关系提供一种用于3D图像数据的实时对象分割的方法和装置。为了减少3D图像数据的对象分割的计算工作量,基于关于图像数据的局部特征的对应关系执行分割过程。这样,计算工作量可以显著减少,而且图像分割快速执行。

Claims (13)

1.一种3D图像的3D图像数据分割方法,其特征在于,所述方法包括:
确定(20)所述3D图像的第一视图(101)的局部特征(201a、202a、203a、204a);
确定(20)所述3D图像的第二视图(102)的局部特征(201b、202b、203b、204b);
确定(30)所述3D图像的所述第一视图(101)和所述第二视图(102)的所述确定的局部特征之间的局部特征对应关系;以及
基于所述3D图像的所述确定的局部特征对应关系和深度图(110)将所述3D图像数据分割(40)为多个深度区域。
2.根据权利要求1所述的方法,其特征在于,所述分割(40)包括:
量化(41)所述3D图像的所述深度图(110);以及
通过确定具有相同量化深度值的连续深度图元素识别(41)所述深度区域。
3.根据权利要求2所述的方法,其特征在于,所述分割(40)还包括:
计算(42)所述第一和所述第二视图(101、102)中对应的局部特征的空间位移值;
将所述空间位移值与预定位移值进行比较(42);以及
消除(42)所述空间位移大于所述预定位移值的错误的局部特征对应关系。
4.根据权利要求3所述的方法,其特征在于,所述分割(40)还包括:
计算(43)所述深度区域内的所述空间位移的平均值。
5.根据权利要求4所述的方法,其特征在于,所述分割(40)还包括:
计算(44)相邻深度区域的相关值;以及
如果所述计算得出的相关值大于预定阈值,合并(44)所述相邻深度区域。
6.根据权利要求4至5中的任意权利要求所述的方法,其特征在于,所述分割(40)还包括:
生成(44)顶点与所述确定的局部特征相对应的的图;以及
将所述生成的图进行图像分割处理以获得辅助图像分割;
其中所述相邻深度区域利用所述获得的辅助图像分割合并。
7.根据权利要求5至6中的任意权利要求所述的方法,其特征在于,所述分割(40)还包括:
识别(45)所述多个深度区域的一个深度区域内的边缘;以及
根据所述识别的边缘将所述深度区域分割(45)为至少两个深度区域。
8.根据前述权利要求中的任意权利要求所述的方法,其特征在于,所述分割(40)还包括将所述3D图像数据分割(45)为前景图像数据和背景图像数据,其中所述分割仅对所述前景图像数据执行。
9.根据前述权利要求中的任意权利要求所述的方法,其特征在于,所述3D图像数据从视频序列中获得。
10.根据前述权利要求中的任意权利要求所述的方法,其特征在于,所述局部特征对应关系通过匹配过程确定,所述匹配过程包括:比较所述3D图像的所述第一视图(101)和所述第二视图(102)的所述确定的局部特征。
11.根据前述权利要求中的任意权利要求所述的方法,其特征在于,对应的局部特征的所述空间位移值参照单个空间方向确定。
12.一种3D图像数据的3D图像数据分割的3D图像分割装置(100),其特征在于,所述3D图像分割装置包括:
局部特征确定构件(2、2-1、2-2),用于确定所述3D图像的第一视图(101)的局部特征(201a、202a、203a、204a),以及用于确定所述3D图像的第二视图(102)的局部特征(201b、202b、203b、204b);
对应关系确定构件(3),用于确定所述3D图像的所述第一视图(101)和所述第二视图(102)的所述局部特征之间的局部特征对应关系;以及
分割构件(4),用于基于所述3D图像的所述确定的局部特征对应关系和深度图(110)将所述3D图像数据分割为多个深度区域。
13.一种3D图像的3D图像数据分割的3D图像分割装置(100),其特征在于,所述3D图像分割装置包括处理器,用于执行根据权利要求1至11中的任意权利要求所述的方法。
CN201280078212.0A 2012-12-12 2012-12-12 3d图像数据分割的方法和装置 Active CN104982032B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/075283 WO2014090303A1 (en) 2012-12-12 2012-12-12 Method and apparatus for segmentation of 3d image data

Publications (2)

Publication Number Publication Date
CN104982032A true CN104982032A (zh) 2015-10-14
CN104982032B CN104982032B (zh) 2018-09-07

Family

ID=47469947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280078212.0A Active CN104982032B (zh) 2012-12-12 2012-12-12 3d图像数据分割的方法和装置

Country Status (4)

Country Link
US (1) US10096116B2 (zh)
EP (1) EP2932710B1 (zh)
CN (1) CN104982032B (zh)
WO (1) WO2014090303A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6604502B2 (ja) * 2015-07-15 2019-11-13 凸版印刷株式会社 デプスマップ生成装置、デプスマップ生成方法及びプログラム
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
CN106780517B (zh) * 2017-01-04 2020-02-14 努比亚技术有限公司 一种实现交互式图像分割的方法、装置及终端
US11276250B2 (en) * 2019-10-23 2022-03-15 International Business Machines Corporation Recognition for overlapped patterns

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP2005157910A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的3次元画像生成装置、擬似的3次元画像生成方法及び擬似的3次元画像生成プログラム
CN101815225A (zh) * 2009-02-25 2010-08-25 三星电子株式会社 生成深度图的方法及其设备
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US20120140038A1 (en) * 2010-12-01 2012-06-07 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
CN102812711A (zh) * 2010-02-25 2012-12-05 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5128874A (en) 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
JP3054681B2 (ja) 1995-07-19 2000-06-19 工業技術院長 画像処理方法
JP3692500B2 (ja) 2000-09-12 2005-09-07 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理方法、画像処理システムおよび記録媒体
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
US7333105B2 (en) 2004-03-02 2008-02-19 Siemens Medical Solutions Usa, Inc. Active polyhedron for 3D image segmentation
US8472699B2 (en) 2006-11-22 2013-06-25 Board Of Trustees Of The Leland Stanford Junior University Arrangement and method for three-dimensional depth image construction
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
EP2293586A1 (en) 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
CN101819679B (zh) 2010-04-19 2011-12-07 李楚雅 三维医学图像分割方法
JP6054777B2 (ja) * 2013-03-01 2016-12-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055330A (en) * 1996-10-09 2000-04-25 The Trustees Of Columbia University In The City Of New York Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information
JP2005157910A (ja) * 2003-11-27 2005-06-16 Nippon Telegr & Teleph Corp <Ntt> 離散的奥行きを有する画像に擬似的奥行きを付与する擬似的3次元画像生成装置、擬似的3次元画像生成方法及び擬似的3次元画像生成プログラム
CN101815225A (zh) * 2009-02-25 2010-08-25 三星电子株式会社 生成深度图的方法及其设备
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
CN102812711A (zh) * 2010-02-25 2012-12-05 汤姆森特许公司 利用视差估计和视差时间变化限制的立体字幕加载
US20120140038A1 (en) * 2010-12-01 2012-06-07 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法

Also Published As

Publication number Publication date
EP2932710B1 (en) 2019-02-20
EP2932710A1 (en) 2015-10-21
WO2014090303A1 (en) 2014-06-19
US20160005181A1 (en) 2016-01-07
US10096116B2 (en) 2018-10-09
CN104982032B (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN103250184B (zh) 基于全局运动的深度估计
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
CN107277491B (zh) 生成图像的深度图的方法及相关存储介质
KR102464523B1 (ko) 이미지 속성 맵을 프로세싱하기 위한 방법 및 장치
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
JP2013527646A5 (zh)
CN103252778A (zh) 用于估计机器人位置的设备及其方法
CN114998320B (zh) 视觉显著性检测的方法、系统、电子装置和存储介质
CN103763564B (zh) 基于边缘无损压缩的深度图编码方法
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
CN104982032A (zh) 3d图像数据分割的方法和装置
CN107113464B (zh) 内容提供装置、显示装置及其控制方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
KR101125061B1 (ko) Ldi 기법 깊이맵을 참조한 2d 동영상의 3d 동영상 전환방법
Ko et al. A ParaBoost stereoscopic image quality assessment (PBSIQA) system
US20120170841A1 (en) Image processing apparatus and method
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
Farid et al. Blind depth quality assessment using histogram shape analysis
CN104981841B (zh) 3d图像数据分割的方法和装置
KR101804157B1 (ko) 개선된 sgm 기반한 시차 맵 생성 방법
CN114001671B (zh) 激光数据提取方法、数据处理方法、和三维扫描系统
CN103763545A (zh) 一种自由立体图像处理方法及装置、电子设备
KR20110132704A (ko) 입체 영상 인코딩 장치 및 방법
Zhang et al. An quality metric for 3D rendered image based on stereo saliency and structural similarity

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant