CN104796622A - 影像分割装置与影像处理方法 - Google Patents

Abstract

本发明揭露一种影像分割装置与影像处理方法。影像处理方法包括：透过一处理元件，根据一目标影像的多个像素的颜色，将所述像素区分为多个超像素；透过该处理元件，平均化所述超像素中的每一者中的所述像素所对应的深度值，以产生对应于所述超像素的多笔平均深度值；以及透过该处理元件，根据所述平均深度值产生对应于该目标影像的所述超像素的一调校深度图。在一实施例中，可根据调校深度图分割目标影像，以令影像分割更为精准。

Description

影像分割装置与影像处理方法

技术领域

本发明涉及一种电子装置与一种数字处理方法。具体而言，本发明涉及一种影像分割装置与一种影像处理方法。

背景技术

随着影像处理技术的发展，影像分割方法已广泛地应用在人们的生活当中。

典型的影像分割方法可用以将影像分割为不同部分。举例而言，在数字摄影中，影像分割方法可用以分割一背景与一主要物件(即前景)。借此，此一主要物件与背景即可分别进行进一步的影像处理。

发明内容

本发明的一实施方式涉及一种影像处理方法。根据本发明一实施例，该方法包括：透过一处理元件，根据一目标影像的多个像素的颜色，将所述像素区分为多个超像素；透过该处理元件，平均化所述超像素中的每一者中的所述像素所对应的深度值，以产生对应于所述超像素的多笔平均深度值；以及透过该处理元件，根据所述平均深度值产生对应于该目标影像的所述超像素的一调校深度图。

根据本发明一实施例，其中在所述超像素中的一者中的所述像素的颜色彼此大致相同。

根据本发明一实施例，其中在所述超像素中的一者中的所述像素彼此相邻。

根据本发明一实施例，其中产生该调校深度图的步骤包括：以对应于所述超像素中的一者的平均深度值，作为在所述超像素中的该者中的所述像素的多笔调校深度值。

根据本发明一实施例，该影像处理方法还包括：透过一显示元件，显示该目标影像；透过一使用者输入元件，接收一使用者指令，其中该使用者指令相应于该目标影像的一原始指定区域；根据所述平均深度值，缩减该原始指定区域，以产生一缩减的指定区域；根据该缩减的指定区域及该使用者指令，产生多笔种子；以及根据所述种子分割该目标影像，以获得至少一分割后的影像。

根据本发明一实施例，其中缩减该原始指定区域的步骤包括：根据所述平均深度值，将该原始指定区域中的所述超像素分群为两组；以及根据该两组分群后的超像素，决定该缩减的指定区域。

根据本发明一实施例，其中将该原始指定区域中的所述超像素分群为两组的步骤包括：根据该原始指定区域中的所述超像素与该原始指定区域的一中心之间的距离，决定该原始指定区域中的所述超像素的多笔权重；通过加总所述超像素中具有相同平均深度值者的权重，以计算出多笔权重总和；以及根据所述权重总和，以将该原始指定区域中的所述超像素分群为两组。

根据本发明一实施例，其中根据该两组分群后的超像素，决定该缩减的指定区域的步骤包括：选择对应于该两组分群后的超像素中的一组的一选定区域；以及从该选定区域的边缘缩减(erode)该选定区域，以产生该缩减的指定区域。

根据本发明一实施例，根据所述种子分割该目标影像，以获得至少一分割后的影像的步骤包括：以所述像素中位于该原始指定区域的边缘的一第一部分像素，作为所述种子中的多个背景种子；以及以所述像素中位于该缩减的指定区域中的一第二部分像素，作为所述种子中的多个前景种子。

本发明的一实施态样涉及一种影像分割装置。根据本发明一实施例，该影像分割装置包括一显示元件、一使用者输入元件、以及一处理元件。该显示元件用以显示一目标影像。该使用者输入元件用以接收一使用者指令，其中该使用者指令相应于该目标影像的一原始指定区域。该处理元件用以根据相应于该目标影像的一第一深度信息，缩减该原始指定区域，以产生一缩减的指定区域；根据该缩减的指定区域及该使用者指令，产生多笔种子；以及根据所述种子分割该目标影像，以获得至少一分割后的影像。

透过应用上述一实施例，即可根据相应于目标影像的第一深度信息分割目标影像，以令影像分割更为精准。

附图说明

图1为根据本发明一实施例所绘示的影像分割装置的示意图；

图2为根据本发明一实施例的影像处理方法的流程图；

图3A、图3B为根据本发明一操作例所绘示的产生调校深度图的示意图；

图4A-4C为根据本发明一操作例所绘示的影像分割方法的示意图；

图5A、图5B为根据本发明一操作例所绘示的对原始指定区域进行分组的示意图；以及

图6A、图6B为根据本发明另一操作例所绘示的对原始指定区域进行分组的示意图。

具体实施方式

以下将以附图及详细叙述清楚说明本揭示内容的精神，任何所属技术领域中具有通常知识者在了解本揭示内容的实施例后，当可由本揭示内容所教示的技术，加以改变及修饰，其并不脱离本揭示内容的精神与范围。

关于本文中所使用的“电性连接”，可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而“电性连接”还可指二或多个元件元件相互操作或动作。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，是包括所述事物的任一或全部组合。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附加附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。

关于本文中所使用的用词(terms)，除有特别注明外，通常具有每个用词使用在此领域中、在此揭露的内容中与特殊内容中的平常意义。某些用以描述本揭露的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本揭露的描述上额外的引导。

本发明的一实施方式涉及一种影像分割装置。在以下段落中，将以一智能电话或一平板电脑为例对影像分割装置的细节进行描述，然而本发明不以此为限。

图1为根据本发明一实施例所绘示的影像分割装置100的示意图。在本实施例中，影像分割装置100包括处理元件110、显示元件120以及使用者输入界面130。在一实施例中，处理元件110电性连接显示元件120以及使用者输入界面130。

在一实施例中，处理元件110例如可用中央处理器、微处理器、或数字信号处理器(digital signal processor，DSP)等处理器实现，但不以此为限。显示元件120例如可用液晶显示器、主动矩阵有机发光二极管显示器、或电子纸显示器等显示器实现，但不以此为限。使用者输入界面130例如可用触控模块、键盘、或鼠标等装置实现，但不以此为限。在一实施例中，显示元件120以及使用者输入界面130可整合为触控显示元件，然本发明不以此为限。

在一实施例中，显示元件120用以显示影像。使用者输入界面130用以接收来自使用者的使用者指令。处理元件110用以根据影像本身、使用者指令、以及影像的深度信息，以分割影像。

以下将通过图2中的影像处理方法以提供本发明更具体细节，然本发明不以下述实施例为限。

应注意到，此一影像处理方法可应用于相同或相似于图1中所示结构的影像分割装置。而为使叙述简单，以下将根据本发明一实施例，以图1中的影像分割装置100为例进行对操作方法叙述，然本发明不以此应用为限。

另外，应了解到，在本实施方式中所提及的影像处理方法的步骤，除特别叙明其顺序者外，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。

再者，在不同实施例中，这些步骤亦可适应性地增加、置换、及/或省略。

参照图2，影像处理方法200包括以下步骤。

在步骤S1中，处理元件110取得具有多个像素的目标影像(此一影像例如是透过一摄影机取得，或储存于一储存媒介中)，并根据这些像素的颜色，将这些像素区分为多个超像素(每一超像素例如是一组多个相邻的像素)。

在一实施例中，处理元件110可对目标影像执行过度切割演算法(over-segmentation algorithm)，以将前述像素区分为多个超像素。在一实施例中，每一超像素具有超过一个像素。在一实施例中，在同一超像素中的像素具有大致相同的颜色。在一实施例中，在同一超像素中的像素彼此相邻。

在步骤S2中，处理元件110取得对应于目标影像的深度图(depth map)(此一深度图例如是透过感测器取得，或储存于一储存媒介中)，其中此一深度图包括多笔各别对应于目标影像的像素的深度值。接着，处理元件110平均化前述超像素中的每一者中的像素所对应的深度值，以产生对应于这些超像素的多笔平均深度值。

在步骤S3中，处理元件110根据前述平均深度值，产生对应于目标影像的超像素的一调校深度图。在一实施例中，处理元件110可用前述平均深度值，作为在超像素中的像素的调校深度值(亦即，对应于在同一超像素中的像素的调校深度值彼此相同)。举例而言，处理元件110可用对应于第一超像素的第一平均深度值作为在第一超像素中的像素的调校深度值。

借此，调校深度图中相异的调校深度值的边缘即可对齐超像素的边缘。

为使叙述清楚，以下将搭配图3A、图3B提供一操作例，然而本发明不以下述操作例为限。

在本操作例中，影像IMG1具有多个像素PXL(例如25个像素)，且这些像素PXL可区分为多个超像素(例如超像素SPL1-SPL6)。如图3A所示，超像素SPL1中的像素的深度值为10、11、11、12、11，且超像素SPL1的平均深度值为11。超像素SPL2中的像素的深度值为7、1、7、7、7、7，且超像素SPL2的平均深度值为6。超像素SPL3中的像素的深度值为1、1、1，且超像素SPL3的平均深度值为1。超像素SPL4中的像素的深度值为3、2、4、3，且超像素SPL4的平均深度值为3。超像素SPL5中的像素的深度值为15、13、15、13，且超像素SPL5的平均深度值为14。超像素SPL6中的像素的深度值为6、7、8，且超像素SPL6的平均深度值为7。处理元件110可用超像素SPL1的平均深度值(即11)作为在超像素SPL1中的像素的调校深度值，用超像素SPL2的平均深度值(即6)作为在超像素SPL2中的像素的调校深度值，用超像素SPL3的平均深度值(即1)作为在超像素SPL3中的像素的调校深度值，用超像素SPL4的平均深度值(即3)作为在超像素SPL4中的像素的调校深度值，用超像素SPL5的平均深度值(即14)作为在超像素SPL5中的像素的调校深度值，用超像素SPL6的平均深度值(即7)作为在超像素SPL6中的像素的调校深度值，以产生调校深度图(如图3B所示)。

通过上述利用超像素及调校深度图切割影像的做法，即可简化后续的计算过程。此外，由于平均化像素的深度值可减少深度感测上的失准(通常发生在影像的前景边缘)造成的负面影响，故通过应用上述平均深度值，即可增加影像分割的准确度。然而，应注意到，在一些实施例中，处理元件110仍可利用原始的像素及深度值进行影像分割(在此类情况下，步骤S1-S3可省略)，故本发明不以上述实施例为限。

在步骤S4中，处理元件110利用显示元件120显示目标影像。

在步骤S5中，处理元件110利用使用者输入界面120接收来自使用者的使用者指令。在一实施例中，此一使用者指令对应于目标影像的一原始指定区域。在一实施例中，可通过手指、触控笔、鼠标或键盘提供此一使用者指令，然而本发明不以此为限。在一实施例中，此一使用者指令可包括对应于目标影像的一封闭的轨迹(closed trace)，且此一封闭的轨迹所框出的区域可作为原始指定区域(亦即，被此一封闭的轨迹所框出及覆盖的超像素或像素可作为原始指定区域)。在一实施例中，此一使用者指令可包括对应于目标影像的一未封闭的轨迹(unclosed trace)，而处理元件110可(自动地)封闭此一轨迹，以取得原始指定区域。在一实施例中，此一原始指定区域可涵盖在目标影像中欲分割出的物件。

在步骤S6中，处理元件110根据对应于目标影像的第一深度信息缩减前述原始指定区域，以产生对应于目标影像的一缩减的指定区域。在一实施例中，第一深度信息可包括前述相应于像素的深度值及/或相应于超像素的平均深度值。在一实施例中，此一缩减的指定区域是大致相同于或小于目标影像中欲分割出的物件。

根据一实施例，在步骤S6中，处理元件110可根据前述第一深度信息，将位于前述原始指定区域中的超像素或像素(后称为影像单元)分组为一前景群组以及一背景群组。

接着，处理元件110选取一区域，此一区域相应于前述前景群组的影像单元。此时，虽仍存在有些许误差，但相应于被选取的影像单元的被选取的区域是大致等同于目标影像中欲分割出的物件(因为欲分割出的物件通常是目标影像中的前景)。

而后，处理元件110从边缘缩减被选取的区域(亦即，沿着被选取的区域的边缘移除被选取的区域的外围部分)，以产生前述缩减的指定区域。此时，缩减的指定区域是位于目标影像中欲分割出的物件之上。在一实施例中，处理元件110是从边缘缩减被选取的区域些许像素或超像素(例如缩减10个像素或超像素)。

应注意到，在不同实施例中，此一缩减操作可被省略，且在如此的实施例中，可直接用前述对应于被选取的群组的被选取的区域作为前述缩减的指定区域。

在步骤S7中，处理元件110根据前述缩减的指定区域及前述使用者指令，产生多笔种子。在一实施例中，这些种子包括前景种子及背景种子。在一实施例中，处理元件110可用位于前述原始指定区域的边缘的第一部分像素，作为背景种子，并以位于前述缩减的指定区域中的第二部分像素，作为前景种子。在一实施例中，可用重迭于前述轨迹及/或位于前述轨迹周围的像素做为背景种子。在一实施例中，可用重迭于前述轨迹的超像素中的像素做为背景种子。

在步骤S8中，处理元件110根据前述种子分割目标影像，以获得至少一分割后的影像。在一实施例中，处理元件110可根据目标影像(例如目标影像的颜色)、前述种子及第二深度信息，执行一影像分割演算法，以分割目标影像。在一实施例中，第二深度信息可包括相应于超像素的平均深度值。由于平均化像素的深度值可减少深度感测上的失准(通常发生在影像的前景边缘)造成的负面影响，故通过应用平均深度值，可增加影像分割的准确度。然而，在其它实施例中，仍可根据对应于像素的原始深度值进行影像分割(亦即，第二深度信息仅包括对应于像素的原始深度值)，故本发明不以上述实施例为限。

在一实施例中，前述影像分割演算法可为修改后的graph cut演算法(modified graph cut algorithm)，然本发明不以此为限。应注意到，一般graph cut演算法是用以接收使用者提供的前景种子与背景种子，以根据影像的颜色、前景种子与背景种子，分割影像的前景与背景。在一实施例中，可进一步将graphcut演算法修改为根据影像的颜色、前景种子、背景种子以及第二深度资料，分割影像的前景与背景，以增加影像分割的准确度。

通过上述的操作，即可根据目标影像的深度资料分割目标影像。如此一来，即可使影像分割更为精准。

为使叙述清楚，以下将搭配图4A-4C提供一操作例，然而本发明不以下述操作例为限。

参照图4A，目标影像IMG显示于显示元件120上。目标影像IMG具有前景FRG(例如是一名人物与多个矮柱)以及背景BKG。使用者可在欲分割出的物件(例如是该名人物)周围画出一条轨迹TRC，以圈出(encircle)目标影像的原始指定区域。

参照图4B，处理元件110根据前述第一深度信息，将位于目标影像IMG的原始指定区域ODR中的影像单元(即超像素或像素)分组为一前景群组以及一背景群组。接着，处理元件110选取相应于这些影像单元中的前景群组的区域LRN，以进行后续操作。换言之，处理元件110是从原始指定区域ODR的影像单元中移除后景群组的影像单元。

接着，如图4C所示，处理元件110从区域LRN的边缘缩减选取的区域LRN，以产生缩减的指定区域SDR。而后，处理元件110用位于原始指定区域ODR的边缘的像素作为背景种子，并用位于缩减的指定区域SDR中的像素作为前景种子，并据以分割目标影像IMG。

透过上述的操作，即可根据深度信息准确地产生前景种子及背景种子，以令影像分割更为精准。

在一实施例中，在决定原始指定区域后，处理元件110决定每一影像单元一权重，并根据这些权重对原始指定区域中的影像单元进行分组。在一实施例中，原始指定区域中的这些影像单元的权重相应于这些影像单元与原始指定区域的中心之间的距离。当距离越小时，权重越高。在一实施例中，可根据原始指定区域的边缘计算原始指定区域的中心，然而本发明不以此为限。

在决定前述权重后，处理元件110通过加总前述影像单元中被定为具有相同深度者的权重，以计算出多笔权重总和。举例而言，当两个像素具有相同的深度值时，此两个像素被定为具有相同深度，故处理元件110可加总此两个影像单元的权重，以产生对应于此一深度值的权重总和。再举例而言，当两个超像素具有相同的平均深度值时，此两个超像素被定为具有相同深度，故处理元件110可加总此两个影像单元的权重，以产生对应于此一平均深度值的权重总和。

而后，处理元件110可根据对应于不同深度的权重总和，对影像单元进行分组。

为使叙述清楚，以下将搭配图5A-6B提供两个操作例，然而本发明不以下述操作例为限。

参照图5A、图5B，在一操作例中，在原始指定区域ODR1中的像素PXL未被区分为超像素的情况下，处理元件110可决定区域DR1内的中心像素CNT的权重w1(例如为5)，决定区域DR2内的像素(例如为具有深度值11、1、15、1、2、3、7、1的像素)的权重w2(例如为3)，并决定区域DR3内的像素(例如为具有深度值10、11、11、15、13、13、6、7、8、3、4、7、7、7、7、12的像素)的权重w3(例如为1)。由于在区域DR1内有1个像素的深度值为1，在区域DR2内有3个像素的深度值为1，且在区域DR3内没有像素的深度值为1，故对应于深度值为1的权重总和可为5*1+3*3＝14。此外，由于在区域DR2有1个像素的深度值为2，且在区域DR1、DR3内没有像素的深度值为2，故对应于深度值为2的权重总和可为3*1＝3。对应其它深度值的权重总和可以此类推。透过上述的计算，即可得到对应不同深度值的权重总和的柱状图(如图5B)。

而后，处理元件110可根据这些权重总和执行一均值偏移演算法(meanshift algorithm)，以对像素进行分组。在此一实施例中，具有深度值1-4的像素可分为群组G1，具有深度值5-15的像素可分为另一群组G2。具有较高的权重总和的群组(如群组G1)可为定为前景群组，且具有较低的权重总和的群组(如群组G2)可为定为背景群组。

参照图6A、图6B，在另一操作例中，原始指定区域ODR2中的像素PXL被区分为多个超像素SPL1-SPL6，且在每一超像素SPL1-SPL6中的像素的深度值各自彼此相同。处理元件110可决定中心超像素SPL3的权重w1(例如为5)，并决定邻近超像素SPL3的超像素SPL1-2、SPL4-6的权重w2(例如为1)。由于只有中心超像素SPL3的平均深度值为1，故对应于深度值为1的权重总和可为5*1＝5。由于只有一个超像素的平均深度值为3，故对应于深度值为3的权重总和可为1*1＝1。由于有2个超像素的平均深度值为6，故对应于深度值为6的权重总和可为2*1＝2。对应其它平均深度值的权重总和可以此类推。透过上述的计算，即可得到对应不同平均深度值的权重总和的柱状图(如图6B)。

而后，处理元件110可根据这些权重总和执行一均值偏移演算法(meanshift algorithm)，以对超像素进行分组。在此一实施例中，超像素SPL3、SPL4可分为群组G1，且超像素SPL1、SPL2、SPL5、SPL6可分为另一群组G4。具有较高的权重总和的群组(如群组G3)可为定为前景群组，且具有较低的权重总和的群组(如群组G4)可为定为背景群组。

透过上述的操作，即可根据深度信息将原始指定区域中的影像单元分组为两个不同的群组。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (10)

1.一种影像处理方法，其特征在于，包括：

透过一处理元件，根据一目标影像的多个像素的颜色，将所述像素区分为多个超像素；

透过该处理元件，平均化所述超像素中的每一者中的所述像素所对应的深度值，以产生对应于所述超像素的多笔平均深度值；以及

透过该处理元件，根据所述平均深度值产生对应于该目标影像的所述超像素的一调校深度图。

2.根据权利要求1所述的影像处理方法，其特征在于，在所述超像素中的一者中的所述像素的颜色彼此大致相同。

3.根据权利要求1所述的影像处理方法，其特征在于，在所述超像素中的一者中的所述像素彼此相邻。

4.根据权利要求1所述的影像处理方法，其特征在于，产生该调校深度图的步骤包括：

以对应于所述超像素中的一者的平均深度值，作为在所述超像素中的该者中的所述像素的多笔调校深度值。

5.根据权利要求1所述的影像处理方法，其特征在于，还包括：

透过一显示元件，显示该目标影像；

透过一使用者输入元件，接收一使用者指令，其中该使用者指令相应于该目标影像的一原始指定区域；

根据所述平均深度值，缩减该原始指定区域，以产生一缩减的指定区域；

根据该缩减的指定区域及该使用者指令，产生多笔种子；以及

根据所述种子分割该目标影像，以获得至少一分割后的影像。

6.根据权利要求5所述的影像处理方法，其特征在于，缩减该原始指定区域的步骤包括：

根据所述平均深度值，将该原始指定区域中的所述超像素分群为两组；以及

根据该两组分群后的超像素，决定该缩减的指定区域。

7.根据权利要求6所述的影像处理方法，其特征在于，将该原始指定区域中的所述超像素分群为两组的步骤包括：

根据该原始指定区域中的所述超像素与该原始指定区域的一中心之间的距离，决定该原始指定区域中的所述超像素的多笔权重；

通过加总所述超像素中具有相同平均深度值者的权重，以计算出多笔权重总和；以及

根据所述权重总和，以将该原始指定区域中的所述超像素分群为两组。

8.根据权利要求6所述的影像处理方法，其特征在于，根据该两组分群后的超像素，决定该缩减的指定区域的步骤包括：

选择对应于该两组分群后的超像素中的一组的一选定区域；以及

从该选定区域的边缘缩减该选定区域，以产生该缩减的指定区域。

9.根据权利要求5所述的影像处理方法，其特征在于，根据所述种子分割该目标影像，以获得至少一分割后的影像的步骤包括：

以所述像素中位于该原始指定区域的边缘的一第一部分像素，作为所述种子中的多个背景种子；以及

以所述像素中位于该缩减的指定区域中的一第二部分像素，作为所述种子中的多个前景种子。

10.一种影像分割装置，其特征在于，包括：

一显示元件，用以显示一目标影像；

一使用者输入元件，用以接收一使用者指令，其中该使用者指令相应于该目标影像的一原始指定区域；以及

一处理元件，用以：

根据相应于该目标影像的一第一深度信息，缩减该原始指定区域，以产生一缩减的指定区域；

根据该缩减的指定区域及该使用者指令，产生多笔种子；以及

根据所述种子分割该目标影像，以获得至少一分割后的影像。