CN104580883B - 图像处理装置、图像处理方法以及记录介质 - Google Patents

Abstract

本发明提供图像处理装置和图像处理方法。图像处理装置具备：像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；以及第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素，并且重复进行以下的处理：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

Description

图像处理装置、图像处理方法以及记录介质

技术领域

本发明涉及一种图像处理装置、图像处理方法以及记录介质。

背景技术

一般，已知从图像内抽取用户所希望的区域(比如，从对在纸等上手绘制的绘画进行拍摄而获得的图像中，抽取相当于该绘画的区域)的技术，但是存在由于整个图像的亮度波动、亮度的不均匀、反射等，难以适当地划分区域的情况。另外，作为抽取区域的技术，作为被称为图像分割的技术，包括Grab Cut等各种分割处理的方法，但是因为以指定想要抽取的区域为前提，因此难以正确地指定区域，该指定的方式还对分割处理造成不良影响。

因此，目前已知如下的技术：当在显示中的图像上点击抽取对象的区域(被拍摄体)内的一点时，在该图像内形成包含与该点击位置对应的坐标点的预定形状(比如，圆形)的区域，并且将该形成的区域作为前景(foreground)的初始区域，利用图像分割Grab Cut等程序进行分割处理，由此，进行在图像内分割为背景像素和前景像素，抽取前景部分的处理(参照专利文献1)。

但是，在上述的专利文献的技术中，仅通过点击指定抽取对象的一个点便可执行分割处理，由此能够大幅度减轻用户的负担，但是例如，如果抽取对象为复杂的形状，则存在无法将该抽取对象整体收容在预定的形状(例如，圆形)的区域内的情况，有可能对在图像内分割为前景像素和背景像素的处理产生不良影响。

专利文献1：日本特开2013-29930号公报

发明内容

本发明的课题在于不需要用户指定区域用的辅助操作，能够精度良好地从图像内剪切其一部分区域。

本发明的一个形式为一种图像处理装置，其特征为具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；以及

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素，并且重复进行以下的处理：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

本发明的另一个形式为一种图像处理装置，其特征为具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素；以及

剪切区域设定单元，其在作为由上述第2确定单元确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域。

本发明的另一个形式为一种图像处理装置，其特征为具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；以及

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素，并且将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景。

另外，本发明的另一形式是一种图像处理方法，其特征为包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

重复进行以下处理的处理：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

本发明的另一形式是一种图像处理方法，其特征为包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

在作为确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域的处理。

本发明的另一形式是一种图像处理方法，其特征为包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景的处理。

此外，本发明的另一形式涉及一种永久的记录介质，其特征为记录有用于使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

重复执行以下的处理的功能：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

本发明的另一形式是一种记录介质，其存储有使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

在作为确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域的功能。

本发明的另一形式是一种记录介质，其存储有使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景的功能。

附图说明

图1是表示作为图像处理装置而使用的平板终端装置的基本构成要素的方框图。

图2A是举例表示从图像存储器3c中作为处理对象而读出的图像数据(原图像)的图。

图2B是表示将原图像划分为多个区域(16个区域)的状态的图。

图3是表示用于从对在白色的纸上手工绘制的绘画进行拍摄而得到的图像中剪切该绘画的处理的流程图。

图4为紧接图3的动作的流程图。

图5A、图5B为分别举例表示亮度值柱状图的图。

图6A、图6B为分别举例表示与图5不同的亮度值柱状图的图。

图7是表示将亮度值分组，对属于各组的亮度值的数进行计数的一览表的图。

图8A是举例表示执行了将具有亮度分布的峰值附近的亮度值的像素指定为背景像素的处理后的图像的图。

图8B是表示通过图像分割处理而获得的剪切掩模(剪切模)图像的图。

图9A、图9B是用于说明指定最外侧的区域(轮廓)的方式的图。

图10A是举例表示仅将最外侧的区域(轮廓)用作剪切掩模图像时的图。

图10B是表示通过该剪切掩模图像而剪切的图像的图。

具体实施方式

下面参照图1～10，对本发明的实施方式进行说明。

本实施方式例举了作为图像处理装置用于平板终端装置的情况，图1是表示该平板终端装置的基本构成要素的方框图。

平板终端装置是其整个外壳为A5尺寸的便携信息终端装置，具有触摸输入功能、无线通信功能、界面连接功能等。成为该平板终端装置的核心的控制部1通过来自电源部(二次电池)2的供电而进行动作，具有根据存储部3内的各种程序控制该平板终端装置的全体动作的中央运算处理器和存储器等。

存储部3例如是具有ROM、闪速存储器等的结构，具有存储用于按照图3和图4所示的动作顺序，实施本实施方式的程序的程序存储器3a；临时存储在该平板终端装置中需要的各种的数据、标志等的工作存储器3b；存储通过照相机拍摄的动画等各种图像数据的图像存储器3c。另外，存储部3既可为例如包含SD卡、IC卡等可装卸的移动型存储器(记录介质)的结构，也可为在经由通信功能与网络连接的状态下包含预定的服务器侧的存储区域，虽然关于后者未图示。图像存储器3c不限于内置存储器，还可为SD卡等可装卸的移动型存储器，例如存储经由因特网而接收取得的图像数据，或存储照相机(省略图示)拍摄的图像数据。

操作部4为按钮式的按键，虽然省略图示，但具备将电源接通/关断的电源键，选择处理对象的动画的选择键等。无线LAN(局域网络Local Area Netork)通信部5为可进行高速大容量的通信的无线通信模块，能够经由最近的无线LAN路由器(图示省略)与因特网等连接。触摸显示部6为在显示面板6a上层叠设置了触摸面板6b的结构，显示作为软键按键(softkey软键)的功能名，或显示各种图标等，或者显示图像数据。该触摸显示部6的触摸面板6b构成检测通过手指等(包括笔等操作部)触摸操作的位置，输入其坐标数据的触摸屏，例如采用静电电容方式，或电阻表面膜方式，但是也可为光传感器方式等其它方式。

图2A为举例表示了从图像存储器3c中，作为处理对象而读出的图像数据(原图像)的图。

图示的原图像例如表示了对在白纸或白板的大致中央部，使用黑墨水的笔等手工绘制的绘画(用黑线绘制的鬼脸)P进行拍摄得到的图像(灰度图像)，是举例表示了在拍摄时受到反射等的影响，在该整个图像上产生亮度波动，亮度不均匀，并且在图像的右侧中央部，拍入了天花板的荧光灯，图像的下半部暗，图像的上半部亮的图像的情况。

在图中，L1、L2表示荧光灯的反射部分，特别明亮地拍摄。在本实施方式中，为了从该原图像中剪切在白纸或白板上绘制的绘画P，从该整个图像中将亮度高的部分确定为背景。即，在对具有第1颜色(白色)的绘画介质上通过第2颜色(黑色)绘制的绘画(线图)P进行拍摄而得到的图像中，在以该绘画(线图部分)P为前景的情况下，将接近第1颜色的部分确定为背景。此时，在执行用于从原图像中剪切绘画P的图像处理之前，生成将该图像内的各像素的亮度值(亮度的程度)的分布图形化的亮度值柱状图，在该亮度分布(亮度的分布)的亮度值中，不是将亮度最高的部分(过亮的光泽反射部分)的亮度值，而是将峰值附近的亮度值(分布最多的亮度值)确定为背景像素的亮度，来进行预定的图像分割处理(例如，GrabCut的分割处理)，由此从该图像内剪切希望的绘画P的区域(线图部分的区域)。

该图像分割处理是根据在图像内指定的一部分的背景像素的位置信息，将整个图像的像素分割为前景像素和背景像素的处理，是被称为Grab Cut的分割处理。原图像不限于灰度图像，当然也可为彩色图像。此时，可以根据彩色图像的R(红)、G(绿)、B(蓝)生成亮度信息，获得亮度值柱状图。另外，在本实施方式中作为绘画介质例举了白纸、白板等，但不限于此，也可将彩色纸、黑板等作为绘画介质。

图2B是表示将原图像划分为多个区域，即等分地矩阵状地划分为4×4的16个区域的状态的图。

在本实施方式中，为了能够应对整个原图像中的亮度波动、亮度不均匀等，在将该整个原图像等分地划分为(1)～(16)的16个区域后，针对区域(1)～(16)中的每个区域，计算生成亮度柱状图，将具有该亮度分布的峰值附近的亮度值的像素指定为背景像素来进行分割处理。另外，并不限于将原图像进行16等分的情况，8等分、32等分等划分数量和划分的方式是任意的。

如此，在本实施方式中，图像处理装置(平板终端装置)具备：分割处理单元(例如控制部1、程序存储器3a)，其进行根据在图像(例如，对在纸上绘制的绘画进行拍摄而得到的图像)内指定的一部分的背景像素的位置信息，将图像的全部像素划分为前景像素和背景像素的预定的图像分割处理；确定单元(控制部1、程序存储器3a)，其根据上述图像的亮度分布，确定背景像素的亮度；控制单元(控制部1、程序存储器3a)，其将具有与上述确定单元确定的亮度对应的亮度的像素指定为背景像素，来进行上述预定的图像分割处理(GrabCut的分割处理)。

下面参照图3和图4所示的流程图，对本实施方式的图像处理装置(平板终端装置)的动作概念进行说明。在此，在这些流程图中描述的各功能以可读取的程序代码的形式进行存储，依次执行遵照该程序代码的动作。另外，还可以依次执行遵照经由网络等的传送介质而传送来的程序代码的动作。即，除了存储介质以外，还可采用经由传送介质由外部提供的程序/数据，来执行本实施方式特有的动作。图3和图4是表示图像处理装置(平板终端装置)的全体动作中的，本实施方式的特征部分的动作概要的流程图，在脱离了图3和图4的流程时，返回到全体动作的主流程(省略图示)。

图3和图4是表示用于从对在白色的纸上手工绘制的绘画进行拍摄而得到的图像中，剪切该绘画的部分的处理的流程图，例如，在从菜单画面中，通过用户操作选择了剪切处理时开始执行，或者在将剪切图像与另一图像合成时作为该图像加工处理的一部分而开始实施。

首先，控制部1从图像存储器3c中获取作为处理对象而选择的图像数据(例如，静止图像数据)来作为原图像(图3的步骤S1)。然后，将该图像的整个区域N等分，比如，如图2B所示的那样，等分地划分为16个区域(步骤S2)，并且对于划分后的各个区域，计算生成亮度值柱状图(步骤S3)。接着，将该原图像的全体指定为ROI(感兴趣的区域，Region OfInterest)(步骤S4)，并且将具有该亮度分布的峰值附近的亮度值的像素确定为背景像素(步骤S5)。

图4为用于详细描述将具有亮度分布的峰值附近的亮度值的像素指定为背景像素的处理(图3的步骤S5)的流程图。

首先，为了从先头开始依次指定将原图像进行16等分后的各区域(1)～(16)，将分配给各个区域的块号重置为“0”(步骤S51)。接着，调查块号的值是否为“16”，即，是否指定了最后的第16区域(16)并结束(步骤S52)，由于最初块号为“0”，是指定了第1区域(1)的情况，所以取得该块(区域)的柱状图数据(步骤S53)。接着，以下反复进行后述的步骤S52～S57的处理，直至块号达到“16”为止。

图5和图6是举例表示亮度值柱状图的图。

在此，如图2B所示那样，在将原图像进行16等分后的各区域(1)～(16)中，图5A表示区域(1)的柱状图，图5B表示区域(7)的柱状图。另外，图6A表示区域(10)的柱状图，图6B表示区域(16)的柱状图。另外，在图中，横轴表示亮度值，纵轴表示像素数，另外，图中的左侧表示暗的(黑的)像素，右侧表示亮的(白的)像素。

在此，如图2所示那样，区域(1)为左上角部的区域，为仅仅白纸或白板的区域，因此明确地表现了亮度的峰值。区域(7)为靠右靠上的区域，为绘制了绘画P的部分的区域，由于在附近存在荧光灯的反射部分L1、L2，因此受到该影响，亮度的分布具有比其峰值高的亮度。区域(10)为靠左靠下的区域，是绘制了绘画P的部分的区域，由于与区域(7)相比离开了荧光灯的反射部分L1、L2，所以亮度的分布比区域(7)窄，另外，受到绘画P的内部的黑线的影响具有低于峰值的亮度。区域(16)为右下角部的区域，由于包括较多荧光灯的反射部分L2，因此具有多个亮度的峰值。

图7表示将亮度值分组，对属于各组的亮度值的数进行计数的一览表，在图示的例子中，成为在分成32组的情况下，使“亮度值的范围”的“范围最小”与“范围最大”与“组号”“0”～“31”相对应的结构。目前，以图6A所示的区域(10)的柱状图为例，对以下的步骤S53～S57进行说明，首先，从该区域(10)的柱状图中，取得亮度值的分布数最多的亮度范围(步骤S54)。此时，在图6A的柱状图中亮度的峰值为亮度值“16”，因此取得“组号”“16”的亮度范围，来作为亮度值的分布数最多的亮度范围。

然后，将该亮度值的分布数最多的亮度组以及直到其之上的2个组为止确定为亮度的峰值附近(步骤S55)。此时，作为亮度值的分布数最多的亮度组将组号“16”以及作为其之上的2个组直到组号“17”、“18”为止确定为亮度的峰值附。将由此确定的峰值附近的组的“亮度值的范围”指定为背景像素的亮度(步骤S56)。此时，将所确定的组号“16”～“18”的“亮度值的范围”即“128”～“151”指定为背景像素的亮度。然后，在对块号加“1”更新其值(步骤S57)后，返回到上述步骤S52，在块号达到“16”之前反复进行步骤S52～S57的处理。

图8A是举例表示了在对图2A所示的原图像，执行了将具有其亮度分布的峰值附近的亮度值的像素指定为背景像素的处理(图3的步骤S5)后的图像的图。

该图像表示了通过“黑色”表现背景部位的情况，黑色部分以外的其它部位(白色部分和灰色部分)表示了没有被指定为背景的部位(可能具有线图的部位)。

在如此对每个区域确定了其背景像素的亮度值后，转移到图3的步骤S6，针对每个区域执行图像分割处理(Grab Cut的分割处理)。该图像分割处理为如下的处理：将最初指定的背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点，对邻接的像素的亮度的差进行累计而得到的累积值更小的方式，决定是前景还是背景。作为进行了这样的图像分割处理的结果，得到图8B所示的剪切掩模(剪切模)图像。此时，以被作为绘画(线图部分)的前景像素的区域包围的方式存在背景像素的区域，还对绘画中绘制的绘画内部进行剪切，因此在下一步骤S7中，仅将最外侧的区域(轮廓)用作剪切掩模。即，将前景像素的区域中的沿最外侧的轮廓的区域设定为图像内的剪切区域。

另外，该图像分割处理重复执行以下的处理：采用应划分为前景和背景的对象图像内的各像素的像素值和一部分的背景像素的位置信息，以预定的精度推定上述对象图像内的背景像素和前景像素，使用该推定结果，以更高的精度确定上述对象图像内的背景像素和前景像素。

图9是用于说明确定最外侧的区域(轮廓)的方式的图。

作为区域(轮廓)的计数方法，采用“openCv(商标名)的cvFindContours”。即，图9A为基底为黑色，白色的线表示了四边形和其中的圆形的图像，在图示的例子中，表示了白黑的边界线(轮廓线)为4条，即，四边形的外侧和内侧的边界线(轮廓线)以及圆形的外侧和内侧的边界线(轮廓线)的情况。即，成为在最外侧具有白的轮廓，在其内侧具有黑的轮廓，在其内侧具有白的轮廓，在其内侧具有黑的轮廓的轮廓结构。图9B图示了轮廓的计数方法，四边形的外侧的轮廓线表示第1轮廓(白的轮廓)，四边形的内侧的轮廓线表示第2轮廓(黑的轮廓)，圆形的外侧的轮廓线表示第3轮廓(白的轮廓)，圆角的内侧的轮廓线(黑的轮廓)表示第4轮廓。在这些轮廓中，仅留下四边形的外侧的轮廓线所示的第1轮廓，将其确定为最外侧的区域(轮廓)。

图10A为举例表示仅仅将最外侧的区域(轮廓)用作剪切掩模图像的情况的图。

如果采用如上述那样作成的剪切掩模图像，进行图像的剪切处理(图3的步骤S8)，则获得图10B所示的剪切图像(线图部分的图像)。另外，在图示的方格图案中，概念性地表示了剪切图像以外的透明部分，实际上不存在方格图案。如此获得的剪切图像(线图部分的图像)为仅绘画P的图像，还包括内部的线图。另外，如何利用该剪切图像是任意的，但是，可在别的图像内合成该剪切图像。

如上所述，在本实施方式中，控制部1在执行根据在图像内指定的一部分的背景像素的位置信息，将整个图像分割为前景像素和背景像素的预定的图像分割处理之前，根据图像的亮度分布，指定背景像素的亮度，将具有与该亮度对应的亮度的像素指定为背景像素来进行图像分割处理，因此不需要用户指定区域用的辅助操作，可以精度良好地从图像内剪切其一部分的区域。结果，例如在对使用黑色的笔等在白纸或白板上以手工绘制的方式绘制的绘画进行拍摄而获得的图像中，即使在拍摄时受到反射的影响，整个图像产生亮度的波动，亮度不均匀，但仍可以精度良好地确定该绘画的区域来适当地进行剪切。

控制部1将图像划分为多个区域，根据划分后的每个区域的亮度分布，针对每个区域，指定背景像素的亮度，并且将具有与针对每个区域而确定的亮度对应的亮度的像素指定为每个区域的背景像素来进行图像分割处理，因此即使整体上存在平缓的亮度的差，但仍可以精度良好地确定绘画的区域来适当地进行剪切。

控制部1不将亮度值柱状图中的亮度最高的部分(过亮的光泽反射部分)的亮度值，而是将峰值附近的亮度值(分布最多的亮度)确定为背景像素的亮度，因此能够从最初不将过亮的光泽反射部分确定为背景，将该像素作为未确定是前景还是背景的像素，来进行图像分割处理。能够以更加良好的精度剪切绘画的区域。

成为处理对象的原图像为对在具有第1颜色的绘画介质上以第2颜色绘制的线图进行拍摄而得到的图像，控制部1在将该线图部分作为前景时，将接近第1颜色的部分确定为背景，因此对在具有第1颜色(白)的绘画介质上以第2颜色(黑)绘制的绘画(线图)进行拍摄而得到的图像中，在将该绘画(线图部分)作为前景时，能够将接近第1颜色的部分作为背景，能够以更加良好的精度剪切绘画的区域。

作为控制部1执行图像分割处理的结果，在以被作为线图部分的前景像素的区域包围的方式存在背景像素的区域时，将前景像素的区域中的沿最外侧的轮廓的区域设定为图像内的剪切区域，因此能够不剪切在绘画的内部绘制的部分。

图像分割处理为如下的处理：将最初指定的背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点，对邻接的像素的亮度的差进行累计而得到的累积值更小的方式决定是前景还是背景，因为图像分割处理为上述那样的处理，所以能够对未确定的对象像素根据相邻的像素的亮度差决定是前景还是背景，能够精度良好地剪切绘画的区域。

此外，控制部1根据应该分割为前景和背景的对象图像的像素值的柱状图确定一部分的背景像素的像素值(像素值确定单元)，将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为一部分的背景像素(第1确定单元)，采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素和前景像素(第2确定单元)，因此不需要用户指定区域用的辅助操作，可以精度良好地从图像内剪切其一部分的区域。

此外，控制部1将应该分割为前景和背景的对象图像划分为多个区域(划分单元)，根据该划分后的每个区域的像素值的柱状图针对每个区域确定一部分背景像素的像素值，根据针对该每个区域确定的一部分的背景像素的像素值，对所述每个区域确定一部分的背景像素，使用针对该每个区域确定的一部分的背景像素的位置信息，确定整个所述对象图像的背景像素以及前景像素，因此，例如即使在拍摄时受到反射的影响，整个图像产生亮度的波动，亮度不均匀，但仍可以精度良好地确定该绘画的区域来适当地进行剪切。

在上述实施方式中，列举了原图像为静止画面的情况，但是对于动画同样可以应用。此时，可以对每一帧进行区域的剪切处理，或者每间隔预定的帧进行区域的剪切处理。

另外，在上述实施方式中，将整个原图像等分地划分为16个区域，但是也可根据原图像的内部，自动地决定其划分数量，或者可以通过用户的操作任意地设定。

此外，在上述实施方式中，将图像内的相当于白纸或白板的区域作为背景，将相当于绘画的区域作为前景进行了说明，但是，该背景和前景的表现是为了方便，例如在要分割为绘画A的区域和绘画B的区域时，可将其一方的绘画视为“背景像素”，将另一方的绘画视为“前景像素”。另外，剪切的图像并不限于绘画(线图部分)，也可为拍摄对象。

在上述实施方式中，作为预定的图像分割处理，采用了被称为Grab Cut的分割方法，但是也可采用其它的分割方法。

在上述实施方式中，表示了作为图像处理装置用于平板终端装置的情况，但是并不限于此，也可为个人计算机、PDA(个人用便携信息通信设备)、智能手机等便携电话机、电子游戏机、音乐播放器，当然也可为数字照相机本身。

另外，在上述实施方式中表示的“装置”、“部”也可以按照功能类别而分离成多个机箱，并不限于单一的机箱。另外，上述流程图中描述的各步骤并不限于按照时间序列的步骤，也可并列地处理多个步骤，或分别单独地进行处理。

Claims (13)

1.一种图像处理装置，其特征在于，具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；以及

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素，并且重复进行以下的处理：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

2.根据权利要求1所述的图像处理装置，其特征在于，

还具备划分单元，其将上述对象图像划分为多个区域，

上述像素值确定单元根据由上述划分单元划分后的每个上述区域的像素值的柱状图，针对每个上述区域确定上述一部分的背景像素的像素值，

上述第1确定单元根据针对每个上述区域确定的上述一部分的背景像素的像素值，针对每个上述区域确定上述一部分的背景像素，

上述第2确定单元使用针对每个上述区域确定的上述一部分的背景像素的上述位置信息，确定全体上述对象图像的上述背景像素和上述前景像素。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述像素值确定单元将分布最多的像素值确定为上述背景像素的像素值。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述像素值确定单元根据应该分割为前景和背景的上述对象图像的亮度的柱状图，确定上述一部分的背景像素的亮度，

上述第1确定单元将具有与上述一部分的背景像素的亮度对应的亮度的上述对象图像内的像素确定为上述一部分的背景像素。

5.根据权利要求1所述的图像处理装置，其特征在于，

上述对象图像是对在具有第1颜色的绘画介质上用第2颜色绘制的线图部分进行拍摄而得到的图像，

在将上述线图部分作为前景时，上述像素值确定单元将与上述第1颜色对应的像素值确定为上述背景像素的像素值。

6.一种图像处理装置，其特征在于，具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素；以及

剪切区域设定单元，其在作为由上述第2确定单元确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域。

7.一种图像处理装置，其特征在于，具备：

像素值确定单元，其根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值；

第1确定单元，其将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素；以及

第2确定单元，其采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素，并且将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景。

8.一种图像处理方法，其特征在于，包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

重复进行以下处理的处理：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

9.一种图像处理方法，其特征在于，包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

在作为确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域的处理。

10.一种图像处理方法，其特征在于，包含：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的处理；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的处理；

使用上述对象图像内的各像素的像素值以及上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的处理；以及

将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景的处理。

11.一种记录介质，其特征在于，存储使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

重复执行以下的处理的功能：以预定的精度推定上述对象图像内的上述背景像素以及上述前景像素，使用推定出的推定结果以更高的精度确定上述对象图像内的上述背景像素以及上述前景像素。

12.一种记录介质，其特征在于，存储使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

在作为确定了上述背景像素和上述前景像素的结果，以被上述前景像素的区域包围的方式存在上述背景像素的区域的情况下，将上述前景像素的区域中的沿最外侧的轮廓的区域设定为上述图像内的剪切区域的功能。

13.一种记录介质，其特征在于，存储使图像处理装置的计算机实现以下功能的程序：

根据应该分割为前景和背景的对象图像的像素值的柱状图，确定一部分的背景像素的像素值的功能；

将具有与上述一部分的背景像素的像素值对应的像素值的上述对象图像内的像素确定为上述一部分的背景像素的功能；

采用上述对象图像内的各像素的像素值和上述一部分的背景像素的位置信息，确定上述对象图像内的其它的背景像素以及前景像素的功能；以及

将最初指定的上述背景像素设为确定为背景的确定像素，对于未确定是前景还是背景的对象像素，以针对图像内的多个部分，按照预定的观点对邻接的像素的亮度的差进行累计而得到的累积值变得更小的方式，决定是前景还是背景的功能。