CN105302431A - 图像处理设备、图像处理方法和图像处理系统 - Google Patents

Abstract

本发明提供了一种图像处理设备、图像处理方法和图像处理系统。该图像处理设备包括：图像信息获取单元，其获取图像的图像信息；位置信息获取单元，其获取包含区的位置信息，所述包含区由用户输入以包含作为图像中的特定图像区的指定区；第一代表性位置设置单元，其基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置；第二代表性位置设置单元，其设置第二代表性位置，该第二代表性位置是作为指定区以外的区的指定区外区的代表性位置；以及区检测单元，其基于第一代表性位置和第二代表性位置来检测指定区。

Description

图像处理设备、图像处理方法和图像处理系统

技术领域

本发明涉及图像处理设备、图像处理方法和图像处理系统。

背景技术

在专利文献1中公开了一种图像处理装置，该图像处理装置显示作为处理目标的图像信息；接收在显示的图像信息中指定的至少一个点；在图像信息中形成包括在各个点处接收到的点在内的预定形状的区域；利用所形成的区域的信息作为前景的初始区域来执行分段处理；以及将图像信息划分为前景和背景。

[专利文献1]JP-A-2013-29930

发明内容

例如，当用户执行图像处理时，用户切下被指定为将受到图像处理的特定区域的指定区的处理是必要的。

本发明的一个目的是当执行特定区域的切下时减轻用户的心理负担。

根据本发明的第一方面，提供了一种图像处理设备，该图像处理设备包括：

图像信息获取单元，其获取图像的图像信息；

位置信息获取单元，其获取包含区的位置信息，所述包含区由用户输入以包含作为图像中的特定图像区的指定区；

第一代表性位置设置单元，其基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置；

第二代表性位置设置单元，其设置第二代表性位置，该第二代表性位置是作为指定区以外的区的指定区外区的代表性位置；以及

区检测单元，其基于第一代表性位置和第二代表性位置来检测指定区。

根据本发明的第二方面，提供了根据第一方面所述的图像处理设备，

其中，通过用户在图像上绘制多条轨线来输入包含区，并且

第一代表性位置设置单元根据多个输入包含区的重叠的频率来设置第一代表性位置。

根据本发明的第三方面，提供了根据第一方面所述的图像处理设备，

其中，通过用户在图像上绘制轨线来输入包含区，并且

第一代表性位置设置单元将轨线的中心线的位置设为第一代表性位置。

根据本发明的第四方面，提供了根据第三方面所述的图像处理设备，

其中，图像处理设备还包括显示切换单元，该显示切换单元进行切换以确定是否在图像上显示中心线。

根据本发明的第五方面，提供了根据第一方面至第四方面中的任一方面所述的图像处理设备，

其中，第二代表性位置设置单元将第二代表性位置设为包含区以外的至少一部分的位置。

根据本发明的第六方面，提供了根据第一方面至第五方面中的任一方面所述的图像处理设备，

其中，位置信息获取单元还获取用于对指定区的位置和指定区外区的位置中的至少一个位置进行补充的补充位置信息，并且

除了第一代表性位置和第二代表性位置以外，区检测单元还利用补充位置信息来检测指定区。

根据本发明的第七方面，提供了一种图像处理方法，该图像处理方法包括以下步骤：

获取图像的图像信息；

获取包含区的位置信息，所述包含区由用户输入以包含作为图像中的特定图像区的指定区；

基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置；

设置第二代表性位置，第二代表性位置是作为指定区以外的区的指定区外区的代表性位置；以及

基于第一代表性位置和第二代表性位置来检测指定区。

根据本发明的第八方面，提供了一种图像处理系统，该图像处理系统包括：

显示装置，其显示图像；

图像处理设备，其对显示在显示装置上的图像的图像信息执行图像处理；以及

输入装置，其用于用户输入用于在图像处理设备上执行图像处理的指令，

其中，图像处理设备包括：

图像信息获取单元，其获取图像的图像信息；

位置信息获取单元，其获取包含区的位置信息，所述包含区由用户输入以包含作为图像中的特定图像区的指定区；

第一代表性位置设置单元，其基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置；

第二代表性位置设置单元，其设置第二代表性位置，该第二代表性位置是作为指定区以外的区的指定区外区的代表性位置；

区检测单元，其基于第一代表性位置和第二代表性位置来检测指定区；以及

图像处理单元，其对指定区执行图像处理。

根据本发明的第九方面，提供了一种图像处理方法，该图像处理方法包括以下步骤：

获取图像的图像信息；

获取包含区的位置信息，所述包含区由用户输入以包含作为图像中的特定图像区的指定区；

基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置；

设置第二代表性位置，该第二代表性位置是作为指定区以外的区的指定区外区的代表性位置；以及

基于第一代表性位置和第二代表性位置来检测指定区。

根据本发明的第一方面，当执行指定区的切下时可以减轻用户的心理负担。

根据本发明的第二方面，可以提取更加匹配用户的意图的第一位置信息。

根据本发明的第三方面，可以更加简单地设置第一位置信息。

根据本发明的第四方面，用户可确认中心线的位置。

根据本发明的第五方面，可以更加简单地设置第二位置信息。

根据本发明的第六方面，进一步提高了切下指定区的精确度。

根据本发明的第七方面，当执行指定区的切下时，可以提供一种具有高度用户方便性的图像处理方法。

根据本发明的第八方面，可以提供一种其中可更容易地执行图像处理的图像处理系统。

根据本发明的第九方面，当执行指定区的切下时可以减轻用户的心理负担。

附图说明

将基于以下附图详细描述本发明的示例性实施例，其中：

图1是示出当前示例性实施例中的图像处理系统的构造的示例的图；

图2是示出当前示例性实施例中的图像处理设备的功能构造的示例的框图；

图3是示出按照用户交互方式执行对指定区进行指定的任务的方法的示例的图；

图4是示出第一代表性位置和第二代表性位置的示例的概念图；

图5示出了其中在图3所示的图像中示出作为第一代表性位置的种子1的情况；

图6是示出第一代表性位置和第二代表性位置的另一示例的概念图；

图7A和图7B是示出其中从图3中示出的图像中提取包含区、种子1和种子2的情况的图；

图8是示出最大流最小割原理的图；

图9A至图9E是示出其中当利用区扩展方法分配两个种子时将图像划分为两个区的状态的图；

图10示出了其中将一部分头发分割作为图3中示出的图像中的指定区的状态；

图11A至图11C示出了当用户执行指定区的选择时显示在显示装置的显示屏幕上的画面的示例；

图12示出了当执行图像处理时显示在显示装置的显示屏幕上的画面的示例；

图13是示出第一示例性实施例中的图像处理设备的操作的流程图；

图14是示出本发明的第二示例性实施例中的图像处理设备的功能构造的示例的框图；

图15A和图15B示出了显示在显示装置的显示屏幕上以确定是否将显示轨线的中心线的画面的示例；

图16是示出第二示例性实施例中的图像处理设备的操作的流程图；

图17A至图17C是示出第三示例性实施例中的获得种子1的方法的图；

图18是示出其中利用图17A至图17C中示出的方法来设置种子1并且将其中频率变为0的像素的位置设为种子2的情况的图；

图19是示出其中利用根据第四示例性实施例的方法来设置种子1和种子2的情况的图；

图20A和图20B是示出第五示例性实施例中的补充位置信息的图；

图21A至图21C是示出第六示例性实施例中的补充位置信息的图；

图22是示出其中从图21C中示出的图像中提取包含区和补充位置信息的情况的图；

图23是示出第五示例性实施例和第六示例性实施例中的图像处理设备的操作的流程图；以及

图24是示出图像处理设备的硬件配置的图。

具体实施方式

下文中，将参照附图详细描述本发明的示例性实施例。

发明背景

例如，当执行彩色图像的图像质量的调整时，可在整个彩色图像上或在彩色图像的各个区上执行调整。一般可通过诸如RGB之类的色彩分量、诸如L*a*b*之类的亮度和色品(chromaticity)或者诸如HSV之类的亮度、色调(hue)和色度(chroma)来表示用于表示彩色图像的元素。此外，图像质量的控制的代表性示例可包括色彩分量的色阶分布(histogram)控制、亮度的对比度控制、亮度的色阶分布控制、亮度的带控制、色调控制和色度控制。此外，近年来，已注意到诸如Retinex之类的指示可见度的图像质量的控制。当控制基于色彩或亮度的带的图像质量，并且具体地说，仅在指定区上执行图像质量的调整时，需要切下该区的处理。

同时，由于图像处理的范围随着信息和通信技术(ICT)装置的近期扩张而扩张，考虑了用于区切下处理和图像调整的各种方式。在这种情况下，通过平板终端表示的ICT装置的优点是由于触摸面板等的直观特征，并且ICT装置的特征在于通过与用户的交互增加的方式来执行图像处理和图像编辑。

在当前示例性实施例中，利用图像处理系统1按照以上情况执行指定区的切下或图像质量的调整，如以下的描述那样。

整个图像处理系统的描述

图1是示出当前示例性实施例中的图像处理系统1的构造的示例的图。

当前示例性实施例的图像处理系统1包括：图像处理设备10，其对显示在显示装置20上的图像的图像信息执行图像处理；显示装置20，向其输入通过图像处理设备10产生的图像信息，并且其基于该图像信息显示图像；以及输入装置30，其用于用户将各种信息输入至图像处理设备10。

例如，图像处理设备10是所谓的通用个人计算机(PC)。另外，图像处理设备10在操作系统(OS)的管理下操作各种应用软件，从而执行图像信息的产生。

显示装置20将图像显示在显示屏幕21上。例如，显示装置20包括具有利用相加混色法显示图像的功能的显示装置，诸如用于PC的液晶显示器、液晶电视或投影仪。因此，显示装置20中的显示类型不限于液晶类型。此外，在图1中示出的示例中，显示屏幕21设置在显示装置20内，但是当例如投影仪被用作显示装置20时，显示屏幕21是例如设置在显示装置20外的屏幕。

例如，输入装置30包括键盘或鼠标。输入装置30用于用户将指令输入至图像处理设备10以当将要执行图像处理时执行用于执行图像处理的应用软件的启动或结束或执行图像处理，这将在下面详细描述。

图像处理设备10和显示装置20经数字视频接口(DVI)连接。此外，图像处理设备10和显示装置20可经高清多媒体接口(HDMI；注册商标)、DisplayPort等连接，而非经DVI连接。

此外，图像处理设备10和输入装置30例如经通用串行总线(USB)连接。此外，图像处理设备10和输入装置30可经IEEE1394或RS-232C连接，而非经USB连接。

在这种图像处理系统1中，作为在执行图像处理之前的图像的原图像首先显示在显示装置20上。另外，当用户利用输入装置30输入指令以使得图像处理设备10执行图像处理时，通过图像处理设备10对原图像的图像信息执行图像处理。在显示装置20上所显示的图像中反映这种图像处理的结果，并且在这种图像处理之后的图像被重新绘制并显示在显示装置20上。在这种情况下，用户可在观看显示装置20的同时交互地执行图像处理，并且可更直观和更容易地执行图像处理任务。

另外，当前示例性实施例中的图像处理系统1不限于图1的方面。图像处理系统1的示例可为平板终端。在这种情况下，平板终端包括触摸面板，并且通过该触摸面板执行图像的显示和输入用户指令。也就是说，触摸面板用作显示装置20和输入装置30。此外，可将触摸监视器相似地用作其中集成了显示装置20和输入装置30的装置。这种触摸监视器将触摸面板用作显示装置20的显示屏幕21。在这种情况下，通过图像处理设备10产生图像信息，并且基于该图像信息在触摸监视器上显示图像。另外，用户例如通过触摸该触摸监视器输入执行图像处理的指令。

图像处理设备的描述

[第一示例性实施例]

接着，将描述图像处理设备10的第一示例性实施例。

图2是示出本发明的第一示例性实施例中的图像处理设备10的功能构造的示例的框图。此外，在图2中，选择并示出了图像处理设备10的各种功能中的涉及第一示例性实施例的功能。

如图所示，当前示例性实施例的图像处理设备10包括图像信息获取单元11、用户指令接收单元12、第一代表性位置设置单元13、第二代表性位置设置单元14、区检测单元15、区切换单元16、图像处理单元17和图像信息输出单元18。

图像信息获取单元11获取将受到图像处理的图像的图像信息。也就是说，图像信息获取单元11在图像处理被执行之前获取图像信息。例如，该图像信息为用于在显示装置20中执行显示的红、绿和蓝(RGB)视频数据(RGB数据)。

用户指令接收单元12是位置信息获取单元的示例，并且接收通过输入装置30输入的关于图像处理的用户的指令。

具体地说，用户指令接收单元12从显示在显示装置20上的图像接收用户输入的将指定区指定为为将受到图像处理的图像区的指令，作为用户指令信息。更具体地说，在当前示例性实施例中，用户指令接收单元12获取包含区的位置信息作为用户指令信息，其中所述包含区由用户输入以包含作为图像中的特定图像区的指定区。

此外，虽然下面进行了详细描述，但是用户指令接收单元12接收从该指定区中选择将实际执行图像处理的区的指令，作为用户指令信息。此外，用户指令接收单元12接收与用户在选择的指定区上执行图像处理的处理项或处理量相关的指令，作为用户指令信息。下面将对该内容做出更详细的描述。

在该示例性实施例中，采用一种将在下面描述的按照用户交互方式来执行对指定区进行指定的任务的方法。

图3是示出按照用户交互方式来执行对指定区进行指定的任务的方法的图。

这里，示出了如下的情况：其中显示在显示装置20的显示屏幕21上的图像是包括被拍摄为前景的人和在人的背后拍摄到的背景在内的照片的图像G。另外，示出了其中用户选择作为前景的人的一部分头发作为指定区S的情况。此外，指定区以外的区将在下文中称作“指定区外区”。

另外，用户向图像G输入包含指定区S的包含区H。具体地说，用户在图像G上针对作为指定区S的所述一部分头发和从该部分突出的周边部分绘制轨线，从而输入包含指定区S的包含区H。在这种情况下，包含区H是作为指定区S的所述一部分头发和从该部分突出的周边部分的组合的区。

可通过输入装置30绘制该轨线。例如，当输入装置30是鼠标时，用户操纵鼠标以拖动显示在显示装置20的显示屏幕21上的图像G和绘制轨迹。此外，当输入装置30是触摸面板时，用户利用用户的手指、触摸笔等通过追踪和扫刮图像G来相似地绘制轨线。

该轨线不需要一次绘制，而是可多次绘制。也就是说，可通过用户在图像G上绘制多条轨线来输入包含区H。

例如，在图3中，用户两次绘制轨线以获得沿着图3中从左至右的方向绘制的弧形轨线K1和沿着相同方向按照接近于字母“S”的弯曲形状绘制的轨线K2。因此，可输入包含指定区S的包含区H。此外，轨线K1和K2可为重叠在图像G上的区。在图3中，执行这样的显示，其中以浅色来对轨线从中经过一次而不带有两次绘制的轨线的重叠的区进行着色，并且执行这样的显示，其中以深色来对轨线从中经过两次并带有两次绘制的轨线的重叠的区进行着色。

此外，轨线不限于沿着相同方向绘制，而是可通过往复操作来绘制。此外，按照粗线而非细线绘制这种轨线以进一步有利于包含区H的输入。例如，可利用在用于执行图像处理的图像处理软件等中使用的刷子工具中安装大刷子工具的方法来实现这一点。

第一代表性位置设置单元13基于包含区的位置信息来设置作为指定区的代表性位置的第一代表性位置。

此外，第二代表性位置设置单元14设置作为指定区外区(指定区以外的区)的代表性位置的第二代表性位置。

图4是示出第一代表性位置和第二代表性位置的示例的概念图。

这里，作为指定区的代表性位置的第一代表性位置被设为绘制的轨线K(在这种情况下，为包含区H)的中心线C的位置。在这种情况下，“中心线”是通过沿着其中绘制轨线的方向连续地连接轨线K的厚度方向(宽度方向)的中心部分而获得的线。

当用户输入轨线K以对指定区进行指定时，用户执行在图像G上绘制中心部分的操作，因此，就用户的心理而言，使用中心线C作为轨线K的代表性位置是合理的。因此，将该中心线C用作第一代表性位置。此外，第一代表性位置将在下文中称作“种子1”，如图4所示。

图5示出了其中在图3所示的图像G中示出作为第一代表性位置的种子1的情况。

如上所述，绘制轨线K1和K2以在图3中输入包含区H。因此，在这种情况下，作为轨线的中心线的种子1也包括两条曲线。

此外，由于在包含区H以外的区中不包括指定区，因此指定区外区对应于包含区H以外的整个区。因此，作为指定区外区的代表性位置的第二代表性位置可设为在包含区H以外，但本发明没有特别限制。

在图4中，通过沿着包含区H和围绕包含区H绘制的具有基本恒定的厚度的线性区来设置第二代表性位置，结果，将其设为接近矩形的形状的区。此外，第二代表性位置将在下文中称作“种子2”，如图4所示。

图6是示出第一代表性位置和第二代表性位置的另一示例的概念图。

在图6所示的示例中，作为第一代表性位置的“种子1”与图4的情况中的相同。另一方面，作为第二代表性位置的“种子2”被设为包含区H以外的整个区。

根据图4和图6的方法，在当前示例性实施例中，可以说第二代表性位置设置单元14将作为第二代表性位置的种子2设为包含区H以外的至少一部分的位置。

图7A和图7B是示出其中从图3所示的图像G中提取包含区H、种子1和种子2的情况的图。

图7A示出了其中利用图4所示的方法设置种子1和种子2的情况。如图所示，设置了通过作为轨线K1和轨线K2的中心线的两条曲线示出的种子1和通过沿着包含区H的一条直线示出的种子2。

此外，图7B示出了其中利用图6所示的方法设置种子1和种子2的情况。如图7B所示，种子1与图7A中的相同。另一方面，种子2被设为包含区H以外的整个区。

区检测单元15从第一代表性位置和第二代表性位置检测指定区。实际上，区检测单元15执行从显示在显示装置20上的图像切下指定区的处理。

例如，区检测单元15可使用将图像G看作图以及利用最大流最小割的原理来执行指定区的切下的方法。

根据该原理，将前景的虚节点设为起始点，将背景的虚节点设为终止点，前景的虚节点与通过用户指定的前景区的代表性位置被连接，并且通过用户指定的背景区的代表性位置与终止点被连接，如图8所示。另外，当水从起始点流动时，计算最大流量。按照该原理，将从前景至起始点的连接的值看作水管的管的厚度，并且在作为瓶颈(其中水难以流动)的位置的总割是最大流量。也就是说，作为瓶颈的连接的割是前景与背景的分离(图割)。

此外，区检测单元15可利用区扩展方法来切下指定区，在所述区扩展方法中，基于其中绘制有种子的像素与周边像素之间的像素值的接近度(例如，RGB值的欧几里得距离)重复当各像素值接近时连接各像素和当各像素值不接近时不连接各像素的任务以扩展所述区。

图9A至图9E是示出其中当利用区扩展方法分配两个种子时图像被划分为两个区的状态的图。

图9A示出了将从中切下指定区的原图像。如图所示，原图像具有包括竖直方向的九个像素和水平方向的七个像素的63(＝9×7)个像素的区，并且包括图像区R1和图像区R2，如图所示。包括在图像区R1中的像素中的每一个的像素值和包括在图像区R2中的像素中的每一个的像素值彼此接近。

另外，假设将图像区R1切下作为指定区。此外，在这种情况下，图像区R2是指定区外区。

此外，为了简化描述，种子1和种子2包括分别设置在图像区R1和R2中的两个位置处的单个像素，如图9B所示。

另外，区从作为基本点的各个种子延伸。在这种情况下，区可根据例如与原图像中的周边像素的像素值的接近度而延伸，如上所述。在这种情况下，当在各区之间存在竞争时，如图9C所示，对应的像素是待再确定的目标像素，并且可基于待再确定的目标像素的像素值与周边像素的值之间的关系，来进行关于像素属于哪个区的确定。在这种情况下，可使用在以下文档中描述的方法。

V.Vezhnevets和V.Konouchine：“"Grow-Cut"-InteractiveMulti-labelN-DImageSegmentation”(Proc.Graphicon.第150-156页，2005年)

在图9D的示例中，最终确定待再确定的目标像素在种子2的区中，并且如图9E所示，基于两个种子将图像划分和聚集在两个区中。

图10示出了其中从图3所示的图像G切下一部分头发作为指定区S的状态。

通过采用上述方法，即使在指定区具有复杂形状时，用户也可更直观和更容易地切下指定区。此外，用户可通过多次重复将包含指定区的包含区输入至图像的任务来切下多个指定区。

返回参照图2，当用户切下多个指定区时，区切换单元16在这些指定区之间切换。也就是说，当存在多个指定区时，用户选择期望受到图像调整的指定区，并且区切换单元16根据该选择在指定区之间切换。

图11A至图11C示出了当用户选择指定区时显示在显示装置20的显示屏幕21上的画面的示例。

在图11A至图11C所示的示例中，示出了其中用户选择作为图像G的前景的人的一部分头发、一部分脸和除头发和脸以外的一部分作为指定区的情况。也就是说，在这种情况下，存在三个指定区。这里，所述一部分头发的指定区是“第一指定区S1”，所述一部分脸的指定区是“第二指定区S2”，而所述除头发和脸以外的一部分的指定区是“第三指定区S3”。

在图11A至图11C所示的示例中，已选择指定区的图像G被显示在显示屏幕21的左侧上，并且用于选择“区1”、“区2”和“区3”中的任一个的单选按钮212a、212b和212c被显示在显示屏幕21的右侧上。在这种情况下，“区1”对应于“第一指定区S1”，“区2”对应于“第二指定区S2”，而“区3”对应于“第三指定区S3”。另外，当用户利用输入装置30来选择单选按钮212a、212b或212c时，切换指定区。

图11A示出了其中选择单选按钮212a的状态，其中作为所述一部分头发的图像区的“第一指定区S1”被选为指定区。另外，当用户选择单选按钮212b时，指定区切换至作为所述一部分脸的图像区的“第二指定区S2”，如图11B所示。另外，当用户选择单选按钮212c时，指定区切换至作为所述除头发和脸以外的一部分的图像区的“第三指定区S3”，如图11C所示。

实际上，通过用户指令接收单元12获取图11A至图11C所示的操纵的结果作为用户指令信息，并且通过区切换单元16执行在指定区之间切换。

图像处理单元17实际上对选择的指定区执行图像处理。

图12示出了当执行图像处理时显示在显示装置20的显示屏幕21上的画面的示例。

这里，示出了其中对选择的指定区执行色调、色度和亮度的调整的示例。在该示例中，已选择指定区的图像G被显示在显示屏幕21的左上侧上，并且用于选择“区1”、“区2”和“区3”的单选按钮212a、212b和212c被显示在显示屏幕21的右上侧上。这里，从各单选按钮中选择212a，并且作为所述一部分头发的图像区的“第一指定区S1”被选为指定区。此外，可通过操纵单选按钮212a、212b和212c来切换指定区，如图11A至图11C中的情况那样。

此外，用于执行“色调”、“色度”和“亮度”的调整的滑动条213a和滑动器213b被显示在显示屏幕21的下侧上。滑动器213b可通过输入装置30的操纵在滑动条213a上沿着图12的左右方向运动和滑动。滑动器213b在初始状态下位于滑动条213a的中心，并且在该位置指示出在调整“色调”、“色度”和“亮度”之前的状态。

另外，当用户利用输入装置30在滑动条213a上沿图12的左右方向滑动“色调”、“色度”和“亮度”中的任一个的滑动器213b时，对选择的指定区执行图像处理，并且显示在显示屏幕21上的图像G对应地改变。在这种情况下，当用户沿着附图中向右的方向滑动滑动器213b时，执行图像处理以增大“色调”、“色度”和“亮度”中的对应的一个。另一方面，当用户沿着附图中向左的方向滑动滑动器213b时，执行图像处理以减小“色调”、“色度”和“亮度”中的对应的一个。

返回参照图2，图像信息输出单元18在如上所述执行图像处理之后输出图像信息。在执行图像处理之后的图像信息被发送至显示装置20。另外，基于该图像信息在显示装置20上显示图像。

图13是示出在第一示例性实施例中的图像处理设备10的操作的流程图。

下文中，将利用图2和图13描述第一示例性实施例的图像处理设备10的操作。

首先，图像信息获取单元11获取RGB数据作为将受到图像处理的图像的图像信息(步骤101)。将该RGB数据发送至显示装置20，并且显示在执行图像处理之前的图像。

此外，例如，用户通过利用图3所示的方法、利用输入装置30绘制轨线来输入包含指定区的包含区。用户指令接收单元12接收该包含区的位置信息(步骤102)。

接着，例如，第一代表性位置设置单元13利用图4所示的方法基于包含区的位置信息来设置作为第一代表性位置的种子1(步骤103)。

此外，例如，第二代表性位置设置单元14利用图4或图6所示的方法基于第一代表性位置来设置作为第二代表性位置的种子2(步骤104)。

此外，例如，区检测单元15利用图8或图9所示的方法执行从种子1和种子2切下指定区的处理(步骤105)。

接着，用户利用输入装置30输入对指定区的选择。例如，用户可通过图11A至图11C所示的操纵来输入选择。

用户指令接收单元12从用户接收该指令以选择指定区(步骤106)。

另外，通过区切换单元16切换指定区(步骤107)。例如，可利用例如图11A至图11C所示的单选按钮212a、212b和212c来切换指定区。

此外，用户利用输入装置30输入用于将对选择的指定区执行的图像处理的指令。例如，用户可利用例如图12所示的滑动器213b来输入指令。

用户指令接收单元12从用户接收用于图像处理的指令(步骤108)。

另外，图像处理单元17基于来自用户的指令执行选择的指定区的图像处理(步骤109)。

然后，图像信息输出单元18输出在执行图像处理之后的图像信息(步骤110)。该图像信息是RGB数据，将该RGB数据发送至显示装置20，并且图像处理之后的图像被显示在显示屏幕21上。

[第二示例性实施例]

接着，将描述图像处理设备10的第二示例性实施例。

图14是示出本发明的第二示例性实施例中的图像处理设备10的功能构造的示例的框图。

当前示例性实施例的图像处理设备10包括图像信息获取单元11、用户指令接收单元12、显示切换单元19、第一代表性位置设置单元13、第二代表性位置设置单元14、区检测单元15、区切换单元16、图像处理单元17和图像信息输出单元18。

第二示例性实施例的图像处理设备10与图2所示的第一示例性实施例的图像处理设备10的不同之处在于包括显示切换单元19。此外，其它功能性单元的操作与第一示例性实施例中的那些基本相同。因此，在此将描述显示切换单元19。

显示切换单元19执行切换以确定轨线K的中心线是否将被显示在图像G上。

图15A和图15B示出了显示在显示装置20的显示屏幕21上的画面的示例，以确定是否将显示轨线的中心线。

在该示例中，其中已绘制轨线的图像G被显示在显示屏幕21的左侧上，并且用于选择轨线的中心线的显示的“开”或“关”的单选按钮214a和214b被显示在显示屏幕21的右侧上。

另外，当用户利用输入装置30选择单选按钮214a时，轨线的中心线的显示变为“开”，而当用户选择单选按钮214b时，轨线的中心线的显示变为“关”。

在这种情况下，图15A示出了其中选择了单选按钮214b的情况。在这种情况下，由于轨线的中心线的显示为“关”，因此不显示轨线的中心线，并且显示与图3所示的图像G相同的图像G。

另一方面，图15B示出了其中选择了单选按钮214a的情况。在这种情况下，由于轨线的中心线的显示为“开”，因此执行轨线的中心线C(种子1)的显示，并且与图5所示的图像相似，显示其上绘制了中心线C(种子1)的图像G。可利用在用于执行图像处理的图像处理软件等中使用的刷子工具中安装细刷子工具的方法来实现该轨线的显示。

图16是示出第二示例性实施例中的图像处理设备10的操作的流程图。

下文中，将利用图14和图16来描述第二示例性实施例的图像处理设备10的操作。

由于图16中的步骤201至步骤202与图13的步骤101至步骤102相同，因此将省略描述。

然后，用户利用输入装置30输入关于是否执行轨线K的中心线的显示的指令。例如，用户可利用图15A和图15B所示的单选按钮214a和214b来输入指令。

另外，用户指令接收单元12从用户接收中心线显示的指令(步骤203)。

此外，显示切换单元19根据来自用户的指令执行轨线K的中心线的显示的切换(步骤204)。

此外，步骤205至步骤212与图13的步骤103至步骤110相同。

[第三示例性实施例]

接着，将描述图像处理设备10的第三示例性实施例。

在上述第一示例性实施例和第二示例性实施例中，作为第一代表性位置的种子1是轨迹的中心线，但本发明不限于此。

在第三示例性实施例中，第一代表性位置设置单元13利用以下方法获得种子1。

图17A至图17C是示出在第三示例性实施例中获得种子1的方法的图。

在图17A中，示出了其中用户在图像G上三次绘制轨线的情况。在图17A中，三条轨线被示出为轨线K1、轨线K2和轨线K3。此外，轨线K1、轨线K2和轨线K3的中心线分别被示出为中心线C1、中心线C2和中心线C3。

在这种情况下，获得了像素的位置与三条中心线的重叠程度(频率)之间的关系。该频率指示图像G上的中心线的穿过程度。也就是说，其中所有三条中心线都不位于其中的像素的频率为0。此外，其中三条中心线中的仅一条位于其中的像素的频率为1。相似地，其中三条中心线中的两条位于其中的像素的频率为2，并且其中三条中心线全部位于其中的像素的频率为3。也就是说，频率具有从0至3的整数值。

图17B是概念性地示出像素的位置与频率之间的关系的图。

在图17B中，水平轴线指示像素的位置，竖直轴线指示频率。此外，为了方便，以一维方式表示水平轴线，但是由于位置实际上是二维图像上的位置，因此水平轴线是以二维方式表达的。

另外，该像素的位置是(x，y)，像素的位置的频率是h(x，y)，并且利用下面的表达式1获得归一化频率h_norm(x，y)。

[表达式1]

$h_{\mathrm{norm}}(x,y)=\frac{h(x,y)}{\max h(x,y)}$

在这种情况下，归一化频率h_norm(x，y)的最大值变成1，并且实现归一化。

此外，由于通常通过0至255的整数值(灰度值)表示像素值，因此将归一化频率h_norm(x，y)乘以255，以与该像素值相似地处理。此外，将计算出的值作为种子1。

图17C是示出利用以上方法计算出的种子1的概念图。

根据像素的位置确定种子1，并且种子1具有0至255之间的任一个整数值。就图17C的情况而言，由于频率具有从0至3的四个等级，因此种子1具有值0、85、170和255中的任一个。因此，即使在种子1为非恒定值时，在执行指定区的切下的处理中也没有问题。

此外，在上面的表达式1中，可准备阈参数θ(0<θ<1)以按照下面的表达式2将归一化频率h_norm(x，y)转换为两个值0和1。

[表达式2]

h_norm(x，y)＜θ→h_norm(x，y)＝0

θ≤h_norm(x，y)→h_norm(x，y)＝1

此外，在第二代表性位置设置单元14中，其中通过轨线的重叠程度定义的频率为0的像素的位置被设为作为第二代表性位置的种子2。也就是说，将未全部绘制出图17A至图17C所示的轨线K1、轨线K2，和轨线K3的位置设为种子2。

图18是示出其中利用图17A至图17C所示的方法设置种子1并且将其中频率变为0的像素的位置设为种子2的情况的图。

在这种情况下，种子1被定义为中心线的重叠程度，并且种子2被设为其中未绘制图17A的轨线K1、K2和K3的所有位置。

[第四示例性实施例]

接着，将描述图像处理设备10的第四示例性实施例。

在上述第三示例性实施例中，利用频率的概念来设置种子1，而在第四示例性实施例中，也和种子1一样利用频率的概念来设置种子2。

在该示例性实施例中，利用轨线的重叠程度定义频率h(x，y)。另外，利用表达式1获得归一化频率h_norm(x，y)，并且利用表达式2将归一化频率h_norm(x，y)转换为两个值0和1。另外，其中该值变为1的像素的位置是种子1，并且其中该值变为0的像素的位置是种子2。

图19是示出其中利用根据第四示例性实施例的方法来设置种子1和种子2的情况的图。

在这种情况下，种子1与图18所示的第三示例性实施例中的相同。另一方面，第三示例性实施例中的种子2被设为其中未绘制轨线K1、K2和K3的所有位置，而根据频率来设置当前示例性实施例中的种子2。因此，种子2延伸至其中绘制轨线K1、K2和K3的部分，并且种子2的范围更靠近种子1，如图19所示。也就是说，图19中的种子1和种子2之间的区(在图18和图19中被示出为种子1与种子2之间的空白部分的区)比图18中的更窄。

可直接应用图2所示的第一示例性实施例或图14所示的第二示例性实施例中的图像处理设备的功能构造的示例作为第三示例性实施例和第四示例性实施例中的图像处理设备10的功能构造的示例。

此外，可直接应用图13所示的第一示例性实施例或图16所示的第二示例性实施例中的图像处理设备的操作作为图像处理设备10的操作，不同的是，设置种子1和种子2的方法与以上描述的情况中的相同。

[第五示例性实施例]

接着，将描述图像处理设备10的第五示例性实施例。

在第五示例性实施例中，还添加对指定区的位置进行补充的补充位置信息以执行指定区的切下。

在该示例性实施例中，除了用户输入的包含区的位置信息以外，用户指令接收单元12还获取对指定区的位置进行补充的补充位置信息，以包括指定区。

图20A和图20B是示出第五示例性实施例中的补充位置信息的图。

图20A是与图3相同的图，并且示出了其中用户向图像G输入包含指定区S的包含区H的情况。通过用户在图像G上绘制两条轨线(轨线K1和轨线K2)来执行该包含区H的输入，如图3所示。

在该示例性实施例中，用户从图20A的状态绘制用于补充指定区S的位置的轨线。

图20B示出了其中用户绘制用于补充指定区S的位置的轨线的情况。

这里，这些轨线示为轨线K3和K4。当用户想要更具体地定义作为指定区S的所述一部分头发时，绘制这些轨线K3和K4作为补充位置，并且它们与轨线K1和K2的中心线不同。

也就是说，轨线K1和K2仅大致地将指定区S指定为大致区。然而，在这种情况下，用户可想要明确指定区S的区。在该示例性实施例中，通过分离地输入轨线K3和K4来明确指定区S。另外，这些轨线K3和K4的位置信息被用作对指定区S的位置进行补充的补充位置信息。例如，轨线K3和K4的位置信息可被看作种子1和作为种子1处理。

作为该补充信息的轨线不需要一次绘制，而是可按照多个步骤绘制。在该示例性实施例中，用户输入两条轨线K3和K4。此外，优选地，这些轨线K3和K4将按照重叠方式显示在显示屏幕21中的图像G上。

当按照细线而非粗线绘制轨线时容易地输入该轨线。例如，可利用在用于执行图像处理的图像处理软件等中使用的刷子工具中安装细刷子工具的方法来实现这一点。

除了作为第一代表性位置的种子1和作为第二代表性位置的种子2以外，区检测单元15还利用作为轨线K3和K4的位置信息的补充位置信息来检测指定区S。

[第六示例性实施例]

接着，将描述图像处理设备10的第六示例性实施例。

在第六示例性实施例中，还增加对指定区外区的位置进行补充的补充位置信息以执行指定区的切下。

在该示例性实施例中，除了第五示例性实施例中的对指定区的位置进行补充的补充位置信息以外，用户指令接收单元12还获取对指定区外区的位置进行补充的补充位置信息。

图21A至图21C是示出第六示例性实施例中的补充位置信息的图。

图21A和图21B是与图20A和图20B相同的图，并示出了用户将包含指定区S的包含区H输入至图像G并且输入作为用于补充指定区S的位置的轨线的轨线K3和K4。另外，轨线K3和K4的位置信息被用作对指定区S的位置进行补充的补充位置信息，如上所述。

在该示例性实施例中，用户还从图21B的状态绘制用于对指定区外区的位置进行补充的轨线。

图21C示出了其中用户绘制用于对指定区外区的位置进行补充的轨线的情况。

这里，该轨线被示出为轨线K5。当用户想要更具体地定义作为指定区外区的除头发以外的部分时，绘制该轨线K5作为补充位置。在该示例性实施例中，在人的前额处绘制轨线K5。

当用户想要使指定区外区明确时，轨线K5通过轨线K5的分离输入来实现这一点。另外，该轨线K5的位置信息可用作对指定区外区的位置进行补充的补充位置信息。例如，轨线K5的位置信息可被看作种子2和作为种子2处理。

作为该补充信息的轨线不需要一次绘制而是可分多个步骤绘制。然而，在图21C中，用户仅输入一条轨线K5。此外，优选地，该轨线K5将按照重叠方式显示在显示屏幕21中的图像G上，如第五示例性实施例中那样。另外，也可利用在用于执行图像处理的图像处理软件等中使用的刷子工具中安装细刷子工具的方法来实现这种情况。此外，为了在对指定区的位置进行补充的补充位置信息与对指定区外区的位置进行补充的补充位置信息之间切换，在显示屏幕21上显示例如用于在多条信息之间切换的单选按钮，如图11A至图11C或者图15A和图15B所示，并且可通过用户操纵单选按钮来执行该切换。

除了作为第一代表性位置的种子1和作为第二代表性位置的种子2以外，区检测单元15还利用作为轨线K3、K4和K5的位置信息的补充位置信息来检测指定区S。

在上述示例中，虽然用户针对指定区和指定区外区二者绘制轨线，并且区检测单元15利用两个区的补充位置信息来检测指定区S，但是本发明不限于此。也就是说，用户可仅针对指定区外区绘制轨线，并且区检测单元15可利用指定区外区的补充位置信息来检测指定区S。

图22是示出其中从图21C所示的图像G中提取包含区H和补充位置信息的情况的图。

如图22所示，轨线K5的一部分被包含在包含区H中，但是被明确为指定区外区。

可直接应用图2所示的第一示例性实施例或图14所示的第二示例性实施例中的图像处理设备的功能构造的示例作为第五示例性实施例和第六示例性实施例中的图像处理设备10的功能构造的示例。

同时，图像处理设备10的操作如下。

图23是示出第五示例性实施例和第六示例性实施例中的图像处理设备10的操作的流程图。

下文中，将利用图2和图23描述第五示例性实施例和第六示例性实施例的图像处理设备10的操作。

由于图23中的步骤301至步骤302与图13的步骤101至步骤102相同，因此将省略描述。

接着，用户通过绘制用于对指定区或指定区外区的位置进行补充的轨线来输入补充位置。这些轨线被示出为图20A至图22所示的轨线K3、K4和K5。

用户指令接收单元12从用户接收轨线的位置信息作为补充位置信息(步骤303)。

然后，第一代表性位置设置单元13设置作为第一代表性位置的种子1(步骤304)。在这种情况下，可将用于指定区的补充位置信息作为种子1处理。

此外，第二代表性位置设置单元14设置作为第二代表性位置的种子2(步骤305)。在这种情况下，可将用于指定区外区的补充位置信息作为种子2处理。

另外，区检测单元15执行从种子1和种子2切下指定区的处理(步骤306)。

此外，步骤307至步骤311与图13的步骤106至步骤110相同。

根据上面详细描述的第一示例性实施例至第六示例性实施例，用户执行输入包含指定区的包含区的任务。另外，图像处理设备10基于包含区的位置信息执行指定区的切下。

在这种情况下，不必输入指定区和指定区外区二者，并且可仅输入包含指定区的包含区。此外，对于用户，可以说输入包含区的任务变为大致填充指定区的任务，这使用户得到内心的宁静，并且减轻了心理负担。因此，用户的输入任务的负担减轻，并且提高了用户方便性。此外，容易加速切割指定区的处理。

此外，根据第二示例性实施例，通过将轨线的中心线的显示设置设为“开”使得中心线可见。在这种情况下，用户通常感觉其更容易使用。此外，由于中心线仍然作为第一代表性位置的种子1并且用作指定区的代表性位置，因此这有助于确认该中心线是否在指定区以外。因此，进一步提高了用户的方便性。

此外，根据第三示例性实施例和第四示例性实施例，当用户绘制轨迹时，就用户的心理而言，用户多次绘制轨线的情况是用户想要改进指定区的切下的情况，并且将其中中心线或轨线重叠的区视为期望被无误地切下作为指定区的区。因此，可认为能够通过基于频率而获得作为第一代表性位置的种子1来提取用户想要的种子1。因此，进一步提高指定区的切下的精确度。

此外，根据第五示例性实施例和第六示例性实施例，使用补充位置信息，因此，可进一步明确指定区或指定区外区的范围，并且进一步提高了指定区的切下的精确度。

此外，可将在上述区检测单元15中执行的处理理解为具有以下特征的图像处理方法，所述特征即：获取图像G的图像信息；获取用户输入以包括作为图像G中的特定图像区的指定区S的包含区H的位置信息；基于包含区H的位置信息来设置作为指定区S的代表性位置的第一代表性位置(种子1)和作为指定区外区(指定区S以外的区)的代表性位置的第二代表性位置(种子2)；以及从第一代表性位置(种子1)和第二代表性位置(种子2)检测指定区S。

图像处理设备的构造的硬件示例的示例

接着，将描述图像处理设备10的硬件配置。

图24是示出图像处理设备10的硬件配置的图。

如上所述，通过个人计算机实现图像处理设备10。另外，如图所示，图像处理设备10包括作为计算单元的中央处理单元(CPU)91以及构成存储单元的主要存储器92和硬盘驱动(HDD)93。这里，CPU91执行诸如操作系统(OS)或应用软件之类的各种程序。此外，主要存储器92是其中存储有各种程序或用于执行程序的数据的存储区，而HDD93是其中存储有输入至各种程序的数据或从各种程序输出的数据的存储区。

此外，图像处理设备10包括用于执行与外部的通信的通信接口(下文中称作“通信I/F”)94。

程序的描述

这里，将通过上述的当前示例性实施例中的图像处理设备10执行的处理制备为例如程序(诸如应用软件)。

因此，在当前示例性实施例中，可以将通过图像处理设备10执行的处理理解为以使得计算机实现以下功能为特征的程序，所述功能即：图像信息获取功能，其获取图像G的图像信息；位置信息获取功能，其获取用户输入以包含作为图像G中的特定图像区的指定区S在内的包含区H的位置信息；第一代表性位置设置功能，其基于包含区H的位置信息来设置作为指定区S的代表性位置的第一代表性位置(种子1)；第二代表性位置设置功能，其设置作为指定区外区(指定区S以外的区)的代表性位置的第二代表性位置(种子2)；以及区检测功能，其从第一代表性位置(种子1)和第二代表性位置(种子2)检测指定区S。

此外，用于实现当前示例性实施例的程序不仅可通过通信单元提供，而且还存储在诸如CD-ROM之类的记录介质中并如此提供。

虽然上面已经描述了当前示例性实施例，但是本发明的技术范围不限于示例性实施例中描述的范围。从权利要求的描述中明显的是，在本发明的技术范围内可对以上示例性实施例作出各种修改或改进。

为了示出和说明的目的已提供了本发明的示例性实施例的以上描述。其不旨在是全面的或者将本发明限于所公开的精确形式。明显的是，对于本领域的从业者来说许多修改和改变将是明显的。选择和描述这些实施例以最好地解释本发明的原理及其实际应用，从而使得本领域其它技术人员能够理解适于预期的特定用途的本发明的各种实施例以及各种修改形式。本发明的范围旨在由权利要求及其等同物限定。

Claims (9)

1.一种图像处理设备，包括：

图像信息获取单元，其获取图像的图像信息；

位置信息获取单元，其获取包含区的位置信息，所述包含区由用户输入以包含作为所述图像中的特定图像区的指定区；

第一代表性位置设置单元，其基于所述包含区的位置信息来设置作为所述指定区的代表性位置的第一代表性位置；

第二代表性位置设置单元，其设置第二代表性位置，该第二代表性位置是作为所述指定区以外的区的指定区外区的代表性位置；以及

区检测单元，其基于所述第一代表性位置和所述第二代表性位置来检测所述指定区。

2.根据权利要求1所述的图像处理设备，

其中，通过用户在所述图像上绘制多条轨线来输入所述包含区，并且

所述第一代表性位置设置单元根据多个输入包含区的重叠的频率来设置所述第一代表性位置。

3.根据权利要求1所述的图像处理设备，

其中，通过用户在所述图像上绘制轨线来输入所述包含区，并且

所述第一代表性位置设置单元将所述轨线的中心线的位置设为所述第一代表性位置。

4.根据权利要求3所述的图像处理设备，

其中，所述图像处理设备还包括显示切换单元，该显示切换单元进行切换以确定是否在所述图像上显示所述中心线。

5.根据权利要求1至4中的任一项所述的图像处理设备，

其中，所述第二代表性位置设置单元将所述第二代表性位置设为所述包含区以外的至少一部分的位置。

6.根据权利要求1至5中的任一项所述的图像处理设备，

其中，所述位置信息获取单元还获取用于对所述指定区的位置和所述指定区外区的位置中的至少一个位置进行补充的补充位置信息，并且

除了所述第一代表性位置和所述第二代表性位置以外，所述区检测单元还利用所述补充位置信息来检测所述指定区。

7.一种图像处理方法，包括：

获取图像的图像信息；

获取包含区的位置信息，所述包含区由用户输入以包含作为所述图像中的特定图像区的指定区；

基于所述包含区的位置信息来设置作为所述指定区的代表性位置的第一代表性位置；

设置第二代表性位置，所述第二代表性位置是作为所述指定区以外的区的指定区外区的代表性位置；以及

基于所述第一代表性位置和所述第二代表性位置来检测所述指定区。

8.一种图像处理系统，包括：

显示装置，其显示图像；

图像处理设备，其对显示在所述显示装置上的图像的图像信息执行图像处理；以及

输入装置，其用于用户输入用于在所述图像处理设备上执行图像处理的指令，

其中，所述图像处理设备包括：

图像信息获取单元，其获取所述图像的图像信息；

位置信息获取单元，其获取包含区的位置信息，所述包含区由用户输入以包含作为所述图像中的特定图像区的指定区；

第一代表性位置设置单元，其基于所述包含区的位置信息来设置作为所述指定区的代表性位置的第一代表性位置；

第二代表性位置设置单元，其设置第二代表性位置，该第二代表性位置是作为所述指定区以外的区的指定区外区的代表性位置；

区检测单元，其基于所述第一代表性位置和所述第二代表性位置来检测所述指定区；以及

图像处理单元，其对所述指定区执行图像处理。

9.一种图像处理方法，包括：

获取图像的图像信息；

获取包含区的位置信息，所述包含区由用户输入以包含作为所述图像中的特定图像区的指定区；

基于所述包含区的位置信息来设置作为所述指定区的代表性位置的第一代表性位置；

设置第二代表性位置，该第二代表性位置是作为所述指定区以外的区的指定区外区的代表性位置；以及

基于所述第一代表性位置和所述第二代表性位置来检测所述指定区。