CN104583925B - 图像处理设备、方法及程序 - Google Patents

图像处理设备、方法及程序 Download PDF

Info

Publication number
CN104583925B
CN104583925B CN201380044216.1A CN201380044216A CN104583925B CN 104583925 B CN104583925 B CN 104583925B CN 201380044216 A CN201380044216 A CN 201380044216A CN 104583925 B CN104583925 B CN 104583925B
Authority
CN
China
Prior art keywords
input
image
mode
user
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380044216.1A
Other languages
English (en)
Other versions
CN104583925A (zh
Inventor
藤井康隆
八角学
山田英史
大木光晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104583925A publication Critical patent/CN104583925A/zh
Application granted granted Critical
Publication of CN104583925B publication Critical patent/CN104583925B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种装置，包括：模式确定电路，被配置成从至少第一模式和第二模式中确定输入模式；输入电路，被配置成接收基于用户输入的信号；以及图像处理电路，被配置成基于第一模式下第一线的用户输入来确定图像的包括期望图像区域的子集，以及基于第二模式下图像的子集上的第二线的用户输入来确定期望图像区域。

Description

图像处理设备、方法及程序
技术领域
本技术涉及图像处理设备、方法以及记录在非暂态计算机可读介质上的程序，并且具体涉及其中实现了如下图形用户界面(GUI)的图像处理设备、方法以及在非暂态计算机可读介质上记录的程序：在该GUI中易于从图像剪切包括用户所期望的对象的对象图像。
背景技术
作为从图像提取对象的技术，实际上已经提出并且实际使用了一种被称为图形切割法的方法(参考NPL 1)。
在图形切割法中，首先，根据前景对象图像和背景图像这两种类型的图像的颜色分布或像素颜色的梯度来计算构成要剪切的前景对象图像的区域的边界，其中前景对象图像包括基于用户输入的信息期望剪切的对象。另外，通过沿着所计算的边界剪切图像提取期望剪切的前景对象图像。
引用列表
非专利文献
NPL 1：C.Rother，V.Kolmogorov，A.Blake.GrabCut：Interactive ForegroundExtraction Using Iterated Graph Cuts.ACM transactions on Graphics(SIGGRAPH’04)，2004。
发明内容
技术问题
然而，在使用NPL 1中描述的图形切割的方法中，对于不太了解与图像处理有关的技术的普通用户而言，指定包括期望从图像剪切的对象的区域的操作通常是困难的，并且无法准确地指定包括该对象的区域。
另外，已经假定了指定包括对象的区域的图形用户界面(GUI)在许多情况下使用通过鼠标进行操作的指示器，相应地，难以在用于笔型或平板计算机等中的触控面板型输入单元中准确地指定包括对象的区域。
作为结果，因为难以在所有情况下准确地指定包括对象的区域，所以存在无法容易且适当地提取包括对象的前景对象图像的情况。
期望提供一种图像处理设备，其中，通过使用直观操作方法使得准确且容易地指定期望被剪切的对象，可以准确地从输入图像剪切包括对象的前景对象图像。
问题的解决方案
根据本公开内容的一种实施方式的图像处理设备包括：输入单元，其关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及对象图像提取单元，其从输入图像提取由基于标记线所指定的对象形成的对象图像，其中，输入单元还关于由对象图像提取单元提取的对象图像输入指定与对象的边界的标记线，并且对象图像提取单元基于关于由对象图像提取单元提取的对象图像而输入的标记线来从对象图像提取由所指定的对象形成的对象图像。
对象提取单元可以：获得关于与对象图像相对应的对象区域的信息；获得由下述像素值形成的αmat图像，该像素值表示对象区域的外围部分中除对象区域以外的区域的像素值的前景分量的混合比；以及提取下述图像作为对象图像，在该图像中，由关于对象区域的信息指定的像素值乘以基于αmat图像变成前景分量的混合比。
输入单元可以包括粗捕捉模式，在粗捕捉模式下，关于输入图像指定对象的边界的标记线指定整个对象，并且在粗捕捉模式下，对象提取单元在标记线不是闭合曲线时通过连接尖端部分和结束部分来构成闭合曲线，并且通过将输入图像的闭合曲线的内部设置为包括对象的前景以及将除了闭合曲线以外的区域设置为背景来提取对象图像。
对象提取单元可以通过下述方式从输入图像或对象图像提取对象图像：设置未处理区域，未处理区域在由标记线构成的闭合曲线中并且由在构成通过输入单元输入的标记线的每个像素中的第一预定半径形成；以及基于关于未处理区域、表示前景的图像区域和表示背景的像素区域这三个区域的信息，使用图形切割将未处理区域中的像素分配至表示前景的区域和表示背景的区域中的任意区域。
输入单元可以包括：背景模式，其中指定与对象的边界的局部标记线在对象被设置为前景时被输入作为指定背景的背景标记；以及前景模式，其中局部标记线被输入作为关于对象图像指定前景的前景标记，其中，当输入单元为背景模式时，对象图像提取单元通过设置未处理区域并且通过基于关于未处理区域、表示背景的区域和表示前景的区域这三个区域的信息使用图形切割法将未处理区域中的像素分配至表示前景的区域和表示背景的区域中的任意区域来提取对象图像，未处理区域是通过在构成标记线的每个像素是指定背景的像素值的假定下由构成标记线的每个像素中的第二预定半径形成的，并且其中，当输入单元为前景模式时，对象图像提取单元通过设置未处理区域并且通过基于关于未处理区域、表示背景的区域和表示前景的区域这三个区域的信息使用图形切割法将未处理区域中的像素分配至表示前景的区域和表示背景的区域中的任意区域来提取对象图像，未处理区域是通过在构成标记线的每个像素是指定前景的像素值的假定下由构成标记线的每个像素中的第二预定半径形成的。
背景模式中的未处理区域和前景模式中的未处理区域可以是下述矩形区域：该矩形区域标记由构成局部标记线的每个像素的第二预定半径形成的区域。
αmat图像中的每个像素的前景分量的混合比α可以是从1中减去下述比率而得到的比率：前景的最短距离与前景的最短距离和背景的最短距离之和的比率。
前景颜色可以是将最近前景颜色加至下述值得到的颜色：该值是图像颜色和基层颜色的相减结果乘以混合比α而得到的。
根据本公开内容的另一实施方式的图像处理方法包括：关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及从输入图像提取由基于标记线指定的对象形成的对象图像，其中在输入中，还输入关于通过对对象图像的提取而提取的对象图像指定与对象的边界的标记线，以及，在对对象图像的提取中，基于关于通过对对象图像的提取而提取的对象图像所输入的标记线，从对象图像中提取由所指定的对象形成的对象图像。
根据本公开内容的又一实施方式的程序，其使计算机执行以下处理：关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及从输入图像提取由基于标记线指定的对象形成的对象图像，其中在输入中，还输入关于通过对对象图像的提取而提取的对象图像指定与对象的边界的标记线，以及，在对对象图像的提取中，基于关于通过对对象图像的提取而提取的对象图像所输入的标记线，从对象图像中提取由所指定的对象形成的对象图像。
根据本技术的实施方式，关于输入图像输入用于指定与期望剪切的对象的边界的标记线，从输入图像提取由基于标记线指定的对象形成的对象图像，关于所提取的对象图像还输入指定与对象的边界的标记线，以及基于关于所提取的对象图像所输入的标记线从对象图像提取由所指定的对象形成的对象图像。
在另一种实施方式中，一种装置包括：模式确定电路，被配置成从至少第一模式和第二模式中确定输入模式；输入电路，被配置成接收基于用户输入的信号；以及图像处理电路，被配置成基于第一模式下第一线的用户输入来确定图像的包括期望图像区域的子集，并且基于第二模式下在图像的子集上的第二线的用户输入来确定期望图像区域。
根据本技术的实施方式的图像处理设备可以是独立设备，并且可以是执行图像处理的块。
本发明的有益效果
根据本技术的实施方式，通过使得能够准确且容易地指定包括期望从输入图像剪切的对象的区域，可以使用简单的方法适当地提取期望从输入图像剪切的前景对象图像。
附图说明
[图1]图1为示出应用本技术的图像处理系统的实施方式的配置示例的图；
[图2]图2为示出图1中的图像处理系统中的输入单元的外部配置的图；
[图3]图3为描述图像剪切处理的流程图；
[图4]图4为示出粗捕捉模式的处理的图；
[图5]图5为描述粗捕捉模式的处理的流程图；
[图6]图6为描述粗捕捉模式的处理的图；
[图7]图7为描述剪切图像生成处理的流程图；
[图8]图8为描述图形切割的图；
[图9]图9为描述αmat处理的流程图；
[图10]图10为描述BG模式校正处理的流程图；
[图11]图11为描述BG模式校正处理的图；
[图12]图12为描述BG模式校正处理中的更新区域的图；
[图13]图13为描述异常处理的图；
[图14]图14为描述FG模式校正处理的流程图；
[图15]图15为描述根据标记线的任意两个点之间的距离来设置预定距离r的示例的图；
[图16]图16为描述图像剪切处理的另一流程图；以及
[图17]图17为描述通用个人计算机的配置示例的图。
具体实施方式
(图像处理系统的配置示例)
图1示出了应用本技术的图像处理系统的实施方式的配置示例。在图1中的图像处理系统中，通过用户输入的信息来指定对象，并且对包括所指定对象的对象图像进行剪切。
更具体地，图1中的图像处理系统由输入单元11、图像处理单元12、显示单元13以及存储单元14构成。图像处理单元12将预先存储在存储单元14中的图像，或者可以从网络(未示出)获得的图像等显示在显示单元13上，并且在其间选择在用户操作输入单元11时指定的输入图像。另外，图像处理单元12在用户操作输入单元11时所指定的输入图像中提取由包括预定对象的区域形成的对象图像，在显示单元13上显示该图像，并且使存储单元14存储所剪切的对象图像。
输入单元11例如为图2中所示的笔型输入设备，并且通过使用尖端部分B13直接接触显示单元来执行以下操作：按压并选择显示按钮，或者在由触控面板形成的显示单元13上所显示的图像中进行书写。输入单元11基于这种操作生成各种操作信号，并且将其提供给图像处理单元12。图像处理单元12通过接收输入单元11的操作，基于操作信号执行各种操作。
更具体地，笔型输入单元11包括按钮B11、按钮B12以及尖端部分B13。在指定包括期望留下的对象的前景区域时，或者在对指定背景区域的情况进行切换时，对按钮B11进行操作。相应地，例如，当在按压按钮B11的同时执行输入时，可以假定模式为背景模式(BG模式)，其为指定背景区域时的输入模式，而相反地，当在未按压按钮B11的情况下执行输入时，可以假定模式为前景模式(FG模式)，其为将前景区域指定为对象时的输入模式。自然地，可以将各个模式设置成相反的模式。
按钮B12是在被按压时指示执行与指示器(通常被称为鼠标)中的右击操作相对应的操作的按钮。也就是说，通过右击操作，显示待选择的命令的下拉列表，并且还可以通过使尖端部分B13与来自下拉列表的期望命令相接触来选择命令。另外，可以互换地使用按钮B11和按钮B12的功能。
尖端部分B13是在关于由触控面板形成的显示单元13执行按压、选择或者书写操作时与显示单元13接触的部分，并且由触控面板形成的显示单元13根据是否存在尖端部分B13的接触来确定是否存在各种操作输入。另外，尖端部分B13包括书写压力传感器31(图1)，其测量关于由触控面板形成的显示单元13的书写压力，并且将关于所测量的书写压力的信息连同操作信号一起提供至图像处理单元12。
作为实现笔型输入单元11的功能，输入单元11包括书写压力传感器31、操作信号生成单元32以及通信单元33。如上所述，书写压力传感器31测量作为与显示单元13接触的部分的尖端部分B13的书写压力，并且通过通信单元33将书写压力提供至图像处理单元12。操作信号生成单元32生成与按钮B11和按钮B12的操作相对应的操作信号，并且通过通信单元33将信号提供至图像处理单元12。例如，通信单元33例如使用蓝牙，通过无线通信来执行与图像处理单元12的通信单元44的各种数据项或命令的发送和接收。另外，显示单元13显示图像处理单元12的各种处理结果或数据等，用作触控面板，接收通过笔型输入单元11的尖端部分B13执行的输入，通过控制输入坐标检测单元91来检测所输入的图像上的输入坐标，以及将输入坐标提供至图像处理单元12。构成显示单元13的触控面板例如为电阻膜型触控面板、表面声波型触控面板、红外型触控面板、电磁感应型触控面板、表面型静电电容触控面板或者投影型静电电容触控面板等，并且自然地，对于输入，除了图2中示出的笔型输入单元11外还可以使用人的手指等。另外，虽然没有示出，但是可以使用被表示为鼠标的定点设备。
图像处理单元12基于输入单元11的操作信号，在由存储单元14读出并且由输入单元11指定的图像中提取仅包括对象的区域；提取仅由包括对象的区域形成的对象图像；以及在显示单元13上显示该图像。更具体地，图像处理单元12包括模式确定单元41、预处理单元42、剪切单元43以及通信单元44。
模式确定单元41基于从输入单元11提供的操作信号以及从显示单元13提供的检测信息来确定是BG(背景图像)模式还是FG(前景图像)模式，并且指示输入单元11与显示单元13的什么位置接触。另外，在下文中，在被提供至图像处理单元12的若干信息中，从输入单元11提供的信号将被称为操作信号，从显示单元13提供的信息将被称为检测信息。
预处理单元42执行在基于通过输入单元11输入的信息关于被指定为输入图像的图像提取对象图像时所需的预处理。这里，预处理是关于仅由通过输入单元11输入的信息形成的标记图像(而非关于作为处理对象的输入图像)对输入图像执行的处理。标记图像是由总计如下五个像素值形成的图像：表示被输入单元11指定为前景的前景标记的像素值；在已经通过随后将描述的图形切割处理执行的直到上一次的处理中被设置为前景的像素值；表示既未被指定为前景又未被指定为背景的未处理标记的像素值；在已经通过图形切割处理执行的直到上一次的处理中被设置为背景的像素值；以及表示被输入单元11指定为背景的背景标记的像素值。在随后将描述的图形切割处理中，前景标记和由前景的像素值形成的像素被设置成前景像素，背景标记和由背景的像素值形成的像素被设置成背景像素，未处理标记的像素基于与前景像素和背景像素有关的信息被分配成前景或背景。预处理单元42通过基于输入图像以及直到上一次的标记图像分配这五个像素来生成新的标记图像。另外，以该方式新生成的标记图像被用在随后将描述的图形切割处理中。
剪切单元43基于通过输入单元11输入的信息执行从标记图像和被预处理单元42预处理的输入图像剪切对象图像的处理，并且提取对象图像。
更具体地，剪切单元43包括更新区域提取单元51、能量计算单元52、图形切割优化处理单元53、小区域去除单元54以及αmat处理单元55。
更新区域提取单元51根据从输入单元11提供的操作信息和从显示单元13的输入坐标检测单元91提供的检测信息来设置更新区域。更具体地，当模式为粗捕捉模式时，更新区域提取单元51将整个输入图像提取为更新区域。
另一方面，当模式为BG模式和FG模式时，更新区域提取单元51提取矩形范围，该矩形范围包括预定距离r(R>r：随后将对R进行详细描述)成为相对于每个输入点的半径的范围的内部，并且还在顶部和底部以及在左边和右边向该矩形范围添加边距宽度d作为更新区域。
另外，当模式为粗捕捉模式时，由通过输入单元11输入的标记线围绕的区域的内部被设置成前景区域，并且除了标记线及被标记线围绕的区域以外的区域被设置为背景区域。另外，当模式为BG模式时，通过输入单元11输入的标记线本身是背景区域，而在基于标记线设置的更新区域外部的区域被设置成前景区域；或者，在模式为FG模式时，通过输入单元11输入的标记线本身是前景区域，而在基于标记线设置的更新区域外部的区域被设置成背景区域。
能量计算单元52计算图形切割所需的能量。另外，随后将对图形切割和图形切割所需的能量进行详细描述。
图形切割优化处理单元53基于使用能量计算单元52计算的能量的计算结果，通过图形切割来提取前景图像。
小区域去除单元54将作为在前景区域中余留的小背景区域的小区域去除，或者将作为在背景区域中余留的小前景区域的小区域去除。
αmat处理单元55生成αmat图像，αmat图像由整个图像中的相应前景图像和背景图像的混合比α(混合比α：还被称为α值，其中属于前景图像的像素的α值为1，而属于背景图像的像素的α值为0)的值形成。相应地，αmat图像中的前景区域与背景区域之间的边界区域中的像素的像素值的混合比α成为大于0且小于1的值。另一方面，在αmat图像中，除边界区域以外的范围中的像素为前景图像或背景图像，前景图像的混合比α成为1，背景图像的混合比α成为0。
更具体地，αmat处理单元55包括边界扩展处理单元81、平滑处理单元82、最近前景颜色计算单元83、背景距离计算单元84、α值计算单元85以及前景颜色计算单元86。
边界扩展处理单元81生成未知区域u，未知区域u由与边界(αmat图像中的前景区域和背景区域通过该边界接触，并且在该边界处混合比α是未知的)相距预定距离内的每个像素形成。更具体地，边界扩展处理单元81使用膨胀处理来缩进前景区域和背景区域，并且将余留在前景区域与背景区域之间的区域设置为未知区域u。
平滑处理单元82(其例如为双边滤波器等)关于未知区域u的每个像素执行平滑处理，并且对成为边界的未知区域u中的像素值的改变进行平滑。
最近前景颜色计算单元83关于未知区域u的每个像素计算至缩进前景区域的距离。在该距离中，使用像素差值的欧几里得距离或最短测地线距离等。另外，最近前景颜色计算单元83将在至缩进前景区域的最短距离的范围内的前景像素的颜色设置成最近前景颜色，并且保持关于最近距离的信息。
背景距离计算单元84关于未知区域u的每个像素来计算至缩进背景区域的距离。在该距离中，使用像素差值的欧几里得距离或最短测地线距离。背景距离计算单元84保持关于至缩进背景区域的最短距离的信息。
α值计算单元85关于未知区域u的每个像素按照至前景区域和背景区域的最短距离的比率来计算混合比α。
前景颜色计算单元86原则上采用最近前景颜色作为前景颜色，然而，此时因为存在由于与原始颜色偏离较多而变成模糊图像的情况，所以通过校正最近前景颜色来计算前景颜色。
<图像剪切处理>
随后，将参照图3中的流程图对使用图1中的图像处理系统的图像剪切处理进行描述。
在步骤S11中，图像处理单元12将显示单元11在存储单元14中存储的图像中选择的图像显示在显示单元13上。具体地，在处理中，图像处理单元12可以将可选择的整个图像显示在显示单元13上，并且可以显示输入单元11在显示图像中选择的图像。另外，图像处理单元12显示除了通过插入部分11存储图像的存储单元14之外的其他地方的图像，并且例如可以通过基于指定网络上的位置的信息控制通信单元44进行读出来显示图像，并且可以对其中的任意指定图像进行显示。另外，此时，当指定的图像存储了相应的标记图像(随后将对标记图像进行详细描述)时，图像处理单元12还读出该标记图像。
在步骤S12中，图像处理单元12执行粗捕捉模式处理，并且例如当选择在图4中的左边部分示出的图像P1时，对通过由图4中的右边部分的图像P2中的单点线围绕而示出的对象图像进行剪切，并且在显示单元13上显示该图像。另外，过程进行至步骤S13。
在此，将描述粗捕捉模式。粗捕捉模式是如下模式：例如，当选择在图4中的左边部分示出的图像P1时，如果期望将笔记本个人计算机的图像作为对象提取，则输入诸如围绕整个对象图像的曲线L11的标记线。
也就是说，通过粗捕捉模式处理，通过输入围绕期望从输入图像剪切的对象图像的标记线来剪切包括作为对象的笔记本个人计算机的图像。另外，将参照图5中的流程图来详细描述粗捕捉处理。
然而，在图4中的右边部分示出的图像P2中，在虚线中包括有与个人计算机的图像不同的图像，即除了对象以外的图像。也就是说，在图4中的右边部分的图像P2中，由虚线围绕的白色空间的图像被切割并且被保留为作为前景对象图像的笔记本个人计算机的图像的一部分。这是在图像剪切处理中发生的由图形切割处理产生的错误，随后将对图形切割处理进行描述。也就是说，在粗捕捉模式处理中，如图4中的右边部分所示，在图形切割处理中指定对象图像的信息相对粗糙，存在无法准确地仅提取对象图像的情况。另外，在图4中的右边部分，通过图形切割处理剪切背景附有格子图案并且以方形单点线围绕的笔记本个人计算机的图像。
在步骤S13中，基于通过输入单元11生成的操作信号和通过由显示单元13构成的触控面板检测的检测信号，图像处理单元12确定是否通过对输入单元11进行操作来向输入单元11输入任意信息，或者通过使用手指等直接操作向显示单元13输入任意信息。在步骤S13中，在确认任意操作时，过程进行至步骤S14。
在步骤S14中，图像处理单元12控制模式确定单元41基于从输入单元11提供的操作信号和从显示单元13提供的检测信号来分析操作模式。
在步骤S15中，模式确定单元41基于由于操作信号和检测信号而产生的分析结果来确定是否指示处理的结束。在步骤S15中，当指示处理的结束时，则过程结束。
另一方面，在步骤S15中，当假定未指示处理的结束时，则过程进行至步骤S16。
在步骤S16中，模式确定单元41确定操作模式是否为BG模式。
在此，将对BG模式进行描述。BG模式是如下输入模式：在该输入模式下，例如，如图4中的右边部分示出的图像P2中示出的，当对象图像一度被提取并且对象图像的一部分包括不应提取的前景部分时，前景部分的该部分被指定为背景并且被校正以去除。
更具体地，在BG模式下，在参照图2描述的按钮B11被按压的状态下，对被提取为前景对象图像的区域中期望指定为背景的区域输入标记线。此时，因为假定期望指定为背景的区域是不太大的区域，所以假定：在输入中，输入速度相对较低，存在许多不规则部分并且书写压力较高。因此，当基于操作信号确定按钮B11被按压并且基于检测信号确定输入速度低于预定速度、存在许多不规则部分以及书写压力较高时，模式确定单元41认为状态为FG模式。另外，在该情况下，因为假定被指定为背景的区域是小区域，所以存在以下前提：没有用如以上所述的粗捕捉模式下的输入中的输入线来围绕该区域。
在步骤S16中，基于按钮B11被按压时的操作信号以及基于在输入速度低于预定速度、形状上呈现许多不规则部分并且书写压力较高时的检测信号，假定模式为BG模式，并且过程进行至步骤S17。
在步骤S17中，图像处理单元12执行BG模式校正处理；基于关于通过BG模式处理指定为背景的区域的信息来设置背景区域；校正对象图像；以及适当地在显示单元13上显示校正结果。另外，将参照图10中的流程图来详细描述BG模式校正处理。
另外，当在步骤S16中假定状态为BG模式时，模式确定单元41确定步骤S18中的操作模式是否为FG模式。
在此，将对FG模式进行描述。与作为指定背景的输入模式的BG模式相反，FG模式是指定前景而非背景的输入模式，并且例如FG模式是如下输入模式：一度提取对象图像，并且当对象图像的一部分处包括不应被提取的前景时，该部分被指定为前景。
更具体地，在FG模式下，在已经参照图2描述的按钮B11未被按压的状态下输入期望在背景区域中指定为前景的区域。此时，因为期望指定为前景的区域被假定为不太大的区域，所以假定输入速度相对较低、存在许多不规则部分并且书写压力较高。因此，当基于操作信号确定按钮B11未被按压并且基于检测信号确定输入速度低于预定速度、存在许多不规则部分并且书写压力较高时，模式确定单元41认为状态为FG模式。另外，在该情况下，因为假定被指定为前景的区域是小区域(这与前面描述的粗捕捉模式下的输入中的情况一样)，所以假定没有用输入线围绕该区域。
在步骤S18中，例如，当基于操作信号确定按钮B11未被按压并且基于检测信号确定输入速度低于预定速度、存在许多不规则部分并且书写压力较高时，状态被认为是FG模式，并且过程进行至步骤S19。
在步骤S19中，图像处理单元12执行FG模式校正处理；基于关于通过FG模式处理指定为前景的区域的信息来设置前景区域；校正对象图像；以及适当地在显示单元13上显示校正结果。另外，随后将参照图14中的流程图来详细描述FG模式校正处理。
另外，在步骤S18中，当假定状态不是FG模式时，处理返回至步骤S13并且此后重复处理。
当根据以上描述的处理来执行图像剪切处理时，对作为前景图像的包括对象的图像进行剪切和显示，此后检测BG模式和FG模式中的任意一种输入模式，并且当执行粗捕捉模式处理时可以使用相应处理来执行对所剪切图像的校正。
<粗捕捉模式处理>
随后，将参照图5中的流程图来描述粗捕捉模式处理。
在步骤S51中，预处理单元42将标记图像中每个像素的像素值设置为196，其中196表示前景。另外，标记图像例如是仅通过标记线表示的图像，由图4中的通过操作输入单元11或显示单元13的触控面板来输入的曲线L11来表示标记线。相应地，标记图像是其中仅画出标记线的图像，该标记线由曲线L11形成，曲线L11的宽度近似为与确认输入的显示单元13上的坐标相对应的若干像素(例如五个像素)，并且在图4的情况中，图像不同于作为包括笔记本个人计算机的处理目标的图像。另外，当将像素值设置成0至255时，在标记图像上所设置的像素值中，像素值0用于表示通过输入操作被指定为背景的像素(背景标记MB)，像素值64用于表示通过图形切割处理指定为背景的像素，像素值128用于表示未处理的像素(未处理标记U)，像素值192用于表示通过图形切割处理指定为前景的像素(前景像素F)，像素值255用于表示通过输入操作指定为前景的像素(前景标记MF)。相应地，当可以指定五个像素值时，像素值可以是除了0到255以外的像素值。
在步骤S52中，预处理单元42确定作为标记线输入的曲线L11是否已经成为闭合曲线。也就是说，在粗捕捉模式下，因为用于指定图像中的对象的位置的输入操作较粗糙，所以更可取的是，输入标记线构成闭合曲线。在步骤S52中，例如，因为在图4的左边部分示出的曲线L11不是闭合曲线，所以在该情况下，过程进行至步骤S53。
在步骤S53，预处理单元42通过使用直线或曲线将由曲线L11形成的标记线的起点和终点相连来将曲线L11重新设置成闭合曲线。
另外，在步骤S52中，当假定其为闭合曲线时，跳过步骤S53中的处理。
在步骤S54中，预处理单元42将在标记线(其是由闭合曲线形成的曲线L11)外部的像素设置成像素值0，其表示在标记图像的每个像素中的背景标记。
在步骤S55中，预处理单元42将在曲线L11内部的、在一定距离内(其中预定距离R是通过将构成曲线L11的每个像素设置为中心的半径)的像素的像素值设置成128，其表示在标记图像的每个像素中的未处理标记。也就是说，通过该处理，如图6的标记图像P3中所示的，标记图像的每个像素被设置成以下三个值中的任意一个：0，表示由区域MB(曲线L11)表示的背景标记；192，表示由区域F表示的前景；以及128，8表示由区域U(格子形范围)表示的未处理标记。另外，在图6中，由区域MB表示的曲线L11对应于图4中的曲线L11。
在步骤S56中，剪切单元43通过基于由被设置成三个像素值中的任意一个的像素形成的标记图像和输入图像来执行图像剪切处理，使用图形切割来提取构成前景的对象图像。更具体地，剪切单元43基于标记线使用图形切割从作为处理目标的图像剪切包括对象的前景图像，并且关于每个像素生成由前景图像和背景图像的混合比α(当仅前景图像时α＝1，当仅背景图像时α＝0)形成的αmat图像，其中标记线是通过执行剪切图像生成处理使用粗捕捉模式进行输入的。另外，随后将参照图7中的流程图来详细描述剪切图像生成处理。
在步骤S57中，图像处理单元12在显示单元13上显示剪切图像并且将剪切图像和标记图像存储在存储单元14中，在剪切图像中，生成的前景图像乘以αmat图像中每个像素的混合比α。也就是说，例如，当输入图4的左边部分示出的曲线L11时，作为对象的笔记本个人计算机的剪切图像被显示为图4的右边部分示出的单点线中的图像，其中对象被曲线L11围绕并且存在于被指定为用户期望剪切的区域的范围中。
作为结果，可以通过使用粗捕捉模式的简单输入操作粗糙地输入包括输入图像中期望剪切的对象的范围来剪切作为前景的对象图像并且显示对象图像。
<剪切图像生成处理>
随后，将参照图7中的流程图来描述剪切图像生成处理。
在步骤S71中，剪切单元43控制更新区域提取单元51将矩形区域设置成处理对象，该矩形区域成为输入图像中的更新区域U。另外，在粗捕捉模式下，整个输入图像成为作为处理目标的矩形区域。也就是说，整个输入图像被设置成更新区域U。
在步骤S72中，剪切单元43控制能量计算单元52计算图形切割所需的能量。这里，将对图形切割进行描述。图形切割是使用图形来表示图像的处理，并且使用由图形表示的图像来剪切由期望的区域形成的图像。如图8所示，图形由节点(用圆圈表示的点)和边(连接用每个圆圈表示的点的线)构成。另外，在图8中，由具有各种颜色的方形来表示像素。对节点中的每个和边中的每个施加能量。也就是说，图形切割处理可以被称为如下处理：高效计算被切割以使得施加于图形的能量变得最小的节点路径，并且在基于计算结果切割的每个区域中施加用于标识前景的标签0或者用于标识背景的标签1。
在此，当考虑图形切割时，输入图像中的节点是图像的每个像素，并且边对应于每个像素中的相邻关系。在图形切割处理中，将表示前景或背景的标签X(0或1)分配给作为每个节点的像素，使得在以下表达式(1)中设置的能量E(X)变成最小值。
[数学式.1]
在此，在表达式(1)中，Ed(xp)是数据项，Ec(xp,xq)是边项，能量E(X)是这些项的总和。
因为有必要使具有相似颜色的像素处于相同标签，所以进行设置使得在颜色较相似时对边施加较大能量。因此，如以下表达式(2)所示地对边项Ec(xp,xq)进行设置定义：
[数学式.2]
Ec(xp，xq)＝|xp-xq|·exp(-β·||Ip-Iq||2)
β＝1/2<(||Ip-Iq||2)>…(2)
在此，β是能量的归一化项，并且平均值被设置成0.5。另外，xp-xq的绝对值是边的两侧上的节点的标签(xp,xq)之间的差，并且当标签相同(xp,xq)(＝(1,1)或(0,0))时，xp-xq的绝对值变成0，而当标签不同时，xp-xq的绝对值变成1。当假定边的两侧的标签不同(xp不等于xq)时，也就是说，当标签变成对象的边界时，能量E(X)变得较大，相应地，在图形切割处理中，尽可能地不将该边设置成边。
此外，Ip和Iq分别表示颜色，(Ip,Iq)的范数表示颜色改变量。相应地，为了使能量E(X)较小，可以对(Ip,Iq)的范数尽可能大的部分处的标签，即颜色不同的部分处的标签进行切换。在边中，使用八个相邻位置的像素之间的连接，即，上侧和下侧、以及左侧和右侧、左上方、右上方、左下方、以及右下方处相邻的像素之间的连接。另外，在边的定义中，可以使用除此之外的其他定义。例如，可以使用四个相邻位置的(在上侧和下侧以及左侧和右侧处相邻的)像素之间的连接。
另一方面，数据项Ed(xp)表示在像素p为标签xp时的能量，并且如以下表达式(3)中所示地定义数据项Ed(xp)。
Ed(xp)＝xp*Lb(Ip)+(1-xp)*Lf(Ip) ...(3)
在此，Lf(Ip)和Lb(Ip)分别表示在前景和背景中将颜色Ip施加于颜色分布模型时前景的可能性和背景的可能性。也就是说，表达式(3)中表示的数据项Ed(xp)使用前景和背景各自的可能性Lf(Ip)和Lb(Ip)来表达高斯混合模型(GMM)的关系。也就是说，表达式(3)表示如下可能性，该可能性通过前景Lf(Ip)或背景Lb(Ip)来表示像素颜色(Ip)以较高比率表达为能量。
因为对于具有与在背景标记MB中指定的颜色相似的颜色的像素需要容易成为背景B，所以能量的数据项Ed(xp)关于颜色与背景标记MB中指定的颜色相似的像素p变得较小。
另外，因为表达式(3)中的标签xp原则上为0或1，所以保留右侧的第一项和第二项中的仅一项。因此，如果像素具有前景中寻常的颜色，因为它应该变成Ib(Ip)<Lf(Ip)，所以标签xp容易变成1。
以与以上数据项中的计算中计算的值相比较大的值来应用前景标记MF中的像素，并且以在前景标记MF中指定的标签容易地分配前景标记MF中的像素。
另外，λ是图形切割λ参数，并且是调节数据项与边项之间的平衡的参数。图形切割λ参数越大，边项的值就越大，相应地，越容易提高能量在最小化计算中在边项中的贡献的影响度。因此，当输入图像为单色图像时，可以通过增大λ来强调边。
能量计算单元52根据在以上描述的表达式(3)中所表示的数据项Ed(xp)通过将像素颜色Ip代入前景颜色分布模型来获得前景的可能性Lf(Ip)，并且通过将像素颜色Ip代入为背景颜色分布模型来获得背景的可能性Lb(Ip)。
更具体地，能量计算单元52通过对以下像素进行采样来计算前景颜色分布模型：像素值被设置成作为前景标记MP的255的像素；像素值被设置成作为未处理标记U的128的像素；以及在被曲线L11围绕的范围中的像素，并且将输入图像的像素中除了标记图像中的其更新区域以外的前景的像素值设置为192。另外，关于能量计算，因为在由AdvancedCommunication Media有限公司出版的、Morio Onoe指导翻译的Richard O.Duda(作者)、Peter E.Hart(作者)、David G.Stork(作者)的书《Pattern Classification》625页“Multivariate Normal Density”上公开了能量计算，所以对于细节，优选参考该书。
另外，能量计算单元52通过对以下像素进行采样来计算背景颜色分布模型：像素值被设置成作为背景标记MB的0的像素；以及将由曲线L11围绕的范围以外的背景的像素值设置为64的像素。
另外，能量计算单元52基于以该方式获得的背景的可能性Lb(Ip)和前景的可能性Lf(Ip)来计算数据项Ed(xp)。
另外，在步骤S73中，图形切割优化处理单元53基于能量计算单元52计算的能量E(X)将每个节点的标签设置成0或1。另外，因为在Ryo Kurazume(作者)、Hiroshi Ishikawa(作者)、Takekazu Kato(作者)、Atsushi Sato(作者)、Takeshi Mita(作者)、Yasushi Yagi(编辑)和Hideo Saito(编辑)的书《Guide 1–art computer vision[CVIM TutorialSeries]》中公开了图形切割优化处理单元53中的图形切割优化处理，所以对于细节，优选参考该书。
在步骤S74中，小区域去除单元54计算被分配至前景区域的集合组和背景区域的集合组中的每一个集合组的像素的数量(面积)，去除被分配成阈值或较小的值的标签，并且分配相反的标签。也就是说，在真实图像中，在二值掩码图像中包括噪声，二值掩码图像是在图形切割处理中获得的结果。也就是说，小的前景区域和小的背景区域是它们之一，并且难以通过参数调节整齐地将其去除。因此，小区域去除单元54通过去除前景区域的集合组和背景区域的集合组中的小于预定面积的小区域来减小噪声。另外，存在各种确定阈值的方法，然而，例如它可以是：图像尺寸乘以预定比率的像素数量；整个前景区域或整个背景区域乘以预定比率的像素的数量；任意设置的固定像素的数量等。由于以上描述的一些列处理，生成二值掩码图像，即，由前景或背景的标记形成的图像。
在步骤S75中，αmat处理单元55基于输入图像和二值掩码图像来执行αmat处理，并且关于每个像素生成由前景区域和背景区域的混合比α形成的αmat图像。
<αMat处理>
在此，将参照图9中的流程图来描述αmat处理。
在步骤S91中，边界扩展处理单元81生成混合比α的未知区域u，以便计算在作为前景和背景之间的边界的区域的像素中的混合比α。更具体地，边界扩展处理单元81将在距离前景和背景接触的位置一定距离内的像素位置设置为未知区域u。例如，边界扩展处理单元81使用膨胀处理使前景区域(混合比α＝1.0)和背景区域(混合比α＝0.0)退化，并且将保留在前景区域与背景区域之间的像素设置为未知区域。在此，可以通过边界半径参数t来应用通过膨胀退化的量。
在步骤S92中，平滑处理单元82处理未知区域u中的每个像素使得通过执行平滑处理使图像的像素值的改变平滑，并且平滑处理单元82生成由经平滑的基层颜色形成的图像。可以通过例如双边滤波器来构成平滑处理单元82。另外，对于双边滤波器的细节，优选参考1998年印度孟买IEEE International Conference on Computer Vision，C.Tomasi和R.Manduchi，“Bilateral Filtering for Gray and Color Images”。
在步骤S93中，最近前景颜色计算单元83关于未知区域u的每个像素计算至退化的前景区域的距离，并且将存在于最短距离内的前景像素的颜色保持为最近前景颜色。在此，在该距离内，可以使用像素差值的欧几里得距离或最短测地线距离等。
在步骤S94中，背景处理计算单元84关于未知区域u的每个像素计算至退化的背景区域的距离，并且保持最短距离。在此，在该距离内，可以使用像素差值的欧几里得距离或最短测地线距离等。
在步骤S95中，α值计算单元85如以下表达式(4)中所示基于至前景的最短距离与至背景的最短距离的比率来计算混合比α。
混合比α＝1.0－前景最短距离/(前景最短距离+背景最短距离) ...(4)
在α值计算单元85中，可以分配sigmoid函数以便进一步获得α值的陡的改变。
在步骤S96中，前景颜色计算单元86通过基于由最近前景颜色计算单元83保持的最近前景颜色计算以下表达式(5)来计算前景颜色。
前景颜色＝最近前景颜色+(图像颜色－基层颜色)*混合比α ...(5)
也就是说，当混合比α较接近0.0时，成为最近前景颜色，以及与此相反，当混合比α＝1.0时，匹配原始像素。也就是说，在前景颜色中，可以使用最近前景颜色，然而，还存在如下情况：其变成远不同于原始颜色的模糊图片。因此，前景颜色计算单元86使用表达式(5)通过将以下颜色添加至最近前景颜色来校正前景颜色：其中，由经平滑的基层颜色形成的图像的像素值与未经平滑的输入图像的像素值之间的差乘以混合比。
通过以上描述过程来生成αmat图像。
在此，将再次描述图7中的流程图。
也就是说，通过执行步骤S75中的αmat处理，生成前景图像和αmat图像，并且剪切图像处理结束。
基于通过以上描述的处理获得的αmat图像和对象图像，可以在对象图像的每个像素的像素值乘以αmat图像的每个像素的混合比α时，仅通过输入粗糙标记线来提取期望的对象图像。
另外，在粗捕捉模式处理中，在输入当操作输入单元11时输入的标记线之后，即在完全输入图4中的曲线L11之后执行处理。因此，在不关于输入操作实时执行处理的情况下，在完成输入操作之后一次全部地执行处理。
<BG模式校正处理>
随后，将参照图10中的流程图描述BG模式校正处理。BG模式校正处理是如下处理：将作为前景像素提取的像素(虽然其在以如上所述的粗捕捉模式处理等提取的对象图像中是背景像素)校正成背景像素。
在步骤S111中，预处理单元42确定BG模式下的输入操作是否是以预定距离新输入的，或者输入是否是基于从输入单元11提供的操作信号和来自显示单元13的输入坐标检测单元91的检测信号完成的。
也就是说，在步骤S111中，例如，在被识别为BG模式的状态下通过输入单元11以预定长度新输入标记线，并且标记线的输入是连续的，然而，确定标记线的输入是否仍是连续的或者标记线的输入是否被输入单元11结束，以及尖端部分B13是否与显示单元13分离开。另外，在步骤S111中，当假定BG模式下的输入是以预定距离新输入的或者输入完成时，过程进行至步骤S112。
另外，在步骤S111中，当假定BG模式下的输入不是以预定距离新输入的或者输入未完成时，跳过步骤S112或S116中的处理，并且过程进行至步骤S117。
在步骤S112中，预处理单元42通过对表示标记图像上的背景标记的0像素值进行重写来设置新输入的标记线的每个像素中的像素值。另外，预处理单元42通过对表示未处理标记的128的像素值进行重写来设置如下像素的像素值：从新输入的标记线观察时存在于预定距离r’(r’是r>r’的很小的值)内，并且作为已经被执行到上一次的处理的处理结果(像素值)像素值不是0的像素。也就是说，如图11的左下部分的图像P12中所示，当存在由区域F表示的前景和由区域B表示的背景时，假定如图11的顶部中心处的图像P11所示输入指定背景的标记线MB。此时标记图像变成图11的右下部分示出的图像P13。在此，预处理单元42将图11的右下部分示出的像素P13中的标记线MB的每个像素设置成表示背景标记MB的像素值0。另外，图11示出了输入标记线MB附近直到上一次仍未输入标记线的示例。另外，如这可以根据以上描述而澄清的，当从这次新输入的标记图像观察时在r’中直到上一次输入不存在前景标记时，像素值被强制设置成255到128的值。以此方式，可以处理前景标记尽管是背景但被错误地输入的情况。也就是说，可以使用重写来去除由于错误输入而指定的前景标记FM。
另外，尽管未示出，但是在先前处理中执行随后将描述的FG模式校正处理的并且在处理中被分配成表示前景的像素值192的像素的像素值，被设置成表示未处理标记U的像素值128。也就是说，由于该处理，因为将在先前处理中通过图形切割处理被分配成前景的像素被从分配到前景重新设置，并且仅通过输入表示背景的标记线MB来再次执行图形切割处理，所以可以使得用户的输入操作简单。
在步骤S113中，预处理单元42通过重写将存在于当从构成标记线MB的每个像素观察时大于预定距离r’的距离内的、在预定距离r(R>r)内的并且其像素值不是0也不是255的像素的像素值设置成表示标记图像上的未处理标记U的像素值128。也就是说，作为图11中的图像P13中示出的标记图像，当从构成作为背景标记输入的标记线的每个像素观察时存在于预定距离r内的所有像素被设置成表示未处理标记U的像素值128。另外，在此，在粗捕捉模式下距离r小于距离R的原因是在FG模式校正处理中的更新区域与被指定为在粗捕捉模式下对象存在的范围的区域相比足够小。也就是说，距离R和距离r二者被设置为更新区域半径，并且根据标记线的厚度相对于输入图像的尺寸的比率来适当地设置距离R和距离r。也就是说，因为标记线的厚度是例如五个像素等，所以基于此五个像素来适当地设置距离R和距离r。此外，随后将参照图12详细描述FG模式校正处理和BG模式校正处理中的更新区域的详细定义。
在步骤S114中，图像处理单元12基于输入图像和以此方式生成的标记图像来执行剪切图像生成处理，并且再次提取对象图像。另外，剪切图像生成处理与以上参照图7中的流程图描述的处理相同，将省略其描述。粗捕捉模式下的更新区域是整个图像，然而，因为在BG模式校正处理(以及FG模式校正处理)中指定的范围小于在粗捕捉模式下指定的范围，所以更新区域的定义是不同的。因此，将仅补充对BG模式(FG模式)下的更新区域的定义的描述。
也就是说，前提是在BG模式校正处理中指定的标记线与在粗捕捉模式下的标记线相比具有非常小的距离。因此，如图12中的图像P21所示，当输入标记线MB时，更新区域定义如下。即，BG(和FB)模式校正处理中的更新区域被设置成相对于矩形区域U’在顶部和底部以及左边和右边以预定边距宽度d扩展的矩形区域，矩形区域U’是由包括由连同标记线MB(MF)一起设置的虚线表示的未处理标记U的实线表示的。以此方式，通过扩大更新范围，可以使用关于图形切割中的外围像素的更多信息使得处理精度提高，通过具有矩形形状使得更新区域简单，并且使得重复处理简单。
在步骤S115中，图形切割优化处理单元53控制标记图像中的异常处理单元71，并且执行如图13所示的图形切割处理中的异常处理。更具体地，如在图13中的顶部的第二行至第六行所表示的，当BG模式校正处理中的图形切割处理的结果为FG时，也就是说，当像素被分配为前景的像素时，异常处理单元71将像素值为表示未处理标记的128的像素改变成表示前景的像素值192，并且使除了这些像素以外的像素的像素值保持不变。
也就是说，像素值255和像素值192是原始表示前景的值，这些值保持不变。然而，因为BG模式校正处理是指定作为背景的区域并且使变成背景的像素增加的处理，所以像素值是原始表示背景的64的像素保持为表示背景的像素。
与此相比，如从图13中的顶部的第七行至第十一行所表示的，当BG模式校正处理中的图形切割处理的结果是BG时，也就是说，当假定像素为背景像素时，异常处理单元71将像素值不同于被预先指定为前景或背景的255或0的所有像素设置成表示背景的像素值64。
也就是说，因为像素值255和像素值0是由用户的意图原始设置成前景或背景的像素值，所以这些值保持不变。然而，因为BG模式校正处理是指定作为背景的区域并且使变成背景的像素增加的处理，所以将被确定为背景的像素设置成表示背景的像素值64。
在步骤S116中，图像处理单元12在显示单元13上显示作为所生成的前景图像(其乘以αmat图像中每个像素的混合比α)的剪切图像，并且将剪切图像和标记图像存储在存储单元14中。也就是说，当如图11中所示输入标记线时，提取作为被执行图形切割处理的前景的对象图像，在图形切割处理中前景的附近区域被转换成背景。
在步骤S117中，模式确定单元41基于操作信号和检测信号来确定是否指示BG模式校正处理的结束，并且当未指示结束时，处理返回至步骤S111。也就是说，重复步骤S111至S117中的处理，直到指示结束。另外，在步骤S117中，当假定指示结束时，处理结束。
通过以上描述的处理，可以通过输入标记线以便直观地追踪期望设置为背景的区域来校正对象图像以便增加背景区域。也就是说，当指定背景时，可以在没有以下复杂处理的情况下直观地执行校正操作：当在先前处理中像素被选择成前景时，去除指定前景的标记，并且然后新输入指定背景的标记。另外，可以重复执行BG模式校正处理，直到不再存在期望校正的区域。另外，在重复校正处理时，此时所显示的剪切图像本身作为输入图像被重复执行处理，并且类似地，同样在标记图像中，重复使用此时所显示的剪切图像的标记图像。
另外，因为可以在确认如下状态时执行输入，所以可以在适当地输入标记线时适当地重复执行校正：在该状态下，因为在以预定距离进行标记线的输入时实时执行校正处理，所以在输入标记线时已经执行了校正。
<FG模式校正处理>
随后，将参照图14中的流程图来描述FG模式校正处理。FG模式校正处理是如下处理：将未作为背景像素提取的像素(尽管其在如上所述的粗捕捉模式处理或BG模式校正处理中提取的对象图像中是前景像素)校正成为前景像素。另外，在FG模式校正处理中，指定前景标记FM，然而，与此相反，标记线在BG模式校正处理中指定背景标记MB，并且这是唯一的不同，相应地，将适当地省略其描述。
在步骤S131中，预处理单元42确定FG模式下的输入操作是否是以预定距离新输入的，或者输入是否是基于从输入单元11提供的操作信号和通过显示单元13的输入坐标检测单元91的检测信号完成的。
也就是说，在步骤S131中，例如，在识别FG模式的状态下通过输入单元11以预定长度输入新的标记线，并且连续输入标记线，然而，要确定是否正在输入中，或者标记线的输入是否被输入单元11结束，以及是否变成尖端部分B13与显示单元13分离的状态。另外，在步骤S131中，当假定FG模式下的输入操作是以预定距离新输入的时或者当假定输入完成时，过程进行至步骤S132。
另外，在步骤S131中，当假定FG模式下的输入操作不是以预定距离新输入的或者输入未完成时，跳过步骤S132至S136中的处理，并且过程进行至步骤S137。
在步骤S132中，预处理单元42通过对新输入的标记线中每个像素的像素值进行重写来将其设置为表示标记图像上的前景标记的像素值255。另外，预处理单元42将如下像素的像素值设置为表示未处理标记的像素值128：从此次新输入的标记线观察时存在于预定距离r’(r’是很小的值)内，并且作为已经被执行到上一次的处理的处理结果(像素值)像素值不是255的像素。
在步骤S133中，预处理单元42将当从构成标记线MF的每个像素观察时大于预定距离r’的、存在于预定距离r(R>r)内的并且像素值不是0也不是255的像素的像素值设置成表示标记图像上的未处理标记U的像素值128。
在步骤S134中，图像处理单元12基于输入图像和以此方式生成的标记图像来执行剪切图像生成处理，并且再次提取对象图像。另外，因为剪切图像生成处理与以上参照图7中的流程图描述的处理相同，所以将省略其描述。另外，如参照图12描述的，因为对更新区域的设置也与BG模式校正处理中的情况相同，所以将省略其描述。
在步骤S135中，图形切割优化处理单元53控制标记图像中的异常处理单元71以执行图13中所示的图形切割处理中的异常处理。更具体地，如从图13的顶部的第十八行至第二十二行所示，当FG模式校正处理中的图形切割处理的结果为BG时，即，假定像素为背景像素，异常处理单元71将像素值为128(表示未处理标记)的像素改变成表示前景的像素值192，并且使除了这些像素以外的像素的像素值保持不变。
也就是说，因为像素值0和像素值64是原始表示背景的值，所以这些值保持不变。然而，FG模式校正处理是指定作为前景的区域并且使变成前景的像素增加的处理，像素值是原始表示前景的255和192的像素保持为表示前景。
与此相比，如图13中的第十三行至第十七行所表示的，当FG模式校正处理中的图形切割处理的结果为FG时，即，假定像素为前景像素，异常处理单元71将具有不同于被预先指定为背景或前景的255或0的像素值的所有像素设置成表示前景的像素值192。
也就是说，像素值255和像素值0是根据用户的意图而原始设置成前景或背景的像素值，这些值保持不变。然而，因为FG模式校正处理是指定变成前景的区域并且使变成前景的像素增加的处理，所以将被确定为前景的像素设置成表示前景的像素值192。
在步骤S136中，图像处理单元12在显示单元13上显示剪切图像(其中所生成的前景图像乘以αmat图像中的每个像素的混合比α)，并且将剪切图像和标记图像存储在存储单元14中。
在步骤S137中，模式确定单元41基于操作信号和检测信号来确定是否指示FG模式校正处理的结束，并且当未指示结束时，处理返回至步骤S131。也就是说，重复步骤S131至步骤S137中的过程，直到指示结束。另外，当假定在步骤S137中指示结束时，过程结束。
通过以上描述的过程，可以仅通过输入标记线以便直观地追踪期望设置为前景的区域来校正对象图像以便增加前景区域。也就是说，当指定前景时，可以在没有以下复杂处理的情况下直观地执行校正操作：当在先前处理中像素被选择成背景时，去除指定背景的标记，并且然后新输入指定前景的标记。另外，可以重复执行FG模式校正处理，直到不再存在期望校正的区域。另外，在重复校正处理时，此时所显示的剪切图像本身作为输入图像被重复执行处理，并且类似地，同样在标记图像中，重复使用此时所显示的剪切图像的标记图像。
另外，因为在以预定距离进行标记线的输入时执行校正处理，并且可以在确定如下状态的同时执行标记线的输入，所以可以在适当地输入标记线时适当地重复执行校正：在该状态下，在输入标记线的同时已经实时执行了校正。
另外，如上所述，描述了使用笔型输入单元11输入标记线的示例，然而，可以通过使用手指等追踪由触控面板形成的显示单元13来执行输入。在这种情况下，可以进行配置使得显示通过BG模式设置输入处理或者通过FG模式设置输入处理的操作按钮，并且根据按钮是否被按压进行区分。另外，类似地，可以通过使用鼠标等的定点设备来执行相同的处理。
另外，在以上描述中，将预定距离r和r’描述为预定值，然而，可以是以下情况：对图3中的步骤S12至步骤S19中的循环的次数进行计数，并且将预定距离r和r’设置成较小以与所计数的值成反比。其原因是，当用户多次执行FG模式或BG模式时，这可以被认作用户期望更准确地提取对象图像的情况。这是因为，在期望准确提取对象图像时，可以将预定距离r和r’设置成为较小。
另外，可以根据标记线的输入形状来增大或减小预定距离r和r’。例如，通过追踪标记线获得以一定距离分开的任意两点或更多点之间的直线距离并且相对于标记线上的一系列点对距离量与预定距离r的比率进行比较来确定是否执行了精细输入。作为结果，例如，如图15的左边部分所示，在当输入标记线MB时标记线上的点T1与点T2之间的距离为D的情况下，因为当预定距离r为r1(r1>D/2)时在距离标记线MB的预定距离r1内的、由单点划线表示的范围交叉，如图15的中心部分所示，所以没有反映标记线MB的详细输入形状。因此，以此方式，当假定输入标记线是较小图形时，如图15的右边部分所示，可以通过将预定距离r设置成r2(如r2<D/2)来适当地反映精细标记线的输入。另外，在图15中，描述了预定距离r的示例，然而，可以类似地处理预定距离r’。
另外，在以上描述中，描述了首先关于图像剪切处理、参照图3中的流程图执行粗捕捉模式处理并且其后根据对输入的分析结果来切换BG模式校正处理或FG模式校正处理的示例。然而，当输入图像是预先执行了粗捕捉模式处理的输入图像时，可以假定在第一阶段粗捕捉模式处理通常不是必需的。因此，如图16中的流程图所示，可以是以下情况：可以根据输入来选择粗捕捉模式处理、BG模式校正处理和FG模式校正处理中的任意处理。
也就是说，在图16的步骤S215中，模式确定单元41确定操作模式是否为粗捕捉模式。因为输入了其中存在对象的相对较宽的范围以使该范围在粗捕捉模式下被粗略地围绕，所以假定输入速度相对高、存在小量不规则部分并且书写压力较低。因此，例如，当标记线的输入速度相对高、存在小量不规则部分并且书写压力较低时，模式确定单元41将状态确定为粗捕捉模式，并且在该情况下过程进行至步骤S216。
另一方面，当标记线的输入速度相对低、存在不规则部分或者书写压力较高时，则假定状态不是粗捕捉模式并且过程进行至步骤S217。由于该处理，当输入图像是已经在粗捕捉模式下执行了的图像时，可以跳过粗捕捉模式处理。另外，因为省略图16的流程图中的步骤S215的处理与参照图3中的流程图描述的处理相同，所以省略其描述。
同时，以上描述的一系列处理可以使用硬件来执行，然而，其也可以使用软件来执行。当使用软件来执行所述一系列处理时，构成软件的程序可以从记录介质安装至嵌入到专用硬件中的计算机，或者例如可以通过从记录介质安装各种程序来执行各种功能的通用个人计算机等。
图17示出了通用个人计算机的配置示例。通用计算机具有内置CPU(中央处理单元)1001。CPU 1001通过总线1004与输入/输出接口1005相连。总线1004与ROM(只读存储器)1002和RAM(随机存取存储器)1003相连接。
输入/输出接口1005与输入单元1006、输出单元1007、存储单元1008以及通信单元1009相连接，其中，输入单元1006由用于由用户输入操作命令的输入设备如键盘和鼠标形成，输出单元1007将处理操作画面或者处理结果的图像输出至显示器，存储单元1008由程序、存储各种数据项的硬盘驱动器等形成，通信单元1009由局域网(LAN)适配器等形成并且通过由因特网表示的网络来执行通信处理。另外，该接口与关于可移除介质1011读写数据的驱动器1010相连接，可移除介质1011例如为磁盘(包括软盘)、光盘(包括CD-ROM(只读存储型光盘)和数字通用光盘(DVD))、磁光盘(包括MD(迷你盘))或半导体存储器。
CPU 1001根据ROM 1002中存储的程序或者从可移除介质1011(例如磁盘、光盘、磁光盘或半导体存储器)读出、安装至存储单元1008并且从存储单元1008加载至RAM 1003的程序来执行各种处理。另外，RAM1003还适当地存储CPU 1001执行各种处理时所需的数据等。
在如上所述配置的计算机中，当CPU 1001通过经由输入/输出接口1005和总线1004将例如在存储单元1008中存储的程序加载在RAM 1003中来执行该程序时，执行上述一系列处理。
可以通过例如将可移除介质1011中的程序记录为封装介质等来提供由计算机(CPU 1001)执行的程序。另外，可以通过有线或无线传输介质例如局域网、因特网和数字卫星广播来提供程序。
在计算机中，可以通过将可移除介质1011安装在驱动器1010上经由输入/输出接口1005来将程序安装在存储单元1008中。另外，可以通过通信单元1009来接收程序，并且可以通过有线或无线传输介质将程序安装在存储单元1008中。除此以外，可以预先将程序安装在ROM 1002或存储单元1008中。
另外，由计算机执行的程序可以是以根据本说明书中描述的次序的时间顺序来执行处理的程序，并且可以是并行地或在当存在调用标志时的必要定时处执行处理的程序等。
另外，在本说明书中，系统指多个构成要素(设备、模块(部件)等)的集合，并且是否所有部件都在相同壳体中并不重要。相应地，容纳在单独的壳体中并且通过网络相连接的多个设备以及多个模块被容纳在一个壳体中的一个设备均为系统。
另外，本技术的实施方式不限于以上所述实施方式，并且可以在不偏离本技术的范围的情况下进行各种改变。
例如，本技术可以具有云计算的配置，其中一个功能通过经由网络在多个设备中共享而被共同处理。
另外，已经在以上描述的流程图中进行了描述的每个步骤可以由一个设备来执行，或者可以通过被共享而由多个设备来执行。
另外，当多个步骤包括在一个步骤中时，包括在一个步骤中的多个处理可以由一个设备来执行，或者可以通过被共享而由多个设备来执行。
另外，本技术还可以具有以下配置。
(1)一种系统，包括：
模式确定电路，被配置成从至少第一模式和第二模式中确定输入模式；
输入电路，被配置成接收基于用户输入的信号；以及
图像处理电路，被配置成基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域。
(2)根据(1)所述的系统，其中，所述图像处理电路基于作为开环的所述第一线来确定所述图像的所述子集。
(3)根据(1)或(2)所述的系统，其中，所述输入电路接收基于所述用户输入的所述信号，所述用户输入使得所述第一线为开环，所述图像处理电路将所述开环转换成闭环，并且所述图像处理电路基于所述第一模式下的所述闭环来确定所述图像的所述子集。
(4)根据(3)所述的系统，其中，所述图像处理电路通过连接所述开环的起点和终点来将所述开环转换成闭环。
(5)根据(1)至(4)中任一项所述的系统，其中，所述输入电路在所述图像处理电路确定所述图像的所述子集之后接收来自用户的结束处理的命令。
(6)根据(1)至(5)中任一项所述的系统，
显示控制电路，被配置成在所述图像处理电路确定所述图像的所述子集之后控制显示器显示所述图像的所述子集而不是显示所述图像。
(7)根据(1)至(6)中任一项所述的系统，还包括：
显示控制电路，被配置成在所述图像处理电路确定所述期望图像区域之后控制显示器显示所述期望图像区域而不是显示所述图像。
(8)根据(1)至(7)中任一项所述的系统，还包括：
显示控制电路，被配置成控制显示器显示所述第一线和所述图像的所述子集。
(9)根据(1)至(8)中任一项所述的系统，还包括：
显示控制电路，被配置成控制显示器显示所述第二线和所述期望图像区域。
(10)根据(1)至(9)中任一项所述的系统，其中，所述图像处理电路以前景模式或背景模式工作。
(11)根据(10)所述的系统，其中，所述图像处理电路基于所述用户输入来确定是以所述前景模式工作还是以所述背景模式工作。
(12)根据(11)所述的系统，其中，所述图像处理电路基于所述用户输入的绘画速度来确定是以所述前景模式工作还是以所述背景模式工作。
(13)根据(11)所述的系统，其中，所述图像处理电路基于所述用户输入中不规则部分的数量来确定是以所述前景模式工作还是以所述背景模式工作。
(14)根据(11)所述的系统，其中，所述图像处理电路基于由所述用户输入对绘画表面施加的绘画压力来确定是以所述前景模式工作还是以所述背景模式工作。
(15)根据(11)所述的系统，还包括：
绘画笔，被配置成与所述图像处理电路通信。
(16)根据(15)所述的系统，其中，所述图像处理电路基于来自所述绘画笔的信号来确定是以所述前景模式工作还是以所述背景模式工作。
(17)根据(15)所述的系统，其中，所述图像处理电路基于由所述绘画笔对被配置成显示图像的显示器施加的绘画压力来确定是以所述前景模式工作还是以所述背景模式工作。
(18)一种方法，包括：
从第一模式和第二模式中确定输入模式；
接收基于用户输入的信号；以及
基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域。
(19)一种被编码有计算机可读指令的非暂态计算机可读介质，所述计算机可读指令在被处理器执行时使所述处理器执行根据权利要求18所述的方法。
(20)一种装置，包括：
存储器，被配置成存储数据；
显示器；
电池，被配置成向所述装置提供电力；
模式输入确定电路，被配置成从第一模式和第二模式中确定输入模式；
输入电路，被配置成接收基于用户输入的信号；以及
图像处理电路，被配置成基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域。
(21)根据(1)至(15)所述的装置，还包括：
显示器，被配置成显示图像。
(22)根据(20)所述的装置，其中，所述装置为智能手机或平板计算机。
(23)根据(20)所述的装置，其中，所述显示器为液晶显示器。
(24)根据(20)所述的装置，其中，所述显示器为电致发光显示器。
(25)根据(20)所述的装置，其中，所述显示器为有机发光二极管显示器。
(26)根据(20)所述的装置，其中，所述显示器为触控面板。
(27)一种图像处理设备，包括：
输入单元，其关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及
对象图像提取单元，其从所述输入图像提取基于所述标记线指定的所述对象所形成的对象图像，
其中，所述输入单元还关于由所述对象图像提取单元提取的所述对象图像输入指定与所述对象的边界的标记线，并且
其中，所述对象图像提取单元基于关于由所述对象图像提取单元提取的所述对象图像而输入的所述标记线来从所述对象图像提取由所指定的对象形成的对象图像。
(28)根据(27)所述的图像处理设备，其中，能够使所述对象提取单元执行以下操作：获得关于与所述对象图像相对应的对象区域的信息，以及由下述像素值形成的αmat图像，所述像素值表示所述对象区域的外围部分中除所述对象区域以外的区域的像素值的前景分量的混合比；以及提取下述图像作为对象图像，在该图像中，关于所述对象区域的所述信息所指定的像素值乘以基于所述αmat图像成为所述前景分量的所述混合比。
(29)根据(27)所述的图像处理设备，其中，所述输入单元包括粗捕捉模式，在所述粗捕捉模式下，关于所述输入图像指定所述对象的边界的标记线指定整个对象，并且在所述粗捕捉模式下，所述对象提取单元在所述标记线不是闭合曲线时通过连接尖端部分和结束部分来构成闭合曲线，并且所述对象提取单元通过将所述输入图像的所述闭合曲线的内部设置为包括对象的前景以及将除了所述闭合曲线以外的区域设置为背景来提取对象图像。
(30)根据(29)所述的图像处理设备，其中，所述对象提取单元通过下述方式从所述输入图像或所述对象图像提取所述对象图像：设置未处理区域，所述未处理区域在由所述标记线构成的所述闭合曲线内并且由在构成通过所述输入单元输入的标记线的每个像素中的第一预定半径形成；以及基于关于所述未处理区域、表示所述前景的图像区域和表示所述背景的像素区域这三个区域的信息，使用图形切割将所述未处理区域中的像素分配至表示所述前景的所述区域和表示所述背景的所述区域中的任意区域。
(31)根据(27)所公开的图像处理设备，
其中，所述输入单元包括：背景模式，在所述背景模式下，指定与所述对象的边界的局部标记线在所述对象被设置为前景时被输入作为指定背景的背景标记；以及前景模式，在所述前景模式下，所述局部标记线被输入作为关于所述对象图像指定所述前景的前景标记，
其中，当所述输入单元为所述背景模式时，所述对象图像提取单元通过设置未处理区域并且通过基于关于所述未处理区域、表示所述背景的区域和表示所述前景的区域的三个区域的信息使用图形切割法将所述未处理区域中的像素分配至表示所述前景的所述区域和表示所述背景的所述区域中的任意区域来提取对象图像，所述未处理区域是通过在构成所述标记线的每个像素是指定所述背景的像素值的假定下由构成所述标记线的每个像素中的第二预定半径形成的，并且
其中，当所述输入单元为所述前景模式时，所述对象图像提取单元通过设置所述未处理区域并且通过基于关于所述未处理区域、表示所述背景的所述区域和表示所述前景的所述区域的所述三个区域的信息使用所述图形切割法将所述未处理区域中的所述像素分配至表示所述前景的所述区域和表示所述背景的所述区域中的任意区域来提取对象图像，所述未处理区域是通过在构成所述标记线的每个像素是指定所述前景的像素值的假定下由构成所述标记线的每个像素中的所述第二预定半径形成的。
(32)根据(31)所述的图像处理设备，其中，所述背景模式下的所述未处理区域和所述前景模式下的所述未处理区域可以是下述矩形区域：所述矩形区域标记由构成所述局部标记线的每个像素的所述第二预定半径形成的区域。
(33)根据(28)所述的图像处理设备，
其中，所述αmat图像中的每个像素的前景分量的混合比α是从1中减去下述比率得到的比率：前景的最短距离与所述前景的最短距离和背景的最短距离之和的比率。
(34)根据(33)所述的图像处理设备，
其中，前景颜色是将最近前景颜色添加至下述值得到的颜色：其中图像颜色和基层颜色的相减结果乘以所述混合比α。
(35)一种图像处理方法，包括：
关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及
从所述输入图像提取由基于所述标记线指定的所述对象形成的对象图像，
其中，在所述输入中，还输入关于通过对所述对象图像的提取而提取的所述对象图像指定与所述对象的边界的标记线，并且
其中，在对所述对象图像的提取中，基于关于通过对所述对象图像的提取而提取的所述对象图像所输入的标记线，从所述对象图像中提取由所指定的对象形成的对象图像。
(36)一种程序，所述程序使计算机执行以下处理：
关于输入图像输入用于指定与期望剪切的对象的边界的标记线；以及
从所述输入图像提取由基于所述标记线指定的所述对象形成的对象图像，
其中，在所述输入中，还输入关于通过对所述对象图像的提取而提取的所述对象图像指定与所述对象的边界的标记线，并且
其中，在所述提取中，基于关于通过对所述对象图像的提取而提取的所述对象图像所输入的标记线，从所述对象图像中提取由所指定的对象形成的对象图像。
本公开内容包含与2012年8月24日提交到日本专利局的日本优先专利申请JP2012-184852中公开的主题相关的主题，其全部内容通过引用合并到本文中。
本领域的技术人员应当理解的是，根据设计要求和其他因素可以进行各种修改、组合、子组合和改变，只要所述各种修改、组合、子组合和改变在所附权利要求或其等同的范围内即可。
附图标记列表
11 输入单元
12 图像处理单元
13 显示单元
14 存储单元
31 书写压力传感器
32 操作信号单元
33 通信单元
41 模式确定单元
42 预处理单元
43 剪切单元
44 通信单元
51 更新区域提取单元
52 能量计算单元
53 图形切割优化处理单元
54 小区域去除单元
55 αmat处理单元
81 边界扩展处理单元
82 平滑处理单元
83 最近前景颜色计算单元
84 背景距离计算单元
85 α值计算单元
86 前景颜色计算单元

Claims (14)

1.一种图像处理系统，包括：
模式确定电路，被配置成从至少第一模式和第二模式中确定输入模式；
输入电路，被配置成接收基于用户输入的信号；以及
图像处理电路，被配置成基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域，
其中，所述图像处理电路以前景模式或背景模式工作，所述背景模式为指定背景区域时的输入模式，所述前景模式为将前景区域指定为对象时的输入模式，并且
所述图像处理电路基于所述用户输入的以下方面来确定是以所述前景模式工作还是以所述背景模式工作：
所述用户输入的绘画速度；
所述用户输入中不规则部分的数量；或者
由所述用户输入对绘画表面施加的绘画压力。
2.根据权利要求1所述的图像处理系统，其中，所述图像处理电路基于作为开环的所述第一线来确定所述图像的所述子集。
3.根据权利要求1所述的图像处理系统，其中，所述输入电路接收基于所述用户输入的所述信号，所述用户输入使得所述第一线为开环，所述图像处理电路将所述开环转换成闭环，并且所述图像处理电路基于所述第一模式下的所述闭环来确定所述图像的所述子集。
4.根据权利要求3所述的图像处理系统，其中，所述图像处理电路通过连接所述开环的起点和终点来将所述开环转换成闭环。
5.根据权利要求1所述的图像处理系统，其中，所述输入电路在所述图像处理电路确定所述图像的所述子集之后接收来自用户的结束处理的命令。
6.根据权利要求1所述的图像处理系统，还包括：
显示控制电路，被配置成在所述图像处理电路确定所述图像的所述子集之后控制显示器显示所述图像的所述子集而不是显示所述图像。
7.根据权利要求1所述的图像处理系统，还包括：
显示控制电路，被配置成在所述图像处理电路确定所述期望图像区域之后控制显示器显示所述期望图像区域而不是显示所述图像。
8.根据权利要求1所述的图像处理系统，还包括：
显示控制电路，被配置成控制显示器显示所述第一线和所述图像的所述子集。
9.根据权利要求1所述的图像处理系统，还包括：
显示控制电路，被配置成控制显示器显示所述第二线和所述期望图像区域。
10.根据权利要求1所述的图像处理系统，还包括：
绘画笔，被配置成与所述图像处理电路通信。
11.根据权利要求10所述的图像处理系统，其中，所述图像处理电路基于来自所述绘画笔的信号来确定是以所述前景模式工作还是以所述背景模式工作。
12.根据权利要求10所述的图像处理系统，其中，所述图像处理电路基于由所述绘画笔对被配置成显示图像的显示器施加的绘画压力来确定是以所述前景模式工作还是以所述背景模式工作。
13.一种图像处理方法，包括：
从第一模式和第二模式中确定输入模式；
接收基于用户输入的信号；以及
基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域，
其中，所述输入模式包括前景模式或背景模式，所述背景模式为指定背景区域时的输入模式，所述前景模式为将前景区域指定为对象时的输入模式，并且
基于所述用户输入的以下方面来确定是以前景模式工作还是以背景模式工作：
所述用户输入的绘画速度；
所述用户输入中不规则部分的数量；或者
由所述用户输入对绘画表面施加的绘画压力。
14.一种图像处理装置，包括：
存储器，被配置成存储数据；
显示器；
电池，被配置成向所述装置提供电力；
输入模式确定电路，被配置成从第一模式和第二模式中确定输入模式；
输入电路，被配置成接收基于用户输入的信号；以及
图像处理电路，被配置成基于所述第一模式下第一线的所述用户输入来确定图像的包括期望图像区域的子集，以及基于所述第二模式下所述图像的所述子集上的第二线的所述用户输入来确定所述期望图像区域，
其中，所述图像处理电路以前景模式或背景模式工作，所述背景模式为指定背景区域时的输入模式，所述前景模式为将前景区域指定为对象时的输入模式，并且
所述图像处理电路基于所述用户输入的以下方面来确定是以所述前景模式工作还是以所述背景模式工作：
所述用户输入的绘画速度；
所述用户输入中不规则部分的数量；或者
由所述用户输入对绘画表面施加的绘画压力。
CN201380044216.1A 2012-08-24 2013-08-15 图像处理设备、方法及程序 Expired - Fee Related CN104583925B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012184852A JP6102122B2 (ja) 2012-08-24 2012-08-24 画像処理装置および方法、並びにプログラム
JP2012-184852 2012-08-24
PCT/JP2013/004865 WO2014030322A1 (en) 2012-08-24 2013-08-15 Image processing device, method, and program

Publications (2)

Publication Number Publication Date
CN104583925A CN104583925A (zh) 2015-04-29
CN104583925B true CN104583925B (zh) 2018-05-18

Family

ID=49118750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044216.1A Expired - Fee Related CN104583925B (zh) 2012-08-24 2013-08-15 图像处理设备、方法及程序

Country Status (5)

Country Link
US (1) US10254938B2 (zh)
EP (1) EP2888652A1 (zh)
JP (1) JP6102122B2 (zh)
CN (1) CN104583925B (zh)
WO (1) WO2014030322A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449395B2 (en) * 2014-09-15 2016-09-20 Winbond Electronics Corp. Methods and systems for image matting and foreground estimation based on hierarchical graphs
KR102423065B1 (ko) * 2015-06-04 2022-07-21 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN104932826B (zh) * 2015-06-26 2018-10-12 联想(北京)有限公司 一种信息处理方法和电子设备
US10155762B2 (en) * 2015-09-04 2018-12-18 Janssen Pharmaceutica Nv Therapeutic compound for pain and synthesis thereof
GB2551396B (en) * 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
CN110263306B (zh) * 2018-03-12 2023-04-04 京瓷办公信息系统株式会社 图像处理系统以及图像形成装置
CN108921854B (zh) * 2018-05-22 2022-06-21 复旦大学 一种消化道内镜图像不规则病变区域标注方法及系统
CN109725802B (zh) * 2018-12-17 2021-02-23 浙江口碑网络技术有限公司 页面交互方法及装置
WO2021107202A1 (ko) * 2019-11-28 2021-06-03 주식회사 지이모션 의상의 3차원 모델링 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0461899A2 (en) * 1990-06-14 1991-12-18 Sony Corporation Coordinate data processing apparatus using pointing means
CN1734499A (zh) * 2004-08-09 2006-02-15 微软公司 通过动态规划进行修边
EP2172834A2 (en) * 2008-10-02 2010-04-07 Wacom Co., Ltd. Combination touch and transducer input system and method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060029275A1 (en) * 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
JP5045619B2 (ja) * 2008-09-08 2012-10-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWM350750U (en) 2008-10-03 2009-02-11 Inventec Appliances Corp Electric pen
US8885977B2 (en) * 2009-04-30 2014-11-11 Apple Inc. Automatically extending a boundary for an image to fully divide the image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0461899A2 (en) * 1990-06-14 1991-12-18 Sony Corporation Coordinate data processing apparatus using pointing means
CN1734499A (zh) * 2004-08-09 2006-02-15 微软公司 通过动态规划进行修边
EP2172834A2 (en) * 2008-10-02 2010-04-07 Wacom Co., Ltd. Combination touch and transducer input system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
The Lasso Tool In Photoshop;Photoshop;《http://www.photoshopessentials.com/basics/selections/lasso-tool/》;20091004;第1页 *

Also Published As

Publication number Publication date
US10254938B2 (en) 2019-04-09
CN104583925A (zh) 2015-04-29
WO2014030322A1 (en) 2014-02-27
JP2014044461A (ja) 2014-03-13
JP6102122B2 (ja) 2017-03-29
US20150205501A1 (en) 2015-07-23
EP2888652A1 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
CN104583925B (zh) 图像处理设备、方法及程序
EP3452959B1 (en) Model construction in a neural network for object detection
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN111860565A (zh) 用于训练用于测量技术中的质量检查的分类器的工作流程
KR20160078955A (ko) 현미경 이미지 내에서 각각의 세포를 분류 및 식별하는 방법 및 시스템
EP3779874A2 (en) System and method for automated surface assessment
CN104731446B (zh) 基于提示的斑点修复技术
Lindvall et al. From machine learning to machine teaching: the importance of UX
CN109977826B (zh) 物体的类别识别方法和装置
CN104053984A (zh) 图像检查方法和图像检查装置
Kreshuk et al. Machine learning: advanced image segmentation using ilastik
JP2023515520A (ja) ユーザ入力に基づいて生成された人工知能モデルを使用し、仮想欠陥画像を生成するためのコンピュータプログラム、方法、及び装置
CN113614778A (zh) 图像分析系统及使用该图像分析系统的方法
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
Shrestha et al. A real world dataset for multi-view 3d reconstruction
JP2023501161A (ja) 領域レベルアノテーションのブーストラッピングを使用した画像処理ベースのオブジェクト分類
EP2806398A1 (en) Method of defining a region of interest
EP4239589A1 (en) Ai-assisted generation of annotated medical images
CN113724223B (zh) 基于光学显微镜的YOLOv3数据集制作方法及系统
JP6405603B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN109202886A (zh) 基于固定背景下的手势识别方法及系统
Pauplin et al. User-centric image segmentation using an interactive parameter adaptation tool
Cordeiro et al. Object Segmentation for Bin Picking Using Deep Learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180518

Termination date: 20210815