JP2014044461A - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2014044461A
JP2014044461A JP2012184852A JP2012184852A JP2014044461A JP 2014044461 A JP2014044461 A JP 2014044461A JP 2012184852 A JP2012184852 A JP 2012184852A JP 2012184852 A JP2012184852 A JP 2012184852A JP 2014044461 A JP2014044461 A JP 2014044461A
Authority
JP
Japan
Prior art keywords
image
input
foreground
area
mark line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012184852A
Other languages
English (en)
Other versions
JP2014044461A5 (ja
JP6102122B2 (ja
Inventor
Yasutaka Fujii
康隆 藤井
Manabu Yasumi
学 八角
Hidefumi Yamada
英史 山田
Mitsuharu Oki
光晴 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012184852A priority Critical patent/JP6102122B2/ja
Priority to US14/414,751 priority patent/US10254938B2/en
Priority to EP13759321.6A priority patent/EP2888652A1/en
Priority to PCT/JP2013/004865 priority patent/WO2014030322A1/en
Priority to CN201380044216.1A priority patent/CN104583925B/zh
Publication of JP2014044461A publication Critical patent/JP2014044461A/ja
Publication of JP2014044461A5 publication Critical patent/JP2014044461A5/ja
Application granted granted Critical
Publication of JP6102122B2 publication Critical patent/JP6102122B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】入力画像から所望とするオブジェクトを含むオブジェクト画像を容易に抽出できるようにする。
【解決手段】前景に指定したい領域が入力部１１により入力された場合、前処理部４２は、前景に指定された範囲を前景マークの画素に設定すると共に、それ以前の処理で、グラフカット処理により背景に設定された画素については、未処理マークの画素に設定する。そして、前景が指定された範囲に属する画素から所定の距離の範囲内の画素は、未処理マークの画素に設定される。画像処理部１２は、このようにして設定された前景、および背景の情報に基づいてグラフカット処理により未処理マークの各画素を前景または背景に割り付ける。本技術は、画像処理ソフトウェアに適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、画像の中からユーザが所望とするオブジェクトを含むオブジェクト画像を容易に切り出せるようなGUI（Graphical User Interface）を実現できるようにした画像処理装置および方法、並びにプログラムに関する。
画像よりオブジェクトを抽出する技術として、例えば、グラフカット法と称される手法が提案され実用化されている（非特許文献１参照）。
グラフカット法は、まず、ユーザにより入力された情報から切り出したいオブジェクトを含む前景オブジェクト画像と、背景画像とからなる２種類の画像の色分布や画素カラーの勾配から切り出すべき前景オブジェクト画像を構成する領域の境界を計算する。そして、計算された境界に沿って画像が切り出されることにより、切り出したい前景オブジェクト画像が抽出されるというものである。
C. Rother, V. Kolmogorov, A. Blake. GrabCut: Interactive Foreground Extraction using Iterated Graph Cuts. ACM Transactions on Graphics (SIGGRAPH'04), 2004.
しかしながら、非特許文献１で示されるグラフカットを用いた手法において、画像上に切り出したいオブジェクトを含む領域を指定するための操作は、画像処理に関する技術に詳しくない一般のユーザには困難な場合が多く、正確にオブジェクトを含む領域を指定することができなかった。
また、オブジェクトを含む領域を指定するGUI（Graphical User Interface）は、これまでマウスで操作されるポインタを利用することを前提としたものが多く、ペン型や、タブレットなどで使用されるタッチパネル型の入力装置では、オブジェクトを含む領域の正確な指定が困難であった。
いずれにおいても、結果として、オブジェクトを含む領域を正確に指定することができないので、オブジェクトを含む前景オブジェクト画像を容易には適切に抽出できないことがあった。
本技術はこのような状況に鑑みてなされたものであり、特に、直感的な操作手法で切り抜きたいオブジェクトを正確で、かつ、容易に指定できるようにして、正確にオブジェクトを含む前景オブジェクト画像を、入力画像から切り抜けるようにするものである。
本発明の一側面の画像処理装置は、入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力部と、前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出部とを含み、前記入力部は、前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、前記オブジェクト画像抽出部は、前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する。
前記オブジェクト抽出部には、前記オブジェクト画像に対応するオブジェクト領域の情報と、前記オブジェクト領域の周辺部において、前記オブジェクト領域外の領域の画素値の前景成分の混合比を示す画素値からなるαマット画像とを求め、前記オブジェクト領域の情報により特定される画素値に、前記αマット画像に基づいた前景成分となる混合比を乗じた画像をオブジェクト画像として抽出させるようにすることができる。
前記入力部には、前記オブジェクトの境界を特定するマーク線を、前記入力画像に対して、前記オブジェクトの全体を特定するラフキャプチャモードがあり、前記オブジェクト抽出部には、前記ラフキャプチャモードの場合、前記マーク線が閉曲線ではないとき、先端部および終端部を結んで前記閉曲線を構成させ、前記入力画像の前記閉曲線内を、前記オブジェクトを含む領域を前景とし、前記閉曲線外の領域を背景としてオブジェクト画像を抽出させる。
前記オブジェクト抽出部には、前記マーク線により構成される閉曲線内であって、かつ、前記入力部により入力されたマーク線を構成する各画素において、第１の所定の半径からなる未処理領域を設定させ、前記未処理領域、前記前景を示す画像の領域、および前記背景を示す画素の領域からなる３領域の情報に基づいて、グラフカットにより前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、前記オブジェクト画像を前記入力画像、または前記オブジェクト画像より抽出させるようにすることができる。
前記入力部には、前記オブジェクト画像に対して、前記オブジェクトの境界を特定する局所的なマーク線を、前記オブジェクトを前景としたときの背景を特定する背景マークとして入力する背景モードと、前記前景を特定する前景マークとして入力する前景モードとがあり、前記オブジェクト画像抽出部には、前記入力部が背景モードである場合、前記マーク線を構成する各画素を、前記背景を特定する画素値であるものとさせ、前記マーク線を構成する各画素において、第２の所定の半径からなる未処理領域を設定させ、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出させ、前記入力部が前景モードである場合、前記マーク線を構成する各画素を、前記前景を特定する画素値であるものとさせ、前記マーク線を構成する各画素において、前記第２の所定の半径からなる未処理領域を設定し、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出させるようにすることができる。
前記背景モードおよび前記前景モードにおける未処理領域は、前記局所的なマーク線を構成する各画素より前記第２の所定の半径からなる領域を内接する矩形領域とすることができる。
前記αマット画像における各画素の前景成分の混合比αは、前景最短距離の、前記前景最短距離と背景最短距離との和に対する比率を１より減算したものとすることができる。
前記前景色は、画像色とベースレイア色との減算結果に混合比αを乗算した値に、前記最近傍前景色を加算したものとすることができる。
本技術の一側面の画像処理方法は、入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線の入力をする入力処理と、前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出処理とからなるステップを含み、前記入力処理は、前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、前記オブジェクト画像抽出処理は、前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する。
本技術の一側面のプログラムは、入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力ステップと、前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出ステップとを含む処理をコンピュータに実行させ、前記入力ステップの処理は、前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、前記オブジェクト画像抽出ステップの処理は、前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する。
本技術の一側面においては、入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線が入力され、前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像が、前記入力画像より抽出され、抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線が入力され、抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像が、前記オブジェクト画像より抽出される。
本技術の一側面の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
本技術の一側面によれば、入力画像から切り抜きたいオブジェクトを含む領域を正確で、かつ、容易に指定できるようにすることで、入力画像から切り抜きたい前景オブジェクト画像を容易な手法で適切に抽出することが可能となる。
本技術を適用した画像処理システムの実施の形態の構成例を示す図である。 図１の画像処理システムにおける入力部の外観構成を説明する図である。 画像切出処理を説明するフローチャートである。 ラフキャプチャモードの処理を説明する図である。 ラフキャプチャモードの処理を説明するフローチャートである。 ラフキャプチャモードの処理を説明する図である。 切抜画像生成処理を説明するフローチャートである。 グラフカットを説明する図である。 αマット処理を説明するフローチャートである。 ＢＧモード修正処理を説明するフローチャートである。 ＢＧモード修正処理を説明する図である。 ＢＧモード修正処理における更新領域を説明する図である。 例外処理を説明する図である。 ＦＧモード修正処理を説明するフローチャートである。 所定距離ｒをマーク線の任意の２点間の距離に応じて設定する例を説明する図である。 画像切出処理を説明するその他のフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
［画像処理システムの構成例］
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示している。図１の画像処理システムは、入力画像のうち、ユーザが入力する情報により、オブジェクトを特定し、特定したオブジェクトを含むオブジェクト画像を切り抜くものである。
より具体的には、図１の画像処理システムは、入力部１１、画像処理部１２、表示部１３、および記憶部１４より構成されている。画像処理部１２は、記憶部１４に予め記憶されている画像、または、図示せぬネットワークなどより取得可能な画像を表示部１３に表示し、このうちユーザが入力部１１を操作することで指定された入力画像を選択する。さらに、画像処理部１２は、ユーザが入力部１１を操作することにより指定される、入力画像内の所定のオブジェクトを含む領域からなるオブジェクト画像を抽出し、表示部１３に表示すると共に、切り出したオブジェクト画像を記憶部１４に記憶させる。
入力部１１は、例えば、図２で示されるようなペン型の入力装置であり、タッチパネルなどよりなる表示部１３に表示される画像や表示ボタンを、先端部Ｂ１３で直接触れることで押下する、選択する、または書き込むといった操作を実行する。入力部１１は、このような動作に基づいて、各種の操作信号を発生して画像処理部１２に供給する。画像処理部１２は、この操作信号に基づいて、入力部１１の操作を受け付けて、各種の動作を実行する。
より詳細には、ペン型の入力部１１は、ボタンＢ１１，Ｂ１２、および先端部Ｂ１３を備えている。ボタンＢ１１は、残しておきたいオブジェクトを含む前景領域を特定する場合、または、背景領域を特定する場合を切り替えるとき操作されるものである。したがって、例えば、ボタンＢ１１を押下しながら入力するときは、背景領域を特定する際の入力モードである背景モード（ＢＧモード）とし、逆に、ボタンＢ１１を押下しないで入力するときは、オブジェクトである前景領域を特定する際の入力モードである前景モード（ＦＧモード）であるものとしてもよい。当然に、それぞれのモードが逆になるように設定してもよい。
ボタンＢ１２は、押下されると、一般にマウスと称されるポインタにおいて、右クリック操作に対応する操作の実行を指示するボタンである。すなわち、この右クリック操作により、選択可能なコマンドのドロップダウンリストが表示され、さらに、このドロップダウンリストから所望とするコマンド上に先端部Ｂ１３を接触させることで、コマンドを選択することが可能となる。尚、ボタンＢ１１，Ｂ１２の機能を入れ替えて使用するようにしても良い
先端部Ｂ１３は、タッチパネルからなる表示部１３に対して押下する、選択する、または書き込むといった操作をする際、表示部１３に接触する部位であり、タッチパネルからなる表示部１３は、この先端部Ｂ１３の接触の有無により各種の操作入力の有無を判定する。また、先端部Ｂ１３は、タッチパネルからなる表示部１３に対する筆圧を測定する筆圧センサ３１（図１）を備えており、測定した筆圧の情報を操作信号とともに画像処理部１２に供給する。
ペン型の入力部１１を実現する機能として、入力部１１は、筆圧センサ３１、操作信号発生部３２、および通信部３３を備えている。筆圧センサ３１は、上述したように表示部１３に接触する部位である先端部Ｂ１３の筆圧を測定し、通信部３３より画像処理部１２に供給する。操作信号発生部３２は、ボタンＢ１１，Ｂ１２の操作に対応する操作信号を発生し、通信部３３より画像処理部１２に供給する。通信部３３は、例えば、ブルートゥースといった無線通信により画像処理部１２の通信部４４と各種のデータ、またはコマンドを送受信する。また、表示部１３は、画像処理部１２の各種処理結果やデータなどを表示すると共に、タッチパネルとして機能し、ペン型の入力部１１の先端部Ｂ１３による入力を受け付けると共に、入力座標検出部９１を制御して、入力された画像上の入力座標を検出して画像処理部１２に供給する。表示部１３を構成するタッチパネルは、例えば、抵抗幕方式、表面弾性波方式、赤外線方式、電磁誘導方式、表面型静電容量方式、または投影型静電容量方式などであり、当然のことながら入力は、図２で示されるようなペン型の入力部１１以外に、人間の指先などで入力することもできる。また、図示しないがマウスに代表されるようなポインティングデバイスを利用するようにしてもよい。
画像処理部１２は、記憶部１４より読み出され、入力部１１により指定された画像のうち、入力部１１の操作信号に基づいて、オブジェクトのみを含む領域を抽出し、オブジェクトを含む領域のみからなるオブジェクト画像を抽出して、表示部１３に表示させる。より詳細には、画像処理部１２は、モード判定部４１、前処理部４２、切抜部４３、および通信部４４を備えている。
モード判定部４１は、入力部１１より供給されてくる操作信号および表示部１３より供給されてくる入力部１１１が表示部１３のいずれの位置に接触したかを示す検出情報に基づいて、ＢＧ（背景画像）モード、またはＦＧ（前景画像）モードのいずれであるかを判定する。尚、以降において、画像処理部１２に供給される情報のうち、入力部１１より供給されてくる信号を操作信号と称し、表示部１３より供給されてくる情報を検出情報と称するものとする。
前処理部４２は、入力画像として指定された画像に対して、入力部１１により入力された情報に基づいて、オブジェクト画像を抽出するに当たり必要とされる前処理を実行する。ここでいう、前処理とは、処理対象とされた入力画像に対してではなく、入力画像上で、入力部１１により入力された情報のみからなるマーク画像に対してなされる処理である。マーク画像は、入力部１１により前景として指定された前景マークを示す画素値、後述するグラフカット処理により前回までの処理で前景とされた画素値、前景にも背景にも指定されていない未処理マークを示す画素値、グラフカット処理により前回までの処理で背景とされた画素値、および入力部１１により背景として指定された背景マークを示す画素値の合計５画素値からなる画像である。後述するグラフカット処理は、前景マーク、および前景の画素値からなる画素を前景画素とし、背景マークおよび背景の画素値からなる画素を背景画素とし、この前景画素と背景画素との情報から未処理マークの画素を前景または背景のいずれかに割り当てる。前処理部４２は、入力画像、および前回までのマーク画像に基づいて、これらの５画素を割り当てることにより、新たなマーク画像を生成する。そして、このように新たに生成されたマーク画像が、後述するグラフカット処理に利用される。
切抜部４３は、入力部１１により入力された情報に基づいて、前処理部４２により前処理された入力画像、およびマーク画像より、オブジェクト画像を切り抜く処理を実行して、オブジェクト画像を抽出する。
より詳細には、切抜部４３は、更新領域抽出部５１、エネルギー計算部５２、グラフカット最適化処理部５３、小領域除去部５４、およびαマット処理部５５を備えている。
更新領域抽出部５１は、入力部１１より供給される操作情報、および表示部１３の入力座標検出部９１より供給される検出情報に応じて、更新領域を設定する。より詳細には、更新領域抽出部５１は、ラフキャプチャモードの場合、入力画像の全体を更新領域として抽出する。
一方、ＢＧモード、およびＦＧモードの場合、更新領域抽出部５１は、入力された各点について所定距離ｒ（Ｒ＞ｒ：Ｒについては詳細を後述する）を半径とする範囲内を含む矩形状の範囲に、さらに、上下左右にマージン幅ｄを加えた矩形状の範囲を更新領域として抽出する。
尚、ラフキャプチャモードの場合、入力部１１により入力されたマーク線で囲まれた領域内が前景領域に設定され、マーク線と、マーク線で囲まれた領域外が背景領域として設定される。また、ＢＧモード、またはＦＧモードの場合、入力部１１により入力されたマーク線そのものがが背景領域、または前景領域であり、マーク線に基づいて設定された更新領域より外側の領域が前景領域、または背景領域に設定されることになる。
エネルギー計算部５２は、グラフカットに必要とされるエネルギーを計算する。尚、グラフカット、およびグラフカットに必要とされるエネルギーについては、詳細を後述するものとする。
グラフカット最適化処理部５３は、エネルギー計算部５２により計算されたエネルギーの計算結果に基づいてグラフカットにより前景画像を抽出する。
小領域除去部５４は、前景領域内に残る小さな背景領域や、背景領域内に残る小さな前景領域である小領域を除去する。
αマット処理部５５は、画像内全体における前景画像および背景画像のそれぞれの混合比αの値からなる（混合比α：α値とも称され、前景画像に属する画素が１、背景画像に属する画素が０）αマット画像を生成する。したがって、αマット画像における、前景画像および背景画像の境界領域における画素の画素値の混合比αは、０より大きく１より小さな値となる。一方、αマット画像では、境界領域以外の範囲の画素は、前景画像、および背景画像のいずれかであるので、それぞれの混合比αは１、または０となる。
より詳細には、αマット処理部５５は、境界拡張処理部８１、平滑化処理部８２、最近傍前景色計算部８３、背景距離計算部８４、α値計算部８５、および前景色計算部８６を備えている。
境界拡張処理部８１は、αマット画像における前景領域、および背景領域が接する境界から所定の距離内における各画素からなる、混合比αが未知となる未知領域ｕを生成する。より詳細には、境界拡張処理部８１は、前景領域、および背景領域をダイレーション処理により縮退させて、間に残った領域を未知領域ｕに設定する。
平滑化処理部８２は、例えば、バイラテラルフィルタなどであり、未知領域ｕの各画素について平滑化処理を施し、境界となる未知領域ｕ内における画素値の変化を緩やかにする。
最近傍前景色計算部８３は、未知領域ｕの各画素について、縮退した前景領域への距離を計算する。距離はユークリッド距離や画素差分値の最短測地線距離などが用いられる。そして、最近傍前景色計算部８３は、縮退した前景領域への最短距離にある前景画素の色を最近傍前景色にするとともに、最短距離の情報を保持する。
背景距離計算部８４は、未知領域ｕの各画素について、縮退した背景領域への距離を計算する。距離はユークリッド距離や画素差分値の最短測地線距離などが用いられる。背景距離計算部８４は、縮退した背景領域への最短距離の情報を保持する。
α値計算部８５は、未知領域ｕの各画素について、前景領域および背景領域への最短距離の割合で混合比αを計算する。
前景色計算部８６は、原則として最近傍前景色を前景色として採用するが、この際、元の色と大きく外れてぼやけた画像となってしまうことがあるため、最近傍前景色を補正して前景色を計算する。
［画像切出処理］
次に、図３のフローチャートを参照して、図１の画像処理システムにより画像切出処理について説明する。
ステップＳ１１において、画像処理部１２は、記憶部１４に記憶されている画像のうち、入力部１１により選択された画像を表示部１３に表示する。この処理に当たっては、詳細には、画像処理部１２が、選択可能な全画像を表示部１３に表示し、表示された画像のうち、入力部１１により選択された画像を表示するようにしても良い。さらには、画像処理部１２は、入力部１１により画像が格納されている記憶部１４以外の、例えば、ネットワーク上の位置を指定する情報に基づいて、通信部４４を制御して読み出させて表示し、この中から指定されたいずれかの画像を表示するようにしても良い。尚、この際、指定された画像が、対応するマーク画像（マーク画像については詳細を後述する）を記憶している場合、画像処理部１２は、併せてマーク画像も読み出す。
ステップＳ１２において、画像処理部１２は、ラフキャプチャモード処理を実行し、例えば、図４の左部で示されるような画像Ｐ１が選択された場合、図４の右部の画像Ｐ２における一点鎖線で囲まれて示されるようなオブジェクト画像を切り出し、表示部１３に表示する。そして、処理は、ステップＳ１３に進む。
ここで、ラフキャプチャモードについて説明する。ラフキャプチャモードとは、例えば、図４の左部で示されるような画像Ｐ１が選択された場合、オブジェクトとしてノート型パーソナルコンピュータ画像を抽出したいとき、その全体を囲む曲線Ｌ１１のようなマーク線を入力するモードである。
すなわち、ラフキャプチャモード処理により、入力画像から取り出したいオブジェクト画像を取り囲むようなマーク線が入力されることにより、オブジェクトであるノート型のパーソナルコンピュータを含む画像が切り出される。尚、ラフキャプチャモード処理については、図５のフローチャートを参照して、詳細を後述する。
ただし、図４の右部で示される画像Ｐ２においては、点線内にパーソナルコンピュータの画像とは異なる、すなわち、オブジェクト以外の画像が含まれている。すなわち、図４に右部の画像Ｐ２においては、点線で囲まれる白抜きの範囲となる画像が、前景のオブジェクト画像であるノート型のパーソナルコンピュータの画像の一部として取り残されている。これは、後述するグラフカット処理による画像を切り出す処理において発生するエラーである。すなわち、ラフキャプチャモード処理においては、オブジェクト画像を指定する情報が、比較的大雑把であることから、図４の右部で示されるように、グラフカット処理では、オブジェクト画像のみを正確に抽出することができないことがある。尚、図４の右部においては、方形状の一点鎖線で囲まれた、背景に格子状の模様が付されている、ノート型パーソナルコンピュータの画像がグラフカット処理により切り出された画像である。
ステップＳ１３において、画像処理部１２は、入力部１１により発生される操作信号、および表示部１３により構成されるタッチパネルにより検出される検出信号に基づいて、入力部１１が操作されて何らかの情報が入力されたか、または、表示部１３が指などで直接操作されて何らかの情報が入力されたか否かを判定する。ステップＳ１３において、何らかの操作が認められた場合、処理は、ステップＳ１４に進む。
ステップＳ１４において、画像処理部１２は、モード判定部４１を制御して、入力部１１より供給される操作信号、および表示部１３より供給される検出信号に基づいて、動作モードを分析させる。
ステップＳ１５において、モード判定部４１は、操作信号、および検出信号による分析結果に基づいて、処理の終了が指示されているか否かを判定する。ステップＳ１５において、処理の終了が指示されている場合、処理を終了する。
一方、ステップＳ１５において、処理の終了が指示されていないと見なされた場合、処理は、ステップＳ１６に進む。
ステップＳ１６において、モード判定部４１は、操作モードがＢＧモードであるか否かを判定する。
ここで、ＢＧモードについて説明する。ＢＧモードとは、例えば、図４の右部で示される画像Ｐ２で示されるように、一旦、オブジェクト画像を抽出してみたが、その一部に本来ならば抽出されることのない前景が含まれてしまったときに、その一部の前景部分を背景に指定して、削除するように修正するための入力モードである。
より詳細には、ＢＧモードにおいては、図２を参照して説明したボタンＢ１１が押下された状態で、前景のオブジェクト画像として抽出されている領域のうち、背景に指定したい領域にマーク線を入力する。この際、背景に指定したい領域は、あまり大きな領域ではないことが想定されているため、その入力は、入力速度が比較的ゆっくりであり、かつ、凹凸が多く、さらに、筆圧が高いことが想定される。そこで、モード判定部４１は、操作信号に基づいて、ボタンＢ１１が押下されていて、かつ、検出信号に基づいて、入力速度が所定の速度よりも低く、かつ、形状に凹凸が多く、さらに、筆圧が高いとき、ＢＧモードであるものとみなす。また、この場合、背景に指定される領域は、小さい領域であることが想定されるので、上述したラフキャプチャモードでの入力のように、入力される線により領域が囲まれることがないことが前提となっている。
ステップＳ１６において、例えば、操作信号に基づいて、ボタンＢ１１が押下されていて、かつ、検出信号に基づいて、入力速度が所定の速度よりも低く、かつ、形状に凹凸が多く、さらに、筆圧が高いとき、ＢＧモードであるものとみなし、処理は、ステップＳ１７に進む。
ステップＳ１７において、画像処理部１２は、ＢＧモード修正処理を実行し、ＢＧモード処理により背景として指定された領域の情報に基づいて、背景領域を設定し、オブジェクト画像を修正し、修正結果を適宜表示部１３に表示する。尚、ＢＧモード修正処理については、図１０のフローチャートを参照して、詳細を後述するものとする。
さらに、ステップＳ１６において、ＢＧモードではないと見なされた場合、ステップＳ１８において、モード判定部４１は、操作モードがＦＧモードであるか否かを判定する。
ここで、ＦＧモードについて説明する。ＦＧモードとは、ＢＧモードが背景を指定する入力モードであるのに対して、背景に代えて前景を指定する入力モードであり、例えば、一旦、オブジェクト画像を抽出してみたが、その一部に本来ならば抽出されるべきはずの前景が含まれていないときに、その一部を前景に指定するための入力モードである。
より詳細には、ＦＧモードにおいては、図２を参照して説明したボタンＢ１１が押下されていない状態で、背景領域のうち、前景に指定したい領域を入力する。この際、前景に指定したい領域は、あまり大きな領域ではないことが想定されているため、その入力は、入力速度が比較的ゆっくりであり、かつ、凹凸が多く、さらに、筆圧が高いことが想定される。そこで、モード判定部４１は、操作信号に基づいて、ボタンＢ１１が押下されておらず、かつ、検出信号に基づいて、入力速度が所定の速度よりも低く、かつ、形状に凹凸が多く、さらに、筆圧が高いとき、ＦＧモードであるものとみなす。また、この場合、前景に指定される領域は、小さい領域であることが想定されるので、上述したラフキャプチャモードでの入力のように、入力される線により領域が囲まれることがないことが前提となっている。
ステップＳ１８において、例えば、操作信号に基づいて、ボタンＢ１１が押下されておらず、かつ、検出信号に基づいて、入力速度が所定の速度よりも低く、かつ、形状に凹凸が多く、さらに、筆圧が高いとき、ＦＧモードであるものとみなし、処理は、ステップＳ１９に進む。
ステップＳ１９において、画像処理部１２は、ＦＧモード修正処理を実行し、ＦＧモード処理により前景として指定された領域の情報に基づいて、前景領域を設定し、オブジェクト画像を修正し、修正結果を適宜表示部１３に表示する。尚、ＦＧモード修正処理については、図１４のフローチャートを参照して、詳細を後述するものとする。
さらに、ステップＳ１８において、ＦＧモードではないと見なされた場合、処理は、ステップＳ１３に戻り、それ以降の処理が繰り返される。
以上の処理により、画像切出処理が実行されると、ラフキャプチャモード処理が実行されることにより、前景画像であるオブジェクトを含む画像が切り出して表示された後、ＢＧモード、またはＦＧモードのいずれかの入力モードが検出されて、対応する処理により切り出された画像を修正することが可能となる。
［ラフキャプチャモード処理］
次に、図５のフローチャートを参照して、ラフキャプチャモード処理について説明する。
ステップＳ５１において、前処理部４２は、マーク画像の各画素の画素値を、前景を表す１９６に設定する。尚、マーク画像とは、入力部１１、または表示部１３のタッチパネルが操作されて入力された、例えば、図４における曲線Ｌ１１で示されるマーク線のみの画像を示す。従って、マーク画像は、入力が認められた表示部１３上の座標に対応する数画素（例えば、５画素）程度の幅からなる曲線Ｌ１１からなるマーク線のみが描かれた画像であり、図４の場合、ノート型のパーソナルコンピュータが含まれた処理対象となっている画像とは異なる画像である。また、マーク画像上に設定される画素値は、０乃至２５５の画素値とした場合、そのうち、入力操作により背景として指定される画素（背景マークＭＢ）を示す画素値０、グラフカット処理により背景として指定される画素（背景画素Ｂ）を示す画素値６４、未処理の画素（未処理マークＵ）を示す画素値１２８、グラフカット処理により前景として指定される画素（前景画素Ｆ）を示す画素値１９２、および入力操作により前景として指定される画素（前景マークＭＦ）を表す画素値２５５が使用される。従って、画素値は、５値が指定できれば、０乃至２５５以外の画素値であってもよい。
ステップＳ５２において、前処理部４２は、マーク線として入力された曲線Ｌ１１が閉曲線となっているか否かを判定する。すなわち、ラフキャプチャモードにおいては、画像内において、大雑把にオブジェクトの位置を指定する入力操作であるため、入力されたマーク線は、閉曲線を構成していることが望ましい。ステップＳ５２において、例えば、図４の左部で示されるような曲線Ｌ１１の場合、閉曲線となっていないので、この場合、処理は、ステップＳ５３に進む。
ステップＳ５３において、前処理部４２は、曲線Ｌ１１からなるマーク線の始点および終点を直線、または曲線により接続することにより、曲線Ｌ１１を閉曲線に再設定する。
尚、ステップＳ５２において、閉曲線であると見なされた場合、ステップＳ５３の処理はスキップされる。
ステップＳ５４において、前処理部４２は、マーク画像における各画素のうち、閉曲線からなる曲線Ｌ１１であるマーク線の外側の画素については、背景マークを示す０という画素値に設定する。
ステップＳ５５において、前処理部４２は、マーク画像における各画素のうち、曲線Ｌ１１の内側であって、曲線Ｌ１１を構成する各画素を中心として、所定の距離Ｒを半径とする距離内の画素の画素値を、未処理マークを表す１２８に設定する。すなわち、この処理により、マーク画像の各画素は、図６のマーク画像Ｐ３で示されるように、領域ＭＢ（曲線Ｌ１１）で示される背景マークを表す０、領域Ｆで示される前景を表す１９２、および領域Ｕ（格子状の範囲）で示される未処理マークを表す１２８の３値のいずれかに設定されることになる。尚、図６において、領域ＭＢで示される曲線Ｌ１１は、図４の曲線Ｌ１１に対応するものである。
ステップＳ５６において、切抜部４３は、３値の画素値のいずれかに設定された画素からなるマーク画像、および入力画像に基づいて、切抜画像処理を実行してグラフカットにより前景を構成するオブジェクト画像を抽出する。より詳細には、切抜部４３は、切抜画像生成処理を実行することで、ラフキャプチャモードで入力されたマーク線に基づいて、処理対象となる画像より、グラフカットによりオブジェクトを含む前景画像を切り抜くと共に、各画素について前景画像と背景画像との混合比α（前景画像のみの場合α＝１、背景画像のみの場合α＝０）からなるαマット画像を生成する。尚、切抜画像生成処理については、図７のフローチャートを参照して詳細を後述する。
ステップＳ５７において、画像処理部１２は、生成された前景画像に対してαマット画像における各画素の混合比αを乗じた切出画像を表示部１３に表示すると共に、切出画像およびマーク画像を記憶部１４に記憶する。すなわち、例えば、図４の左部で示されるような曲線Ｌ１１が入力される場合、曲線Ｌ１１により取り囲まれた、ユーザが切り出したい領域として指定された範囲内に存在するオブジェクトであるノート型のパーソナルコンピュータの切出画像が、図４の右部で示される一点鎖線内の画像として表示されることになる。
結果として、ラフキャプチャモードの簡単な入力操作で、入力画像に切出したいオブジェクトを含む範囲を大雑把に入力することで、前景となるオブジェクト画像を切出して表示することが可能となる。
［切抜画像生成処理］
次に、図７のフローチャートを参照して、切抜画像生成処理について説明する。
ステップＳ７１において、切抜部４３は、更新領域抽出部５１を制御して、入力画像のうち、更新領域Ｕとなる処理対象となる矩形領域を設定させる。尚、ラフキャプチャモードにおいては、入力画像全体が処理対象となる矩形領域となる。すなわち、入力画像全体が更新領域Ｕに設定される。
ステップＳ７２において、切抜部４３は、エネルギー計算部５２を制御して、グラフカットに必要とされるエネルギーを計算させる。ここで、グラフカットについて説明する。グラフカットとは、画像をグラフで表現し、グラフにより表現された画像を利用して所望とする領域からなる画像を切り抜く処理である。このグラフは、図８で示されるように、ノード（丸印で示される点）およびエッジ（各丸印で表される点を結ぶ線）で構成される。尚、図８において、マス目状の形状であって、様々な色で示されるものが画素である。エネルギーは、ノード、およびエッジのそれぞれに付与されるものである。すなわち、グラフカット処理とは、グラフに付与されたエネルギーが最小となるように切断するノードの経路を効率的に計算し、計算結果に基づいて切断された領域毎に前景、または背景を識別する１または０のラベルを付与する処理であると言える。
ここで、グラフカットを考えるとき、入力画像において、ノードは画像の各画素であり、エッジは各画素の隣接関係に相当する。グラフカット処理においては、以下の式（１）で設定されるエネルギーE(X)が最小となるように、各ノードである画素に、背景または前景を表す０または１のラベルXが割り当てられる。
Figure 2014044461
ここで、式（１）においては、Ed(xp)は、データ項であり、Ec(xp,xq)はエッジ項であり、エネルギーE(X)は、これらの総和である。
色が似ている画素同士は同じラベルにする必要があるので、色が似ているほど大きなエネルギー値をエッジに与えておくものとする。そこで、エッジ項Ec(xp,xq)は、以下の式（２）で示されるように定義されるものとする。
Figure 2014044461
ここで、βはエネルギーの正規化項であり、平均が０．５になるようにする。また、|xp-xq|は、エッジ両側のノードのラベル(xp,xq)間の差分であり、ラベルが同じ(xp,xq)(=（1,1）または（0,0）)である場合、０となり、異なれば１となる。仮に、このエッジの両側のラベルが異なる(xp≠xq)場合、すなわち、オブジェクトの境界になると、エネルギーE(X)が大きくなるので、グラフカット処理では、このエッジをできるだけエッジにしないようにする。
さらに、Ip,Iqは、それぞれ色を示しており、‖Ip-Iq‖は、色の変化量を示している。従って、エネルギーE(X)を小さくするには、できるだけ‖Ip-Iq‖の大きい、すなわち、色が異なるところでラベルを切り替えればよい。エッジは８近傍の画素間の連結、すなわち上下左右と左上右上左下右下に隣接する画素間との連結が用いられる。尚、エッジの定義はそれ以外の定義を用いるようにしてもよく、例えば、上下左右に隣接する４近傍の画素間との連結を用いるようにしてもよい。
一方、データ項Ed(xp)は、この画素pがラベルxpであったときのエネルギーを表しており、以下の式（３）で示されるように定義される。
Figure 2014044461
ここで、Lf(Ip),Lb(Ip)は、それぞれ色Ipの、前景および背景における色分布モデルに適用する際の前景の尤度、および背景の尤度を表している。すなわち、式（３）で表されるデータ項Ed(xp)は、前景と背景のそれぞれの尤度Lf(Ip),Lb(Ip)が用いられて、ガウス混合モデル(GMM:Gaussian Mixture Model)の関係を表現したものである。すなわち、式（３）は、画素の色（Ip）が前景Lf(Ip)と背景Lb(Ip)のどちらにより高い確率で現れるかを示す尤度をエネルギーとして表現したものとされている。
背景マークMBで指定されている色に近い色を持つ画素は、背景Bになり易くする必要があるので、背景マークMBで指定されている色に近い色を持つ画素pについては、エネルギーのデータ項Ed(xp)は小さくなる。
また、ラベルxpは、0か1であるので、式（３）においては、原則的に、右辺の第１項および第２項のうちのいずれかのみが残る。このため、画素が前景によくある色であれば、Lb(Ip)＜Lf(Ip)になるはずなのでラベルxpは１になり易くなる。
前景マークMFのある画素はデータ項に、上述した計算よりも大きな値が付与されるようにして、前景マークMFで指定されたラベルが割り当てられ易くする。
さらに、λは、グラフカットλパラメータであり、データ項とエッジ項のトレードオフを調整するものである。グラフカットλパラメータが大きいほどエッジ項の値が大きくなり、最小化計算においてエッジ項のエネルギーによる寄与の影響度を高めることができる。そこで、入力画像がモノクロ画像であるような場合には、λを大きくしてエッジを強調できるようにしてもよい。
エネルギー計算部５２は、上述した式（３）で示されるデータ項Ed(xp)より、前景用の色分布モデルへ画素の色Ipを代入して前景の尤度Lf(Ip)を求め、さらに、背景用の色分布モデルへ画素の色Ipを代入して背景の尤度Lb(Ip)を求める。
より詳細には、エネルギー計算部５２は、前景用の色分布モデルを、入力画像のピクセルのうち、マーク画像で前景マークMPとして画素値を255に設定した画素、および未処理マークUとして画素値を128に設定した画素、並びに、曲線Ｌ１１により囲まれた範囲内であって、更新領域以外の前景の画素値として192が設定された画素をサンプリングして計算する。尚、エネルギー計算については、著書「パターン識別」のP625 多変量の正規密度、リチャード・O．デューダ (著), ピーター・E．ハート (著), デイヴィット・G．ストーク (著), 尾上 守夫 (監訳) 、アドコム・メディアに開示されているので、その詳細については、この著書を参照されたい。
また、エネルギー計算部５２は、背景用の色分布モデルを、入力画像の画素のうち、マーク画像で背景マークMBとして画素値を0に設定した画素、および、曲線Ｌ１１により囲まれた範囲外の背景の画素値として64が設定された画素をサンプリングして計算する。
そして、エネルギー計算部５２は、このようにして求められた背景の尤度Lb(Ip)および前景の尤度Lf(Ip)に基づいて、データ項Ed(xp)を算出する。
そして、ステップＳ７３において、グラフカット最適化処理部５３は、エネルギー計算部５２により算出されたエネルギーE(X)に基づいて、各ノードのラベルを０または１に設定する。尚、グラフカット最適化処理部５３におけるグラフカット最適化処理については、著書コンピュータビジョン最先端ガイド1[CVIMチュートリアルシリーズ] 倉爪 亮 (著), 石川 博 (著), 加藤 丈和 (著), 佐藤 淳 (著), 三田 雄志 (著), 八木 康史 (編集), 斎藤 英雄 (編集)に開示されているので、その詳細については、この著書を参照されたい。
ステップＳ７４において、小領域除去部５４は、前景領域の集合群、および背景領域の集合群のそれぞれ毎に、割り当てられた画素数（面積）を計算し、閾値以下に割り当てられているラベルを削除して、反対のラベルを割り当てる。すなわち、現実の画像ではグラフカット処理で求めた結果の２値のマスク画像にはノイズが含まれる。すなわち、小さな前景領域、および背景領域は、そのうちの一つであり、パラメータ調整で、これらを綺麗に取り除くことは難しい。そこで、小領域除去部５４は、前景領域の集合群、および背景領域の集合群のうち、所定の面積よりも小さな小領域を除去することにより、このノイズを低減させる。尚、閾値の決め方は、様々な方法が考えられるが、例えば、画像サイズに所定の割合を掛けた画素数、全前景面積若しくは全背景面積に所定の割合を掛けた画素数、または任意に設定する固定画素数などにしてもよい。以上の一連の処理により、２値のマスク画像、すなわち、前景または背景のフラグからなる画像が生成される。
ステップＳ７５において、αマット処理部５５は、入力画像、および２値のマスク画像に基づいて、αマット処理を実行し、各画素について、前景領域および背景領域の混合比αからなるαマット画像を生成する。
［αマット処理］
ここで、図９のフローチャートを参照して、αマット処理について説明する。
ステップＳ９１において、境界拡張処理部８１は、前景と背景との境界となる領域の画素における混合比αを計算するために、混合比αの未知領域ｕを生成する。より詳細には、境界拡張処理部８１は、前景と背景が接する場所から一定距離内の画素位置を未知領域ｕに設定する。境界拡張処理部８１は、例えば、ダイレーション処理により前景領域（混合比α＝１．０）と背景領域（混合比α＝０．０）を縮退させ、間に残った画素を未知領域に設定する。ここで、ダイレーションによる縮退量は境界半径パラメータｔで与えるようにしてもよい。
ステップＳ９２において、平滑化処理部８２は、未知領域ｕの各画素について、平滑化処理を行って画像の画素値の変化を滑らかにして画素値の変化が平滑化するように処理し、平滑化したベースレイヤ色からなる画像を生成する。平滑化処理部８２は、例えば、バイラテラルフィルタより構成されるようにしても良い。尚、バイラテラルフィルタの詳細については、C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images", Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India.を参照されたい。
ステップＳ９３において、最近傍前景色計算部８３は、未知領域ｕの各画素について、縮退した前景領域への距離を計算し、最短距離にある前景画素の色を最近傍前景色として保持する。ここで距離は、ユークリッド距離や画素差分値の最短測地線距離などを利用するようにしても良い。
ステップＳ９４において、背景処理計算部８４は、未知領域ｕの各画素について、縮退した背景領域への距離を計算し、最短距離を保持する。ここで距離は、ユークリッド距離や画素差分値の最短測地線距離などを利用するようにしても良い。
ステップＳ９５において、α値計算部８５は、以下の式（４）で示されるように、前景および背景への最短距離の割合に基づいて、混合比αを計算する。
混合比α＝１．０−前景最短距離／（前景最短距離＋背景最短距離）
・・・（４）
α値計算部８５においては、さらに、急峻なα値変化を得るため、シグモイド関数を割り当てるようにしてもよい。
ステップＳ９６において、前景色計算部８６は、各画素について、最近傍前景色計算部８３により保持されている最近傍前景色に基づいて、以下の式（５）を計算することにより前景色を計算する。
前景色＝最近傍前景色＋（画像色−ベースレイヤ色）×混合比α
・・・（５）
すなわち、混合比αが０．０に向かうにつれて、最近傍前景色となり、逆に、混合比α＝１．０のとき、元の画素と一致することになる。つまり、前景色は、最近傍前景色を利用するようにしても良いが、元の色と大きく外れてぼやけた絵になってしまう場合もある。このため、前景色計算部８６は、式（５）を利用して、平滑化したベースレイヤ色からなる画像の画素値と、平滑化していない入力画像の画素値との差分に、混合比を乗じた色を、最近傍前景色に加算することで前景色を補正している。
以上の処理により、αマット画像が生成される。
ここで、図７のフローチャートの説明に戻る。
すなわち、ステップＳ７５のαマット処理が実行されることにより、前景画像とαマット画像とが生成され、切抜画像処理が終了する。
以上の処理により求められたαマット画像とオブジェクト画像とに基づいて、オブジェクト画像の各画素の画素値にαマット画像の各画素の混合比αを乗じることにより、大雑把なマーク線を入力するだけで、所望とするオブジェクト画像を抽出することが可能となる。
尚、ラフキャプチャモード処理においては、入力部１１が操作されて入力されるマーク線が入力された後、すなわち、図４における曲線Ｌ１１が完全に入力された後に処理がなされることになる。このため、入力操作に対してリアルタイムに処理されず、入力操作が完了した後、一括して処理が実行されることになる。
［ＢＧモード修正処理］
次に、図１０のフローチャートを参照して、ＢＧモード修正処理について説明する。ＢＧモード修正処理は、上述したようにラフキャプチャモード処理などで抽出したオブジェクト画像のうち、背景画素にもかからわず前景画素として抽出された画素を背景画素とするように修正する処理である。
ステップＳ１１１において、前処理部４２は、入力部１１より供給されてくる操作信号、および、表示部１３の入力座標検出部９１による検出信号に基づいて、ＢＧモードによる入力操作が所定の距離だけ新たに入力されたか、または入力が完了したか否かを判定する。
すなわち、ステップＳ１１１においては、例えば、ＢＧモードと認識された状態で、入力部１１により所定の長さだけ新たにマーク線が入力され、マーク線の入力が継続しているが、その途中であるか、または、入力部１１によりマーク線の入力が終了し、先端部Ｂ１３が表示部１３から離れた状態になったか否かが判定される。そして、ステップＳ１１１において、ＢＧモードによる入力操作が所定の距離だけ新たに入力されたか、または入力が完了したとみなされた場合、処理は、ステップＳ１１２に進む。
尚、ステップＳ１１１において、ＢＧモードによる入力操作が所定の距離だけ新たに入力されることもなく、また、入力も完了していないとみなされた場合、ステップＳ１１２乃至Ｓ１１６の処理がスキップされて、処理は、ステップＳ１１７に進む。
ステップＳ１１２において、前処理部４２は、マーク画像上で、新たに入力されたマーク線における各画素の画素値を、背景マークを示す０という画素値に上書きして設定する。そして、前処理部４２は、今回新たに入力されたマーク線からみて所定の距離ｒ’（ｒ’：ｒ＞ｒ’の微少な値）内に存在する画素で、かつ、前回までの処理による処理結果（画素値）が０でない画素の画素値を未処理マーク表す１２８という画素値に上書きして設定する。すなわち、図１１の左下部の画像Ｐ１２で示されるように、領域Ｆで示される前景と、領域Ｂで示される背景があるときに、図１１の中央上部の画像Ｐ１１で示されるように、背景を指定するマーク線ＭＢが入力されたものとする。このときのマーク画像は、図１１の右下部で示される画像Ｐ１３となる。ここで、前処理部４２は、図１１の右下部で示される画像Ｐ１３における、マーク線ＭＢの各画素を、背景マークＭＢを示す０という画素値に設定する。尚、図１１は、入力されたマーク線ＭＢの近傍には、前回までにマーク線が入力されていない例を図示している。また、上述の説明から明らかなように、今回新たに入力されたマーク線からみてｒ’内に、前回までに入力された前景マークが存在した場合には、その画素値は強制的に２５５から１２８という値となる。これにより、本来、背景であるにもかかわらず間違えて前景マークを入力されてしまった場合に対処できる。つまり、間違えた入力により指定された前景マークＦＭを上書きにより削除できる。
また、図示されていないが、これ以前の処理において、後述するＦＧモード修正処理がなされ、その処理で前景を表す画素値１９２に割り当てられていた画素の画素値は、未処理マークＵを表す１２８という画素値に設定される。すなわち、この処理により、背景を指定するマーク線ＭＢを入力するだけで、それ以前の処理でグラフカット処理により前景に割り当てられた画素については、前景に割り当てられたことがリセットされて、再びグラフカット処理がなされることになるので、ユーザによる入力操作を簡単なものとすることができる。
ステップＳ１１３において、前処理部４２は、マーク画像上で、マーク線ＭＢを構成する各画素からみて所定距離ｒ’よりも大きく、かつ、所定距離ｒ（Ｒ＞ｒ）内に存在し、かつ、画素値が０および２５５のいずれでもない画素の画素値を、未処理マークＵを表す１２８という画素値に上書きして設定する。すなわち、図１１の画像Ｐ１３で示されるマーク画像のように、背景マークとして入力されたマーク線を構成する各画素からみて所定の距離ｒ内に存在するすべての画素が、未処理マークＵを表す１２８という画素値に設定される。尚、ここで、距離ｒが、ラフキャプチャモードにおける距離Ｒよりも小さいのは、ラフキャプチャモードにおけるオブジェクトが存在する範囲として指定される領域に比べて、ＦＧモード修正処理における更新領域は十分に小さいからである。すなわち、この距離Ｒ，ｒは、いずれもUpdate Region Radius（更新領域半径）として設定されるものであり、入力画像の大きさに対するマーク線の太さの比率に応じて適切に設定すべきである。すなわち、このマーク線の太さは、例えば、５画素などであるので、この５画素を基準として距離Ｒ，ｒを適切に設定する。尚、ＦＧモード修正処理、およびＢＧモード修正処理における更新領域についての詳細な定義については、図１２を参照して詳細を後述する。
ステップＳ１１４において、画像処理部１２は、このようにして生成されたマーク画像、および入力画像に基づいて、切抜画像生成処理を実行し、再度オブジェクト画像を抽出する。尚、切抜画像生成処理については、図７のフローチャートを参照して、上述した処理と同様であるので、その説明は省略するものとする。しかしながら、ラフキャプチャモードにおいて更新領域は画像全体であったが、ＢＧモード修正処理（およびＦＧモード修正処理）において指定される範囲は、ラフキャプチャモードに比べて小さいため、更新領域の定義が異なる。そこで、ＢＧモード（およびＦＧモード）における更新領域の定義についてのみ説明を補足する。
すなわち、ＢＧモード修正処理において指定されるマーク線は、ラフキャプチャモードにおけるマーク線と比較すれば僅かな距離であることが前提である。このため、図１２の画像Ｐ２１で示されるように、マーク線ＭＢが入力された場合、更新領域は、以下のように定義される。すなわち、ＢＧ（およびＦＧ）モード修正処理における更新領域は、マーク線ＭＢ（ＭＦ）に伴って設定された、点線で示される未処理マークＵを包含する実線で示される矩形領域Ｕ’に対して、上下左右に所定のマージン幅ｄだけ拡張した矩形範囲とする。このように更新範囲を拡大することで、グラフカットにおいて、より多くの周辺画素の情報を利用することで処理精度を向上させると共に、更新範囲を矩形状とすることで単純化し、繰り返し処理を簡単なものとしている。
ステップＳ１１５において、グラフカット最適化処理部５３は、マーク画像における例外処理部７１を制御して、図１３で示されるような、グラフカット処理における例外処理を実行させる。より詳細には、図１３の上から２段目乃至６段目に示されるように、ＢＧモード修正処理におけるグラフカット処理結果が、ＦＧ、すなわち、前景の画素として割り当てられた場合、例外処理部７１は、未処理マークを示す画素値１２８の画素については、前景を表す画素値１９２に変更し、それ以外については、そのままの画素値とする。
すなわち、画素値２５５，１９２においては、そもそも前景を示す値であるので、そのままである。しかしながら、ＢＧモード修正処理は、背景となる領域を指定して、背景となる画素を増やす処理であるから、元々背景を表す画素値６４，０の画素については、そのまま背景を示す画素のままとされる。
逆に、図１３の上から７段目乃至１１段目に示されるように、ＢＧモード修正処理におけるグラフカット処理結果が、ＢＧ、すなわち、背景の画素であるものとみなされた場合、例外処理部７１は、予め背景または前景であることが指定された画素である画素値２５５または０以外は、いずれも背景であることを示す画素値６４に設定する。
すなわち、画素値２５５，０は、そもそもユーザの意思により前景または背景に設定された画素値であるので、そのままである。しかしながら、ＢＧモード修正処理は背景となる領域を指定して、背景となる画素を増やす処理であるから、背景と判定された画素は、背景を表す画素値６４に設定される。
ステップＳ１１６において、画像処理部１２は、生成された前景画像である切抜画像に対してαマット画像における各画素の混合比αを乗じた切出画像を表示部１３に表示すると共に、切出画像およびマーク画像を記憶部１４に記憶する。すなわち、図１１で示されるようにマーク線が入力された場合、その付近が背景に変換されるようなグラフカット処理がなされた前景であるオブジェクト画像が抽出される。
ステップＳ１１７において、モード判定部４１は、操作信号、および検出信号に基づいて、ＢＧモード修正処理の終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１１に戻る。すなわち、終了が指示されるまで、ステップＳ１１１乃至Ｓ１１７の処理が繰り返される。そして、ステップＳ１１７において、終了が指示されているとみなされると、処理が終了する。
以上の処理により背景にしたいと考える領域を直感的になぞるようにマーク線を入力するだけで背景領域を増やすようにオブジェクト画像を修正することが可能となる。すなわち、背景を指定する際、その画素が直前の処理で前景に選択されているようなとき、その前景を指定するマークを削除してから、新たに背景を指定するマークを入力するといった煩雑な処理をすることなく、直感的に修正操作を実現することができる。さらに、修正したい領域がなくなるまで、繰り返しＢＧモード修正処理を実行し続けることが可能となる。尚、修正処理を繰り返す場合、その時点で表示されている切出画像そのものが入力画像として処理が繰り返され、同様にマーク画像についても、そのとき表示されている切出画像のマーク画像が繰り返し使用される。
また、マーク線の入力が所定の距離だけ進むとリアルタイムに修正処理が実行されることになるため、マーク線を入力するときには修正がなされた状態を確認しながら入力をすることができるので、適切にマーク線を入力しつつ、適切に修正をする操作を繰り返すことが可能となる。
［ＦＧモード修正処理］
次に、図１４のフローチャートを参照して、ＦＧモード修正処理について説明する。ＦＧモード修正処理は、上述したようにラフキャプチャモード処理やＢＧモード修正処理などで抽出したオブジェクト画像のうち、前景画素にもかからわず背景画素として抽出されなかった画素を前景画素とするように修正する処理である。尚、ＦＧモード修正処理については、ＢＧモード修正処理においてマーク線が背景マークＢＭを指定するものであったのに対して、前景マークＦＭを指定するものである点が異なる以外は同様であるので、その説明は適宜省略するものとする。
ステップＳ１３１において、前処理部４２は、入力部１１より供給されてくる操作信号、および、表示部１３の入力座標検出部９１による検出信号に基づいて、ＦＧモードによる入力操作が所定の距離だけ新たに入力されたか、または入力が完了したか否かを判定する。
すなわち、ステップＳ１３１においては、例えば、ＦＧモードと認識された状態で、入力部１１により所定の長さだけ新たにマーク線が入力され、マーク線の入力が継続しているが、その途中であるか、または、入力部１１によりマーク線の入力が終了し、先端部Ｂ１３が表示部１３から離れた状態になったか否かが判定される。そして、ステップＳ１３１において、ＦＧモードによる入力操作が所定の距離だけ新たに入力されたか、または入力が完了したとみなされた場合、処理は、ステップＳ１３２に進む。
尚、ステップＳ１３１において、ＦＧモードによる入力操作が所定の距離だけ新たに入力されることもなく、また、入力も完了していないとみなされた場合、ステップＳ１３２乃至Ｓ１３６の処理がスキップされて、処理は、ステップＳ１３７に進む。
ステップＳ１３２において、前処理部４２は、マーク画像上で、新たに入力されたマーク線における各画素の画素値を、前景マークを示す２５５という画素値に上書きして設定する。そして、前処理部４２は、今回新たに入力されたマーク線からみて所定の距離ｒ’（ｒ’は微小な値）内に存在し、かつ、前回までの処理による結果（画素値）が２５５でない画素の画素値を未処理マーク表す１２８という画素値に設定する。
ステップＳ１３３において、前処理部４２は、マーク画像上で、マーク線ＭＦを構成する各画素からみて所定の距離ｒ’よりも大きく、かつ、所定の距離ｒ（Ｒ＞ｒ）内に存在し、かつ、画素値が０および２５５のいずれでもない画素の画素値を、未処理マークＵを表す１２８という画素値に設定する。
ステップＳ１３４において、画像処理部１２は、このようにして生成されたマーク画像、および入力画像に基づいて、切抜画像生成処理を実行し、再度オブジェクト画像を抽出する。尚、切抜画像生成処理については、図７のフローチャートを参照して、上述した処理と同様であるので、その説明は省略するものとする。また、更新領域の設定についても、図１２を参照して説明したように、ＢＧモード修正処理の場合と同様であるので、その説明は省略する。
ステップＳ１３５において、グラフカット最適化処理部５３は、マーク画像における例外処理部７１を制御して、図１３で示されるように、グラフカット処理における例外処理を実行させる。より詳細には、図１３の上から１８段目乃至２２段目で示されるように、ＦＧモード修正処理におけるグラフカット処理結果が、ＢＧ、すなわち、背景の画素であるものとみなされた場合、例外処理部７１は、未処理マークを示す画素値１２８の画素については、前景を表す１９２に変更し、それ以外については、そのままの値とする。
すなわち、画素値０，６４においては、そもそも背景を示す値であるので、そのままである。しかしながら、ＦＧモード修正処理は前景となる領域を指定して、前景となる画素を増やす処理であるから、元々前景を表す画素値２５５，１９２の画素については、そのまま前景を示す画素のままとされる。
逆に、図１３の１３段目乃至１７段目で示されるように、ＦＧモード修正処理におけるグラフカット処理結果が、ＦＧ、すなわち、前景の画素であるものとみなされた場合、例外処理部７１は、予め背景または前景であることが指定された画素である画素値２５５または０以外は、いずれも前景であることを示す画素値１９２に設定する。
すなわち、画素値２５５，０においては、そもそもユーザの意思により前景または背景に設定された画素値であるので、そのままである。しかしながら、ＦＧモード修正処理は前景となる領域を指定して、前景となる画素を増やす処理であるから、前景と判定された画素は、前景を表す画素値１９２に設定される。
ステップＳ１３６において、画像処理部１２は、生成された前景画像に対してαマット画像における各画素の混合比αを乗じた切出画像を表示部１３に表示すると共に、切出画像およびマーク画像を記憶部１４に記憶する。
ステップＳ１３７において、モード判定部４１は、操作信号、および検出信号に基づいて、ＦＧモード修正処理の終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１３１に戻る。すなわち、終了が指示されるまで、ステップＳ１３１乃至Ｓ１３７の処理が繰り返される。そして、ステップＳ１３７において、終了が指示されているとみなされると、処理が終了する。
以上の処理により前景にしたいと考える領域を直感的になぞるようにマーク線を入力するだけで前景領域を増やすようにオブジェクト画像を修正することが可能となる。すなわち、前景を指定する際、その画素が直前の処理で背景に選択されているようなとき、その背景を指定するマークを削除してから、新たに前景を指定するマークを入力するといった煩雑な処理をすることなく、直感的に修正操作を実現することができる。さらに、修正したい領域がなくなるまで、繰り返しＦＧモード修正処理を実行し続けることが可能となる。尚、修正処理を繰り返す場合、その時点で表示されている切出画像そのものが入力画像として処理が繰り返され、同様にマーク画像についても、そのとき表示されている切出画像のマーク画像が繰り返し使用される。
また、マーク線の入力が所定の距離だけ進むと修正処理が実行されることになるため、マーク線を入力しながらリアルタイムに修正がなされた状態を確認しながらマーク線の入力をすることができるので、適切にマーク線を入力しつつ、適切に修正をする操作を繰り返すことが可能となる。
さらに、以上においては、ペン型の入力部１１を用いてマーク線を入力する例について説明してきたが、タッチパネルからなる表示部１３に指などでなぞるようにして入力するようにしてもよい。その場合、ＢＧモードによる入力処理であるか、またはＦＧモードによる入力処理であるかを設定する操作ボタンを表示して、そのボタンの押下の有無により区別できるようにしてもよい。また、同様に、マウスなどを用いたポインタデバイスを用いて、同様の処理を実現できるようにしてもよい。
また、上記説明では、所定距離ｒおよびｒ’は、所定の値として説明したが、図３におけるＳ１２乃至Ｓ１９のループ処理の回数をカウントしておき、このカウントの値に反比例するように、所定距離ｒおよびｒ’の値を小さくしていっても良い。なぜなら、ＦＧモードやＢＧモードを何回もユーザが行う場合、それは、より厳密にオブジェクト画像を抽出したい場合と考えることができるからである。厳密に抽出したい場合、所定距離ｒやｒ’を小さくしていくと良いからである。
さらに、所定距離ｒおよびｒ’は、マーク線の入力形状によって増減するようにしてもよい。例えば、一連のマーク線上の点について、マーク線を辿って一定距離以上離れている任意の２点間の直線距離を求めて、その距離と所定距離ｒの大きさの比を見ることで、細かい入力をしているかどうかを判定する。この結果、例えば、図１５の左部で示されるように、マーク線ＭＢが入力されたとき、マーク線上の点Ｔ１と点Ｔ２間の距離がＤであるとき、図１５の中央部で示されるように、所定距離ｒがｒ１（ｒ１＞Ｄ／２）であると、一点鎖線で示されるマーク線ＭＢから所定距離ｒ１内の範囲が交差してしまうため、詳細なマーク線ＭＢの入力形状が詳細に反映されなくなる。そこで、このように、マーク線の入力が細かい図形であると考えられるような場合には、図１５の右部で示されるように、所定距離ｒをｒ２（ｒ２＜Ｄ／２）となるように設定することで、細かいマーク線の入力を適切に反映させることが可能となる。尚、図１５においては、所定距離ｒについての例について説明しているが、所定距離ｒ’についても同様に対応することができる。
また、以上においては、画像切出処理について、図３のフローチャートを参照して、最初にラフキャプチャモード処理を実行し、以降において、ＢＧモード修正処理、およびＦＧモード修正処理のいずれかを入力の分析結果に応じて切り替える例について説明してきた。しかしながら、入力画像が、既にラフキャプチャモード処理されているような画像である場合、最初にラフキャプチャモード処理が必ずしも必要でないことも考えられる。そこで、図１６のフローチャートで示されるように入力に応じてラフキャプチャモード処理、ＢＧモード修正処理、およびＦＧモード修正処理のいずれかを選択できるようにしても良い。
すなわち、図１６におけるステップＳ２１５において、モード判定部４１は、操作モードがラフキャプチャモードであるか否かを判定する。ラフキャプチャモードにおいては、オブジェクトが存在する比較的広い領域を大雑把に囲むように入力されるものであるので、入力速度が比較的高速で、かつ、凹凸が少なく、かつ、筆圧が低いことが想定される。そこで、モード判定部４１は、例えば、マーク線の入力速度が比較的高速で、かつ、凹凸が少なく、かつ、筆圧が低いとき、ラフキャプチャモードであるものと判定し、この場合、処理は、ステップＳ２１６に進む。
一方、マーク線の入力速度が比較的低速であるか、または、凹凸があるか、または、筆圧が高い場合、ラフキャプチャモードではないものとみなされ、処理は、ステップＳ２１７に進む。この処理により、入力画像がラフキャプチャモード処理が終了されているようなものであるときには、ラフキャプチャモード処理をスキップすることが可能となる。尚、図１６のフローチャートにおけるステップＳ２１５を除く処理は、図３のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本技術は、以下のような構成も取ることができる。
（１） 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力部と、
前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出部とを含み、
前記入力部は、
前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
前記オブジェクト画像抽出部は、
前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
画像処理装置。
（２） 前記オブジェクト抽出部は、前記オブジェクト画像に対応するオブジェクト領域の情報と、前記オブジェクト領域の周辺部において、前記オブジェクト領域外の領域の画素値の前景成分の混合比を示す画素値からなるαマット画像とを求め、前記オブジェクト領域の情報により特定される画素値に、前記αマット画像に基づいた前景成分となる混合比を乗じた画像をオブジェクト画像として抽出する
（１）に記載の画像処理装置。
（３） 前記入力部は、前記オブジェクトの境界を特定するマーク線を、前記入力画像に対して、前記オブジェクトの全体を特定するラフキャプチャモードがあり、
前記オブジェクト抽出部は、前記ラフキャプチャモードの場合、前記マーク線が閉曲線ではないとき、先端部および終端部を結んで前記閉曲線を構成し、前記入力画像の前記閉曲線内を、前記オブジェクトを含む領域を前景とし、前記閉曲線外の領域を背景としてオブジェクト画像を抽出する
（１）に記載の画像処理装置。
（４） 前記オブジェクト抽出部は、前記マーク線により構成される閉曲線内であって、かつ、前記入力部により入力されたマーク線を構成する各画素において、第１の所定の半径からなる未処理領域を設定し、前記未処理領域、前記前景を示す画像の領域、および前記背景を示す画素の領域からなる３領域の情報に基づいて、グラフカットにより前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、前記オブジェクト画像を前記入力画像、または前記オブジェクト画像より抽出する
（３）に記載の画像処理装置。
（５） 前記入力部は、前記オブジェクト画像に対して、前記オブジェクトの境界を特定する局所的なマーク線を、前記オブジェクトを前景としたときの背景を特定する背景マークとして入力する背景モードと、前記前景を特定する前景マークとして入力する前景モードとがあり、
前記オブジェクト画像抽出部は、
前記入力部が背景モードである場合、前記マーク線を構成する各画素を、前記背景を特定する画素値であるものとし、前記マーク線を構成する各画素において、第２の所定の半径からなる未処理領域を設定し、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出し、
前記入力部が前景モードである場合、前記マーク線を構成する各画素を、前記前景を特定する画素値であるものとし、前記マーク線を構成する各画素において、前記第２の所定の半径からなる未処理領域を設定し、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出する
（１）に記載の画像処理装置。
（６） 前記背景モードおよび前記前景モードにおける未処理領域は、前記局所的なマーク線を構成する各画素より前記第２の所定の半径からなる領域を内接する矩形領域である
（５）に記載の画像処理装置。
（７） 前記αマット画像における各画素の前景成分の混合比αは、前景最短距離の、前記前景最短距離と背景最短距離との和に対する比率を１より減算したものである
（２）に記載の画像処理装置。
（８） 前景色は、画像色とベースレイア色との減算結果に混合比αを乗算した値に、前記最近傍前景色を加算したものである
（７）に記載の画像処理装置。
（９） 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線の入力をする入力処理と、
前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出処理とからなるステップを含み、
前記入力処理は、
前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
前記オブジェクト画像抽出処理は、
前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
画像処理方法。
（１０） 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力ステップと、
前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出ステップとを含む処理をコンピュータに実行させ、
前記入力ステップの処理は、
前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
前記オブジェクト画像抽出ステップの処理は、
前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
プログラム。
１１ 入力部， １２ 画像処理部， １３ 表示部， １４ 記憶部， ３１ 筆圧センサ， ３２ 操作信号部， ３３ 通信部， ４１ モード判定部， ４２ 前処理部， ４３ 切抜部， ４４ 通信部， ５１ 更新領域抽出部， ５２ エネルギー計算部， ５３ グラフカット最適化処理部， ５４ 小領域除去部， ５５ αマット処理部， ８１ 境界拡張処理部， ８２ 平滑化処理部， ８３ 最近傍前景色計算部， ８４ 背景距離計算部， ８５ α値計算部， ８６ 前景色計算部

Claims (10)

  1. 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力部と、
    前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出部とを含み、
    前記入力部は、
    前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
    前記オブジェクト画像抽出部は、
    前記オブジェクト画像抽出部により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
    画像処理装置。
  2. 前記オブジェクト抽出部は、前記オブジェクト画像に対応するオブジェクト領域の情報と、前記オブジェクト領域の周辺部において、前記オブジェクト領域外の領域の画素値の前景成分の混合比を示す画素値からなるαマット画像とを求め、前記オブジェクト領域の情報により特定される画素値に、前記αマット画像に基づいた前景成分となる混合比を乗じた画像をオブジェクト画像として抽出する
    請求項１に記載の画像処理装置。
  3. 前記入力部は、前記オブジェクトの境界を特定するマーク線を、前記入力画像に対して、前記オブジェクトの全体を特定するラフキャプチャモードがあり、
    前記オブジェクト抽出部は、前記ラフキャプチャモードの場合、前記マーク線が閉曲線ではないとき、先端部および終端部を結んで前記閉曲線を構成し、前記入力画像の前記閉曲線内を、前記オブジェクトを含む領域を前景とし、前記閉曲線外の領域を背景としてオブジェクト画像を抽出する
    請求項１に記載の画像処理装置。
  4. 前記オブジェクト抽出部は、前記マーク線により構成される閉曲線内であって、かつ、前記入力部により入力されたマーク線を構成する各画素において、第１の所定の半径からなる未処理領域を設定し、前記未処理領域、前記前景を示す画像の領域、および前記背景を示す画素の領域からなる３領域の情報に基づいて、グラフカットにより前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、前記オブジェクト画像を前記入力画像、または前記オブジェクト画像より抽出する
    請求項３に記載の画像処理装置。
  5. 前記入力部は、前記オブジェクト画像に対して、前記オブジェクトの境界を特定する局所的なマーク線を、前記オブジェクトを前景としたときの背景を特定する背景マークとして入力する背景モードと、前記前景を特定する前景マークとして入力する前景モードとがあり、
    前記オブジェクト画像抽出部は、
    前記入力部が背景モードである場合、前記マーク線を構成する各画素を、前記背景を特定する画素値であるものとし、前記マーク線を構成する各画素において、第２の所定の半径からなる未処理領域を設定し、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出し、
    前記入力部が前景モードである場合、前記マーク線を構成する各画素を、前記前景を特定する画素値であるものとし、前記マーク線を構成する各画素において、前記第２の所定の半径からなる未処理領域を設定し、前記未処理領域、前記背景を示す領域、および前記前景を示す領域の３領域の情報に基づいて、前記グラフカットにより、前記未処理領域の画素を、前記前景を示す領域、または前記背景を示す領域のいずれかに割り当てることで、オブジェクト画像を抽出する
    請求項１に記載の画像処理装置。
  6. 前記背景モードおよび前記前景モードにおける未処理領域は、前記局所的なマーク線を構成する各画素より前記第２の所定の半径からなる領域を内接する矩形領域である
    請求項５に記載の画像処理装置。
  7. 前記αマット画像における各画素の前景成分の混合比αは、前景最短距離の、前記前景最短距離と背景最短距離との和に対する比率を１より減算したものである
    請求項２に記載の画像処理装置。
  8. 前景色は、画像色とベースレイア色との減算結果に混合比αを乗算した値に、前記最近傍前景色を加算したものである
    請求項７に記載の画像処理装置。
  9. 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線の入力をする入力処理と、
    前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出処理とからなるステップを含み、
    前記入力処理は、
    前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
    前記オブジェクト画像抽出処理は、
    前記オブジェクト画像抽出処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
    画像処理方法。
  10. 入力画像に対して切り出したいオブジェクトとの境界を特定するマーク線を入力する入力ステップと、
    前記マーク線に基づいて特定される前記オブジェクトからなるオブジェクト画像を、前記入力画像より抽出するオブジェクト画像抽出ステップとを含む処理をコンピュータに実行させ、
    前記入力ステップの処理は、
    前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して、さらに、前記オブジェクトとの境界を特定するマーク線を入力し、
    前記オブジェクト画像抽出ステップの処理は、
    前記オブジェクト画像抽出ステップの処理により抽出されたオブジェクト画像に対して入力された前記マーク線に基づいて、特定された前記オブジェクトからなるオブジェクト画像を、前記オブジェクト画像より抽出する
    プログラム。
JP2012184852A 2012-08-24 2012-08-24 画像処理装置および方法、並びにプログラム Expired - Fee Related JP6102122B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012184852A JP6102122B2 (ja) 2012-08-24 2012-08-24 画像処理装置および方法、並びにプログラム
US14/414,751 US10254938B2 (en) 2012-08-24 2013-08-15 Image processing device and method with user defined image subsets
EP13759321.6A EP2888652A1 (en) 2012-08-24 2013-08-15 Image processing device, method, and program
PCT/JP2013/004865 WO2014030322A1 (en) 2012-08-24 2013-08-15 Image processing device, method, and program
CN201380044216.1A CN104583925B (zh) 2012-08-24 2013-08-15 图像处理设备、方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012184852A JP6102122B2 (ja) 2012-08-24 2012-08-24 画像処理装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2014044461A true JP2014044461A (ja) 2014-03-13
JP2014044461A5 JP2014044461A5 (ja) 2015-03-05
JP6102122B2 JP6102122B2 (ja) 2017-03-29

Family

ID=49118750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012184852A Expired - Fee Related JP6102122B2 (ja) 2012-08-24 2012-08-24 画像処理装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10254938B2 (ja)
EP (1) EP2888652A1 (ja)
JP (1) JP6102122B2 (ja)
CN (1) CN104583925B (ja)
WO (1) WO2014030322A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062588A (ja) * 2014-09-15 2016-04-25 華邦電子股▲ふん▼有限公司 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102423065B1 (ko) * 2015-06-04 2022-07-21 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN104932826B (zh) * 2015-06-26 2018-10-12 联想(北京)有限公司 一种信息处理方法和电子设备
ES2807901T3 (es) * 2015-09-04 2021-02-24 Janssen Pharmaceutica Nv Compuestos terapéuticos para el dolor y síntesis de los mismos
GB2551396B (en) * 2016-06-17 2018-10-10 Imagination Tech Ltd Augmented reality occlusion
CN110263306B (zh) * 2018-03-12 2023-04-04 京瓷办公信息系统株式会社 图像处理系统以及图像形成装置
CN108921854B (zh) * 2018-05-22 2022-06-21 复旦大学 一种消化道内镜图像不规则病变区域标注方法及系统
CN109725802B (zh) * 2018-12-17 2021-02-23 浙江口碑网络技术有限公司 页面交互方法及装置
KR20210066494A (ko) * 2019-11-28 2021-06-07 주식회사 지이모션 의상의 3차원 모델링 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053921A (ja) * 2004-08-09 2006-02-23 Microsoft Corp ダイナミックプログラミングによる境界マッティング
US20100278424A1 (en) * 2009-04-30 2010-11-04 Peter Warner Automatically Extending a Boundary for an Image to Fully Divide the Image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094338B2 (ja) * 1990-06-14 2000-10-03 ソニー株式会社 情報処理装置及び情報処理方法
US20060029275A1 (en) 2004-08-06 2006-02-09 Microsoft Corporation Systems and methods for image data separation
US20090046110A1 (en) * 2007-08-16 2009-02-19 Motorola, Inc. Method and apparatus for manipulating a displayed image
JP5045619B2 (ja) * 2008-09-08 2012-10-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8482545B2 (en) * 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
TWM350750U (en) * 2008-10-03 2009-02-11 Inventec Appliances Corp Electric pen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053921A (ja) * 2004-08-09 2006-02-23 Microsoft Corp ダイナミックプログラミングによる境界マッティング
US20100278424A1 (en) * 2009-04-30 2010-11-04 Peter Warner Automatically Extending a Boundary for an Image to Fully Divide the Image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062588A (ja) * 2014-09-15 2016-04-25 華邦電子股▲ふん▼有限公司 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム

Also Published As

Publication number Publication date
JP6102122B2 (ja) 2017-03-29
CN104583925B (zh) 2018-05-18
WO2014030322A1 (en) 2014-02-27
US10254938B2 (en) 2019-04-09
CN104583925A (zh) 2015-04-29
US20150205501A1 (en) 2015-07-23
EP2888652A1 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
JP6102122B2 (ja) 画像処理装置および方法、並びにプログラム
CN111292337B (zh) 图像背景替换方法、装置、设备及存储介质
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
US8204308B2 (en) Image processing apparatus, method, and program
US9244607B2 (en) System and method for image processing using multi-touch gestures
WO2021003825A1 (zh) 视频镜头剪切的方法、装置及计算机设备
TWI526982B (zh) 區域分割方法、電腦程式產品及檢查裝置
JP2009545052A (ja) 単一スクリブルによる画像の対話型セグメンテーション
KR101032446B1 (ko) 영상의 정점 검출 장치 및 방법
US20230334235A1 (en) Detecting occlusion of digital ink
US11734805B2 (en) Utilizing context-aware sensors and multi-dimensional gesture inputs to efficiently generate enhanced digital images
US20190066311A1 (en) Object tracking
JP2015211471A (ja) 画像処理装置及び方法
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US11055526B2 (en) Method, system and apparatus for processing a page of a document
CN111624620A (zh) 信息处理装置、信息处理方法和存储介质
CN115668271A (zh) 用于生成平面图的方法及装置
EP3608868B1 (en) Firefly detection using a plurality of buffers
WO2016204241A1 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
US11200708B1 (en) Real-time color vector preview generation
CN115359008A (zh) 显示界面的测试方法及装置、存储介质、电子设备
KR20230168523A (ko) 이미지의 전경 및 배경을 분리하는 방법 및 장치
CN112085025A (zh) 物体分割方法、装置、设备
TW201931154A (zh) 用以處理分段平滑信號之設備、方法及電腦程式
JP2014006871A (ja) 画像領域分割装置、方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R151 Written notification of patent or utility model registration

Ref document number: 6102122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees