JP2013196308A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2013196308A
JP2013196308A JP2012062103A JP2012062103A JP2013196308A JP 2013196308 A JP2013196308 A JP 2013196308A JP 2012062103 A JP2012062103 A JP 2012062103A JP 2012062103 A JP2012062103 A JP 2012062103A JP 2013196308 A JP2013196308 A JP 2013196308A
Authority
JP
Japan
Prior art keywords
foreground
background
area
line segment
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012062103A
Other languages
English (en)
Inventor
Satoshi Hikita
聡 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012062103A priority Critical patent/JP2013196308A/ja
Priority to CN201380023319.XA priority patent/CN104272350A/zh
Priority to US14/383,727 priority patent/US9245197B2/en
Priority to CA2866362A priority patent/CA2866362C/en
Priority to EP13763773.2A priority patent/EP2828829A4/en
Priority to PCT/JP2013/057332 priority patent/WO2013141144A1/en
Priority to KR1020147025949A priority patent/KR101644731B1/ko
Publication of JP2013196308A publication Critical patent/JP2013196308A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】前景と背景の自動分割の誤りを、少ない制御点数と修正工数で修正する。
【解決手段】ユーザー入力部102で、抽出したい対象を囲む外枠を入力し、表示部103に表示する。サンプリング部105は、外枠の線上から背景の画素値データを、外枠の内側全体から前景の画素値データをサンプリングし、モデル作成部106は、前景、背景モデルを作成し、領域分割部107は、前景と背景に領域を分割し、分割結果を表示部103に表示する。ラベル入力部104で、ユーザーは前景、背景の修正線分を入力し、修正線分と分割結果を基に前景、背景モデルを再度作成し、再度作成したモデルを用いて、前景と背景に再度分割して、表示する。
【選択図】図1

Description

本発明は、画像領域を分割する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
画像データからユーザーが抽出したい対象(または領域)をシステムが自動的に識別して分割する技術がある。このような技術では、ユーザーがどのような対象(または領域)を抽出したいのかをシステムに指示するために、ユーザーの手作業で初期値としてある程度のラベリングを行った後に、その情報を利用してシステムが残りの部分を自動的に分割している。また、自動分割結果に誤りがあった場合などにも、ラベリングの初期値の一部のみをユーザーが手作業で修正した後に、システムが残りの部分を自動的に再分割している(例えば、特許文献1、非特許文献1を参照)。
図8は、従来技術を説明する図である。図8(a)に示すように、抽出したい対象を枠401で囲うと、システムが指定枠線401の内側全体から前景の画素値データ402をサンプリングして、図8(b)に示すように、RGB空間で前景の画素の分布モデルを作成する。また、指定枠線401の外側全体から背景の画素値データ403をサンプリングし、背景の画素の分布モデルを作成する。ここで、前景、背景とは、抽出したい領域かそれ以外の領域かという意味であり、位置的な前後関係ではない。
そして、システムが作成した前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを用いて、前景と背景を自動的に分割する。しかし、上記した技術では前景、背景を自動的に完全に分割することはできない。図8(c)に示すように、例えば、前のトマト404と後ろのトマト405のように画素値が近い部分406、407は、自動分割が誤りやすい。406は、背景を前景として誤って分割した部分、407は前景を背景として誤って分割した部分である。
そこで、図8(d)に示すように、ユーザーが領域を修正するため、誤って背景とされた領域407に前景マーカー407aを、誤って前景とされた領域406に背景マーカー406aを入力する(後で分布モデルから再度自動分割を行うので、誤っている領域を完全に修正する必要はなく、誤っている領域の一部に修正のマーカーを入力すれば拡張して修正される)と、システムが前景マーカー407a上と自動分割した前景領域404から画素値データをサンプリングして、図8(b)に示すように、RGB空間で前景の画素の分布モデル408を再度作成する。また、背景マーカー406a上と自動分割した背景領域405から画素値データをサンプリングして、背景の画素の分布モデル409を再度作成する。そして、システムが再作成した前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを用いて、図8(e)に示すように、前景と背景を再度自動的に分割する。なお、再度自動的に分割した結果に誤り410が残っていた場合には、ユーザーが満足する結果が得られるまで、図8(d)からの修正作業を繰り返すことができる。
しかし、上記したように、ユーザーが前景の外側に枠を入力してシステムが自動分割をした後、自動分割の誤りを修正するために、誤ってラベリングされた前景や背景の一部にブラシやマーカー等でそれぞれ別のラベルを入力して、再度自動分割することを繰り返す、従来の方法では、入力される制御点数が多くなるという問題がある。また、図9に示すように、細かい部分501〜503へのマーカー等による修正が難しく、自動抽出された領域の境界を修正する工数が多くなるという問題がある。図9(a)は、自動分割された図を示し、(b)、(c)は、自動分割の誤り部分を拡大した図を示す。501、502は、前景が背景として誤って分割された部分であり、503は背景が前景として誤って分割された部分である。
また、従来の修正方法では、例えば、図10(a)に示すように、入力される制御点数が多いため、抽出対象の境界線に近い部分を入力しようとしたとき、手振れにより前景領域へはみ出しやすく、はみ出した部分は消しゴムツール等で修正しなければならず余分な工数が発生していた。また、最初から前景領域へはみ出さないように慎重に作業を行なうと、作業速度が遅くなる、作業の緊張度が上がり疲労しやすくなるという問題があった。
また、例えば、図9(b)に示す、トマトのヘタの細かい部分501、502を入力しようとしたときに、マーカーがはみ出しやすいため、ブラシの太さやマーカーの大きさの変更が頻繁に必要になり手間がかかるという問題があった。フリーハンド線による修正では、ブラシの太さの問題は解決できるものの、図10(b)に示すように、入力される制御点数が多いために手振れが発生し、前景領域の細かい部分にはみ出さずにフリーハンドで線を引いて修正を指定することは難しい。これを解消するために、拡大した画像上で修正を行ってから縮小する方法があるが、頻繁に拡大、縮小操作が必要になり、工数が増えるという問題がある。
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、前景と背景の自動分割の誤りを、少ない制御点数と修正工数で修正する画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
本発明は、所定の画像データを抽出対象の領域(以下、前景領域)と抽出対象外の領域(以下、背景領域)に分割した結果、誤って分割された前記前景領域または背景領域の一部を、所定の線分で指定することにより修正を指示する修正手段と、前記修正が指示された線分の画素値、前記分割された前景領域と背景領域の画素値に基づいて、修正された前景領域のモデルと背景領域のモデルを作成するモデル作成手段と、前記作成されたモデルを用いて前記画像データを前景領域と背景領域に分割する分割手段を備えたことを最も主要な特徴とする。
本発明によれば、少ない制御点数と修正工数で、前景と背景の自動分割の誤りを修正することができる。
本発明の実施例に係る画像処理装置の構成を示す。 本発明の実施例の処理フローチャートを示す。 本発明の修正処理を説明する図である。 誤って自動分割された部分を拡大した図を示す 本発明の修正線分の入力方法を説明する図である。 本発明による分割結果を示す。 グラフカットアルゴリズムの概要を説明する図である。 従来技術を説明する図である。 自動分割された図と、自動分割の誤り部分を拡大した図を示す。 従来の修正方法を説明する図である。 本発明をソフトウエアで実施する場合の画像処理装置のハードウエア構成例を示す。
以下、発明の実施の形態について図面により詳細に説明する。本発明では、画像データを前景と背景に分割するために、前景や背景の一部をラベリングして自動的に分割を行ない、前景と背景の自動分割の誤りを修正するために、誤ってラベリングされた前景や背景の一部に別のラベルを入力するとき、線分で入力し、線分の開始点を指示してから線分の終了点を確定するまでの間に線分の仮の位置を表示し、線分が確定した時点で最終的な線分の位置が決定され、確定された線分上から画素値をサンプリングし、サンプリングデータを自動領域分割に渡して抽出対象を画像データから抽出する。
図1は、本発明の実施例に係る画像処理装置の構成を示す。図1において、101はデータ入力部、102はユーザー入力部、103は表示部、104はラベル入力部、105はサンプリング部、106はモデル作成部、107は領域分割部、108は記憶部、109は制御部である。
データ入力部101は、画像データを外部から読み込むものであり、例えばファイル入力装置などである。ユーザー入力部102は、ユーザーが画像処理装置への入力を行なう、例えばマウス、タッチペンなどの入力デバイスである。表示部103は、情報(例えば、画像データ、線分指示機能により指示された線分、結果のマスクやラベルデータ等)を表示する、例えばPCのディスプレイなどである。
ラベル入力部104は、ユーザーが画像から抽出したい対象や背景のラベルの入力を線分によって行なう入力部であり、線分仮位置表示部104aと線分確定部104bとを備えている。
サンプリング部105は、領域分割部で利用するために、ラベル情報を基に画素値をサンプリングする。なお、ユーザーが入力したラベルは、領域分割部において領域分割のシードとして利用することができる。
モデル作成部106は、サンプリング部105がサンプリングした画素値データを基に前景、背景それぞれの画素値の分布をモデル化する。例えば、RGB空間における混合ガウス分布としてモデル化する。なお、領域分割部が、モデル化が不要なアルゴリズム(Watershedアルゴリズム)を用いる場合には、モデル作成部106を省略することができる。
領域分割部107は、画像データとユーザーが入力したラベル情報をシードとして抽出対象と背景を自動的に分割する。領域分割部107は、例えば、グラフカットアルゴリズムやWatershedアルゴリズムなどを用いて輪郭抽出を実行する。なお、グラフカットアルゴリズムは、領域分割をエネルギー最小化問題として定義し、グラフ構造の最大フロー問題を解くことにより領域分割を行なう手法である(前掲した非特許文献1、図7を参照)。
また、Watershedアルゴリズムは、画像の評価値を標高としたときの地形に水を満たしていったとき、順次水没していく尾根点を領域境界とする手法である(前掲した非特許文献2を参照)。
記憶部108は、本発明を実現するためのデータ(例えば、画像データ、領域のラベルデータ、線分の開始点、線分の終了点、前景の画素値、背景の画素値、前景のモデル、背景のモデル、グラフ構造等)を保持する、例えばメモリなどである。制御部109は、画像処理装置全体を制御する、例えばCPUなどである。
図2は、本発明の実施例の処理フローチャートを示す。以下、図1、2を用いて本発明を説明する。データ入力部101は、画像データをファイル等から記憶部108に読み込み(ステップS1)、表示部103は、読み込んだ画像データをディスプレイ等に表示する(ステップS2)。ユーザー入力部102において、ユーザーは抽出したい対象を囲む外枠を入力し、表示部103に表示する(ステップS3)。
サンプリング部105は、外枠の線上から背景の画素値データを、外枠の内側全体から前景の画素値データをサンプリングし、モデル作成部106は、前景、背景モデルを作成する(ステップS4)。また、サンプリングされた画素値データや作成されたモデルは、記憶部108に保持される(以下のステップにおいても同様である)。なお、上記した外枠は矩形の他、多角形や自由曲線などで入力される処理範囲であってもよい。また、矩形、多角形、自由曲線などの輪郭線上にある画素を背景部分の入力として処理することにより、画像処理装置の処理量が削減され、ユーザーによる背景部分の入力工数を減らすことができる。
領域分割部107は、外枠の線を背景のシードとし、外枠線から内側だけの画素を処理対象として、エネルギー最小化により領域を自動分割し(ステップS5)、自動分割結果を表示部103に表示する(ステップS6)。
図3は、本発明の修正処理を説明する図である。図3(a)に示すように、抽出したい対象を枠201で囲うと、サンプリング部105は、指定枠線201の内側全体から前景202の画素値データ203をサンプリングして、モデル作成部106は、図3(b)に示すように、RGB空間で前景の画素の分布モデルを作成する。また、サンプリング部105は、指定枠線201上から背景204の画素値データ205をサンプリングし、モデル作成部106は、図3(b)に示すように、背景の画素の分布モデルを作成する。
領域分割部107は、図3(c)に示すように、前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを利用して、前景と背景を自動的に分割する。208は分割された前景の輪郭線である。なお、グラフ構造を作成する際に、指定枠線の内側だけを処理対象とすることにより処理の高速化を行っている。
しかし、従来技術で説明したのと同様に、前景、背景を自動的に完全に分離することはできない。例えば、図3(c)に示すように、画素値が近い部分206、207は、自動分割が誤りやすい。
ラベル入力部104において、ユーザーは前景、背景の修正線分を入力し、表示部103に修正線分を表示する(ステップS7)。図3(d)、図4の拡大図に示すように、ユーザーが領域を修正するために、誤って背景とされた領域207に前景修正線207aを、誤って前景とされた領域206に背景修正線206aを入力する(後で分布モデルから再度自動分割を行うので、誤りを完全に修正する必要はなく、一部修正指示を入力すれば拡張して修正される)。図3(d)と同一の図を図4(a)に示し、図4(b)、(c)は、図3(c)で誤って自動分割された部分を拡大した図を示す。
図4(b)において、誤って前景とされた領域206に背景修正線206aを入力し、誤って背景とされた領域207に前景修正線207aを入力する。図4(c)についても同様に、誤って背景とされた前のトマトのヘタの部分に、前景修正線を入力する。
図5は、本発明の修正線分の入力方法を説明する図である。図5(a)の修正線分の未確定状態において、例えば、修正線分の入力は、ユーザーがマウスボタンを押して線分304の開始点305を入力し、マウスボタンを押したままマウスカーソルを仮の終了点306に移動させると、ラベル入力部104の線分仮位置表示部104aは、マウスカーソルの移動に合わせて仮の線分304を動かして表示する。仮の線分304と前景領域301が接する仮の終了点306で、マウスボタンを放したときにラベル入力部104の線分確定部104bは、線分304を確定させる。図5(b)は、修正線分の確定状態を示す。確定した線分304aにより修正が指定307される。
なお、仮の線分の仮の位置を表示する際に、仮の線分の長さに応じて自動的に拡大した画像を表示するようにしてもよい。これにより、ユーザーが拡大、縮小を行わなくてすむ。また、仮の線分が確定したときに自動的に領域分割部が実行されるようにしてもよい。これにより、ユーザーはリアルタイムに入力結果を確認しやすくなる。さらに、仮の線分を表示したときに自動的に領域分割部が実行されるようにしてもよい。これにより、よりリアルタイム性が高くなる。なお、マーカーやブラシなどの面による入力、またはフリーハンド線による入力と組み合わせるようにしてもよい。これにより、広い領域を指示しやすくなる。
サンプリング部105は、前景修正線207a上から前景領域の画素値データをサンプリングし、自動分割した前景領域の画素値データ209をサンプリングして、図3(b)に示すように、モデル作成部106は、RGB空間で前景の画素の分布モデルを再度作成する。また、サンプリング部105は、背景修正線206a上から背景領域の画素値データをサンプリングし、自動分割した背景領域(指定枠線から内側のみを処理対象としている)の画素値データ210をサンプリングして、モデル作成部106は、RGB空間で背景の画素の分布モデルを再度作成する(ステップS8)。
領域分割部107は、外枠の線と背景の修正線分を背景のシード、前景の修正線分を前景のシードとし、外枠線から内側だけの画素を処理対象として、エネルギー最小化により領域を自動分割する(ステップS9)。領域分割部107は、モデル作成部106が再作成した前景、背景の分布モデルと、グラフ構造のエネルギー最小化のアルゴリズムを用いて、前景と背景を再度自動的に分割する(図3(e))。自動分割結果を表示部103に表示する(ステップS10)。
自動分割結果を表示するときに、抽出された輪郭208の中で表示条件(輪郭の大きさが上位何番目まで、あるいは閾値を設けて輪郭の長さが閾値以上のものなど)を満たす輪郭のみを表示するようにしてもよい。これにより、小さなゴミのような輪郭が表示されなくなる。また、自動分割結果を表示するときに、抽出された輪郭の中で表示条件を満たさない輪郭で、明示的な表示の入力があった島や穴があった場合は、それを表示することもできる。小さなゴミのような輪郭の表示を防止しつつ、ユーザーが表示したい意図を持った島や穴だけを表示することができる。なお、ここで島とは、表示条件を満たす輪郭とつながっていない前景の輪郭のことであり、ここで穴とは、表示条件を満たす輪郭とつながっていない背景の輪郭のことである。
なお、領域分割部107が用いる前景モデルおよび背景モデルを、ユーザーの指示により前回の結果を用いて更新するか、更新しないかを切り替えるようにしてもよい。これにより、モデル更新による分割精度の向上と、ある部分の修正による他の部分の境界の変動の防止とを、状況に応じて選択することができる。
図6は、本発明による分割結果を示す。従来技術による結果(図8)と比較して、本発明による分割結果(図6)の方が、少ない制御点数と修正工数で良い結果を得ることができる。
ユーザー入力部102は、ユーザーが終了を入力したか否かを判定し、終了を入力していたら終了し、入力していない場合は、ステップS7に戻り処理を繰り返す(ステップS11)。なお、自動的に分割した結果に誤りが残っていた場合には、ユーザーが満足する結果が得られるまで、何度でもステップS7からの修正作業(図3(d)、(e))を繰り返すことができる。
なお、修正作業を複数回、繰り返す場合に、例えば、前回の線分の表示を自動的に消去するようにしてもよい。これにより、繰り返しによる修正線分の入力表示が累積して画像が見難くなることが防止される。
図7は、グラフカットアルゴリズムの概要を説明する図である。グラフカットアルゴリズムとは、ネットワーク上のノードを既定数の組に分類する方法であり、ノード間接続(t−link)とスーパーノードとの接続(n−link)の両方を利用し、それぞれの隣接効果と特定のモデルとの類似性の両方を考慮することができる。
画像処理における領域分割に適用する場合は、画像中の各画素をノードとし、それらを前景、背景の2値に分類する。隣接効果に加え、前景モデル、背景モデルを独立して持つことで、高精度な分割ができる。
前景モデル、背景モデルは、RGB3次元空間における画素値の分布をGaussian Mixture Model(GMM)で近似する。ここでは、例えば、GMMのコンポーネント数を5で固定する。これにより、散乱背景や複雑な色分布を持つ前景にも対応できる能力を得る。
エネルギー関数E=Ecolor+Ecoherence
上記モデルを基に入力画像の各画素が、前景、背景のどちらのモデルに近いかを評価するエネルギー関数項(Ecolor)を定義し、n−linkを計算する。t−linkによる隣接関係を評価する項(Ecoherence)を上記エネルギー関数に組み込む。
上記エネルギー関数を用いて合計カットエネルギーが最小になり、クラス内エネルギーが最大になるように、ネットワークを分割する。
図11は、本発明をソフトウエアで実施する場合の画像処理装置のハードウエア構成例を示す。コンピュータ1は、プログラム読取装置1a、全体を制御するCPU1b、CPU1bのワークエリア等として使用されるRAM1c、CPU1bの制御プログラム等が記憶されているROM1d、ハードディスク1e、ネットワーク上の機器と通信を行うNIC1f、マウス1g、キーボード1h、画像データを表示し、ユーザーが画面に直接触れることで情報の入力が可能なディスプレイ2を備えている。本画像処理装置は、例えばワークステーションやパーソナルコンピュータ等で実現することができる。
このような構成の場合、図1に示すラベル入力部、サンプリング部、モデル作成部、領域分割部の機能はCPU1bに持たせることができ、画像データ、領域のラベルデータ、線分の開始点、線分の終了点、前景の画素値、背景の画素値、前景のモデル、背景のモデル、グラフ構造のデータなどを記憶する際には、RAM1c、ROM1d、DISK1eなどの記憶装置を利用することができる。なお、CPU1bで行われる処理機能は、例えばソフトウエアパッケージ、具体的には、CD−ROMや磁気ディスク等の情報記録媒体の形で提供することができ、このため図11に示す例では、情報記録媒体がセットされると、これを駆動する媒体駆動装置(図示せず)が設けられている。
以上により、本発明における画像処理方法は、ディスプレイ等を備えた汎用の計算機システムにCD−ROM等の情報記録媒体に記録されたプログラムを読み込ませて、この汎用計算機システムの中央演算装置に画像処理を実行させる装置構成においても実施することが可能である。この場合、本発明の画像処理を実行するためのプログラム、すなわちハードウエアシステムで用いられるプログラムは、記録媒体に記録された状態で提供される。プログラムなどが記録される情報記録媒体としては、CD−ROMに限定されず、例えばROM、RAM、フラッシュメモリ、光磁気ディスクを用いても良い。記録媒体に記録されたプログラムは、ハードウエアシステムに組み込まれている記憶装置、例えばハードディスク1eにインストールされることにより、このプログラムを実行して、画像処理機能を実現することができる。また、本発明の画像処理方法等を実現するためのプログラムは、記録媒体の形で提供されるのみならず、例えば、ネットワークを介した通信によってサーバから提供されるものでも良い。
101 データ入力部
102 ユーザー入力部
103 表示部
104 ラベル入力部
105 サンプリング部
106 モデル作成部
107 領域分割部
108 記憶部
109 制御部
特表2009−545052号公報
C.Rother,V.Kolmogorv,A.Blake,GrabCut:Interactive Foreground Extraction UsingIteratedGraphCuts,ACM,Trans.Graphics(SIGGRAPH’04),vol.23,no.3,pp.309-314,2004. Vincent,Luc,and Pierre Soille,"Watersheds in Digital Spaces:An Efficient Algorithm Based on Immersion Simulations,"IEEE Transactions of Pattern Analysis and Machine Intelligence,Vol.13,No.6,June1991,pp.583-598.

Claims (12)

  1. 所定の画像データを抽出対象の領域(以下、前景領域)と抽出対象外の領域(以下、背景領域)に分割した結果、誤って分割された前記前景領域または背景領域の一部を、所定の線分で指定することにより修正を指示する修正手段と、前記修正が指示された線分の画素値、前記分割された前景領域と背景領域の画素値に基づいて、修正された前景領域のモデルと背景領域のモデルを作成するモデル作成手段と、前記作成されたモデルを用いて前記画像データを前景領域と背景領域に分割する分割手段を備えたことを特徴とする画像処理装置。
  2. 前記修正手段は、前記線分の開始点と仮の終了点を結ぶ仮の線分の仮の位置を表示した後、前記仮の線分を確定することにより前記修正を指示することを特徴とする請求項1記載の画像処理装置。
  3. 前記分割手段は、前記分割された前景領域の輪郭の中で、所定の表示条件を満たす輪郭のみを表示することを特徴とする請求項1記載の画像処理装置。
  4. 前記分割手段は、前記分割された前景領域の輪郭の中で、前記所定の表示条件を満たさない、島や穴を表示することを特徴とする請求項3記載の画像処理装置。
  5. 前記修正手段は、前記仮の線分の仮の位置を表示する際に、前記仮の線分の長さに応じて拡大した画像を表示することを特徴とする請求項2記載の画像処理装置。
  6. 前記抽出対象の領域は、矩形、多角形、自由曲線を含む輪郭線により囲まれた処理範囲であり、前記分割手段は、前記輪郭線上にある画素を背景領域して処理することを特徴とする請求項1記載の画像処理装置。
  7. 前記分割手段は、ユーザーの指示により、前回の分割結果を用いて前記前景領域モデルと背景領域モデルを更新するか否かの何れかに切り替えることを特徴とする請求項1記載の画像処理装置。
  8. 前記修正手段は、前記修正を指示する際に、前回の修正が指示された線分の表示を消去することを特徴とする請求項1記載の画像処理装置。
  9. 前記仮の線分が確定したことに応じて、または前記仮の線分を表示したことに応じて、前記分割手段が実行されることを特徴とする請求項1または2記載の画像処理装置。
  10. 所定の画像データを抽出対象の領域(以下、前景領域)と抽出対象外の領域(以下、背景領域)に分割した結果、誤って分割された前記前景領域または背景領域の一部を、所定の線分で指定することにより修正を指示する修正工程と、前記修正が指示された線分の画素値、前記分割された前景領域と背景領域の画素値に基づいて、修正された前景領域のモデルと背景領域のモデルを作成するモデル作成工程と、前記作成されたモデルを用いて前記画像データを前景領域と背景領域に分割する分割工程を備えたことを特徴とする画像処理方法。
  11. 請求項10記載の画像処理方法をコンピュータに実現させるためのプログラム。
  12. 請求項10記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012062103A 2012-03-19 2012-03-19 画像処理装置、画像処理方法、プログラムおよび記録媒体 Pending JP2013196308A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012062103A JP2013196308A (ja) 2012-03-19 2012-03-19 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN201380023319.XA CN104272350A (zh) 2012-03-19 2013-03-11 图像处理装置、图像处理方法、以及计算机可读记录介质
US14/383,727 US9245197B2 (en) 2012-03-19 2013-03-11 Image processing apparatus, image processing method, and computer-readable recording medium
CA2866362A CA2866362C (en) 2012-03-19 2013-03-11 Image processing apparatus, image processing method, and computer-readable recording medium for dividing image data into a foreground area and a background area
EP13763773.2A EP2828829A4 (en) 2012-03-19 2013-03-11 Image processing device, image processing method and computer readable recording medium
PCT/JP2013/057332 WO2013141144A1 (en) 2012-03-19 2013-03-11 Image processing apparatus, image processing method, and computer-readable recording medium
KR1020147025949A KR101644731B1 (ko) 2012-03-19 2013-03-11 이미지 처리 장치, 이미지 처리 방법, 및 컴퓨터 판독가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012062103A JP2013196308A (ja) 2012-03-19 2012-03-19 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2013196308A true JP2013196308A (ja) 2013-09-30

Family

ID=49222603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012062103A Pending JP2013196308A (ja) 2012-03-19 2012-03-19 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (7)

Country Link
US (1) US9245197B2 (ja)
EP (1) EP2828829A4 (ja)
JP (1) JP2013196308A (ja)
KR (1) KR101644731B1 (ja)
CN (1) CN104272350A (ja)
CA (1) CA2866362C (ja)
WO (1) WO2013141144A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064179B2 (en) 2012-11-15 2015-06-23 Ricoh Company, Limited Region extraction apparatus, region extraction method, and computer program product
JP2015141438A (ja) * 2014-01-27 2015-08-03 株式会社 日立産業制御ソリューションズ 太陽光発電量予測装置及び領域分割マップ表示方法
US9122980B2 (en) 2013-11-07 2015-09-01 Ricoh Company, Limited Information processing device and method extracting a contour from image of combined pixel data object and vector data object
US9177232B2 (en) 2013-11-08 2015-11-03 Ricoh Company, Limited Information processing device, method of processing information, and computer-readable recording medium for extracting a contour of an object
JP2015225411A (ja) * 2014-05-26 2015-12-14 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
JP2017134528A (ja) * 2016-01-26 2017-08-03 国立大学法人 東京大学 物体領域切出装置
JP2020091745A (ja) * 2018-12-06 2020-06-11 凸版印刷株式会社 画像撮像支援装置及び画像撮像支援方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680537B (zh) * 2015-03-09 2018-05-15 苏州比特速浪电子科技有限公司 图像处理装置
KR101653802B1 (ko) * 2015-03-23 2016-09-05 주식회사 엔씨소프트 3d 캡쳐 시스템 및 방법
CN105303569B (zh) * 2015-10-19 2018-03-16 杭州中威电子股份有限公司 一种自动切换场景模式的目标检测方法与装置
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem
CN108262267B (zh) * 2017-12-29 2019-10-18 北京农业智能装备技术研究中心 一种水果分选中的多果检测方法与装置
US10726524B2 (en) * 2018-01-11 2020-07-28 Qualcomm Incorporated Low-resolution tile processing for real-time bokeh
CN112927238B (zh) * 2019-12-06 2022-07-01 四川大学 结合光流与分水岭分割的岩心序列图像标注方法
CN112330561B (zh) * 2020-11-05 2023-06-13 湖南科技大学 基于交互式前景提取与信息熵分水岭的医学图像分割方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001126055A (ja) * 1999-10-29 2001-05-11 Dainippon Printing Co Ltd 棚割り用トリミング画像作成装置
JP2004013544A (ja) * 2002-06-06 2004-01-15 Sony Corp 画像処理装置
JP2006277040A (ja) * 2005-03-28 2006-10-12 Advanced Telecommunication Research Institute International グラフィクス対話装置およびグラフィクス対話プログラム
JP2007233339A (ja) * 2006-01-31 2007-09-13 Canon Inc 情報処理方法、情報処理装置、プログラム及び記憶媒体
US20110216976A1 (en) * 2010-03-05 2011-09-08 Microsoft Corporation Updating Image Segmentation Following User Input

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3154844B2 (ja) 1992-11-30 2001-04-09 松下電器産業株式会社 図形入力方法および図形入力装置
JP3289792B2 (ja) * 1993-02-10 2002-06-10 大日本印刷株式会社 カラー画像の特定領域の色修正方法
JPH11306374A (ja) * 1998-04-23 1999-11-05 Internatl Business Mach Corp <Ibm> 画像表示装置および画像処理方法
JP2000306104A (ja) 1999-04-26 2000-11-02 Matsushita Electric Ind Co Ltd 画像領域分割方法及び装置
AU5603300A (en) 1999-06-11 2001-01-02 Pulsent Corporation Method and apparatus for digital image segmentation
US8594428B2 (en) * 2006-07-25 2013-11-26 Humaneyes Technologies Ltd. Interactive segmentation of images with single scribbles
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
JP4963306B2 (ja) 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
CN101510304B (zh) * 2009-03-30 2014-05-21 北京中星微电子有限公司 一种分割获取前景图像的方法、装置和摄像头
JP5531836B2 (ja) 2009-11-10 2014-06-25 株式会社リコー 画像処理装置及びプログラム
JP5927829B2 (ja) 2011-02-15 2016-06-01 株式会社リコー 印刷用データ作成装置、印刷用データ作成方法、プログラム及び記録媒体
JP5845797B2 (ja) 2011-03-18 2016-01-20 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN102707864A (zh) * 2011-03-28 2012-10-03 日电(中国)有限公司 基于混合标记的对象分割方法和系统
JP2013077296A (ja) 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
JP5429336B2 (ja) 2011-09-16 2014-02-26 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001126055A (ja) * 1999-10-29 2001-05-11 Dainippon Printing Co Ltd 棚割り用トリミング画像作成装置
JP2004013544A (ja) * 2002-06-06 2004-01-15 Sony Corp 画像処理装置
JP2006277040A (ja) * 2005-03-28 2006-10-12 Advanced Telecommunication Research Institute International グラフィクス対話装置およびグラフィクス対話プログラム
JP2007233339A (ja) * 2006-01-31 2007-09-13 Canon Inc 情報処理方法、情報処理装置、プログラム及び記憶媒体
US20110216976A1 (en) * 2010-03-05 2011-09-08 Microsoft Corporation Updating Image Segmentation Following User Input

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064179B2 (en) 2012-11-15 2015-06-23 Ricoh Company, Limited Region extraction apparatus, region extraction method, and computer program product
US9122980B2 (en) 2013-11-07 2015-09-01 Ricoh Company, Limited Information processing device and method extracting a contour from image of combined pixel data object and vector data object
US9177232B2 (en) 2013-11-08 2015-11-03 Ricoh Company, Limited Information processing device, method of processing information, and computer-readable recording medium for extracting a contour of an object
JP2015141438A (ja) * 2014-01-27 2015-08-03 株式会社 日立産業制御ソリューションズ 太陽光発電量予測装置及び領域分割マップ表示方法
JP2015225411A (ja) * 2014-05-26 2015-12-14 富士ゼロックス株式会社 画像処理装置、画像形成装置及びプログラム
JP2017134528A (ja) * 2016-01-26 2017-08-03 国立大学法人 東京大学 物体領域切出装置
JP2020091745A (ja) * 2018-12-06 2020-06-11 凸版印刷株式会社 画像撮像支援装置及び画像撮像支援方法
JP7275552B2 (ja) 2018-12-06 2023-05-18 凸版印刷株式会社 画像撮像支援装置及び画像撮像支援方法

Also Published As

Publication number Publication date
EP2828829A1 (en) 2015-01-28
KR20140124427A (ko) 2014-10-24
KR101644731B1 (ko) 2016-08-01
CN104272350A (zh) 2015-01-07
WO2013141144A1 (en) 2013-09-26
CA2866362C (en) 2017-10-24
US20150049954A1 (en) 2015-02-19
CA2866362A1 (en) 2013-09-26
EP2828829A4 (en) 2015-04-01
US9245197B2 (en) 2016-01-26

Similar Documents

Publication Publication Date Title
JP2013196308A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR101176649B1 (ko) 동적 프로그래밍에 의한 경계선 매팅
US9244607B2 (en) System and method for image processing using multi-touch gestures
US8204308B2 (en) Image processing apparatus, method, and program
JP7059318B2 (ja) 地域的特徴を有する分類器学習のための学習データ生成方法およびそのシステム
US8914259B2 (en) Passive associativity in three-dimensional (3D) modeling
KR20120095852A (ko) 디스플레이 표면상에서 손글씨 잉크 객체를 그리기 및 지우기 하는 방법 및 장치
JP2006053919A (ja) 画像データ分離システム及びその方法
KR102010085B1 (ko) 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
EP2980755A1 (en) Method for partitioning area, and inspection device
Price et al. Object-based vectorization for interactive image editing
JP6102122B2 (ja) 画像処理装置および方法、並びにプログラム
Golodetz et al. Two tree-based methods for the waterfall
JP2022168167A (ja) 画像処理方法、装置、電子機器及び記憶媒体
AU2017279613A1 (en) Method, system and apparatus for processing a page of a document
JP2011048627A (ja) マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
US10832454B1 (en) Edit propagation on raster sketches
KR20190136493A (ko) 이미지 분할 방법 및 장치
US10535175B2 (en) Timeline tool for producing computer-generated animations
Wan et al. Dense feature pyramid network for cartoon dog parsing
JP2019086899A (ja) 情報処理装置、画像領域選択方法、コンピュータプログラム、及び記憶媒体
JP2018097415A (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP2023031373A (ja) 画像処理装置、画像処理システムおよびプログラム
JP2021149166A (ja) 画像処理装置及びプログラム
KR20240077015A (ko) 깊이맵 기반 영상 분할 저작도구 시스템

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130822

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160830