JP2016122367A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 画像内から所望の領域を容易かつ精度良く特定できるようにする。
【解決手段】 処理対象の画像を取り込み（ステップＡ１）、この画像に対して所定のエッジ検出処理を行うと共に（ステップＡ２）、このエッジ検出処理によって検出されたエッジに基づいて輪郭を抽出する（ステップＡ３）。そして、抽出した複数の輪郭の中から最外殻の輪郭を選択し、この選択した最外殻の輪郭に基づいて、前景領域、背景領域、境界領域に区分した３値画像を生成し（ステップＡ４）、この３値画像に対して前景画素と背景画素に分割する所定の画像分割処理を行う（ステップＡ５）
【選択図】 図６

Description

本発明は、所定の画像分割処理を行う画像処理装置、画像処理方法及びプログラムに関する。

一般に、画像内からユーザの所望する領域（例えば、被写体領域）を抽出する場合に、例えば、紙などに手描きで描いた絵を撮影した画像からその絵の部分を抽出する場合に、大津の二値化（非特許文献１参照）などで領域を区画する技術が知られているが、画像全体の輝度のバラつき、明るさのむら、反射などにより、領域を適切に区画することができない場合があった。また、画像の中からその一部の領域を抽出する画像セグメンテーションと呼ばれる技術としては、Grab Cut（非特許文献２参照）などの種々のセグメンテーション処理の方法があるが、抽出したい領域を指定することを前提としているために、領域を正確に指定することが困難となり、その指定の仕方がセグメンテーション処理にも悪影響を及ぼしてしまう。

大津展之氏の論文、判別及び最小２乗基準に基づく自動しきい値選定法」、電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ．３４９−３５６（１９８０） C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309−314, 2004

そこで、従来では、表示中の画像上で抽出対象の領域（被写体）内の一点がタップ（ユーザ指定）されると、そのタップ位置に対応する座標点を含む所定の形状（例えば、円形）の領域をその画像内に形成すると共に、この形成した領域を前景の初期領域としてグラフカット（Grab Cut）などのプログラムを利用してセグメンテーション処理を行うことにより画像内を背景画素と前景画素に分割して前景部分を抽出する処理を行うようにした技術が知られている（特許文献１参照）。

特開２０１３−２９９３０号公報

しかしながら、上述した特許文献の技術にあっては、抽出対象の一点をタップ指定するだけで、セグメンテーション処理が実行可能となるためにユーザの負担を大幅に軽減することが可能となるが、例えば、抽出対象が複雑な形状の場合や、抽出候補が複数ある場合など、抽出対象の状態によっては、その抽出対象の全体を正しく領域内に収めることができない場合があり、画像内を背景画素と前景画素に分割する処理に悪影響を及ぼしてしまうおそれがあった。

本発明の課題は、画像内から所望の領域を容易かつ精度良く特定できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する選択手段と、
前記選択手段によって選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する区分手段と、
前記区分手段によって区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う分割処理手段と、
を備えたことを特徴とする。

本発明によれば、画像内から所望の領域を容易かつ精度良く特定することができる。

画像処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。 画像メモリ３ｃから処理対象として読み出した画像データ（元画像）を例示した図。 元画像に対して所定のエッジ検出処理を施した画像（エッジ検出結果）を示した図。 エッジ検出後の画像から最外殻の輪郭を抽出した画像（輪郭抽出結果）を示した図。 （１）、（２）は、輪郭のカウント方法を説明するための図。 白色の紙に手描きで描いた絵を撮影した画像（元画像）の中からその絵を切り抜くための処理を示したフローチャート。 図６のステップＡ４（３値マップ作成処理）を詳述するためのフローチャート。 （１）は、図２の元画像に対するエッジ検出結果の他の例を示した図、（２）は、最外殻の輪郭を抽出した画像（輪郭抽出結果）の他の例を示した図。 輪郭抽出結果から３値マップ作成処理によって得られた画像を例示した図。 ３値マップ画像に基づいて切り抜いた画像を例示した図。 （１）文字列を含む元画像を示した図、（２）は、この元画像を基に作成した３値マップの画像を例示した図。 本実施形態の変形例を説明するためのフローチャート。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
本実施形態は、画像処理装置としてタブレット端末装置に適用した場合を例示したもので、図１は、このタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、タッチ入力機能、無線通信機能、インターネット接続機能などを備えたもので、制御部１を中核とする。この制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御する中央演算処理装置やメモリなどを有している。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図６及び図７に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ３ａと、このタブレット端末装置で必要とされる各種のデータやフラグなどを一時記憶するワークメモリ３ｂと、カメラ撮影された動画などの各種の画像データを記憶する画像メモリ３ｃを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。画像メモリ３ｃは、内蔵メモリに限らず、ＳＤカードなどの着脱自在な可搬型メモリであってもよく、例えば、インターネットを介して受信取得した画像データを記憶したり、カメラ装置（図示省略）で撮影された画像データを記憶したりする。

操作部４は、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、処理対象の動画を選択する選択キーなどを備えている。無線ＬＡＮ（Local Area Network）通信部５は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットなどに接続可能となっている。タッチ表示部６は、表示パネル６ａにタッチパネル６ｂを積層配設した構成で、ソフトウェアキー（ソフトキー）としての機能名を表示したり、各種のアイコンなどを表示したり、画像データを表示したりする。このタッチ表示部６のタッチパネル６ｂは、指など（ペンなどの操作子を含む）でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。

図２は、画像メモリ３ｃの中から処理対象として読み出した画像データ（元画像）を例示した図である。
元画像は、例えば、縦８００ピクセル×横６００ピクセルのサイズを持った画像で、白紙やホワイトボードの略中央部に青インクのペンなどを使用して手書きで描いた絵（青線で描いた鬼の顔）Ｐを撮影した画像（グレイスケール画像）である。図示の例の元画像は、撮影時に反射などの影響を受けてその画像全体に輝度のバラつき、明るさのむらが起き、画像の下半分が暗く、上半分が明るくなっている画像を例示した場合である。

本実施形態では、図２に示した元画像の中から白紙やホワイトボードに描いた手書き絵Ｐを切り抜く処理を行うための前処理として、その画像の全体に対して所定のエッジ検出処理を行うようにしている。なお、元画像は、グレイスケール画像に限らず、勿論、カラー画像であってもよい。また、描画媒体として白紙やホワイトボードを例示したが、これに限らず、色紙や黒板などを描画媒体としてもよい。更に、元画像のサイズは、縦８００ピクセル×横６００ピクセルに限らず、任意である。

図３は、図２の元画像に対して所定のエッジ検出処理を施した画像（エッジ検出結果）を示した図である。
本実施形態では、所定のエッジ検出処理として、コンピュータビジョンと呼ばれるopencv（Open Source Computer Vision Library）のCannyアルゴリズムを用いている。このCannyアルゴリズムでは、第１の閾値threshold1と第２の閾値threshold2を使用するが、この２種類のパラメータのうち小さい方の値をエッジ同士の接続に使用し、大きい方の値を強いエッジの初期検出に使用してエッジ検出処理を行うことにより図示のように、元画像の背景部分を黒色、鬼の顔の手書き絵Ｐを白色とした２値画像が得られる。なお、Cannyアルゴリズムは、画像認識処理として一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

図４は、図３のエッジ検出後の画像から複数の領域候補の各々を区分する複数の輪郭を抽出した画像（輪郭抽出結果）を示した図である。図示の例は、エッジ検出後の画像から最外殻の輪郭を抽出した画像（輪郭抽出結果）を示し、白紙やホワイトボード上にユーザが描いた１つの絵を、後述する画像分割処理の対象とする場合である。この場合、均一の背景内に絵が描かれる場合を想定しているため、描かれた絵の最外殻の輪郭が画像分割の対象となる。ここで、例えば、１枚の白紙やホワイトボード上にユーザが複数の絵を描いた場合や、ゴミやキズがある場合には、最外殻の輪郭が複数存在することになる。

なお、必ずしもユーザが描いた絵の最外殻を画像分割の対象とせずに、絵の内部に包含される小領域を画像分割の対象としたい場合や、写真画像のような背景が均一でない画像を対象として画像分割を行う場合には、最外殻には限定せずに（複数の領域の包含関係とは別の基準を基に）、全ての領域の中から画像２分割の対象を選択することになるが、本実施形態では、均一の背景内に１つの絵が描かれている場合に、その絵の最外殻を画像分割の対象とする場合について説明するものとする。

本実施形態では、輪郭抽出処理として、pencvのFindContoursを使用する。このFindContoursは、輪郭近似手法の関数で、エッジ検出処理が施された２値画像の中から全ての輪郭を抽出するもので、図示の例では、元画像の背景部分は白色で表し、手書き絵Ｐの部分は、その最も外側の輪郭（最外殻）を赤色、その内側（１番目の内側）の輪郭を緑色、次の内側（２番目の内側）の輪郭を青色、更に内側（３番目の内側）の輪郭を黄色で表現した場合を示している。なお、関数FindContoursによる輪郭近似手法は、画像認識処理として一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

図５は、輪郭のカウント方法を説明するための図である。
図５（１）は、エッジ検出処理を施した画像（エッジ検出結果）を例示した図である。図５（１）に示すように、白紙やホワイトボードの上に４つの絵、すなわち、矩形枠状の絵、この矩形枠の内部に配置した円形の絵、この矩形枠の外に配置した２つの小円の絵が描かれると、各輪郭は階層構造（４階層）となる。図５（２）は、この輪郭の階層構造を例示したもので、（ａ）〜（ｄ）は、矩形枠状の絵、この矩形枠の内部に配置した円形の絵によって構成される４階層の輪郭を示し、その中で最外殻の輪郭は（ａ）となる。なお、矩形枠の外に配置した２つの小円を示す絵の輪郭（ｅ）、（ｆ）は、他の最外殻の輪郭となる。したがって、図示の例において最外殻の輪郭は（ａ）、（ｅ）、（ｆ）となる。

このようにして最外殻の輪郭を抽出した後、本実施形態では、この最外殻の輪郭抽出結果から３値マップの画像を作成するようにしている。この３値マップの画像は、明らかに前景ピクセルとして確定することができる前景領域、明らかに背景ピクセルとして確定することができる背景領域、前景ピクセルか背景ピクセルかを確定することができない不確定な境界領域の３つに区分した画像である。これによって得られた３値マップの画像に対して所定の画像分割処理（例えば、Grab Cutのセグメンテーション処理）を実行することによりその画像内から所望する手書き絵Ｐの領域（線画部分の領域）を切り抜くようにしている。なお、この画像分割処理は、画像全体を前景画素（前景領域）と背景画素（背景領域）に分割する処理であり、Grab Cutの呼ばれるセグメンテーション処理である。この画像分割処理において、前景領域とは、対象となる領域（ユーザの所望する手書き絵Ｐの領域：切り抜き領域）、また、背景領域とは、前景領域以外の領域を意味している（言い換えると、対象となる領域に対応する輪郭の内部、対象となる領域に対応する輪郭の外部を意味している）。

次に、本実施形態における画像処理装置の動作概念を図６及び図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図６は、画像処理装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図６のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図６は、白色の紙に手書きで描いた絵を撮影した画像（元画像）の中からその絵を切り抜くための処理を示したフローチャートであり、以下、図８〜図１０を参照して、この切り抜き処理を具体的に説明するものとする。
先ず、制御部１は、画像メモリ３ｃから処理対象の画像データ（元画像）を取り込むと（ステップＡ１）、その元画像に対して、opencvのCannyアルゴリズムを用いてエッジ検出処理を行う（ステップＡ２）。この場合、図２に示した元画像に対してエッジ検出処理を施すと、図３に示すように、鬼の顔を描いた手書き絵Ｐのエッジが検出されるが、図８（１）に示すように、鬼の顔の手書き絵Ｐのエッジ以外にも多くのエッジが検出されることがある。なお、この図８（１）に示したエッジ検出結果は、各種のパラメータとして、threshold1=５０、threshold2=２５５、apertureSize=３の値を使用した場合を例示したものである。

次に、エッジ検出された画像に対して、opencvのFindContoursを使用して輪郭を抽出する処理を行う（ステップＡ３）。この場合、図５（２）に示したように各輪郭を外側から数えていくようにしている。図３に示したエッジ検出結果に対して輪郭を抽出する処理を施すと、図４に示すように、各輪郭は階層構造（４階層）となるが、図８（１）のエッジ検出結果に対して輪郭抽出処理を施すと、図８（２）に示すように、鬼の顔を描いた手書き絵Ｐの最外殻の輪郭（赤色）に限らず、その手書き絵Ｐ以外にも多くの最外殻の輪郭（余分な輪郭）が抽出されることになる。この図８（２）の輪郭抽出の結果から切り抜きに使用するために、３値マップを作成する処理を行い（ステップＡ４）、明らかな背景領域、明らかな前景領域、背景かもしれない境界領域の３つに区分（色分け）した３値マップを作成する。

図７は、３値マップ作成処理（図６のステップＡ４）を詳述するためのフローチャートである。
先ず、初期化処理として、制御部１は、切り抜き対象の画像（輪郭抽出結果）と同じサイズ（例えば、縦８００ピクセル、横６００ピクセル）の画像を作成し（ステップＢ１）、この作成画像（同サイズの画像）の全体を、明らかな背景ピクセルを指定する色（背景領域の指定色）で塗りつぶす（ステップＢ２）。この場合、背景領域の指定色が黒色であれば、画像全体を黒色で塗りつぶす。そして、切り抜き対象の画像（輪郭抽出結果）の中から各々の輪郭で区分される各々の領域の包含関係に基づいて、最も外側にある輪郭（最外殻の輪郭）を全て抽出した後、最外殻の輪郭が複数存在する場合には、最初の最外殻の輪郭を選択する（ステップＢ３）。例えば、図８（２）に例示した輪郭抽出結果に対して、最も外側にある輪郭としては、例えば、画像の左上隅部の斜め線（鬼の手書き絵以外の余分な輪郭）が最初の最外殻の輪郭として選択される。

このような初期化処理（ステップＢ１〜Ｂ３）を行った後、全ての最外殻輪郭を選択してそれに対する処理が終わったかを調べるが（ステップＢ４）、いま、最初の最外殻の輪郭を選択した場合であるから（ステップＢ４でＮＯ）、次のステップＢ５に移り、選択した最外殻輪郭の長さを計測し、この計測した長さは所定の長さ（比較基準用の長さ）よりも長いかを調べる（ステップＢ６）。すなわち、エッジ検出を基に検出された複数の輪郭の中から所定の輪郭状態を持った輪郭を最外殻の輪郭として抽出するために、最外殻輪郭の長さは、比較基準用の長さよりも長いかを調べる。ここで、比較基準用の長さとは、手書き絵の画像部分の中からその最外殻の輪郭を特定するために最適な値で、予め決められた固定値である。例えば、比較基準用の長さは、画像の縦サイズに相当する８００ピクセルとなっているが、その値はこれに限らないことは勿論である。

ここで、図８（２）に示したように最初に選択した最外殻の輪郭の長さは、比較基準用の長さ（例えば、８００ピクセル）よりも短いので（ステップＢ６でＮＯ）、ステップＢ１０に移って次の最外殻の輪郭を選択した後、上述のステップＢ４に戻り、以下、全ての最外殻の輪郭を選択し終わるまで上述の動作を繰り返す。いま、次の最外殻の輪郭として、鬼の手書き絵Ｐの中からその最外殻の輪郭が選択されたものとする（ステップＢ１０）。この場合、図８（２）の例では、未選択の最外殻輪郭がまだ残っているので（ステップＢ４でＮＯ）、次のステップＢ５に移り、選択した最外殻輪郭の長さを計測し、この計測した長さは比較基準用の長さよりも長いかを調べる（ステップＢ６）。この場合、図８（２）に示したように鬼の手書き絵Ｐにおける最外殻の輪郭は、比較基準用の長さよりも長いので（ステップＢ６でＹＥＳ）、３値マップを作成する処理に移る（ステップＢ７〜Ｂ９）。

先ず、選択した最外殻の輪郭の内部を、明らかな前景ピクセルを指定する色（前景領域の指定色）で塗りつぶす（ステップＢ７）。次に、選択した最外殻の輪郭を取得し（ステップＢ８）、この最外殻輪郭に基づいてある程度の太さを持った線を描画するが、その際、この輪郭線の色を、背景かもしれないピクセルを指定する色（境界領域の指定色）とする（ステップＢ９）。これによって、明らかな背景領域、明らかな前景領域、背景かもしれない境界領域の３つに色分けされた３値マップが作成される。そして、次の最外殻を指定（ステップＢ１０）した後、上述のステップＢ４に戻る。その結果、全ての最外殻の輪郭を選択し終わると（ステップＢ４でＹＥＳ）、図７のフローから抜ける。

図９は、図８（２）の輪郭抽出結果に基づいて作成された３値マップの画像を例示した図である。
この場合、選択した最外殻輪郭の内部の塗りつぶす処理（ステップＢ７）と、その最外殻の輪郭線を描画する処理（ステップＢ９）の実行時には、opencvのdrawContoursを使用し、また、その輪郭線の太さを１０ピクセルのラインとした。なお、図中、破線の円は、便宜上、３値マップ画像の一部を拡大して示したもので、最外殻輪郭の内部が塗りつぶされた白色の背景領域となり、また、太さ１０ピクセルの灰色の輪郭線が境界領域となり、その他の領域が黒色の背景領域となり、色分けされた３値マップの画像が得られる。なお、関数drawContoursは、画像認識処理として一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。

このようにして３値マップ作成処理（図６のステップＡ４）が終わると、この３値マップの画像に対して所定の画像分割処理（例えば、Grab Cutのセグメンテーション処理）を実行することによりその画像内から所望する手書き絵の領域（線画部分の領域）を切り抜く処理を行う（ステップＡ５）。この画像分割処理は、前景であるか背景であるかが未確定の境界領域内のピクセルについては、隣接するピクセルにおける輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理である。

このような画像分割処理を実行した結果、切り抜きマスク（抜型）が得られる。すなわち、例えば、図１０に示すような切り抜き画像（線画部分の画像）が得られる。なお、図示の市松模様は、切り抜き画像以外の透明部分を概念的に示したもので、実際には市松模様は存在しない。このようにして得られた切り抜き画像（線画部分の画像）は、鬼の手書き絵のみの画像であり、内部の線画も含まれたものとなる。なお、この切り抜き画像をどのように利用するかは任意であるが、例えば、別の画像内にその切り抜き画像を合成するようにしてもよい。

以上のように、本実施形態において制御部１は、処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出すると、この複数の輪郭の中から所定の輪郭状態を持った輪郭を選択し、この選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分すると共に、区分した処理対象の画像に対して、境界領域に含まれる境界画素を前景領域に含まれる前景画素又は背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行うようにしたので、画像内から所望の領域を容易かつ精度良く特定することができる。これによって例えば、画像の切り抜きを精度良く行うことができる。

この場合、処理対象の画像に対する所定のエッジ検出処理で検出されたエッジに基づいて輪郭を抽出すると共に、抽出した複数の輪郭の中から最外殻の輪郭を選択し、この選択した最外殻の輪郭に基づいて、前景領域、背景領域、境界領域に区分した３値画像を生成し、この３値画像に対して前景画素と背景画素に分割する所定の画像分割処理を行うようにしたので、最外殻の輪郭の内部がどのような状態であってもその輪郭領域を特定することができ、例えば、その輪郭に沿って切り抜くことができる。

制御部１は、エッジ検出を基に検出された複数の輪郭の中から所定の輪郭状態を持った輪郭を最外殻の輪郭として抽出するようにしたので、最外殻の輪郭の抽出が容易かつ確実なものとなる。

所定の輪郭状態は、輪郭の長さであり、エッジ検出を基に検出された複数の輪郭の中から輪郭の長さが所定の条件（比較基準用の長さよりも長いこと）を満たす輪郭を最外殻の輪郭として抽出するようにしたので、輪郭の長さを比較するだけで最外殻の輪郭を容易かつ確実に抽出することができる。

所定の画像分割処理は、前景か背景かが未確定な境界領域内のピクセルについては、隣接するピクセルにおける輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景であるか背景であるかを決定する処理であるので、未確定の対象ピクセルに対して隣接するピクセルの輝度差から前景か背景かを決定することができ、手書き絵の領域をより精度良く特定して切り抜くことが可能となる。

所定の画像分割処理は、所定のエッジ検出処理より領域分割の処理速度は遅いが領域分割の精度が高い処理であるので、２値画像に限らず、色を含む画像を分割することが可能となる。

なお、上述した実施形態においては、手書き絵（線画画像）の全ての要素部分が１つの最外殻の輪郭に包含される場合を例示したが、手書き絵を構成する複数の要素部分が別々に最外殻の輪郭を構成する場合であっても同様である。
すなわち、図１１は、文字列を含む元画像に対してエッジ検出を行い、そのエッジ検出結果から各文字の最外殻の輪郭を抽出して３値マップの画像を作成した場合を例示した図で、図１１（１）は、文字列（ＣＡ）を含む画像を元画像とした場合を示した図である。

図１１（２）は、この元画像に対するエッジ検出結果から文字「Ｃ」、「Ａ」毎にその最外殻の輪郭を抽出して３値マップの画像を作成した場合を例示した図である。このように文字列（ＣＡ）を含む元画像に対して、図７のステップＢ３では、先ず、最初の最外殻の輪郭として文字「Ｃ」の輪郭を選択して、３値マップ作成処理（ステップＢ６〜Ｂ９）を行う。その後、文字「Ａ」の最外殻の輪郭を選択して（ステップＢ３）、３値マップ作成処理（ステップＢ６〜Ｂ９）を行う。これによって図１１（２）に示すように文字列（ＣＡ）を含む３値マップ作成の画像を得ることができる。

また、上述した実施形態においては、均一の背景内に絵が描かれる場合を想定し、最外殻の輪郭のみを画像分割の対象とし、更に、絵が描かれる大きさが予め予測できる場合を想定した場合であり、かつ、図７のステップＢ６で、選択した最外殻輪郭の長さが所定の長さ（比較基準用の長さ）よりも長いか否かを判別する際に、この比較基準用の長さを予め決められている固定値（例えば、８００ピクセル）とした場合を示したが（余計な輪郭は無視するので効率が良くなるというメリットはあるが）、この比較基準用の長さは、ユーザ操作によって任意に変更可能な値としてもよい。

例えば、必ずしもユーザが描いた絵の最外殻を画像分割の対象とせずに、絵の内部に包含される小領域を画像分割の対象としたい場合や、写真画像のような背景が均一でない画像を対象として画像分割を行う場合には、最外殻に限定したり、長さを限定せずに（複数の領域の包含関係とは別の基準を基に）、全ての領域の中から画像分割の対象を選択したりすることになる。

図１２は、比較基準用の長さをユーザ操作によって任意に調整する処理を示したフローチャートである。
先ず、制御部１は、比較基準用の長さの値をその初期値（設定値）、例えば、８００ピクセル（プラスマイナス５０ピクセル）とする（ステップＣ１）。そして、上述した図７の３値マップ処理を実行（ステップＣ２）した後、その３値マップの画像をユーザに確認させるためにその画像を表示させる（ステップＣ３）。この状態において、３値マップ画像を確認したユーザは、切り抜きたい領域が指定色で描かれていることと、切り抜きたい領域以外に境界領域の指定色で描かれた領域が有るか無いかを目視確認し、つまり、切り抜きたい領域が存在し、かつ、切り抜きたくない余分な領域が存在していないかを目視確認し、切り抜きたい領域が存在しない場合、又は、切り抜きたくない余分な領域が存在する場合には、領域の変更を指示する所定の操作を行う。

ここで、制御部１は、切り抜きたくない余分な領域が存在することを指示するユーザ操作を受け付け可能な状態において（ステップＣ４）、その指示操作を検出したときには（ステップＣ５でＹＥＳ）、その余分な領域を対象外とするために比較基準用の長さを１段階長くする処理（ステップＣ６）を行った後、上述のステップＣ２に戻る。

また、境界領域の指定色で描かれた領域が有ることを指示するユーザ操作を検出しなければ（ステップＣ５でＮＯ）、ステップＣ７に移り、切り抜きたい領域が存在しないことを指示するユーザ操作を受け付け可能な状態となる。ここで、その指示操作を検出したときには（ステップＣ５でＹＥＳ）、図１２のフローから抜けるが、切り抜きたい輪郭が境界領域の指定色で描かれていることを指示するユーザ操作が行われなければ（ステップＣ８でＮＯ）、切り抜きたい輪郭を対象とするために比較基準用の長さを１段階短くする処理（ステップＣ９）を行った後、上述のステップＣ２に戻る。

このように選択した最外殻輪郭の長さが所定の長さ（比較基準用の長さ）よりも長いか否かを判別する際に、この比較基準用の長さをユーザ操作により任意に調整可能とすれば、ユーザは、３値マップ画像を目視確認しながら比較基準用の長さを調整することができ、とのような切り抜きであっても正確に切り抜くことが可能となる。

上述した実施形態においては、比較基準用の長さの中心値のみをユーザ操作で調整するようにしたが、比較基準用の長さの上限値と下限値の両方をユーザ操作で調整するようにしてもよい。この場合、図１２のステップＣ６において、比較基準用の長さの下限値を長くし、ステップＣ９おいて、比較基準用の長さの上限値を短くするように変更すればよい。

上述した実施形態においては、元画像が静止画の場合を例示したが、動画であっても同様に適用可能である。この場合、フレーム毎に領域の切り抜き処理を行ったり、所定のフレーム間隔毎に領域の切り抜き処理を行ったりしてもよい。

また、上述した実施形態においては、画像内のうち、白紙やホワイトボードに相当する領域を背景とし、手書き絵に相当する領域を前景として説明したが、この背景と前景との表現は便宜的なものであり、例えば、絵Ａの領域と絵Ｂの領域とに分割するような場合には、その一方の絵を「背景画素」、他方の絵を「前景画素」と見なしてもよい。また、切り抜く画像は、絵（線画部分）に限らず、被写体であってもよい。

上述した実施形態においては、所定の画像分割処理としてGrab Cutと呼ばれるセグメンテーション手法を使用するようにしたが、その他のセグメンテーション手法であってもよい。更に、上述した実施形態においては、画像の一部の領域を切り抜くようにしたが、切り抜き処理に限らず、一部の領域内を着色する処理などを行うようにしてもよい。

上述した実施形態においては、画像処理装置としてタブレット端末装置に適用した場合を示したが、これに限らず、パーソナルコンピュータ、ＰＤＡ（個人向け携帯型情報通信機器）、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーであってもよく、勿論、デジタルカメラ自体であってもよい。

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出手段によって抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する選択手段と、
前記選択手段によって選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する区分手段と、
前記区分手段によって区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う分割処理手段と、
を備えたことを特徴とする。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記選択手段は、前記輪郭抽出手段によって抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記所定の輪郭状態は、輪郭の包含関係で規定され、
前記選択手段は、前記輪郭抽出手段によって抽出された複数の輪郭の中から最外殻の輪郭を選択する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項２又は３に記載の画像処理装置において、
前記所定の輪郭状態は、輪郭の長さで規定され、
前記選択手段は、複数の輪郭の中から輪郭の長さが所定の条件を満たす輪郭を選択する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
ユーザ操作によって輪郭の長さを任意に指定する指定手段を更に備え、
前記選択手段は、複数の輪郭の中から前記指定手段によって指定された長さの輪郭を選択する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１〜５に記載の画像処理装置において、
前記処理対象の画像に対して、所定のエッジ検出処理を行うエッジ検出手段を更に備え、
前記輪郭抽出手段は、前記エッジ検出手段によって検出されたエッジを基に複数の領域候補の各々を区分する複数の輪郭を抽出する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記エッジ検出手段は、画像内の局所的なエッジ部分を検出し、
前記輪郭抽出手段は、前記エッジ検出手段によって検出される画像内の局所的なエッジ部分が連結して構成される輪郭を複数抽出する
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項１〜７に記載の画像処理装置において、
前記輪郭抽出手段は、処理対象の画像に含まれる複数の領域候補の中から前記前景領域に対応する領域候補が確定する前の段階で、前記前景領域以外の領域を含む複数の領域候補の各々を区分する複数の輪郭を抽出し、
前記所定の画像分割処理は、前記前景領域に対応する領域候補が確定した後、この確定した前景領域に対応する領域候補内の画素情報を用いて、前記前景領域以外の領域を含まずに、前記前景領域のみの輪郭が抽出されるように画像を分割する
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記生成手段は、前記選択手段によって選択された輪郭を、前景領域か背景領域かの不確かさに応じた幅で拡張することで前記境界領域を設定する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項８又は９に記載の画像処理装置において、
前記区分手段は、前記選択手段によって選択された輪郭に基づいて、前景領域、背景領域、境界領域に区分した３値マップの画像を生成し、
前記分割処理手段は、前記生成手段によって生成された３値マップの画像を用いて、処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、請求項１０に記載の画像処理装置において、
前記生成手段は、前記選択手段によって選択された輪郭の内部を前景領域の指定色で塗りつぶすと共に、前記選択手段によって選択された輪郭を境界領域の指定色で描画することによって前記３値マップの画像を生成する、
ことを特徴とする。
（請求項１２）
請求項１２に記載の発明は、請求項１〜請求項１１に記載の画像処理装置において、
前記所定の画像分割処理は、前景か背景かが未確定の境界領域内の画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理である、
ことを特徴とする。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２に記載の画像処理装置において、
前記所定の画像分割処理は、前記所定のエッジ検出処理より領域分割の処理速度は遅いが領域分割の精度が高い処理である、
ことを特徴とする。
（請求項１４）
請求項１４に記載の発明は、
画像処理装置における画像処理方法であって、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する処理と、
前記抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する処理と、
前記選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する処理と、
前記区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う処理と、
を含むことを特徴とする。
（請求項１５）
請求項１５に記載の発明は、
画像処理装置のコンピュータに対して、
処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する機能と、
前記抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する機能と、
前記選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する機能と、
前記区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う機能と、
を実現させるためのプログラム。

１ 制御部
３ 記憶部
３ａ プログラムメモリ
３ｃ 画像メモリ

Claims (15)

1. 処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する輪郭抽出手段と、
   前記輪郭抽出手段によって抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する選択手段と、
   前記選択手段によって選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する区分手段と、
   前記区分手段によって区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う分割処理手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記選択手段は、前記輪郭抽出手段によって抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の輪郭状態は、輪郭の包含関係で規定され、
   前記選択手段は、前記輪郭抽出手段によって抽出された複数の輪郭の中から最外殻の輪郭を選択する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の輪郭状態は、輪郭の長さで規定され、
   前記選択手段は、複数の輪郭の中から輪郭の長さが所定の条件を満たす輪郭を選択する、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. ユーザ操作によって輪郭の長さを任意に指定する指定手段を更に備え、
   前記選択手段は、複数の輪郭の中から前記指定手段によって指定された長さの輪郭を選択する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記処理対象の画像に対して、所定のエッジ検出処理を行うエッジ検出手段を更に備え、
   前記輪郭抽出手段は、前記エッジ検出手段によって検出されたエッジを基に複数の領域候補の各々を区分する複数の輪郭を抽出する、
   ことを特徴とする請求項１〜５に記載の画像処理装置。
7. 前記エッジ検出手段は、画像内の局所的なエッジ部分を検出し、
   前記輪郭抽出手段は、前記エッジ検出手段によって検出される画像内の局所的なエッジ部分が連結して構成される輪郭を複数抽出する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記輪郭抽出手段は、処理対象の画像に含まれる複数の領域候補の中から前記前景領域に対応する領域候補が確定する前の段階で、前記前景領域以外の領域を含む複数の領域候補の各々を区分する複数の輪郭を抽出し、
   前記所定の画像分割処理は、前記前景領域に対応する領域候補が確定した後、この確定した前景領域に対応する領域候補内の画素情報を用いて、前記前景領域以外の領域を含まずに、前記前景領域のみの輪郭が抽出されるように画像を分割する
   ことを特徴とする請求項１〜７に記載の画像処理装置。
9. 前記生成手段は、前記選択手段によって選択された輪郭を、前景領域か背景領域かの不確かさに応じた幅で拡張することで前記境界領域を設定する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記区分手段は、前記選択手段によって選択された輪郭に基づいて、前景領域、背景領域、境界領域に区分した３値マップの画像を生成し、
    前記分割処理手段は、前記生成手段によって生成された３値マップの画像を用いて、処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う、
    ことを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記生成手段は、前記選択手段によって選択された輪郭の内部を前景領域の指定色で塗りつぶすと共に、前記選択手段によって選択された輪郭を境界領域の指定色で描画することによって前記３値マップの画像を生成する、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記所定の画像分割処理は、前景か背景かが未確定の境界領域内の画素については、隣接する画素における輝度の差を画像内の複数部分について所定の観点で集計した集計値がより小さくなるように前景か背景かを決定する処理である、
    ことを特徴とする請求項１〜請求項１１に記載の画像処理装置。
13. 前記所定の画像分割処理は、前記所定のエッジ検出処理より領域分割の処理速度は遅いが領域分割の精度が高い処理である、
    ことを特徴とする請求項１〜請求項１２に記載の画像処理装置。
14. 画像処理装置における画像処理方法であって、
    処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する処理と、
    前記抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する処理と、
    前記選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する処理と、
    前記区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う処理と、
    を含むことを特徴とする画像処理方法。
15. 画像処理装置のコンピュータに対して、
    処理対象の画像に含まれる複数の領域候補の各々を区分する複数の輪郭を抽出する機能と、
    前記抽出された複数の輪郭の中から所定の輪郭状態を持った輪郭を選択する機能と、
    前記選択された輪郭に基づいて、処理対象の画像を前景領域、背景領域、境界領域に区分する機能と、
    前記区分された処理対象の画像に対して、前記境界領域に含まれる境界画素を前記前景領域に含まれる前景画素又は前記背景領域に含まれる背景画素のいずれかに確定して前景領域と背景領域に分割する所定の画像分割処理を行う機能と、
    を実現させるためのプログラム。

Images