JP2021033686A - 画像領域抽出処理方法及び画像領域抽出処理プログラム - Google Patents

Abstract

【課題】閉じていない線を含む線画から領域をより適切に抽出することで、この抽出された領域を簡便に利用できるようにする画像領域抽出処理方法及び画像領域抽出処理プログラムを提供する。【解決手段】画像領域抽出処理方法は、線画と彩色が施された線画とを教師データとして機械学習した、入力された線画から彩色を施した画像を出力する画像変換モデルを用いて、対象の線画を彩色済線画に変換するステップと、彩色済線画の中から所定の色に彩色された画像領域を抽出するステップと、を有する。【選択図】図１２

Description

本発明は、画像領域抽出処理方法及び画像領域抽出処理プログラムに関する。

従来、コンピュータでデジタル画像に彩色する際には、ユーザがカラーパレットから任意の色彩を選び、直接彩色するか、または、線画などで閉領域を作成し、当該閉領域全体を塗りつぶすなどの手法が採られていた。

しかし、アニメ制作のように彩色を前提としたトレース線による閉領域においては、トーンパターン（スクリーントーン）や細かな書き込み描写が多く、細かな領域が多数存在するため、手作業の切り抜きや彩色に手間がかかるという問題があった。

また、近年の画像制作においては、いわゆるペンタッチなどの書き味が重要視されており、線が途中で切れた線切れが多数見受けられる。そのため、彩色の作業者は、人物や背景などを目視により確認して輪郭線を把握し、デジタル画像の領域を適切に細かく切り抜くなど、輪郭を特定する入力操作を行って、その輪郭に彩色を行っている。そのため、デジタル画像処理上での彩色作業に時間がかかる上に、彩色結果に個人差が生ずるという問題もあった。

このため、未彩色の線画において描画線で規定された領域を彩色して彩色線画を得る彩色処理装置であって、未彩色の線画の画像解析によって前記線画の特徴量を抽出する特徴量抽出手段と、前記特徴量に基づいて前記線画の描画面を複数の閉領域に分離する領域分離手段と、前記特徴量との関連において規定された所定のルールによって、前記複数の閉領域を、複数種類のオブジェクトに類別して認識するオブジェクト認識手段と、オブジェクトとして認識された閉領域を囲む描画線の線切れを補正することにより閉曲線を得る線切れ補正手段と、前記閉曲線で囲まれた部分領域を前記描画面から切り出して切出領域を得る閉領域切出手段と、各オブジェクトに対応してあらかじめ定めておいた彩色情報に基づいて、前記オブジェクトとして認識された閉領域に対応する前記切出領域を彩色する彩色手段と、を備えることを特徴とする彩色処理装置などが提案されていた（例えば、特許文献１）。

また、ニューラルネットワークを利用して自動彩色を行う技術の例としては、出願人の技術であるCLIP STUDIO PAINT（非特許文献１）、また出願人以外が運営するPaintsChainer（非特許文献２）のウェブサイトが挙げられる。当該技術は、未彩色の線画において描画線で規定された領域を彩色して彩色画像を得る彩色処理技術である。

しかしながら、上記技術（特許文献１）は、トーンパターン領域に対して縮小や平均化を施して得られる中間階調領域を利用している。そのため、トーンパターンが使われていない線画のみの画像では、殆ど彩色効果が得られない。

また、CLIP STUDIO PAINTおよびPaintsChainerでは、線画の自動彩色に関しては、未着色領域に対して自動的に彩色をする機能が提示されているにとどまっている。

特開２００９−１３４４１０号公報

CLIP STUDIO PAINT［アクセス日：２０１９年６月２５日］、インターネット＜https://www.clip-studio.com/clip_site/＞ PaintsChainer ［アクセス日：２０１９年６月２６日］、インターネット＜https://paintschainer.preferred.tech/index_ja.html＞

開示の技術は、閉じていない線を含む線画から領域をより適切に抽出することで、この抽出された領域を簡便に利用できるようにすることを目的とする。

開示の技術は、線画と彩色が施された線画とを教師データとして機械学習した、入力された線画から彩色を施した画像を出力する画像変換モデルを用いて、対象の線画を彩色済線画に変換するステップと、前記彩色済線画の中から所定の色（１つ若しくは複数の色、１つの色範囲若しくは複数の色範囲）に彩色された画像領域を抽出するステップと、を有する画像領域抽出処理方法を提供する。
また、開示の技術は、上記方法をコンピュータに実行させるプログラム及び当該プログラムを記録した媒体を提供する。

開示の技術によれば、閉じていない線を含む線画から領域をより適切に抽出することで、この抽出された領域を簡便に利用できるようにすることができる。

図１（Ａ）は、閉じていない爪の領域の例を示す図である。図１（Ｂ）は、一実施形態を利用して閉じていない爪の領域を抽出した例を示した図である。 図２は、一実施形態のブロック図を示している。 図３は、一実施形態のプログラム又は方法が実行されるハードウェア構成を示している。 図４（Ａ）は、ＡＩを用いて彩色が行われた例を示している。図４（Ｂ）は、彩色された領域が選択された例を示した図である。 図５（Ａ）は、図４（Ａ）と異なるＡＩを用いて彩色を行った例を示す図である。図５（Ｂ）は、図５（Ａ）において彩色された領域を選択した例を示した図である。 図６は、図５（Ａ）と同じＡＩを用いて彩色を行った後にエッジ保持型平滑化処理を施した後の例を示す図である。図６（Ｂ）は、図６（Ａ）において彩色された領域を選択した例を示した図である。 図７（Ａ）は、図６（Ａ）の画像に、図６（Ｂ）とは異なる閾値を指定して、領域を選択した場合の例を示した図である。図７（Ｂ）は、図７（Ａ）とは異なる閾値を指定して、領域を選択した場合の例を示した図である。 図８（Ａ）は、図７（Ｂ）で選択した領域を用いて、爪の部分の先端の部分に線画を加えることで爪の部分を閉じた線画にした例を示した図である。図８（Ｂ）は、図７（Ａ）の爪の部分に異なる色で彩色した例を示した図である。 図９（Ａ）は、閉じた線画の爪の部分の彩色を削除した例である。図９（Ｂ）は、閉じた線画の爪の分に他の画像を張り付けた例を示した図である。 図１０（Ａ）は、図６（Ａ）によって得られた、閉じていない線画を含む爪の画像を抽出した例を示した図である。図１０（Ｂ）は、図８（Ｂ）によって得られた閉じた線画を含む爪の画像を抽出した例を示した図である。図１０（Ｃ）は、図９（Ａ）によって得られた閉じた線画を含む爪の画像を抽出した例を示した図である。図１０（Ｄ）は、図９（Ａ）で得られた画像から、彩色された部分を取り除いて、線画を得た例を示す図である。 図１１は、ＡＩによる彩色の機能の学習の例を示す図である。 図１２は、一実施形態の画像の加工の例を示したフローチャートである。 図１３は、ＡＩによる彩色の後に、必要に応じて彩色の修正を行い、所定の色の領域を抽出する例を示した図である。図１３においては、この例では必要がないため、彩色の修正を行わずに所定の色の領域を抽出する例を示す。 図１４は、必要に応じて彩色の修正を行い、所定の色の領域を抽出する例を示した図である。彩色の修正の例としてエッジ保持型平滑化処理を行った後に、所定の色の領域を抽出する例を示す。 図１５は、抽出された領域の画像の加工の例を示した図である。

以下に、図面を参照しながら、開示の技術の実施形態について説明する。なお、以下の各実施形態は、相互に排他的なものではない。矛盾の無い限り、ある実施形態の一部は、他の実施形態の一部と入れ替えたり、結合させたりすることができる。また、開示されたフローの各ステップは、矛盾の無い限り、入れ替えることができる。また、各フローは同時に実行することもできる。実施形態の一部は、プログラム又はハードウェアのいずれでも実現することができる。また、プログラムの一部は、オペレーティングシステムの機能を利用することができる。プログラムは、可搬型の記録媒体に記録させることができる。

なお、図面はモノクロ画像を用いている。したがって、カラーの濃淡などは、便宜上、グレースケールで表現されている点に留意すべきである。実際の実施形態では、カラーの画素で構成された画像を用いることができる。そして、色を指定したり、色に対する閾値を指定したりする場合には、閾値に色の彩度、明度又は色相或いはこれらの組合せを用いることができる。

図１（Ａ）は、閉じていない爪の領域の例を示す図である。図１（Ｂ）は、閉じていない爪の領域を抽出した例を示した図である。
図１（Ａ）に示されるように、キャンバス１００に、爪１０１８と指８００との線画が描かれている。指８００は、指８０１の線画と指８０２の線画とキャンバス１００の枠線とで閉領域を形成している。

これに対して、爪１０１８は、その線画１０１０が、線画の端１０１２及び線画の端１０１４において開いている。このため、爪１０１８は閉領域を形成しておらず、背景１０１９につながっている。このため、閉領域となっていない開いた線画を有する爪１０１８を選択したり抽出したりすることは容易ではない。図１（Ｂ）は、爪の線画１０１０ａを抽出した様子を示している。指の線画１０１０ａが、線画の端１０１２ａ及び線画の端１０１４ａにおいて開いている。このため、開いた曲線で構成されている爪の線画１０１０ａを抽出することは、閉曲線を選択する一般的なアルゴリズムを利用して抽出することはできない。
以下に説明する実施形態では、このような開いた曲線で構成される爪の線画１０１０ａであっても、容易に抽出したり加工したりすることを可能とさせる。

図２は、一実施形態である画像領域抽出処理装置２００のブロック図を示している。画像領域抽出処理装置２００は、彩色部２０２、エッジ保持型平滑化処理部２０４、領域抽出部２０６、画像加工部２０８及び表示部２１０を有する。

彩色部２０２には、元線画が入力される。彩色部では、ＡＩを利用して、元線画に対して彩色が施される。なお、彩色部のＡＩに対する学習のさせ方については後述する。

彩色部２０２で彩色された画像は、ＳＷ１によって、領域抽出部２０６に与えられる。あるいは、ＳＷ１によって、彩色部２０２で彩色された画像は、エッジ保持型平滑化処理部２０４で補正された後に、領域抽出部２０６に与えられる。
エッジ保持型平滑化処理部２０４は、彩色された線画のうち、エッジを持つ線画部分を保持しつつ、彩色された部分の画像を平滑化する機能を有する。

エッジ保持型平滑化は、空間フィルタリングの処理技術である。一般的な「ぼかし」などの平滑化の処理では、エッジを持つ線画部分も含めて全体的に画像を滑らかにする「ぼかし」の処理が施される。これに対してエッジ保持型平滑化は画像中の大きな輝度勾配（エッジ）は保ちつつも、小さな輝度勾配だけを滑らかにする処理である。本実施形態では、大きな輝度勾配が存在する線画の部分の形状は保持され、小さな輝度勾配で構成される色の濃淡を含む彩色された部分は平滑化が施される。
このような、エッジ保持型平滑化処理の技術は、例えば当業者に知られている以下の技術で実現できる。

例えば、「バイラテラルフィルタ」は、最も基本的なエッジ保持型平滑化処理を行うことができるフィルタである。このフィルタの基本的な処理は、画素間の色の違いと位置の隔たりとの両方に応じて近ければ近いほど重みが大きくなるフィルタである。ガウス関数を使った「ぼかし」のように画素間の距離のみで重みを決めるのではなく、画素の輝度の差も見て、変化が大きいところは重みを小さくすることによってエッジを残す処理を施すフィルタ処理がなされる。
なお、エッジ保持型平滑化処理が施された画像への処理の具体例は、図５及び図６において説明する。

領域抽出部２０６は、例えば、オペレータからの色の指定と、画像の場所の指定とを受け取ることができる。この場合には、領域抽出部２０６は、指定された画像領域の周辺において、指定された色の領域を特定する。色の指定には、色の三要素である、色相、明度又は彩度の組合せで、色を指定できる。色の指定には、グレースケールによるグレーの濃淡の指定が含まれ得る。

また、閾値は、ある幅を持たせた上下の閾値を持つ範囲を設定できる。また、オペレータの指示に基づき、特定される領域を広げる指示があれば、上下の閾値のいずれか又は両方の値を変更させて、上下の閾値で規定される範囲の広狭を変更できるようにさせてもよい。閾値を変更することで、特定される画像の領域を変化させる例は図７を用いて説明する。

画像加工部２０８は、抽出された画像領域に対して、種々の加工を施すことができる。例えば、抽出された領域を彩色すること、色を除去すること、抽出された画像以外の領域を除去すること、抽出された領域を他の画像に置き換えることなどを行うことができる。

図２におけるＳＷ１は、彩色部２０２からの出力画像が、領域抽出部２０６に直接与えられるようにするか（ＳＷ１の接点２２１と接点２２０とが接続される。）、エッジ保持型平滑化処理部２０４を経由して領域抽出部２０６に与えられるか（ＳＷ１の接点２２１と接点２２２とが接続される。）の２つの経路選択が行えるようになっている。

図３は、一実施形態のプログラム又は方法が実行されるハードウェア構成３００を示している。実施形態は、クライアント端末で入力された線画を、ネットワークを経由してサーバ装置に送り、該サーバ装置により実行されてもよい。或いは、クライアント端末が、実施形態の処理を行ってもよい。したがって、図３に示すハードウェア構成３００は、クライアント端末又はサーバ装置のいずれの装置における構成にも当てはまるものである。

ハードウェア構成３００は、ＲＯＭ３０３、ＲＡＭ３０５、入力部３０７、通信部３０９、表示部３１１、外部記憶制御部３１３を有する。外部記憶制御部３１３は、メモリ３１５に対してデータ又はプログラムの読み出し、書き込みが可能である。
実施形態を実現するプログラムは、メモリ３１５、ＲＯＭ３０３又はＲＡＭ３０５に記憶され得る。

図４（Ａ）は、ＡＩを用いて彩色が行われた例を示している。図４（Ｂ）は、彩色された領域が選択された例を示した図である。
図４（Ａ）では、指８０２と爪１０４１に彩色が施されている。この彩色は、後述するように、例えばディープラーニングのアルゴリズムの一つであるＧＡＮ（Generative Adversarial Network）を使って学習したＡＩを用いた彩色部２０２により、入力された線画に彩色を施して生成された彩色画像の例である。既に述べたように、図４では、グレースケールで表現されているが、実際の彩色画像は、色を有する画像である。図４（Ａ）の彩色画像では、爪の線画１０１０の先端における線画の端１０４２及び線画の端１０４４の周辺位置にも、爪の形状と近似した彩色が施されている。したがって、爪の線画１０１０が、閉じた線画でないにもかかわらず、ＡＩによって適切な彩色が施された例である。この例は、理想的な例である。この場合には、彩色された爪１０４１の領域の一部の位置と、彩色された色とをオペレータが指定すれば、指定された色と略同一の色（或いは、彩色された爪１０４１の一部の位置をオペレータが指定することによって、その一部の位置の周辺の彩色された色と略同色の色）の領域が特定される。ここで、略同色とは、指定された色と所定の複数の閾値で規定された色に該当する色を意味する。閾値は、既に述べたように、色の彩度、明度又は色相或いはこれらの組合せ（グレースケールを含む）に対応する閾値である。閾値は、複数の閾値を設定することにより、所定の色の範囲を特定することができる。

図４（Ｂ）は、彩色された領域が選択（特定）された例を示した図である。選択（特定）された爪１０４１ａの領域が、ハッチングで示されている。開いた線画で構成される爪の線画１０１０ａには、依然として、線画の端１０４２ａ及び線画の端１０４４ａが存在している。

このように、線画に対して、ＡＩを利用して、彩色処理を施すことにより、開いた線画で構成される爪の線画１０１０ａであっても、適切に、爪の部分を選択（特定）することができる。このようにすることで、容易に、選択された爪１０４１ａの部分を抽出したり、画像を編集したりすることが可能となる。

図５（Ａ）は、図４（Ａ）と異なるＡＩを用いて彩色を行った例を示す図である。図５（Ｂ）は、図５（Ａ）において彩色された領域を選択した例を示した図である。

図５（Ａ）では、異なるＡＩアルゴリズムを適用して爪の線画１０１０の内部を彩色している。この場合には、領域１０５６付近において、彩色の明度が極端に変化しており、領域１０５５においては、彩色がなされているが、領域１０５７の部分においては、背景色と同じ白色となっており、彩色が施されていないこととなっている。

図５（Ｂ）は、図５（Ａ）において彩色された領域を選択した例を示した図である。このような場合に、オペレータが、領域１０５５のある部分の位置を指定して、領域抽出部２０６に対して、その指定された位置と略同色の領域を選択させると、爪の線画１０１０ａの内部の領域１０５５ａについては、選択（特定）されている状態となる。しかしながら、領域１０５５ａは、境界１０５６ａまで選択された状態となり、領域１０５７ａの部分については、選択（特定）されないこととなる。

ＡＩを用いた彩色部２０２を用いると、同じＡＩであっても、線画のパターンの微妙な異なり、パラメータの設定の違い、学習の度合いの違いなどにより、図５（Ａ）及び図５（Ｂ）のような状況が起こり得る。
図５のような状況にも対応するために、以下の手法を用いることが有用である。

図６は、図５（Ａ）と同じＡＩを用いて彩色を行いった後にエッジ保持型平滑化処理を施した後の例を示す図である。図６（Ｂ）は、図６（Ａ）において彩色された領域を選択した例を示した図である。

図６（Ａ）は、図５（Ａ）と同じＡＩを用いて彩色を行った後に、図５における爪の彩色された領域１０５５、１０５６、及び１０５７に対して、エッジ保持型平滑化処理を施した後の領域１０６５の例を示す図である。

図６（Ａ）に示されるように、エッジ保持型平滑化処理を施した爪の領域１０６５は、爪の線画１０１０の画像が保持されており、彩色領域については、領域１０６７の部分まで彩色が施された状態となっていることが分かる。
図６（Ｂ）は、図６（Ａ）において彩色された領域１０６５及び１０６７のうちの一部の位置を指定して爪の領域を選択した例を示した図である。

図６（Ｂ）においては、領域１０６７ａの部分まで、彩色がなされているので、斜線で示す選択（特定）された部分は、１０６５ａ及び１０６７ａを含めた爪の領域全体に及んでいることが分かる。

このように、図６（Ａ）に示すように、エッジ保持型平滑化処理を施すことにより、エッジを含む線画を平滑化することなく、爪の部分の領域について、彩色を平滑化することができる。このようにすることにより、彩色部２０２における彩色が、一部の領域に偏った形で彩色がなされた場合であっても、エッジ保持型平滑化処理を施すことで、適切な爪の領域を選択（特定）することができる。

図７（Ａ）は、図６（Ａ）の画像に、図６（Ｂ）とは異なる閾値を指定して、領域を選択した場合の例を示した図である。図７（Ｂ）は、図７（Ａ）とは異なる閾値を指定して、彩色された領域を選択した場合の例を示した図である。

図７（Ａ）では、色に関する閾値が適切でないために、爪の先端の彩色された領域１０７７ｂが選択されていない例を示している。選択された領域１０７５ｂは、爪の先端部の境界１０７６ｂまで選択されている。

図７（Ｂ）は、図７（Ａ）とは異なる閾値を指定して、領域を選択した場合の例を示した図である。この場合には、図７（Ａ）とは異なる閾値が指定されているため、１０７７ｃの領域まで選択されている。したがって、境界領域１０７６ｃは、爪の先端部分と整合しており、適切な境界領域となっている。

このように、選択するべき色の閾値を調整することによって、爪の部分の領域を適切に選択（特定）することができる。なお、閾値が指定される際に、オペレータが彩色画像又はエッジ保持型平滑化処理が施された彩色画像を表示画面上で確認できるようにすることが望ましい。このようにすることによって、オペレータは、彩色処理自体が適切か不適切か、閾値を調整することが重要であるのか、エッジ保持型平滑化処理における平滑化のパラメータの指定が重要であるのかを確認することができる。

また、エッジ保持型平滑化処理のパラメータ及び閾値については、オペレータの作業を軽減させるため、デフォルト値をあらかじめ定めておくことが望ましい。或いは、これらの値のペアを予め複数用意して、オペレータに選択させるようにしてもよい。また、このような選択がなされた場合には、オペレータにこのような値の微調整を行えるようにさせることが望ましい。

図８（Ａ）は、図７（Ｂ）で選択した領域を用いて、爪の部分の先端の部分に線画を加えることで爪の部分を閉じた線画にした例を示した図である。図８（Ｂ）は、図７（Ａ）の爪の部分に異なる色で彩色した例を示した図である。

図８（Ａ）においては、例えば、図７４（Ｂ）、図６（Ｂ）、又は図７（Ｃ）におけるように、適切に爪の部分が選択（特定）された場合に、線の端１０４２と線の端１０４４とを、選択領域の境界に沿って曲線１０８３ｄを加えて、爪の線画１０８０ｄを閉領域にする例を示している。
このようにすることによって、閉領域を形成していなかった爪の線画１０１０を、閉領域を形成する爪の線画１０８０ｄに修正することができる。

このようにすることによって、閉領域を形成していない線画に対して、線の端同士を曲線で適切に連結することで、適切な閉領域を形成する線画を容易に得ることができる。

図８（Ｂ）は、図７（Ａ）の爪の部分に異なる色で彩色した例を示した図である。図８（Ａ）で形成された、閉領域で形成された爪の線画１０８０ｅに対して、他の色で彩色された爪１０８５ｅを容易に得ることができる。

図９（Ａ）は、閉じた線画の爪の部分の彩色を削除した例である。図９（Ｂ）は、閉じた線画の爪の部分に他の画像を張り付けた例を示した図である。
図９（Ａ）では、閉じた爪の線画１０９０ｆの内部の爪の領域１０９５ｆの色を削除した例を示している。
図９（Ｂ）では、閉じた爪の線画１０９０ｇの内部の爪の領域１０９５ｇに、他の画像を張り付けた例を示している。貼り付ける画像は、特に限定されないが、張り付けた画像を他の画像に変更することも考慮し、新たなレイヤに画像を張り付けることが望ましい。

図１０（Ａ）は、図６（Ａ）によって得られた、閉じていない線画を含む爪の画像を抽出した例を示した図である。図１０（Ｂ）は、図８（Ａ）によって得られた、閉じた線画を含む爪の画像を抽出した例を示した図である。図１０（Ｃ）は、図９（Ａ）によって得られた、閉じた線画を含む爪の画像を抽出した例を示した図である。図１０（Ｄ）は、図９（Ａ）で得られた画像から、彩色された部分を取り除いて、線画を得た例を示す図である。

図１０（Ａ）では、図６（Ａ）に示された爪の部分を、爪の線画１１００ｈと共に、抽出した例を示している。開いた線画１１００ｈも含めて、爪の領域を抽出するにあたっては、選択された領域よりも少し拡大した領域を抽出するようにすればよい。

図１０（Ｂ）は、図８（Ｂ）によって得られた閉じた線画を含む爪の画像を抽出した例を示した図である。この場合には、爪の線画１１００ｊは閉じているので、爪の内部と閉じた爪の線画を選択して抽出すればよい。

図１０（Ｃ）は、図９（Ａ）によって得られた閉じた線画を含む爪の画像を抽出した例を示した図である。この処理も、図１０（Ｂ）に示した処理と同様である。

図１０（Ｄ）は、図９（Ａ）で得られた画像から、彩色された部分を取り除いて、線画を得た例を示す図である。この場合には、図９（Ａ）で示された画像から、順次に彩色された画像を削除することで、閉じた線画で構成される線画８００ｍ及び１１００ｍを得ることができる。

図１１は、ＡＩによる彩色の機能の学習の例を示す図である。このＡＩを、ＧＡＮ（Generative Adversarial Network）を用いて学習させる。学習用画像の線画４０２をジェネレータ４０４に入力する。ジェネレータ４０４は、学習用彩色画像４０８になるべく似た彩色画像４０６を生成するように、学習を行う。ディスクリミネータ４１０には、ジェネレータ４０４が生成した彩色画像４０６または、学習用彩色画像４０８が入力され、本物（Ｒｅａｌ）か偽物（Ｆａｋｅ）かの判断が出力される。

ジェネレータ４０４の学習と、ディスクリミネータ４１０の学習は、通常交互に実行される。学習を進めることによって、ジェネレータ４０４は、学習用彩色画像に酷似した彩色画像を生成するようになり、ディスクリミネータ４１０に対し、ジェネレータ４０４において生成された彩色画像を本物であると判断されるように学習が進められる。ディスクリミネータ４１０は、ジェネレータ４０４が生成した彩色画像と学習用彩色画像とを適切に見分けられるように学習を行う。
以上のようにして学習されたジェネレータ４０４を、図２の彩色部２０２に用いることにより、線画に彩色が施される。

図１２は、一実施形態の画像の加工の例を示したフローチャートである。以下に、各ステップについて説明する。
［ステップＳ１２０２］線画が受け取られる。処理はステップＳ１２０４に移る。
［ステップＳ１２０４］受け取られた線画に対して、彩色が施される。処理はステップＳ１２０７に移る。
［ステップＳ１２０７］必要に応じて、彩色された線画に対して、彩色の修正（例えば、エッジ保持型平滑化処理）が施される。指定された色（色相、彩度又は明度若しくはこれらの組合せ）によって指定された閾値を用いて、彩色された領域が選択（特定）され抽出される。処理はステップＳ１２１０に移る。
［ステップＳ１２１０］抽出された領域の画像に加工が加えられる。処理はステップＳ１２１２に移る。
［ステップＳ１２１２］処理の中間画像及び加工された画像が、表示（出力）される。処理を終了する。
以上の処理によって、必ずしも閉じた領域を含まない線を含む線画に対して、適切な領域が選択（特定）され、抽出される。抽出された領域に対して、容易に適切な加工を施すことができるようになる。

図１３は、ＡＩによる彩色の後に、必要に応じて彩色の修正を行い、所定の色の領域を抽出する例を示した図である。なお、図１３では、この例では必要がないため、彩色の修正を行わずに所定の色の領域を抽出する例を示している。この処理は、図１２のステップＳ１２０７（必要に応じて彩色の修正を行い、所定の色の領域を抽出する）のサブルーチンの例を示すものである。以下に、各ステップについて説明する。

［ステップＳ１３０２］オペレータから、例えば、抽出されるべき領域の中の位置が特定される。この指示によって、どの領域について処理を行うかが指定されたことになる。処理はステップＳ１３０４に移る。

［ステップＳ１３０４］指定された位置の周辺の色と同様の色の領域を特定する。同様の色は、色相、彩度又は明度若しくはこれらの組合せによって指定できる。色を伴わないグレースケールが指定されてもよい。閾値が２つ指定されることによって、二つの閾値の間にある色の領域が特定される。或いは１つの閾値と、上下の値の許容量が指定されてもよい。或いは、閾値は、複数存在して、色相、彩度、明度、トーンなどの上限、下限の閾値がそれぞれ設定されていてもよい。
処理はステップＳ１３０６に移る。
［ステップＳ１３０６］選択された領域が特定され、抽出される。処理はステップＳ１３０８に移る。

［ステップＳ１３０８］例えば、閾値の値を変更する指示などを受け取った場合（ＹＥＳ）には、再度領域の特定を行うこととなるため、処理はステップＳ１３０４に戻る。閾値等の変更の指示を受け取っていない場合（ＮＯ）には、処理はリターンする。
以上の処理によって、オペレータにより閾値が変更されることによって、適切な領域が選択されることとなる。

図１４は、必要に応じて彩色の修正を行い、所定の色の領域を抽出する例を示す図である。彩色の修正として、エッジ保持型平滑化処理を行う例を示す。そして、所定の色の領域を抽出する。エッジ保持型平滑化処理が利用される場合は、彩色処理において、所望の領域全体に対して彩色にムラがあったり、一部の領域に彩色が偏ったりしている場合などが挙げられる。この処理は、図１２のステップＳ１２０７（必要に応じて彩色の修正を行い、所定の色の領域を抽出する）のサブルーチンの他の例を示すものである。以下、各ステップについて説明する。

［ステップＳ１４０２］エッジ保持型平滑化の指示があったかが判断される。この判断がＹＥＳであれば、処理はステップＳ１４０４に移る。この判断がＮＯであれば、処理はリターンする。

［ステップＳ１４０４］指定された領域の周辺で、エッジ保持型平滑化処理が実行される。処理はステップＳ１４０６に移る。

［ステップＳ１４０６］閾値の範囲に該当する領域が特定され、抽出される。特定される領域は、連続した領域であることが望ましい。処理はステップＳ１４０８に移る。

［ステップＳ１４０８］
エッジ保持型平滑化処理に係るパラメータの変更指示を受け取ったか否かが判断される。判断がＹＥＳの場合には、処理は、ステップＳ１４０４に移る。判断がＮＯの場合には、処理はリターンする。
以上の処理によって、適切なエッジ保持型平滑化処理が行える。この処理は、図１３の閾値の設定と組み合わせて、実行されることが望ましい。すなわち、図１３と図１４の処理は排他的なものではなく、必要に応じて組み合わせて実行されてもよい。

図１５は、抽出された領域の画像の加工の例を示した図である。
図１５（Ａ）ないし図１５（Ｅ）の処理は、図１２のステップＳ１２１０のサブルーチン例を示すものである。図１５の各処理は、単独で実行され得るが、矛盾がなければ、複数の処理が組み合わされて実行されてもよい。或いは、一つの画像に存在する複数の領域の各々に対して、異なる処理が施されてもよい。
以下に、各処理について説明する。

図１５（Ａ）は、抽出された領域を彩色する処理を示している。
［ステップＳ１５０２］抽出された領域に彩色がなされる。すでに彩色された色とは異なる色で彩色を行うことができる。或いは、抽出された領域に対して、様々なフィルタ処理が施されてもよい。

図１５（Ｂ）は、抽出された領域から所定の色を除去する処理を示している。
［ステップＳ１５０４］抽出された領域から所定の色が除去される。色の除去の前に、開いた線画の端点を連結して、閉じた線画にする処理が行われてもよい。

図１５（Ｃ）は、抽出された領域に含まれない領域の画像を除去する処理を示している。
［ステップＳ１５０６］抽出された領域に含まれない領域の画像が除去される。この処理によって、抽出された部分の領域の画像だけを残した画像を得ることができる。

図１５（Ｄ）は、抽出された領域の画像を他の画像に置き換える処理を示している。
［ステップＳ１５０８］抽出された領域の画像を他の画像に置き換える処理が行われる。他の画像を更に別の画像に差し替える場合を考慮して、彩色画像とは別のレイヤに画像を置くようにしてもよい。

図１５（Ｅ）は、抽出された領域を閉曲線で囲むことで線画を生成する処理を示している。
［ステップＳ１５１０］抽出された領域が、閉曲線で囲まれていない場合がある。このような場合には、抽出された領域に沿って、曲線の端点と端点とが結ばれるように曲線を加える処理を行い閉曲線が形成されるようにしてもよい。或いは、抽出された領域の周囲を囲む閉曲線を作成して、この作成された閉曲線を参照しながら、閉領域の周囲に存在する分断された曲線が滑らかに連結されて閉曲線が形成されるように、分断された曲線をつなぎ合わせて閉曲線を形成してもよい。
以上の処理によって、線画から、適切な領域を容易に抽出することができる。そして、抽出した領域に対して、所望の画像処理を適用することができる。
なお、上記の画像処理は一例であって、これらに限られるものではない点に留意すべきである。
以上の実施形態で用いられているＡＩは、ＧＡＮを使って学習させたＡＩを用いたが、ＡＩの学習手法はＧＡＮに限定されるものではない。

２００ 画像領域抽出処理装置
２０２ 彩色部
２０４ エッジ保持型平滑化処理部
２０６ 領域抽出部
２０８ 画像加工部
２１０ 表示部

Claims (10)

1. 線画と彩色が施された線画とを教師データとして機械学習した、入力された線画から彩色を施した画像を出力する画像変換モデルを用いて、対象の線画を彩色済線画に変換するステップと、
   前記彩色済線画の中から所定の色に彩色された画像領域を抽出するステップと、
   を有する画像領域抽出処理方法。
2. 前記変換するステップと、前記抽出するステップとの間に、
   前記彩色済線画にエッジを保持して平滑化する補正を施すステップ、
   を更に有する、
   請求項１に記載の画像領域抽出処理方法。
3. 前記画像領域を抽出するステップは、
   前記彩色済線画の色相、彩度又は明度の値と所定の閾値との大小を比較することで、前記画像領域を特定するステップ、
   を含む、請求項１又は２に記載の画像領域抽出処理方法。
4. 抽出された前記画像領域に彩色を施すステップ、
   を更に有する請求項１ないし３のうちいずれか１項に記載の画像領域抽出処理方法。
5. 抽出された前記画像領域から所定の色を除去するステップ、
   を更に有する請求項１ないし３のうちいずれか１項に記載の画像領域抽出処理方法。
6. 前記対象の線画又は前記彩色済線画から、抽出された前記画像領域に含まれない領域の線画又は前記彩色済線画を除去するステップ、
   を更に有する請求項１ないし３のうちいずれか１項に記載の画像領域抽出処理方法。
7. 抽出された前記画像領域を所定の画像に置き換えるステップ、
   を更に有する請求項１ないし３のうちいずれか１項に記載の画像領域抽出処理方法。
8. 抽出された前記画像領域を閉曲線で囲むことで線画を生成するステップ、
   を更に有する請求項１ないし３のうちいずれか１項に記載の画像領域抽出処理方法。
9. 前記彩色済線画を表示するステップ、
   を更に有する請求項１ないし８のうちいずれか１項に記載の画像領域抽出処理方法。
10. 請求項１ないし９のうちいずれか１項に記載の方法をコンピュータに実行させるプログラム。
    
    

Images