JP2009217606A - 塗り絵用線画の生成方法および生成プログラム - Google Patents

塗り絵用線画の生成方法および生成プログラム Download PDF

Info

Publication number
JP2009217606A
JP2009217606A JP2008061380A JP2008061380A JP2009217606A JP 2009217606 A JP2009217606 A JP 2009217606A JP 2008061380 A JP2008061380 A JP 2008061380A JP 2008061380 A JP2008061380 A JP 2008061380A JP 2009217606 A JP2009217606 A JP 2009217606A
Authority
JP
Japan
Prior art keywords
image
pixel
input image
contour
laplacian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008061380A
Other languages
English (en)
Inventor
Shigeru Daimatsu
繁 大松
Yasuo Maeda
康男 前田
Kosuke Hamaguchi
晃丞 濱口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FINE THANK YOU KK
NIKKEN MANAGEMENT CO Ltd
Osaka University NUC
Osaka Prefecture University PUC
Original Assignee
FINE THANK YOU KK
NIKKEN MANAGEMENT CO Ltd
Osaka University NUC
Osaka Prefecture University PUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FINE THANK YOU KK, NIKKEN MANAGEMENT CO Ltd, Osaka University NUC, Osaka Prefecture University PUC filed Critical FINE THANK YOU KK
Priority to JP2008061380A priority Critical patent/JP2009217606A/ja
Publication of JP2009217606A publication Critical patent/JP2009217606A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】写真など階調のある入力画像に画像処理を適用して塗り絵用画像として好適な輪郭線画を生成することのできる手法を提供する。
【解決手段】複数画素からなる写真画像を入力画像として取得する工程と、人物の目鼻立ち部分の画像を学習させた自己組織化特徴地図（Self-Organizing Maps）を用いて各画素を人物の目鼻立ち領域に属する第１画素群と他の領域に属する第２画素群とに分類する工程と、分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する工程と、入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する工程と、少なくとも第１輪郭および第２輪郭からなる画像を塗り絵用線画として出力する工程とを備えることを特徴とする塗り絵用線画の生成方法。
【選択図】図１０

Description

この発明は、写真など階調のある入力画像に画像処理を適用して塗り絵用線画を生成する方法および生成プログラムに関する。
従来から、回想法という心理療法が認知症の予防、および症状の抑制や改善に効果をあげていることが知られている。回想法は、高齢者が過去の心に残る想い出を語り合い、整理することによって人生の充実感、心理的安定感、社会的交流、等に対して前向きな思考や行動を醸成していく代表的な心理療法の一つであり、多くの臨床結果が報告されている。
また、塗り絵はストレスの解消や脳の活性化に対して有効性が期待できることが報告されており、最近では自然や動物をモチーフにしたものだけに止まらず、西洋絵画や日本画を題材にした、大人向けの塗り絵の本や関連製品が数多く発売されているなど注目を集めている。
本発明では、過去の想い出深い写真画像を線画化したものに塗り絵を描く行為により、回想法と塗り絵の心理的および脳生理学的な相乗的有効性が得られるのではないかと考えた。実際の使用方法の例としては、元写真画像とその線画を並べて置き、高齢者は元写真画像を参考にしながら塗り絵を作成する。このような線画を簡便に用意するには、元写真に画像処理技術を適用することにより線画を自動生成することが好ましい。具体的には、元写真画像の輪郭を抽出すればよい。
このような画像処理技術を実現する手法として、輪郭抽出フィルターが知られている。輪郭抽出フィルターにはいくつかの種類がある。例えば、一次微分、テンプレートマッチング、Cannyフィルターおよびラプラシアン（二次微分）などが周知である（例えば、非特許文献１、２参照）。
井上 誠喜、八木 伸行、林 正樹、中須 英輔、三谷 公二、奥井 誠人、「Ｃ言語で学ぶ実践画像処理」、第５版、オーム社、２００１年３月１６日、p.３８-６１。 高木 幹夫、下田 陽久、「新編 画像解析ハンドブック」、第初版、東京大学出版会、０４年９月１０日、p.１２２７-１２６０。
前述のように周知の輪郭抽出フィルターを適用して、写真画像から輪郭部分を抽出することができる。しかし、このようにして得られる輪郭画像は、ある程度写真画像の特徴を抜き出してはいるが、塗り絵の線画として適当であるとは必ずしもいえない。
塗り絵の線画としてはできる限り元の写真画像（入力画像）の特徴を損なわず、かつ入力画像の輪郭を作成することが求められる。特に、写真画像が人物の顔を含む場合、似顔絵のようにその人物の特徴が抽出され、写真画像に写された人物と著しく異なる印象を与えることのないものが求められる。このような線画を簡便に作成することができれば、それを塗り絵に使用することにより、前記のような認知症の予防、および症状の抑制や改善の一助とすることができる。
この発明は、以上の事情を考慮してなされたものであって、元の写真画像（入力画像）からその特徴を表す輪郭が欠落しないようにかつ人物の顔立ち（目鼻立ち）が損なわれないように輪郭を抽出し、塗り絵用線画として好適な輪郭画像を生成することのできる塗り絵用線画の生成方法および生成プログラムを提供するものである。
前述の課題を解決するために、この発明は、複数画素からなる写真画像を入力画像として取得する工程と、人物の目鼻立ち部分の画像を学習させた自己組織化特徴地図（Self-Organizing Maps）を用いて各画素を人物の目鼻立ち領域に属する第１画素群と他の領域に属する第２画素群とに分類する工程と、分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する工程と、入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する工程と、少なくとも第１輪郭および第２輪郭からなる画像を塗り絵用線画として出力する工程とを備えることを特徴とする塗り絵用線画の生成方法を提供する。
また、異なる観点から、この発明は、複数画素からなる写真画像を入力画像として取得する処理と、人物の目鼻立ち部分の画像を学習させた自己組織化特徴地図（Self-Organizing Maps）を用いて各画素を人物の目鼻立ち領域に属する第１画素群と他の領域に属する第２画素群とに分類する処理と、分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する処理と、入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する処理と、少なくとも第１輪郭および第２輪郭からなる画像を塗り絵用線画として出力する処理とをコンピュータに実行させることを特徴とする塗り絵用線画の生成プログラムを提供する。
この発明の塗り絵用線画の生成方法は、入力画像の各画素を分類する工程と、分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する工程と、入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する工程とを備えるので、元の写真画像（入力画像）からその特徴を表す輪郭が欠落しないようにかつ人物の顔立ち（目鼻立ち）が損なわれないように輪郭を抽出し、塗り絵用線画として好適な輪郭画像を生成することができる。
この発明の塗り絵用線画の生成プログラムも前述の塗り絵用線画の生成方法と同様の作用効果を奏する。
以下、この発明の好ましい態様について説明する。
第１の輪郭抽出手法は、画素値が等しく縦ｍ個×横ｍ個（ｍは３以上の整数）の画素からなる画素ブロックを構成単位とし、縦ｎ個×横ｎ個の画素ブロック（ｎは１以上の整数）からなる画像フィルターであって各画素ブロックの画素値がラプラシアンフィルター状に決定されてなる拡張ラプラシアンフィルターを用いた輪郭抽出手法であってもよい。このようにすれば、入力画像の解像度や画像の特性、例えば撮影された人物の大きさに応じた好適な整数ｍ、ｎの値を決定し、および／または、入力画像の特性に応じた拡張ラプラシアンフィルターの特性を決定することができる。従って、人物の顔立ち（目鼻立ち）の特徴が再現された塗り絵用線画を生成することができる。
さらに、前記拡張ラプラシアンフィルターは、各画素ブロックの画素値が、
ただし、M0は、ｍ×ｍ画素の各画素が画素値ゼロを有する画素ブロック、M1は、ｍ×ｍ画素の各画素が画素値１を有する画素ブロック、M(-4)は、ｍ×ｍ画素の各画素が画素値−４を有する画素ブロックからなる画像フィルターであってもよい。このようにすれば、実験的に特に好ましい結果が得られている拡張ラプラシアンフィルターを適用して塗り絵用線画を生成することができる。
また、第２の輪郭抽出手法は、Prewittテンプレートマッチングを用いた輪郭抽出手法であってもよい。このようにすれば、Prewittテンプレートマッチングを用いることによって、入力画像の特徴を表す輪郭が欠落しないように塗り絵用線画を生成することができる。
自己組織化特徴地図に学習させる画像は、異なる人物が撮影された複数の画像を含んでいてもよい。このようにすれば、入力画像にどのような人物が撮影されているかによらず精度よく画素の分類（領域分割）を行うことができる。
また、自己組織化特徴地図に学習させる画像は、異なる照明条件下で撮影された複数の画像を含んでいてもよい。このようにすれば、入力画像がどのような照明条件下で撮影されているかによらず精度よく領域分割を行うことができる。
さらにまた、自己組織化特徴地図に学習させる画像は、目鼻立ち領域の異なる部分が撮影された複数の画像を含んでいてもよい。このようにすれば、入力画像の目鼻立ち領域全体にわたって精度よく領域分割を行うことができる。
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
以下の実施形態では、まずこの発明に係る輪郭抽出フィルターのベースとなるラプラシアンの特性を述べ、それを拡張したこの発明に係る輪郭抽出フィルターについて述べる。さらに、入力画像から輪郭を抽出するための一般手法とその問題点を述べ、それらの問題点を解決するための、この発明に係る手法を説明する。また、この発明に係る手法の有効性と汎用性を確認するために行ったシミュレーションの手順と結果を説明する。
１．輪郭抽出フィルター−ラプラシアン
この発明において、入力画像から輪郭を抽出するために輪郭抽出フィルターを用いる。この実施形態においては、前述のラプラシアンをベースとしてそれを拡張したものを用いるが、まず、ベースとなるラプラシアンについて簡単に説明する。
一般に、ラプラシアンは、エッジの方向によらず、エッジの強度を検出する微分オペレータであり以下のように定義される。
離散型のラプラシアンの場合、∂2／∂ｘ2を∇x 2，∂2／∂ｙ2を∇y 2と表すとすると、これらをそれぞれピクセル（画素）に作用させた結果は、(1)式より求めることができ、
となる。したがって離散型のラプラシアンを作用させた結果は
となるのでこれを３×３のマトリックスの形で表現すると、
となる。マトリックスの各要素は、一つのピクセルに対応する。この明細書では、(4)式で示されるラプラシアンを以下4近傍ラプラシアンと呼ぶ。ラプラシアンはエッジがぼけているか鋭いかを見るのに有効でありシャープニング(sharpening)オペレータと呼ばれることもある。図１、は(4)式に示す従来の4近傍ラプラシアンを入力画像に適用した結果を示す説明図である。図１(a)は入力画像、図１(b)は出力画像である。
この他にも(4)式を変形したものとして、
と、
がある。(5),(6)式を8近傍ラプラシアンと呼ぶ。図２は、(5),(6)式に示す従来の8近傍ラプラシアンを入力画像に適用した結果を示す説明図である。図２(a)は(5)式、図２(b)は(6)式を適用した出力画像を示す説明図である。入力画像は図１(a)に示すものである。
２．ラプラシアンの拡張
次に、この実施形態で用いる拡張されたラプラシアンについて説明する。
前述の8近傍ラプラシアンによりエッジを抽出すると画像の局所的な範囲を見ることになり、図２が示すように人物や背景の特徴を著しく損なうおそれがある。そこで、近傍の数を増やすために、以下に示す拡張されたラプラシアンを適用することとした。拡張されたラプラシアンの適用は、注目範囲をよりグローバルに見ることによって人物や背景の特徴を損なうことなくエッジを抽出するためである。
拡張されたラプラシアンの一例は、(4)式のラプラシアンを9×9に拡張したものである。拡張されたラプラシアンを示すと、
となる。これは(7)式の３×３を拡張されたピクセル（ピクセルブロックあるいは画素ブロック）と見なせば(4)式と一致することがわかる。ただし、ピクセルブロックのサイズ3×3は塗り絵用線画に好適なピクセルブロックの一つに過ぎず、この発明を限定するものではない。好適なピクセルブロックの大きさは、入力画像のサイズ、読み取り解像度および塗り絵の輪郭の太さに依存する。
ここで(7)式を44近傍ラプラシアンと呼ぶことにする。図３は、この発明に係る拡張されたラプラシアン（(7)式の44近傍ラプラシアン）を入力画像に適用した結果を示す説明図である。入力画像は図１(a)に示すものである。
図１，２および３を比較すると、従来のラプラシアンフィルターよりも(7)式の44近傍ラプラシアンが入力画像に含まれる対象の輪郭、特に人物の目鼻立ちの特徴をうまく抽出できており、塗り絵用線画に適していることがわかる。なお、その他の輪郭抽出フィルターの適用結果を図４に示しているが、その比較については後で述べる。
この実施形態において、与えられた入力画像に適用する近傍ラプラシアンの好適なピクセルブロックサイズは以下の点に考慮して決定される。ピクセルブロックが１×１の場合である３×３のラプラシアンではピクセルブロックが小さすぎるために細かなエッジが出すぎ人物の特徴を損なう。またピクセルブロックが３×３の場合である９×９のラプラシアン以上のフィルターでは細かなエッジが削除されることがあるので好ましくない。すなわち大きすぎるピクセルブロックを用いると、逆に局所的な部分が削除される。これらの事情を考慮して事前の確認を行い、人物の特徴を損なう細かなエッジが出すぎずかつ局所的な部分が削除されないようなピクセルブロックの大きさを決定する。事前確認は目視により画像を評価している。この実施形態で与えられた入力画像に対して好適なピクセルブロックの大きさは、前述の事前確認を行った結果３×３に決定された。
３．輪郭抽出の一般手法とその問題点
次に、入力画像から塗り絵用線画（出力画像）を得る手順について説明する。この発明の一側面は前記手順に特徴を有するが、その特徴を理解し易くするためベースとなる手法をまず説明する。
塗り絵用線画の作成に一般手法はないが、ここでは本願発明に係る手法のベースとなる単純な手法を一般手法と呼ぶ。その手法は以下のとおりである。
１．入力画像をグレースケールに変換する。変換式はu=(R+G+B)/3でuは変換後のピクセル値である。
２．輪郭抽出フィルターを通す。
この一般手法の適用例を図４に示す。図４は、従来のCannyフィルターおよびPrewittのテンプレートマッチングを図１(a)の入力画像に適用した結果を示す説明図である。図４(a)はCannyフィルターの適用例、図４(b)はPrewittのテンプレートマッチングの適用例である。すでに述べたように従来の4近傍ラプラシアン、8近傍ラプラシアンは対象や人物の特徴を失っていて、塗り絵用線画には適さないと判断できるので、この実施形態の輪郭抽出フィルターとして考慮しない。また、図４(a)からCannyフィルターは入力画像に含まれる対象や人物の特徴を失っていて、塗り絵用線画には適さないと判断できるので、この実施形態の輪郭抽出フィルターとして考慮しない。それに比べて、図４(b)のPrewittのテンプレートマッチングの結果は、対象や人物の顔の特徴を構成する細かな輪郭をうまく残している。
Prewittのテンプレートマッチングが対象や人物の細かな輪郭をよく残す理由については次の理由が考えられる。8近傍ラプラシアンはx方向とy方向を用いた上下左右4方向の差分であるが、Prewittは上下左右の4方向に加え、各斜め４方向の計８方向からエッジの検出を行う。そのためにPrewittはより細かな特徴を検出することができる。これが、人物の輪郭抽出に有効に作用しているものと考えられる。
しかし、前述の一般手法は非常に単純な反面、問題が発生する。従来のラプラシアンが対象および人物顔の特徴を失うことはすでに述べたが、ラプラシアン以外の輪郭抽出フィルターを用いた場合にも問題が発生する。その典型例は、光のエッジを検出してしまい出力画像が著しくおかしくなる点である。図５は、図４(b)で良好な結果が得られた従来のPrewittのテンプレートマッチングを用いた一般手法において、入力画像に含まれる光のエッジが強調された好ましくない結果の一例を示す説明図である。図５(a)は入力画像、図５(b)は出力画像である。図５に示すようなおかしな出力画像が生成されてしまうと、それは平均値フィルターやメディアンフィルターでも緩和することができず、二値化し細線化、膨張、収縮の処理を組み合わせても解決しない。このようなおかしな出力画像は、輪郭抽出フィルターに一次微分、テンプレートマッチングを用いた場合に生じる。
一方、輪郭抽出フィルターに44近傍ラプラシアンを用いた場合、このような問題は発生しにくい。図６は、図５(a)の画像を入力画像とし、輪郭抽出フィルターにこの発明に係る44近傍ラプラシアンを用いた一般手法の結果を示す説明図である。図５と比較すると図６の出力画像は目鼻立ちに関して違和感が少なく良好な結果が得られている。これは44近傍ラプラシアンが小さい点に対し、塗りつぶしがないことに起因すると考えられる。この特性を、単純な入力画像を例に挙げて説明しよう。図７は、小さい点を含む入力画像にこの発明に係る44近傍ラプラシアンを適用した結果を示す説明図である。図７(b)は入力画像、図７(a)は44近傍ラプラシアンの適用結果、図７(c)は、Prewittのテンプレートマッチングの適用結果であって、参考例である。図７に示すように、44近傍ラプラシアンの場合は、入力画像に含まれる４つの小さな点はいずれも塗りつぶされることなく輪郭として抽出されている。
以上のように、44近傍ラプラシアンを用いた一般手法は、小さな点の塗りつぶしに対して有利な特性を持つが、この手法には、別の問題が発生する。それは望ましいエッジの欠落である。特に、濃度がほぼ等しく色彩が異なる部分のエッジが欠落してしまう。この特性を、異なる入力画像を例に挙げて説明しよう。図８は、この発明に係る44近傍ラプラシアンを用いた一般手法において、異なる色の境界（エッジ）が欠落してしまう例を示す説明図である。図８(b)は入力画像、図８(a)はPrewittのテンプレートマッチングの適用結果、図８(c)は44近傍ラプラシアンの適用結果である。図８(c)に示すように、44近傍ラプラシアンを適用した場合、右から一つ目の色の境界でエッジの欠落が起こっている。
このように、色のエッジの欠落は、対象の特徴を失うことになりかねないので望ましくない。この点に着目して図６を図５と比較すると、図６は、図５に比べて顔の輪郭を構成する顎や耳のエッジに欠落している部分があることがわかる。従って、単に一般手法に44近傍ラプラシアンを適用するだけでは塗り絵用画像の生成手法として十分とはいえない。
以上の比較結果からわかるように、一次微分やテンプレートマッチングは厳密にエッジを検出するが、ときには人物、特に目鼻立ちの特徴を損なうエッジまでも含む。この問題点に対して44近傍ラプラシアンは良好な結果をもたらすが、その反面エッジの欠落があり、ときとして望ましいエッジを失いかねない。44近傍ラプラシアンを適用しても望ましいエッジを失わないような工夫が必要である。
この問題を解決するため、それぞれのフィルターの特性を生かすことのできる相補的な輪郭の抽出を考えた。即ち、入力画像を複数の領域に分割し、各領域に異なるフィルターを併用することによってより好適な出力画像を得ることを考えた。この実施形態では、44近傍ラプラシアンとPrewittのテンプレートマッチングの併用を検討する。
４．領域分割によるフィルターの併用
前述のように、輪郭抽出に44近傍ラプラシアンを適用するだけでは塗り絵として不十分な点が残るため、フィルターを併用することによりその改善を図る。そのために、まず入力画像に異なるフィルターを適用するための領域分割を行う。そして、分割された各領域に最適なフィルターを用いる。即ち、目鼻立ちを中心とする領域には44近傍ラプラシアンを用いるが、44近傍ラプラシアンでエッジが欠落しやすい領域を抽出し、その領域にPrewittのテンプレートマッチングを適用して補完をする。
そこで、この実施形態においては、顔の目鼻立ちの領域を他の領域と分割することを目標とする。このように入力画像の中からある特徴を持った部分を抽出するため、この実施形態ではSOMの手法を用いる。まず、SOMについて述べる。
４−１．SOM
SOMは自己組織化特徴地図のことでSelf-Organizing Mapsの略称である。詳細は、T.コホネン著、「自己組織化マップ」（シュプリンガー・フェアラーク東京株式会社）を参照されたい。ニューラルネットワークの一種で、SOMに関して出版された科学論文の数は1997年に約1500であったが、上記参考文献が出版された2005年には約4000まで増大し、応用分野は工学、医学、農学、社会科学と非常に幅広い。広範な用途に対応するため、SOMには幾つかのバリエーションがある。領域分割の説明に先立ち、この実施形態に用いる内積型SOMとその適用法について簡単に述べる。
図９は、この実施形態に係るSOMの概念を説明するための説明図である。図９に示すように、SOMは入力層（図９の下部に配置された中塗りのある３つの球Ri，Bi,Gi）と競合層（図９で入力層を除く球の集合Ni。各球を中抜きで示す。）からなる。図９は入力層の数が3の例である。各球はノードを示す。学習アルゴリズムは以下のとおりである。
１． t=1とし（tは現在の学習回数）、競合層のニューロンにはすべて加重結合ベクトルWjが定められていて、これを乱数により初期化する。
２． 任意に選択した入力ベクトルXと、すべての競合層に対し、加重結合ベクトルWjから類似度を計算し勝者ノードcを求める。類似度を計算する式は
である。
３． 勝者ノードcとその近傍Nc(t)の加重結合ベクトルWjを更新する。更新式とNc(t)の式は以下である。
ここでＴは全学習回数、η(t)は学習係数で、η0とN0はそれぞれ初期学習係数と初期近傍係数である。(12)式はｔ回目の学習での近傍の大きさを示している。
４． t≦tならばt=t+1とし上記の２．に戻る。
このような学習をすることにより、クラスタリングを行うことが可能である。
この発明では画像を扱うため、SOMの入力層は各ピクセルの色成分に対応するR,G,Bの３層で、トレーニング画像から任意で選択したピクセルから入力を行う。この実施形態で、競合層は8×8である。
初めに、トレーニング画像により学習を行う。続いて、入力画像を入力し、その領域分割を行う。入力画像を入力する際、加重結合ベクトルの更新は行わない。初めの学習により、更新された加重結合ベクトルを用いてクラスタリングを行うことになるので、トレーニング画像の選定は非常に重要である。汎用性を向上させるには幾つかのパターンを想定したものを混ぜて作成することが必要である。後述するシミュレーションの説明欄で述べるが、当然ながらレーニング画像により結果は著しく異なる。
入力画像の領域分割にSOMを適用しようという着想は、次の根拠に基づいて生まれた。前述のように、目鼻立ちの領域のクラスタとそれ以外の領域のクラスタとをうまく分離することができれば、前者に44近傍ラプラシアンを適用し、後者にPrewittを適用することにより両方の特性を活かしたエッジが抽出可能になると考えられる。そこで、目鼻立ちの領域とそれ以外の領域の画像を、画像の特徴に基づいて分離する手段としてSOMの適用を思いついた。即ち、目鼻立ちの領域の各ピクセルを構成するR,G,Bの値（画素値）をSOMにより学習しておけば、目的に沿った領域の分離が可能になるのではないかと考えた。
ここで、目鼻立ちの領域とそれ以外の領域をうまく分離するためにはSOM用のトレーニング画像を目や鼻、口といった顔の特徴が出やすい箇所に限定して選択する必要がある。しかし、顔の特徴は個人によって特徴が異なるので複数人の顔の特徴をトレーニング画像として選択することが望ましい。これによりSOMを適用した領域分割手法の汎用性を高めることができると考えた。
４−２．この発明に係る塗り絵の生成手法
初めに、この発明に係る塗り絵の生成手法の概略手順を説明する。図１０は、この発明に係る塗り絵の生成手順を示す説明図である。図１０に基づいて前記生成手順の流れを説明する。なお、図１０には、以下の各ステップで生成される生成物の傍に対応するステップの番号を記している。
[Step1] 入力画像（元画像）からトレーニング画像を作成する。この実施形態では、人物の顔の中で特に目鼻立ちに係る領域とその他の領域に分割する。従って、トレーニング画像は目鼻立ちの領域から作成したものにする。
[Step2] トレーニング画像を用いてSOMで学習する。入力は画像であるのでR,G,Bの三層の入力層となる。
[Step3] 入力画像を入力し、学習完了後のSOMを用い、目鼻立ちの領域とその他の領域に分割する。
[Step4] 入力画像をグレースケールに変換する。変換式はu=(R+G+B)/3でuは変換後のピクセル値である。
[Step5] 目鼻立ちの領域に44近傍ラプラシアン、その他の領域にはPrewittのテンプレートマッチングを用いて輪郭を抽出する。目鼻立ちの領域に44近傍ラプラシアンを用いたのは、前章でも述べたとおり塗りつぶしがないからである。目鼻立ちの領域に塗りつぶしがあると、顔の特徴を損なう可能性があるからである。
[Step6] それぞれのフィルターの出力を調整し、画像を整える。これはフィルターを併用したために出力に著しい濃淡差が出ることがあるためである。
この手法の特徴の一つは、前処理としてSOMによる領域分割を行うことによって複数種類のフィルターの併用を可能とする点にある。単独のフィルターでは好適な塗り絵が得られない場合に、それぞれの輪郭抽出フィルターが好ましい結果を与えるような領域に入力画像を分割し、それらを組み合わせて好ましい塗り絵用線画を得ることができる。また、適用するフィルターの種類、分割する領域の数は、画像処理の設計者が用途に応じて適宜決定することができる。さらに、トレーニング画像の選定と全学習回数を適宜決定することにより、多種の入力画像に対応することができる。即ち、高い汎用性を持った画像処理手法が実現できる点に特徴がある。この発明に係る手法の汎用性を確認するため、以下に数種のシミュレーションを行った。
５．シミュレーションと考察
ここでは、この発明に係る手法の有効性、汎用性を確認するために行った４つのシミュレーションの手順を述べ、得られた結果を考察する。第１のシミュレーションは塗り絵を生成する入力画像からトレーニング画像を作成したもの、第２のシミュレーションはトレーニング画像と同一人物の画像であるがトレーニング画像とは違う画像を入力画像としたもの、第３のシミュレーションは、トレーニング画像と違う人物の画像を入力画像としたもの、第４のシミュレーションは、トレーニング画像に入力画像と異なる照明条件の画像をまぜたものである。
シミュレーションに用いた入力画像のサイズは、実寸で84.67ｍｍ×100.06ｍｍ、ピクセル数で260ピクセル×220ピクセルである。出力画像としての輪郭線の太さは、3ピクセル程度を目標とした。また撮影に用いたカメラはOLYMPUS製デジタルカメラ（型名 μ-30 DIGITAL）を用いた。画像処理に用いたコンピュータは、CPUがAMD Athlon(tm)XP 3000+（クロック周波数2.16Hz）、メモリー2.00GBのものを用いた。
各シミュレーションにおいてSOMのパラメータは共通である。また、いずれも全学習回数Ｔは10,000回、初期学習係数η0は200、初期近傍係数N0は3とした。目鼻立ちの領域に適用する輪郭抽出フィルターは、一般手法との比較結果が良好であった44近傍ラプラシアンである。
５−１．入力画像の一部からトレーニング画像を作成した場合
初めにトレーニング画像を塗り絵となる入力画像から作成した場合で、シミュレーションを行った。このシミュレーションにおけるトレーニング画像は、光の影響を考え光の当たった部分と影の部分、鼻、唇、耳、髪の一部を含むものとを組み合わせた画像を用いた。図１１は、このシミュレーションで用いた入力画像とトレーニング画像を示す説明図である。図１１(a)は入力画像、図１１(b)はトレーニング画像である。
SOMの結果、発火回数が多いニューロンはトレーニング画像より、目鼻立ちの領域（髪を含めて）と認識される。目鼻立ちの領域と認識された部分には44近傍ラプラシアンを適用し、その他の領域にはPrewittのパターンマッチングを適用した。
図１２は、このシミュレーションの結果を示す説明図である。図１２(a)はこの発明に係る手法によって得られた結果であり、図１２(b)は44近傍ラプラシアンのみを用いた一般手法による結果であって参考例である。両者を比較すると、この発明に係る手法によって得られた結果は、44近傍ラプラシアンのみを用いた一般手法に比べ、髪や服の部分のエッジが補われより明確に仕上がっている。ただし、頭部の影や襟の部分がわずかに灰色に着色されているところが、今後の改良点としてあげられよう。
５−２．トレーニング画像と同一人物の別画像を入力画像とした場合
さらに、この発明に係る手法の汎用性を検証するため、前述のトレーニング画像と同一人物かつトレーニング画像と別の画像を入力画像としてシミュレーションを行った。入力画像の撮影状況はトレーニング画像と異なる。トレーニング画像は５−１．と同じものである。
図１３は、このシミュレーションの結果を示す説明図である。図１３(b)は入力画像である。図１３(a)はこの発明に係る手法によって得られた結果であり、図１３(c)は44近傍ラプラシアンのみを用いた一般手法による結果であって参考例である。両者を比較すると、この発明に係る手法によって得られた結果は、44近傍ラプラシアンのみを用いた一般手法に比べ、顎と髪、服のエッジが補完されてより明確に仕上がっている。この結果から、この発明に係る手法の汎用性を確認することができた。人物の目鼻立ちの特徴もこの発明に係る手法のほうが良好である。
５−３．トレーニング画像と入力画像が別人物の場合
更なる汎用性検証のため、入力画像を別人物の画像に変えてシミュレーションを行った。トレーニング画像は５−２．のシミュレーションと同じものである。
図１４は、このシミュレーションの結果を示す説明図である。図１４(b)は入力画像である。図１４(a)はこの発明に係る手法によって得られた結果であり、図１４(c)は44近傍ラプラシアンのみを用いた一般手法による結果であって参考例である。この発明に係る手法によって得られた出力画像は非常に芳しくない。検討の結果、照明条件に対して敏感であることが判明した。そこで、次節では違う照明条件の画像をトレーニング画像として織り交ぜて検証した。
５−４．異なる照明条件の画像をトレーニング画像に含めた場合
図１５は、このシミュレーションのトレーニング画像と、シミュレーションの結果を示す説明図である。図１５(a)はトレーニング画像である。図１５(b)はこの発明に係る手法によって得られた結果であり、図１５(c)は44近傍ラプラシアンのみを用いた一般手法による結果であって参考例である。図１５(a)に示すのように、このシミュレーションはトレーニング画像に図１４(b)の画像の一部を含めた。
さらに、図１６は、このシミュレーションの異なる入力画像に対する結果を示す説明図である。図１６(a)はこの発明に係る手法によって得られた結果であり、図１６(b)は44近傍ラプラシアンのみを用いた一般手法による結果であって参考例である。
図１４(a)と図１５(b)を比較するとこのシミュレーションによる出力画像図１５(b)は、図１４(a)の画像からかなり改善されている。以上の結果より、トレーニング画像に幾つかのパターンを織り交ぜることにより、汎用性を向上させることが判明した。また、図１５(b)と図１５(c)、図１６(a)と図１６(b)を比較すると、僅かではあるがエッジの補完も行われ、より明確に仕上がっていることがわかる。
以上の各シミュレーション結果から、この発明に係る手法は、トレーニング画像をうまく選定することによって、汎用性がありかつ一般手法よりも明確な輪郭を持つ塗り絵用線画を作成できることが確認できた。
以上のように、この実施形態では、SOMを使用して入力画像の領域分割を行い、目鼻立ち領域に44近傍ラプラシアン、その他の領域にPrewittのテンプレートマッチングを併用することで、一般手法に比較してより明確な塗り絵用線画を作成できることを示した。そして、この発明に係る手法の有効性をシミュレーションによって確認した。またトレーニング画像の適切な選定により、この手法が高い汎用性を持ち得ることも確認した。
なお、拡張的な変形例として次のものが挙げられる。前述の実施形態では、入力画像を二種類の領域に分割したが、分割する領域の数を増やし、各領域に好適なフィルターを適用することで、さらに明確な塗り絵用線画を作成できると考えられる。
前述の実施形態では、目鼻立ち領域とその他の領域を分割したが、分割する領域の種類はそれに限定されるものではない。
前述の実施形態では、目鼻立ち領域にピクセルブロックの概念を用いて拡張した近傍ラプラシアンを用い、その他の領域にPrewittのテンプレートマッチングを適用したが、適用するフィルターの種類はそれらに限定されるものではない。
また、エッジ以外で灰色に着色された部分を除去してより鮮鋭な画像が得られるように、画像処理に前後処理を加えることも有効と考えられる。
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
従来の4近傍ラプラシアンを入力画像に適用した結果を示す説明図である。 従来の8近傍ラプラシアンを入力画像に適用した結果を示す説明図である。 この発明に係る拡張されたラプラシアンを入力画像に適用した結果を示す説明図である。 従来のCannyフィルターおよびPrewittのテンプレートマッチングを入力画像に適用した結果を示す説明図である。 従来のPrewittのテンプレートマッチングを用いた一般手法において、好ましくない結果の一例を示す説明図である。 この発明に係る44近傍ラプラシアンを用いた一般手法の結果を示す説明図である。 小さい点を含む入力画像にこの発明に係る44近傍ラプラシアンを適用した結果を示す説明図である。 この発明に係る44近傍ラプラシアンを用いた一般手法において、異なる色の境界（エッジ）が欠落してしまう例を示す説明図である。 この実施形態に係るSOMの概念を説明するための説明図である。 この発明に係る塗り絵用線画の生成手順を示す説明図である。 この実施形態の第１のシミュレーションで用いた入力画像とトレーニング画像を示す説明図である。 この実施形態の第１のシミュレーションの結果を示す説明図である。 この実施形態の第２のシミュレーションの結果を示す説明図である。 この実施形態の第３のシミュレーションの結果を示す説明図である。 この実施形態の第４のシミュレーションのトレーニング画像と、シミュレーションの結果を示す説明図である。 この実施形態の第４のシミュレーションの異なる入力画像に対する結果を示す説明図である。
符号の説明
Ri、Bi、Gi：入力層
Ni：競合層

Claims (8)

  1. 複数画素からなる写真画像を入力画像として取得する工程と、
    人物の目鼻立ち部分の画像を学習させた自己組織化特徴地図（Self-Organizing Maps）を用いて各画素を人物の目鼻立ち領域に属する第１画素群と他の領域に属する第２画素群とに分類する工程と、
    分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する工程と、
    入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する工程と、
    少なくとも第１輪郭および第２輪郭からなる画像を塗り絵用線画として出力する工程とを備えることを特徴とする塗り絵用線画の生成方法。
  2. 第１の輪郭抽出手法は、画素値が等しく縦ｍ個×横ｍ個（ｍは３以上の整数）の画素からなる画素ブロックを構成単位とし、縦ｎ個×横ｎ個の画素ブロック（ｎは１以上の整数）からなる画像フィルターであって各画素ブロックの画素値がラプラシアンフィルター状に決定されてなる拡張ラプラシアンフィルターを用いた輪郭抽出手法である請求項１に記載の方法。
  3. 前記拡張ラプラシアンフィルターは、各画素ブロックの画素値が、
    ただし、
    M0は、ｍ×ｍ画素の各画素が画素値ゼロを有する画素ブロック、
    M1は、ｍ×ｍ画素の各画素が画素値１を有する画素ブロック、
    M(-4)は、ｍ×ｍ画素の各画素が画素値−４を有する画素ブロック
    からなる画像フィルターである請求項２に記載の方法。
  4. 第２の輪郭抽出手法は、Prewittテンプレートマッチングを用いた輪郭抽出手法である請求項１〜３のいずれか一つに記載の方法。
  5. 自己組織化特徴地図に学習させる画像は、異なる人物が撮影された複数の画像を含む請求項１〜４のいずれか一つに記載の方法。
  6. 自己組織化特徴地図に学習させる画像は、異なる照明条件下で撮影された複数の画像を含む請求項１〜５のいずれか一つに記載の方法。
  7. 自己組織化特徴地図に学習させる画像は、目鼻立ち領域の異なる部分が撮影された複数の画像を含む請求項１〜６のいずれか一つに記載の方法。
  8. 複数画素からなる写真画像を入力画像として取得する処理と、
    人物の目鼻立ち部分の画像を学習させた自己組織化特徴地図（Self-Organizing Maps）を用いて各画素を人物の目鼻立ち領域に属する第１画素群と他の領域に属する第２画素群とに分類する処理と、
    分類結果に基づき、入力画像の目鼻立ち領域に第１の輪郭抽出手法を適用して第１輪郭を抽出する処理と、
    入力画像の他の領域に第２の輪郭抽出手法を適用して第２輪郭を抽出する処理と、
    少なくとも第１輪郭および第２輪郭からなる画像を塗り絵用線画として出力する処理とをコンピュータに実行させることを特徴とする塗り絵用線画の生成プログラム。
JP2008061380A 2008-03-11 2008-03-11 塗り絵用線画の生成方法および生成プログラム Pending JP2009217606A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008061380A JP2009217606A (ja) 2008-03-11 2008-03-11 塗り絵用線画の生成方法および生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008061380A JP2009217606A (ja) 2008-03-11 2008-03-11 塗り絵用線画の生成方法および生成プログラム

Publications (1)

Publication Number Publication Date
JP2009217606A true JP2009217606A (ja) 2009-09-24

Family

ID=41189376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008061380A Pending JP2009217606A (ja) 2008-03-11 2008-03-11 塗り絵用線画の生成方法および生成プログラム

Country Status (1)

Country Link
JP (1) JP2009217606A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571808B2 (en) 2012-05-15 2017-02-14 Sony Corporation Video format determination device, video format determination method, and video display device
CN109785400A (zh) * 2018-11-20 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像制作方法、装置、电子设备及存储介质
JP2020187727A (ja) * 2019-05-13 2020-11-19 アドビ インコーポレイテッド 線画の生成
KR102602130B1 (ko) 2023-07-11 2023-11-14 남재우 뉴럴 네트워크를 이용하여 사용자 단말에게 채색용도안을 제공하는 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01109480A (ja) * 1987-10-23 1989-04-26 Canon Inc 画像処理装置
JPH06301779A (ja) * 1993-04-16 1994-10-28 Casio Comput Co Ltd 輪郭画像出力装置
JPH0887589A (ja) * 1994-09-19 1996-04-02 Fuji Photo Film Co Ltd パターン学習方法
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
JP2004062482A (ja) * 2002-07-29 2004-02-26 Fuji Xerox Co Ltd データ分類装置
JP2004334303A (ja) * 2003-04-30 2004-11-25 Nintendo Co Ltd 塗り絵画像生成装置、プログラム及び方法
JP2006185017A (ja) * 2004-12-27 2006-07-13 Seiko Epson Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2007272398A (ja) * 2006-03-30 2007-10-18 Akita Prefecture 分類装置、プログラム、及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01109480A (ja) * 1987-10-23 1989-04-26 Canon Inc 画像処理装置
JPH06301779A (ja) * 1993-04-16 1994-10-28 Casio Comput Co Ltd 輪郭画像出力装置
JPH0887589A (ja) * 1994-09-19 1996-04-02 Fuji Photo Film Co Ltd パターン学習方法
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
JP2004062482A (ja) * 2002-07-29 2004-02-26 Fuji Xerox Co Ltd データ分類装置
JP2004334303A (ja) * 2003-04-30 2004-11-25 Nintendo Co Ltd 塗り絵画像生成装置、プログラム及び方法
JP2006185017A (ja) * 2004-12-27 2006-07-13 Seiko Epson Corp 画像処理装置、画像処理プログラム及び画像処理方法
JP2007272398A (ja) * 2006-03-30 2007-10-18 Akita Prefecture 分類装置、プログラム、及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571808B2 (en) 2012-05-15 2017-02-14 Sony Corporation Video format determination device, video format determination method, and video display device
US9967536B2 (en) 2012-05-15 2018-05-08 Saturn Licensing Llc Video format determination device, video format determination method, and video display device
CN109785400A (zh) * 2018-11-20 2019-05-21 广东智媒云图科技股份有限公司 一种剪影图像制作方法、装置、电子设备及存储介质
CN109785400B (zh) * 2018-11-20 2023-08-04 广东智媒云图科技股份有限公司 一种剪影图像制作方法、装置、电子设备及存储介质
JP2020187727A (ja) * 2019-05-13 2020-11-19 アドビ インコーポレイテッド 線画の生成
JP7090113B2 (ja) 2019-05-13 2022-06-23 アドビ インコーポレイテッド 線画の生成
KR102602130B1 (ko) 2023-07-11 2023-11-14 남재우 뉴럴 네트워크를 이용하여 사용자 단말에게 채색용도안을 제공하는 방법 및 장치

Similar Documents

Publication Publication Date Title
Ram Prabhakar et al. Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs
CN111445564B (zh) 人脸纹理图像生成方法、装置、计算机设备和存储介质
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
Coltuc et al. Exact histogram specification
CN111243051B (zh) 基于肖像照片的简笔画生成方法、系统及存储介质
Hervieu et al. Stereoscopic image inpainting: distinct depth maps and images inpainting
CN104463777A (zh) 一种基于人脸的实时景深的方法
JP2009217606A (ja) 塗り絵用線画の生成方法および生成プログラム
JP2014016688A (ja) 顕著性マップを利用した非写実変換プログラム、装置及び方法
CN108537852A (zh) 一种基于图像局部对比度的自适应颜色恒常性方法
CN107491714A (zh) 智能机器人及其目标物体识别方法和装置
CN109410160A (zh) 基于多特征和特征差异驱动的红外偏振图像融合方法
Merianos et al. A hybrid multiple exposure image fusion approach for HDR image synthesis
Rueopas et al. A corner-based saliency model
KR101513931B1 (ko) 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치
Wang et al. Exposure fusion using a relative generative adversarial network
Ulucan et al. BIO-CC: Biologically inspired color constancy.
US20210374916A1 (en) Storage medium storing program, image processing apparatus, and training method of machine learning model
CN112907438B (zh) 肖像生成方法、装置、电子设备及存储介质
Yussof et al. Enhancing moon crescent visibility using contrast-limited adaptive histogram equalization and bilateral filtering techniques
CN115701616A (zh) 生成对抗网络的训练方法、c臂机图像修复方法及装置
JP4803148B2 (ja) 人物顔面画像についての両眼位置検出方法および検出装置
JP5093540B2 (ja) 目の位置の検出方法および検出システム
CN114626993A (zh) 人脸图像修复方法、装置、电子设备及存储介质
Tinio et al. The means to art's end: Styles, creative devices, and the challenge of art

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110301

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120629

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120724