JP2019057066A - 線画自動着色プログラム、線画自動着色装置及び線画自動着色方法 - Google Patents

Abstract

【課題】指定した局所スタイルを反映させつつ線画画像に対して自動で着色が可能な線画自動着色プログラムを提供すること。【解決手段】線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付機能と、線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得機能で取得した線画データに対して前記局所スタイル指定受付機能で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理機能とを実現させる。【選択図】図２

Description

本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及び線画自動着色方法に関するものである。

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。また、非特許文献２は、線画の自動着色を機械学習によって実現したものである。

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/） 「初心者がchainerで線画着色してみた。わりとできた。」（http://qiita.com/taizan/items/cf77fd37ec3a0bef5d9d）

ところで、線画画像に対して自動で着色を施したいというニーズがあり、その際、線画画像の特定箇所に対して、色、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの着色に関する局所的なスタイル（以下、局所スタイル）の選択を行った上で着色処理を行いたいというニーズがある。

前記非特許文献１の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。

また、前記非特許文献２の自動着色によれば、線画画像に対して自動で着色することは可能であるが、線画画像の特定箇所に希望の局所スタイルを適用するという機能は備えていない。

本発明は、上記問題点に鑑みなされたものであり、参照画像から局所スタイルを抽出して、抽出した局所スタイルを反映させつつ線画画像に対して自動で好適な着色が可能な線画自動着色プログラム、線画自動着色装置及び線画自動着色方法を提供することを目的とする。

本発明に係る線画自動着色プログラムは、線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付機能と、線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得機能で取得した線画データに対して前記局所スタイル指定受付機能で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理機能とを実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記局所スタイル指定受付機能は、局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得機能と、取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定機能と、前記局所スタイル抽出箇所指定機能で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出機能と、前記局所スタイル抽出機能で抽出した局所スタイルを適用する箇所を前記線画データ取得機能で取得した線画データに対して指定する局所スタイル適用指定機能とを実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記局所スタイル指定受付機能における局所スタイルは、予め抽出処理によって抽出して記憶手段により記憶させた複数の局所スタイルの中から、ユーザによって選択された少なくとも１以上の局所スタイル指定を受付けるようにしたことを特徴とする。

また、本発明に係る線画自動着色プログラムは、局所スタイルについての前記抽出処理は、参照画像の任意の箇所から局所スタイルを抽出することを予め学習した局所スタイル用学習済モデルに基づいて局所スタイルを抽出するようにしたことを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記局所スタイル用学習済モデルは、線画データとその線画データに対する正解の着色状態を表した着色正解画像データとを１組のセットとして、複数セットの線画データ及び着色正解画像データを用意し、局所スタイルを抽出するエンコーダに対して着色正解画像データを参照画像として入力して入力された着色正解画像データの全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、エンコーダで抽出した局所スタイルマップのうち、少なくとも１以上の局所スタイルをピックアップして、ピックアップした局所スタイルを線画データと共にデコーダに入力する手順と、前記デコーダにおいて、ピックアップした局所スタイルを線画データに反映させた着色処理を実行して着色済画像データを得る手順と、デコーダで得られた着色済画像データと着色正解画像データとを用いて、損失関数により、着色正解画像データに対する着色済画像データの損失を演算によって求める手順と、損失関数によって求めた損失が小さくなるように、エンコーダ及びデコーダのパラメータを更新する手順とを複数セットの線画データ及び着色正解画像データについて実行することにより得たエンコーダを局所スタイル用学習済モデルとしたことを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記着色用学習済モデルは、線画データとその線画データに対する正解の着色状態を表した着色正解画像データとを１組のセットとして、複数セットの線画データ及び着色正解画像データを用意し、局所スタイルを抽出するエンコーダに対して着色正解画像データを参照画像として入力して入力された着色正解画像データの全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、エンコーダで抽出した局所スタイルマップのうち、少なくとも１以上の局所スタイルをピックアップして、ピックアップした局所スタイルを線画データと共にデコーダに入力する手順と、前記デコーダにおいて、ピックアップした局所スタイルを線画データに反映させた着色処理を実行して着色済画像データを得る手順と、デコーダで得られた着色済画像データと着色正解画像データとを用いて、損失関数により、着色正解画像データに対する着色済画像データの損失を演算によって求める手順と、損失関数によって求めた損失が小さくなるように、エンコーダ及びデコーダのパラメータを更新する手順とを複数セットの線画データ及び着色正解画像データについて実行することにより得たデコーダを着色用学習済モデルとしたことを特徴とする。

本発明に係る線画自動着色装置は、着色対象の線画データを取得する線画データ取得部と、取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付部と、線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得部で取得した線画データに対して前記局所スタイル指定受付部で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理部とを備えたことを特徴とする。

また、本発明に係る線画自動着色装置は、前記局所スタイル指定受付部は、局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得部と、取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定部と、前記局所スタイル抽出箇所指定部で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出部と、前記局所スタイル抽出部で抽出した局所スタイルを適用する箇所を前記線画データ取得部で取得した線画データに対して指定する局所スタイル適用指定部とを備えたことを特徴とする。

本発明に係る線画自動着色方法は、線画データに対して自動で着色を行うための線画自動着色方法であって、着色対象の線画データを取得する線画データ取得手順と、取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付手順と、線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得手順で取得した線画データに対して前記局所スタイル指定受付手順で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理手順とを含むことを特徴とする。

また、本発明に係る線画自動着色方法は、前記局所スタイル指定受付手順は、局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得手順と、取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定手順と、前記局所スタイル抽出箇所指定手順で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出手順と、前記局所スタイル抽出手順で抽出した局所スタイルを適用する箇所を前記線画データ取得手順で取得した線画データに対して指定する局所スタイル適用指定手順とを含むことを特徴とする。

本発明によれば、着色対象の線画データに対してユーザの希望する局所スタイルを適用する箇所を指定して着色処理を実行可能としたので、色のみならず、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの着色に関する局所的なスタイルを線画データのユーザ所望の箇所に反映させた自動着色処理を実現することができる。局所スタイルは、参照画像を取得して参照画像のうちのユーザの指定箇所から抽出して線画データに反映させるようにしてもよいし、予め局所スタイルを複数抽出してライブラリとして記憶部に記憶させておき、ライブラリの中からユーザが選択して線画データに反映させるようにしてもよい。また、局所スタイルは、同一ピクセルについて同時抽出された複数種類の局所スタイルを一纏まりとして指定することもできるし、同一ピクセルについて同時抽出された複数種類の局所スタイルの中から一部の局所スタイルのみを選択して指定することもできる。これにより、例えば、色については反映させずにテクスチャのみを反映させたいといった局所スタイルの指定が可能となり、ユーザの利便性が向上する。

本発明に係る線画自動着色装置１０の構成を表したブロック図である。 本発明に係る線画自動着色装置１０における局所スタイルを用いた着色処理の概念を表した説明図である。 本発明に係る線画自動着色装置１０に用いる局所スタイル用学習済モデル及び着色用学習済モデルの学習の流れを表したフローチャート図である。 本発明に係る線画自動着色装置１０における着色処理の流れを表したフローチャート図である。 第２の実施の形態に係る線画自動着色装置２０の構成を表したブロック図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る線画自動着色装置の例について説明する。図１は、本発明に係る線画自動着色装置１０の構成を表したブロック図である。なお、線画自動着色装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の線画自動着色装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

図１に示すように、線画自動着色装置１０は、線画データ取得部１１と、参照画像取得部１２と、局所スタイル抽出箇所指定部１３と、局所スタイル抽出部１４と、局所スタイル適用指定部１５と、着色処理部１６と、記憶部１７とを少なくとも備えている。

線画データ取得部１１は、着色対象の線画データを取得する機能を有する。本発明において着色対象とする線画について特に制限はないが、後述する学習モデルの学習過程において、着色正解画像データとセットで用意する線画データの中に、線の太さやタッチの種類などについて着色の対象としたい線画と類似の線画データを含ませておくことが好ましい。

参照画像取得部１２は、着色対象の線画データに対して適用したい局所スタイルを抽出するための参照画像データを取得する機能を有する。ここで、局所スタイルとは、色、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの着色に関する局所的なスタイルのことである。

局所スタイル抽出箇所指定部１３は、参照画像取得部１２で取得した参照画像データのうちユーザが局所スタイルを抽出したい箇所を指定する機能を有する。局所スタイルは、参照画像データの１つのピクセルに対して所定範囲内に存在する周辺ピクセルの情報を利用して生成されるものであり、参照画像データが幅Ｗ×高さＨのピクセル数で構成されている場合、各ピクセルに局所スタイルが生成され、かつ、１つのピクセルに対して色、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの複数種類のスタイルが抽出されるため、スタイルの種類数をＣ個とすると、Ｗ×Ｈ×Ｃ個の数の局所スタイルが１つの参照画像データから生成され得る。

局所スタイル抽出部１４は、参照画像データから実際に局所スタイルを抽出する機能を有する。局所スタイルの抽出処理は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networks）に対して訓練データを用いて予め学習を行った局所スタイル用学習済モデルに基づいて行われる。参照画像データの１つのピクセルに対して周辺のどの範囲まで局所スタイルの抽出に利用するかについては適宜設定可能であり、また、周辺ピクセルをどの範囲まで抽出に利用するかについて複数のパターンで抽出を行う構成であってもよい。この局所スタイル抽出部１４における抽出処理は、局所スタイル抽出箇所指定部１３において指定された箇所についてのみ抽出処理を行う手法であってもよいし、参照画像データの全ピクセルについて局所スタイルの抽出処理を行う手法であってもよい。

局所スタイル適用指定部１５は、着色対象の線画データに対して、局所スタイル抽出箇所指定部１３で指定した箇所から抽出した局所スタイルを適用する箇所を指定する機能を有する。線画データに対する局所スタイルの指定は、一箇所でもよいし複数箇所でもよい。また、局所スタイル抽出箇所指定部１３で指定した１つのピクセルから抽出したＣ種類の局所スタイルを線画データの指定箇所に全て適用する指定であってもよいし、Ｃ種類の局所スタイルのうち特定のものを選択して線画データの指定箇所に適用するものであってもよい。例えば、局所スタイル抽出箇所指定部１３で指定した１つのピクセルから抽出した局所スタイルのうち、色に関する局所スタイルは適用せずに、テクスチャに関する局所スタイルのみを適用したいというように、ユーザの任意の局所スタイルを選択して適用可能とすることができる。

着色処理部１６は、線画データに対して指定された局所スタイルを反映させた着色処理を行う機能を有する。着色処理は、例えば、線画データとその線画データに対する少なくとも１以上の局所スタイルの適用箇所の指定とを入力として、線画データに対して局所スタイルを反映させた着色処理を行うことを予め学習させた着色用学習済モデルに基づいて行われる。着色処理部１６によって着色処理を行うこと着色済画像データが得られる。

記憶部１７は、線画データ取得部１１、参照画像取得部１２、局所スタイル抽出箇所指定部１３、局所スタイル抽出部１４、局所スタイル適用指定部１５、着色処理部１６などを含む線画自動着色装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

図２は、本発明に係る線画自動着色装置１０における局所スタイルを用いた着色処理の概念を表した説明図である。本発明に係る線画自動着色装置１０では、線画データに対して自動で着色する際に、参照画像からユーザの希望する局所スタイルを抽出して線画データに反映させることができる。図２の左側に３つの参照画像Ａ、Ｂ、Ｃを挙げている。このうち、参照画像Ａの背景の空の部分を線画データの背景に利用したいとユーザが希望した場合には、参照画像Ａの背景の一箇所をユーザが指定してその点から局所スタイルを抽出して、その参照画像Ａから抽出した局所スタイルを反映させたい点として、線画データの空の箇所を指定する。また、参照画像Ｂの猫の体毛の表現を線画データの犬の着色に利用したいとユーザが希望した場合には、参照画像Ｂの猫の体毛部分の一箇所をユーザが指定してその点から局所スタイルを抽出して、その参照画像Ｂから抽出した局所スタイルを反映させたい点として、線画データの犬の身体部分を指定する。また、参照画像Ｃの腕時計のベルトの質感を線画データの帽子の着色に利用したいとユーザが希望した場合には、参照画像Ｃの腕時計のベルト部分の一箇所をユーザが指定してその点から局所スタイルを抽出して、その参照画像Ｃから抽出した局所スタイルを反映させたい点として、線画データの帽子部分を指定する。このように、参照画像Ａ、Ｂ、Ｃのそれぞれから局所スタイルを抽出して反映させたい線画データ上の箇所を指定して着色処理を行うことで、図２の右側に表示した線画データに着色を施した着色済画像データが得られる。なお、この図２の右側の着色済画像データには局所スタイルを指定した箇所にのみハッチングが施されているが、図２においては表現していないだけで、実際には局所スタイルを指定していない他の箇所についても自動的に着色処理が施される。

図３は、本発明に係る線画自動着色装置１０に用いる局所スタイル用学習済モデル及び着色用学習済モデルの学習の流れを表したフローチャート図である。学習の方法は一通りである必要はなく様々な学習プロセスが考えられるが、例えば、局所スタイルを抽出するための局所スタイル用学習済モデルと着色処理を行うための着色用学習済モデルとは、同時に学習を進める方法が考えられる。

学習に際しては、線画データとその線画データに対する正解の着色状態を表した着色正解画像データとを１組のセットとして、複数セットの線画データ及び着色正解画像データを用意する。具体的には、着色正解画像データからエッジ抽出等によって線画データのみを抽出することで１組の線画データ及び着色正解画像データを用意するという手法が考えられる。

学習処理を開始するにあたって、先ず、学習を行う畳み込みニューラルネットワークとして、参照画像から局所スタイルを抽出するエンコーダと、線画データに着色処理を施すデコーダの２つを用意する（Ｓ１０１）。

セットで用意した線画データと着色正解画像データのうち、Ｗ×Ｈのピクセル数の着色正解画像データを参照画像としてエンコーダに入力し、エンコーダでは、Ｗ×Ｈ×Ｃ個からなる局所スタイルマップを抽出する（Ｓ１０２）。すなわち、入力された着色正解画像データの全ピクセルのそれぞれに対応した局所スタイルマップを生成する。

エンコーダで抽出したＷ×Ｈ×Ｃ個の局所スタイルのうち、少なくとも１以上の局所スタイルをピックアップ（例えば、ランダムピックアップ）して、ピックアップした局所スタイルを線画データと共にデコーダに入力する（Ｓ１０３）。このとき、線画データに対する局所スタイルの適用箇所の指定については、局所スタイルをピックアップした着色正解画像データ上のピクセル位置と同位置の線画データ上のピクセル位置に適用するように入力を与えるものとする。また、局所スタイルのピックアップの仕方は、１つのピクセルに対応したＣ種類の局所スタイルを全て一纏まりとしてピックアップするパターンと、１つのピクセルに対応したＣ種類の局所スタイルの中から一部のみをピックアップするパターンの両方のパターンについてピックアップが実行されるものとする。ピックアップのルールについては、ランダムピックアップ以外であっても、例えば、予め定めた規則に従ってピックアップする方法など、どのような方法であってもよい。なお、局所スタイルを１つもピックアップしないパターンを含めて学習させてもよい。局所スタイルを１つもピックアップしないパターンでの着色は、従来の線画データへの着色と同じであるが、ユーザの利便性を考えると、局所スタイルを適用する着色と適用しない着色の両方を実行可能であることが好ましい。

デコーダでは、ピックアップした局所スタイルを線画データに反映させた着色処理を実行する（Ｓ１０４）。デコーダで着色処理を実行することにより、着色済画像データを得る。

そして、デコーダで得られた着色済画像データと着色正解画像データとを用いて、損失関数により、着色正解画像データに対する着色済画像データの損失を演算によって求める（Ｓ１０５）。最後に、損失関数によって求めた損失が小さくなるように、エンコーダ及びデコーダのパラメータを更新して（Ｓ１０６）、終了する。

この図３のＳ１０１〜Ｓ１０６のステップは、学習の最小単位としての１サイクルを表したものであり、実際には相当数のサイクルの学習を繰り返し行って、局所スタイルの適切な抽出と適切な着色が施された着色済画像データの取得が可能となった段階で学習を完了する。学習完了時のエンコーダのパラメータ等を局所スタイル用学習済モデルとして取得し、学習完了時のデコーダのパラメータ等を着色用学習済モデルとして取得して、記憶部１７に記憶させる。

図４は、本発明に係る線画自動着色装置１０における着色処理の流れを表したフローチャート図である。本例の線画自動着色装置１０における着色処理は、先ず、線画データを取得することで開始される（ステップＳ２０１）。例えば、着色処理対象の線画データをユーザが選択することで取得が行われる。

次に、局所スタイルを抽出したい参照画像データを取得する（ステップＳ２０２）。取得した参照画像データのうち、局所スタイルを抽出したい箇所を指定する（ステップＳ２０３）。そして、指定した箇所の局所スタイルを抽出する（ステップＳ２０４）。局所スタイルの抽出は、例えば、訓練データを用いて予め学習を行った局所スタイル用学習済モデルに基づいて行われる。抽出した局所スタイルを適用したい線画データ上の位置を指定する（ステップＳ２０５）。以上のＳ２０１〜Ｓ２０５のステップを実行する一例としては、取得した線画データ及び取得した参照画像データを表示画面に設けたそれぞれの表示領域に表示し、表示された参照画像を例えばマウスのポインタで選択することで局所スタイルの抽出箇所を指定し、表示された線画に対して同様にマウスのポインタで局所スタイルの適用箇所を指定するといったグラフィカルユーザインターフェースに基づいて実行されることが考えられる。

Ｓ２０１〜Ｓ２０５のステップを実行後、他にも局所スタイルを抽出して適用するか否かについてユーザの入力を受付けて判定を行う（ステップＳ２０６）。他にも局所スタイルを抽出して適用したい場合（Ｓ２０６−Ｙ）には、もう一度Ｓ２０１〜Ｓ２０５のステップを実行する。それ以上局所スタイルを抽出する必要がない場合（Ｓ２０６−Ｎ）には、次のステップＳ２０７へ移行する。

線画データと局所スタイル及び局所スタイルの適用箇所の指定とを入力として、指定箇所に局所スタイルを反映させつつ線画データ全体に対する着色処理を実行する（ステップＳ２０７）。着色処理は、線画データに対して局所スタイルを反映させた着色処理を行うことを予め学習させた着色用学習済モデルに基づいて行われる。着色処理によって得られた着色済画像データは、例えば、表示画面中の線画データを表示していた表示領域に対して、線画データに置き換えて着色済画像データを表示することでユーザに着色状態を確認させるグラフィカルユーザインターフェースとすることが考えられる。着色済画像データに対して修正の必要があるか否かについてユーザの入力を受付けて判定を行う（ステップＳ２０８）。ユーザが着色済画像データに修正を行いたい場合（Ｓ２０８−Ｙ）には、もう一度Ｓ２０１〜Ｓ２０５のステップを実行する。この際、抽出した局所スタイル及び局所スタイルの適用箇所の指定を保持したまま、再度Ｓ２０１〜Ｓ２０５のステップを実行可能とすることができる。着色済画像データに修正の必要がない場合（Ｓ２０８−Ｎ）には、着色処理を終了する。

以上のように、本例の線画自動着色装置１０によれば、着色対象の線画データに対して、参照画像データからユーザの希望する局所スタイルを抽出して、抽出した局所スタイルを適用する箇所を線画データに対して指定して着色処理を実行可能としたので、色のみならず、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの着色に関する局所的なスタイルを線画データのユーザ所望の箇所に反映させた自動着色処理を実現することができる。また、局所スタイルは、同一ピクセルについて同時抽出された複数種類の局所スタイルを一纏まりとして指定することもできるし、同一ピクセルについて同時抽出された複数種類の局所スタイルの中から一部の局所スタイルのみを選択して指定することもできる。これにより、例えば、色については反映させずにテクスチャのみを反映させたいといった局所スタイルの指定が可能となり、ユーザの利便性が向上する。

［第２の実施の形態］
第１の実施の形態においては、局所スタイルを抽出したい参照画像データをユーザが選択して、参照画像データから局所スタイルを抽出するものとして説明を行ったが、本発明はこれに限定されるものではない。第２の実施の形態では、複数種類の局所スタイルを予め抽出処理によって抽出して記憶手段に記憶させておき、それらの複数の局所スタイルの中からユーザが使用したい局所スタイルを選択して使用する実施例について説明を行う。

図５に示すのは、第２の実施の形態に係る線画自動着色装置２０の構成を表したブロック図である。図５に示すように、線画自動着色装置２０は、線画データ取得部１１と、局所スタイル指定受付部２１と、着色処理部１６と、記憶部２２とを少なくとも備えている。なお、第１の実施形態に係る図１と同一符号を付した構成については、本例においても同様に機能するものであるため、説明を省略する。

局所スタイル指定受付部２１は、取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける機能を有する。本例における局所スタイル指定は、複数種類の局所スタイルを予め抽出して格納した局所スタイルのライブラリの中から希望する局所スタイルをユーザが選択して、選択した局所スタイルを反映させたい線画データ上の位置をユーザが指定する形で行われる。

なお、第１の実施形態において、参照画像取得部１２、局所スタイル抽出箇所指定部１３、局所スタイル抽出部１４、及び、局所スタイル適用指定部１５において行われていた参照画像データから局所スタイルを抽出して線画データに反映させる機能については、本例における局所スタイル指定受付部２１に同様の機能を備えさせるようにしてもよい。すなわち、参照画像データから局所スタイルを抽出して利用してもよいし、局所スタイルのライブラリの中から選択して利用してもよいというように、両方の機能を備えるようにしてもよい。

記憶部２２は、第１の実施形態における記憶部１７が格納していた様々な処理で必要なデータ及び処理の結果として得られたデータを同様に記憶しているとともに、予め抽出された複数種類の局所スタイルによって構成された局所スタイルのライブラリを記憶していることを特徴とする。局所スタイルのライブラリは、ユーザが使用し易いように、テクスチャの種類、作者など、所望の条件に応じて分類、ソートが可能とすることが好ましい。

この第２の実施の形態での線画自動着色装置２０における着色処理の流れは、第１の実施の形態の線画自動着色装置１０の着色処理についての図４におけるステップＳ２０２〜Ｓ２０５における参照画像データから局所スタイルを抽出して適用する処理に替えて、記憶部２２に格納された局所スタイルのライブラリを参照してユーザが希望の局所スタイルを選択して、選択した局所スタイルを反映させたい線画データ上の位置をユーザが指定する処理を実行する以外は、図４における着色処理と同様である。

以上のように、第２の実施の形態に係る線画自動着色装置２０によれば、局所スタイルのライブラリを参照してユーザの希望する局所スタイルを適用する箇所を着色対象の線画データに対して指定して着色処理を実行可能としたので、色のみならず、テクスチャ、グラデーション、画風、パターン、ハイライト、影などの着色に関する局所的なスタイルを線画データのユーザ所望の箇所に反映させた自動着色処理を実現することができる。予め局所スタイルのライブラリを作成しておき、ユーザはこのライブラリから局所スタイルを選択可能としたので、よく使用する局所スタイルについてはその都度参照画像データから抽出しなくとも着色処理に利用できるようになるため、ユーザの利便性が向上する。

第１及び第２の実施の形態においては、線画データに対する局所スタイルの指定が複数ある場合には全ての局所スタイルの指定が終わってから着色処理を実行するものとして説明を行ったが、これに限定されるものではない。例えば、参照画像データからの局所スタイルの適用箇所の指定や、ライブラリからの局所スタイルの適用箇所の指定が線画データに対してなされる度に着色処理を随時実行するようにしてもよい。このようにその都度着色処理を実行するようにし、その都度表示画面の表示領域に着色済画像データを表示するようにすることで、ユーザは局所スタイルの適用箇所の指定する毎に変化する着色済画像の状態を確認しながら次の局所スタイルの適用箇所の指定を実行することが可能となるため、利便性が向上する。

第１及び第２の実施の形態において、局所スタイルを適用した着色処理について説明したが、局所スタイルは、グラデーションや紋様など方向性や規則性を有した局所スタイルも多々存在する。これらの局所スタイルを線画データの指定箇所に適用する際に、局所スタイルの角度を変換したり、色相を変換したり、グラデーションの向きを変更したりなど、変形処理を行う機能を付加するようにしてもよい。これにより、ユーザの利便性がより向上する。

第１及び第２の実施の形態においては、局所スタイルの抽出箇所を指定した後に抽出した局所スタイルを適用する箇所については、操作者であるユーザが表示画面に表示された線画データの中から任意の場所を指定して決定していた。その際に、局所スタイルを抽出した箇所に関連する線画データ上の箇所をユーザに知らせる機能を持たせてもよい。

参照画像データと線画データについてそれぞれ、パターンマッチングや物体検出などの既存の画像認識技術を用いた処理を行うことで、局所スタイルの抽出箇所の画像の特徴が線画データ上の何れの箇所と関連性が高いかを抽出するようにする。例えば、参照画像データ上の人物の「目」の部分をユーザがマウスをクリックするなどして選択した場合に、既存の画像認識技術を用いて線画データ上から当該「目」の特徴に該当する箇所を抽出してユーザが認識できる態様にて提示する。例えば、表示画面に表示された線画データ上の「目」の部分を点滅させたり一時的に色を変えてみたりすることで対応関係を知らせる方法が考えられる。

同様に、先に表示画面に表示された線画データ上の特定の箇所をマウスでクリック等して選択したときに、当該選択箇所に適用すべき局所スタイルの候補箇所を、画像認識技術を用いた処理を行うことで抽出するようにしてもよい。

また、画像認識技術を用いた処理を行って対応箇所を抽出するだけでなく、抽出した候補の中から自動で選択を行って局所スタイルを反映させた着色処理を自動で実行するようにしてもよい。

さらに、漫画の中の複数のコマに同じキャラクターが何度も登場したりする場合や、着色対象の複数の線画データの中に同じキャラクターが登場する場合など、同じ着色処理を施したい対象が複数登場する場合に、これらの対象に抽出した局所スタイルを同時にまとめて適用するようにしてもよい。この場合についても、既存の画像認識技術によって局所スタイルを抽出することを指定した箇所と同じ特徴を有する着色処理対象の候補箇所を抽出して、抽出した複数の候補箇所に対して抽出した局所スタイルを適用するようにする。このような処理を行うことで、アニメーション作成、漫画の着色処理などを効率的に行うことが可能となる。

以上のように、画像認識技術を利用して参照画像データ中の選択箇所の特徴から画像データ中の局所スタイルの適用候補の箇所を抽出したり、画像認識技術を利用して画像データ中の選択箇所の特徴から参照画像データ中の局所スタイルの抽出箇所の候補を抽出したりすることで、ユーザの利便性が向上するという効果がある。

第１及び第２の実施の形態においては、線画データに対して参照画像データから抽出した局所スタイルを適用した着色処理を行う構成について説明を行ったが、これに限定されるものではない。線画データ以外であっても、例えば、白黒の漫画、グレースケール画像、鉛筆スケッチ、影やハーフトーンなどが一部書き込まれた線画、下塗りされた線画など、線画データと同様な性質を持つ画像データについても、着色正解画像データとペアで用意することができてそれに基づいて学習を行うことが可能であれば、本発明の着色処理を適用することが同様に可能である。

線画データの場合には、着色正解画像データに対してエッジ抽出処理を行ってセットとなる線画データを抽出していたが、エッジ抽出処理の代わりに、グレースケール化処理、明度をハーフトーンに変換する処理、色数を落とす処理などの標準的な画像処理技術を用いることで、着色正解画像データのみのデータセットから自動的に着色前後のペアを生成することもできる。

１０ 線画自動着色装置
１１ 線画データ取得部
１２ 参照画像取得部
１３ 局所スタイル抽出箇所指定部
１４ 局所スタイル抽出部
１５ 局所スタイル適用指定部
１６ 着色処理部
１７ 記憶部
２０ 線画自動着色装置
２１ 局所スタイル指定受付部
２２ 記憶部

Claims (10)

1. 線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、
   前記コンピュータに、
   着色対象の線画データを取得する線画データ取得機能と、
   取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付機能と、
   線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得機能で取得した線画データに対して前記局所スタイル指定受付機能で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理機能と
   を実現させる線画自動着色プログラム。
2. 前記局所スタイル指定受付機能は、
   局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得機能と、
   取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定機能と、
   前記局所スタイル抽出箇所指定機能で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出機能と、
   前記局所スタイル抽出機能で抽出した局所スタイルを適用する箇所を前記線画データ取得機能で取得した線画データに対して指定する局所スタイル適用指定機能と
   を実現させる請求項１記載の線画自動着色プログラム。
3. 前記局所スタイル指定受付機能における局所スタイルは、
   予め抽出処理によって抽出して記憶手段により記憶させた複数の局所スタイルの中から、ユーザによって選択された少なくとも１以上の局所スタイル指定を受付けるようにした
   請求項１記載の線画自動着色プログラム。
4. 局所スタイルについての前記抽出処理は、
   参照画像の任意の箇所から局所スタイルを抽出することを予め学習した局所スタイル用学習済モデルに基づいて局所スタイルを抽出するようにした
   請求項２又は３に記載の線画自動着色プログラム。
5. 前記局所スタイル用学習済モデルは、
   線画データとその線画データに対する正解の着色状態を表した着色正解画像データとを１組のセットとして、複数セットの線画データ及び着色正解画像データを用意し、
   局所スタイルを抽出するエンコーダに対して着色正解画像データを参照画像として入力して入力された着色正解画像データの全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、
   エンコーダで抽出した局所スタイルマップのうち、少なくとも１以上の局所スタイルをピックアップして、ピックアップした局所スタイルを線画データと共にデコーダに入力する手順と、
   前記デコーダにおいて、ピックアップした局所スタイルを線画データに反映させた着色処理を実行して着色済画像データを得る手順と、
   デコーダで得られた着色済画像データと着色正解画像データとを用いて、損失関数により、着色正解画像データに対する着色済画像データの損失を演算によって求める手順と、
   損失関数によって求めた損失が小さくなるように、エンコーダ及びデコーダのパラメータを更新する手順と
   を複数セットの線画データ及び着色正解画像データについて実行することにより得たエンコーダを局所スタイル用学習済モデルとした
   請求項４記載の線画自動着色プログラム。
6. 前記着色用学習済モデルは、
   線画データとその線画データに対する正解の着色状態を表した着色正解画像データとを１組のセットとして、複数セットの線画データ及び着色正解画像データを用意し、
   局所スタイルを抽出するエンコーダに対して着色正解画像データを参照画像として入力して入力された着色正解画像データの全ピクセルのそれぞれに対応した局所スタイルマップを生成する手順と、
   エンコーダで抽出した局所スタイルマップのうち、少なくとも１以上の局所スタイルをピックアップして、ピックアップした局所スタイルを線画データと共にデコーダに入力する手順と、
   前記デコーダにおいて、ピックアップした局所スタイルを線画データに反映させた着色処理を実行して着色済画像データを得る手順と、
   デコーダで得られた着色済画像データと着色正解画像データとを用いて、損失関数により、着色正解画像データに対する着色済画像データの損失を演算によって求める手順と、
   損失関数によって求めた損失が小さくなるように、エンコーダ及びデコーダのパラメータを更新する手順と
   を複数セットの線画データ及び着色正解画像データについて実行することにより得たデコーダを着色用学習済モデルとした
   請求項１から請求項５の何れかに記載の線画自動着色プログラム。
7. 着色対象の線画データを取得する線画データ取得部と、
   取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付部と、
   線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得部で取得した線画データに対して前記局所スタイル指定受付部で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理部と
   を備えた線画自動着色装置。
8. 前記局所スタイル指定受付部は、
   局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得部と、
   取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定部と、
   前記局所スタイル抽出箇所指定部で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出部と、
   前記局所スタイル抽出部で抽出した局所スタイルを適用する箇所を前記線画データ取得部で取得した線画データに対して指定する局所スタイル適用指定部と
   を備えた請求項７記載の線画自動着色装置。
9. 線画データに対して自動で着色を行うための線画自動着色方法であって、
   着色対象の線画データを取得する線画データ取得手順と、
   取得した線画データの任意の箇所に対して選択された局所スタイルを適用するための局所スタイル指定を少なくとも１以上受付ける局所スタイル指定受付手順と、
   線画データと局所スタイル指定とを入力として線画データに局所スタイルを反映しつつ着色処理を行うことを予め学習した着色用学習済モデルに基づいて、前記線画データ取得手順で取得した線画データに対して前記局所スタイル指定受付手順で受け付けた局所スタイル指定を反映させた着色処理を行う着色処理手順と
   を含む線画自動着色方法。
10. 前記局所スタイル指定受付手順は、
    局所スタイルを抽出したい少なくとも１以上の参照画像を取得する参照画像取得手順と、
    取得した参照画像のうち局所スタイルを抽出したい箇所についての指定を少なくとも１以上受け付ける局所スタイル抽出箇所指定手順と、
    前記局所スタイル抽出箇所指定手順で指定された少なくとも１以上の指定箇所について参照画像から局所スタイルの抽出処理を行う局所スタイル抽出手順と、
    前記局所スタイル抽出手順で抽出した局所スタイルを適用する箇所を前記線画データ取得手順で取得した線画データに対して指定する局所スタイル適用指定手順と
    を含む請求項９記載の線画自動着色方法。

Images