JP2020038639A - スキム−ピクセル畳み込みニューラルネットワークを用いるイメージ自動生成方法およびイメージ自動生成装置 - Google Patents

Abstract

【課題】スキム−ピクセルＣＮＮを用いるイメージ自動生成方法およびイメージ自動生成装置を提供する。【解決手段】イメージ自動生成方法は、ピクセル予測部が、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成するステップＳ２０、信頼度推定部が、対象ピクセルごとにピクセル予測値に対する信頼度を生成するステップＳ３０、対象ピクセルの信頼度が設定値以上であれば、ピクセル生成部が、ピクセル予測値を対象ピクセルのピクセル値に設定するステップＳ４０、および対象ピクセルの信頼度が設定値未満であれば、ピクセル生成部が、ピクセルＣＮＮモデルを用いて対象ピクセルのピクセル推論値を生成し、ピクセル推論値を対象ピクセルのピクセル値に設定するステップＳ５０を含む。【選択図】図９

Description

本出願は、学習されたイメージを用いて新しいイメージを自動で生成できるイメージ自動生成方法およびイメージ自動生成装置に関し、特にピクセル畳み込みニューラルネットワーク（ＣＮＮ；ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）モデルを用いるイメージ自動生成方法およびイメージ自動生成装置に関する。

機械学習は、インターネット情報検索、テキストマイニング、音声認識、ロボット工学、サービス業などのようなほぼ全ての分野で用いられる核心技術である。最近、機械学習の一分野であるディープラーニング技術が様々な分野で脚光を浴びており、特に画像ベースのオブジェクト認識分野では、ディープラーニング技術の一種として畳み込みニューラルネットワーク（ＣＮＮ）を用いる機械学習技法が注目されている。

畳み込みニューラルネットワーク技術は、入力されたイメージを、計算を経て理解し、特徴を抽出して情報を得たり、新しいイメージを生成したりするなど、様々な画像処理乃至コンピュータ・ビジョン分野で活発に研究されており、人の神経系を模写して設計される人工ニューラルネットワーク技術の一種である。

本出願は、学習されたイメージを用いて新しいイメージを自動で生成できる、スキム−ピクセルＣＮＮを用いるイメージ自動生成方法およびイメージ自動生成装置を提供する。

本出願は、イメージ生成に必要な演算量および演算時間を減少させることができる、スキム−ピクセルＣＮＮを用いるイメージ自動生成方法およびイメージ自動生成装置を提供する。

本発明の一実施形態によるスキム−ピクセルＣＮＮを用いるイメージ自動生成方法は、ピクセル予測部が、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成する予測ステップ、信頼度推定部が、前記対象ピクセルごとに前記ピクセル予測値に対する信頼度（ｃｏｎｆｉｄｅｎｃｅ）を生成する信頼度生成ステップ、前記対象ピクセルの信頼度が設定値以上であれば、ピクセル生成部が、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定するスキミングステップ、および前記対象ピクセルの信頼度が前記設定値未満であれば、前記ピクセル生成部が、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定するドロー（ｄｒａｗ）ステップを含む。

本発明の一実施形態によるスキム−ピクセルＣＮＮを用いるイメージ自動生成装置は、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成するピクセル予測部、前記対象ピクセルごとに前記ピクセル予測値に対する信頼度を生成する信頼度推定部、および前記対象ピクセルの信頼度が設定値以上であれば、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定し、前記対象ピクセルの信頼度が前記設定値未満であれば、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定するピクセル生成部を含む。

本発明の他の実施形態によるスキム−ピクセルＣＮＮを用いるイメージ自動生成装置は、プロセッサ、および前記プロセッサに接続されたメモリを含み、前記メモリは、前記プロセッサにより実行されるように構成される一つ以上のモジュールを含み、前記一つ以上のモジュールは、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成し、前記対象ピクセルごとに前記ピクセル予測値に対する信頼度を生成し、前記対象ピクセルの信頼度が設定値以上であれば、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定し、前記対象ピクセルの信頼度が前記設定値未満であれば、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定する、命令を含む。

なお、上記の課題を解決するための手段は、本発明の特徴を全て列挙したものではない。本発明の様々な特徴ならびにそれに応じた長所および効果は、下記の具体的な実施形態を参照してより詳細に理解できるものである。

本発明の実施形態によれば、学習されたイメージを用いて新しいイメージを自動で生成することができ、また、イメージ生成に必要な演算量および演算時間を減少させることができる

本発明の一実施形態によるイメージ生成装置を示す概略図である。 本発明の一実施形態によるイメージ生成装置を示すブロック図である。 本発明の一実施形態によるイメージ生成装置を示すブロック図である。 本発明の一実施形態によるイメージ生成装置によるイメージ生成を示す概略図である。 本発明の一実施形態によるイメージ生成装置によるイメージ生成を示す概略図である。 本発明の一実施形態によるイメージ生成装置によるイメージ生成を示す概略図である。 本発明の一実施形態によるイメージ生成装置を用いて生成されたイメージを示す図である。 本発明の一実施形態によるイメージ生成装置のイメージ生成速度を示すグラフである。 本発明の一実施形態によるイメージ生成方法を示すフローチャートである。

以下では添付図面を参照して本明細書に開示された実施形態について詳しく説明するが、図面番号に関係なく同一または類似した構成要素には同一の参照番号を付し、それに対する重複する説明を省略することにする。以下の説明で用いられる構成要素に対する接尾辞「モジュール」および「部」は、明細書の作成の容易さだけを考慮して付与または混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。すなわち、本発明で用いられる「モジュール」および「部」という用語は、ソフトウェア構成要素、または、ＦＰＧＡもしくはＡＳＩＣのようなハードウェア構成要素を意味し、「モジュール」および「部」はある役割をする。しかしながら、「モジュール」および「部」は、ソフトウェアまたはハードウェアに限定されるものではない。「モジュール」および「部」は、アドレッシング可能な記憶媒体にあるように構成されてもよく、一つ以上のプロセッサを再生させるように構成されてもよい。よって、一例として、「モジュール」および「部」は、ソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素、ならびに、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイおよび変数を含む。構成要素ならびに「モジュール」および「部」の中から提供される機能は、より少ない数の構成要素ならびに「モジュール」および「部」で結合されることもあるし、追加の構成要素ならびに「モジュール」および「部」にさらに分離されることもある。

また、本明細書に開示された実施形態を説明することにおいて、関連の公知技術に関する具体的な説明が本明細書に開示された実施形態の要旨をあいまいにするおそれがあると判断される場合には、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施形態を容易に理解できるようにするためのものに過ぎず、添付された図面によって本明細書に開示された技術的思想が限定されるものではなく、本発明の思想および技術範囲に含まれる全ての変更形態、均等形態、および代替形態を含むものとして理解しなければならない。

図１は、本発明の一実施形態によるイメージ自動生成装置を示す概略図である。

イメージ自動生成装置１００は、ディープラーニングなどの機械学習技法を用いて学習用イメージ（ｔ＿ｉ）を学習することができ、学習した結果に基づいて任意のイメージ（ｇ＿ｉ）を新たに生成することができる。例えば、人物写真をイメージ自動生成装置１００に学習させた後、新しい人物写真を生成することを指示すれば、イメージ自動生成装置１００は、既に学習されたイメージとは異なる新しい人物写真を生成することができる。ここで、同一の種類のイメージに含まれるピクセルの確率分布は、互いに同様に形成されることが可能であり、イメージ自動生成装置１００は、複数の学習用イメージ（ｔ＿ｉ）を学習して、同一の種類のイメージに含まれるピクセルの確率分布を得ることができる。

図１に示すように、イメージ自動生成装置１００は、ｎ個の行とｍ個の列とで配列される複数のピクセルを含むイメージ（ｇ＿ｉ）を生成することができる。このとき、各々の行は、上から下へ順次生成されることが可能であり、各々の行に含まれるピクセルに対して左側から右側に進行しつつピクセル値が設定されることが可能である。ここで、イメージ自動生成装置１００が生成するイメージ（ｇ＿ｉ）は、各々のピクセルに対応するピクセル値を用いてシーケンス（ｓｅｑｕｅｎｃｅ）で表されることが可能であり、例えば、イメージＸは、Ｘ＝｛ｘ_ｉ｜ｉ＝１，・・・，ｎ×ｍ｝で表されることが可能である。

ここで、イメージ自動生成装置１００は、ピクセルＣＮＮモデルを用いてイメージを生成することができる。ピクセルＣＮＮモデルは、以下のような式（１）で表すことができる。

ここで、Ｘ_≦ｉ＝｛ｘ_１，・・・，ｘ_ｉ｝は、生成中のイメージ内に既に生成されている既存ピクセルのピクセル値であり、Ｘ_ｊ：ｉ＝｛ｘ_ｉ＋１，・・・，ｘ_ｊ｝は、生成しようとする対象ピクセルのピクセル値であり、ｐ（Ｘ）は、ｎ×ｍ個のピクセルを含むイメージＸのピクセル値に対する確率関数に該当する。また、ｎ×ｍは、イメージ内に含まれる全てのピクセルの個数であり、ｊ＞ｉ、∀ｊ、ｉ∈［１，ｎ×ｍ］を満たす。

このとき、ピクセルＣＮＮモデルにおいては、ｐ_θ（ｘ_ｌ｜ｘ_１，・・・，ｘ_ｌ−１）が、ｍａｓｋｅｄ ｃｏｎｖｏｌｕｔｉｏｎを用いてフィルタリングする方式で近似化されることが可能である。それにより、ピクセルＣＮＮモデルは、イメージ内の既存ピクセル（Ｘ_≦ｉ）のピクセル値から次のピクセル（Ｘ_ｉ＋１）のピクセル値を推論することができ、推論したピクセル推論値を用いてイメージを生成することができる。

しかしながら、ピクセルＣＮＮモデルを用いる場合、直前ピクセルまでのピクセル値を知らなければ次のピクセルのピクセル値を推論することができない。したがって、生成しようとするイメージに含まれる各々のピクセルに対するピクセル推論値を全て演算しなければならず、各々のピクセル推論値を一つずつ順次演算しなければならない。すなわち、ピクセルＣＮＮモデルを用いて新しいイメージを生成することはできるが、実行しなければならない演算量が多く、イメージ生成に相対的に多くの時間が必要となる。

それを解決するために、本発明の一実施形態によるイメージ自動生成装置１００は、スキム−ピクセルＣＮＮを用いて、イメージ生成時、相対的に重要でないピクセル領域に対しては簡単な予測モデルでピクセル値を設定することができる。すなわち、ピクセルＣＮＮモデルを用いるピクセル推論値の生成を省略（ｓｋｉｍ）することができるため、必要な演算量を減少させることができる。また、相対的に重要度の高い領域ではピクセルＣＮＮモデルを用いてピクセル推論値を直接生成するため、イメージ生成に必要な演算量を減少させて演算速度を向上させつつ、高品質のイメージを生成することができる。

図２は、本発明の一実施形態によるイメージ自動生成装置１００を示すブロック図である。図２を参照すると、本発明の一実施形態によるイメージ自動生成装置１００は、ピクセル予測部１１０、信頼度推定部１２０およびピクセル生成部１３０を含むことができる。

以下では、図２を参照して本発明の一実施形態によるイメージ自動生成装置について説明する。

ピクセル予測部１１０は、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成することができる。ここで、ピクセル予測部１１０は、図４（ａ）に示すように、対象領域Ｐ１を予め設定することができ、対象領域Ｐ１に含まれる対象ピクセルのピクセル予測値を同時に生成することができる。その後、一つの行に対するピクセル値の設定が完了すれば、次の予め設定された個数（例えば、２個）の行を対象領域に設定し、該対象領域内に含まれる各々の対象ピクセルに対するピクセル予測値を生成することができる。

具体的には、ｉ番目のピクセルまでピクセル値が設定された状態でｊ番目の対象ピクセルに対するピクセル予測値を生成する場合（ｊ＞ｉ、∀ｊ、ｉ∈［１，ｎ×ｍ］）、ピクセル予測部１１０は、ｉ番目のピクセルまでのピクセル値と、ｉ＋１番目の対象ピクセルからｊ−１番目の対象ピクセルまでの事前予測値と、をピクセルＣＮＮモデルに適用する方式で、ｊ番目の対象ピクセルに対するピクセル予測値を生成することができる。

既存のピクセルＣＮＮモデルを用いる場合、ｊ番目の対象ピクセルに対するピクセル推論値を演算するためには、ｊ−１番目の対象ピクセルまでのピクセル推論値を全て計算しなければならなかった。これに対し、ピクセル予測部１１０においては、ｉ＋１番目のピクセルからｊ−１番目のピクセルまでの事前予測値を適用するため、ｊ−１番目のピクセルまでのピクセル値を知らない場合にもｊ番目の対象ピクセルに対するピクセル予測値を予め生成することができる。すなわち、ピクセル予測部１１０は、既存ピクセルのピクセル値と事前予測値とをピクセルＣＮＮモデルに並列的に適用することができるため、複数の対象ピクセルに対する各々のピクセル予測値を同時に計算することができる。

ここで、事前予測値は、Ｕ−ｎｅｔニューラルネットワークを用いて抽出されることが可能である。Ｕ−ｎｅｔニューラルネットワークは、オートエンコーダ（ａｕｔｏｅｎｃｏｄｅｒ）構造を有するものであって、１番目のピクセルからｉ番目のピクセルまでのピクセル値を用いて、ｉ＋１番目の対象ピクセルからｊ−１番目の対象ピクセルのピクセル値に対する近似値を提供することができる。このとき、事前予測値は、独立同分布（ＩＩＤ；ｉｎｄｅｐｅｎｄｅｎｔ ａｎｄ ｉｄｅｎｔｉｃａｌｌｙ ｄｉｓｔｒｉｂｕｔｅｄ）の特性を有するものであって、ｊ番目の対象ピクセルに対するピクセル予測値とｊ＋１番目の対象ピクセルに対するピクセル予測値とを同時に演算することができる。すなわち、各々の対象ピクセルに対する事前予測値を予め生成することができるため、ピクセル予測部１１０は、既存ピクセルのピクセル値と事前予測値とをピクセルＣＮＮモデルに並列的に適用することができ、それにより、複数の対象ピクセルに対する各々のピクセル予測値を同時に計算することができる。

具体的には、ピクセル予測部１１０は、式（１）に事前予測値を適用して以下の式（２）で表すことができる。

ここで、ｑ（ｘ）は、事前予測値を適用したイメージＸの近似化された確率関数であり、対象ピクセルに対する各々の事前予測値であるＺ_{ｊ−１：ｉ}＝｛ｚ_ｉ＋１，・・・，ｚ_ｊ−１｝は、Ｚ_{ｊ−１：ｉ}＝ｆ_ｗ（Ｘ_≦ｉ）と定義されることが可能であり、事前予測値は、Ｘ_≦ｉにおいてＩＩＤの特性を有することができる。ここで、ｆ_ｗ（Ｘ_≦ｉ）は、Ｕ−ｎｅｔニューラルネットワークに該当することができ、ｐ_θ（ｘ_ｌ｜Ｘ_≦ｉ，ｚ_ｉ＋１，・・・，ｚ_ｌ−１）は、ピクセルＣＮＮモデルと同様に、ｍａｓｋｅｄ ｃｏｎｖｏｌｕｔｉｏｎを用いてフィルタリングする方式で計算されることが可能である。ここで、ｑ（ｘ）は、ピクセルＣＮＮモデルと共に複数の学習用イメージを学習して生成されることが可能である。

信頼度推定部１２０は、ピクセル予測部１１０により生成されたピクセル予測値に対する信頼度を生成することができる。ピクセル予測部１１０により生成されるピクセル予測値は、ｉ＋１番目の対象ピクセルからｊ−１番目の対象ピクセルまでの事前予測値を自己回帰（ＡＲ；ａｕｔｏ ｒｅｇｒｅｓｓｉｖｅ）方式で演算するため、事前予測値に含まれる誤差は次第に大きくなる。すなわち、ピクセル予測部１１０が予測した値だけでイメージを生成する場合には、誤差により、所望の結果とは異なるイメージを生成するおそれがある。したがって、信頼度推定部１２０は、ピクセル予測部１１０により生成されたピクセル予測値を使用できるかに対する信頼度を計算して定量的な値として提供することができる。

具体的には、信頼度は、以下の式（３）を用いて計算されることが可能である。

ここで、ｆ_ｋは、ｋ番目の対象ピクセルのピクセル予測値ｘ_ｋに対する信頼度であり、ピクセル推論値

は、

を満たし、ｋ＝ｉ＋１，・・・，ｊである。すなわち、信頼度ｆ_ｋは、ピクセル予測値ｘ_ｋが、ピクセルＣＮＮモデルを用いて計算されたピクセル推論値

と同一である確率に対応する。ここで、ピクセル予測値が、ピクセルＣＮＮモデルを用いて計算されたピクセル推論値と同一である確率が高いほど、ピクセル予測値に対する信頼度は高く設定され、この確率が低いほど、ピクセル予測値に対する信頼度は低く設定される。

信頼度推定部１２０は、ピクセルＣＮＮモデルにより生成されたピクセル推論値とピクセル予測部１１０により生成されたピクセル予測値との差を、ディープラーニングなどの機械学習技法で学習することができ、学習されたモデルに従って信頼度を演算することができる。実施形態によっては、ピクセルＣＮＮモデルを用いてサンプルイメージを生成した後、生成したサンプルイメージに含まれる各々のピクセルのピクセル推論値とピクセル予測部１１０が生成したピクセル予測値との差を学習することができる。

さらに、実施形態によっては、信頼度を二項分類（ｂｉｎａｒｙ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）して表示することもできる。すなわち、信頼度が設定値（ａｔｔｅｎｔｉｏｎ ｔｈｒｅｓｈｏｌｄ）以上である場合には、ピクセル予測値を信頼できると判別して信頼度を１に再設定することができ、信頼度が設定値未満である場合には、ピクセル予測値を信頼できないと判別して信頼度を０に再設定することができる。

ピクセル生成部１３０は、対象ピクセルに対するピクセル予測値の信頼度に応じて、対象ピクセルのピクセル値を設定することができる。すなわち、対象ピクセルの信頼度が設定値以上であれば、ピクセル予測値を対象ピクセルのピクセル値に設定し、対象ピクセルの信頼度が設定値未満であれば、ピクセルＣＮＮモデルにより生成されたピクセル推論値を対象ピクセルのピクセル値に設定することができる。

図４に示すように、ピクセル予測部１１０および信頼度推定部１２０は、対象領域Ｐ１が設定されれば、対象領域Ｐ１に対応するピクセル予測値および信頼度を生成することができる。ここで、信頼度は、設定値を基準に、二値化画像で表示されることが可能である。すなわち、信頼度が設定値以上である場合には白色（１）で表示され、信頼度が設定値未満である場合には黒色（０）で表示されることが可能である。

その後、図５（ａ）に示すように、ａ１領域に含まれる対象ピクセルのピクセル値から順次ピクセル値を設定することができる。ここで、図５（ａ）においては、ａ１領域に対応する信頼度が白色で表示されているため、ピクセル予測値を信頼できる場合に該当する。したがって、ａ１領域に対するピクセル値は、ピクセル予測値に応じて設定されることが可能である。

また、ａ１領域の次の領域に該当するａ２領域に含まれる対象ピクセルのピクセル値は、図５（ｂ）に示すように設定されることが可能である。すなわち、ａ２領域に対応する信頼度は黒色で表示されているため、ピクセル予測値を信頼できない場合に該当する。したがって、ａ２領域に対応するピクセル予測値をａ２領域に適用しない。その代わりに、ピクセルＣＮＮモデルを用いてピクセル推論値を演算し、演算されたピクセル推論値をａ２領域のピクセル値に設定することができる。この場合、図６（ａ）に示すように、ａ２領域のピクセル値が設定されることが可能である。

一方、図６（ａ）に示すように、対象ピクセルのピクセル値がピクセル推論値で設定されれば、残りの対象領域Ｐ２に対するピクセル予測値および信頼度を再び演算してアップデートすることができる。すなわち、ピクセル推論値で設定された対象ピクセルのピクセル値を反映してピクセル予測値および信頼度をアップデートすることによって、既存のピクセル予測値に含まれる誤差を除去し、より正確なピクセル予測値および信頼度を生成することができる。

さらに、ピクセル生成部１３０は、イメージ生成のための最初のｋ個のピクセルを予め生成することができる。すなわち、最初のｋ個のピクセルに対してはピクセル予測値などの演算を実行せず、ピクセルＣＮＮモデルだけを用いてピクセル推論値を演算し、それを用いてイメージを生成することができる。場合によっては、最初のｋ個のピクセルにランダムなピクセル値を付与することもできる。例えば、イメージ生成時、最初の３個の列までは、ピクセルＣＮＮモデルを用いるピクセル推論値やランダム値でピクセル値を設定することができる。

ピクセル生成部１３０は、イメージ生成を完了するまで上述した過程を繰り返し実行することができる。

一方、図３に示すように、本発明の一実施形態によるイメージ自動生成装置１００は、プロセッサ１０、メモリ４０などの物理的な構成を含むことができ、メモリ４０内には、プロセッサ１０により実行されるように構成される一つ以上のモジュールが含まれることが可能である。具体的には、一つ以上のモジュールには、ピクセル予測モジュール、信頼度推定モジュールおよびピクセル生成モジュールなどが含まれることが可能である。

プロセッサ１０は、様々なソフトウェアプログラムとメモリ４０に記憶された命令セットとを実行して様々な機能を実行しデータを処理する機能を実行することができる。周辺インターフェース部３０は、イメージ自動生成装置１００の入出力周辺装置をプロセッサ１０、メモリ４０に接続することができ、メモリ制御部２０は、プロセッサ１０やイメージ自動生成装置１００の構成要素がメモリ４０にアクセスする場合に、メモリアクセスを制御する機能を実行することができる。実施形態によっては、プロセッサ１０、メモリ制御部２０および周辺インターフェース部３０が、単一チップに実現されることもあるし、別個のチップに実現されることもある。

メモリ４０は、高速ランダムアクセスメモリ、一つ以上の磁気ディスクストレージ、フラッシュメモリ装置のような不揮発性メモリなどを含むことができる。また、メモリ４０は、プロセッサ１０から離れて位置するストレージや、インターネットなどの通信ネットワークを介してアクセスされるネットワーク接続ストレージなどをさらに含むことができる。

ディスプレイ部５０は、ユーザが、視覚を通じて、生成されたイメージを確認できるように表示する構成である。例えば、ディスプレイ部５０は、液晶ディスプレイ、薄膜トランジスタ液晶ディスプレイ、有機発光ダイオード、フレキシブルディスプレイ、３次元（３Ｄ）ディスプレイ、電気泳動ディスプレイなどを用いて視覚的に表示することができる。しかしながら、本発明の内容はこれに限定されるものではなく、この他にも様々な方式でディスプレイ部を実現することができる。

入力部６０は、ユーザから入力を受けるものであって、キーボード、キーパッド、マウス、タッチペン、タッチパッド、タッチパネル、ジョグホイール、ジョグスイッチなどが入力部６０に該当することができる。

一方、図３に示すように、本発明の一実施形態によるイメージ自動生成装置１００は、メモリ４０に、オペレーティングシステムをはじめとして、アプリケーションプログラムに該当するピクセル予測モジュール、信頼度推定モジュールおよびピクセル生成モジュールなどを含むことができる。ここで、各々のモジュールは、上述した機能を実行するための命令セットであって、メモリ４０に記憶されることが可能である。

したがって、本発明の一実施形態によるイメージ自動生成装置１００は、プロセッサ１０がメモリ４０にアクセスして各々のモジュールに対応する命令を実行することができる。ピクセル予測モジュール、信頼度推定モジュールおよびピクセル生成モジュールは、上述したピクセル予測部、信頼度推定部およびピクセル生成部にそれぞれ対応するため、ここでは詳しい説明を省略する。

図７は、本発明の一実施形態によるスキム−ピクセルＣＮＮを用いて生成されたイメージを示す例示である。図７において、左側列は、ピクセル予測値を適用した領域を示したもの（白色）であり、中央列は、イメージの信頼度を示すものであって、信頼度が高いほど赤色で表示し、信頼度が低いほど青色で表示したものである。最後の右側列は、実際に生成されたイメージに該当する。また、図７（ａ）は、イメージ全体が、ピクセル予測値を用いて生成されたものであり、図７（ｆ）は、イメージ全体が、ピクセルＣＮＮモデルを用いてピクセル推論値で生成されたものであり、図７（ａ）から図７（ｆ）に行くほど、ピクセルＣＮＮモデルを適用するための設定値が高く設定されたものである。図７を参照すると、人物イメージの場合、耳目口鼻などの人物の特徴になる部分に対する信頼度が相対的に低く設定されることを確認することができ、ピクセルＣＮＮモデルだけを用いて生成する場合と比較すると、イメージ品質の差が大きく出ないことを確認することができる。また、図８に示すように、ピクセル予測値を用いる比率が高いほど、イメージ生成速度が速くなることを確認することができる。

図９は、本発明の一実施形態によるイメージ自動生成方法を示すフローチャートである。図９を参照すると、本発明の一実施形態によるイメージ自動生成方法は、初期生成ステップ（Ｓ１０）、予測ステップ（Ｓ２０）、信頼度生成ステップ（Ｓ３０）、スキミングステップ（Ｓ４０）、ドローステップ（Ｓ５０）およびアップデートステップ（Ｓ６０）を含むことができる。

以下では、図９を参照して本発明の一実施形態によるイメージ自動生成方法について説明する。

初期生成ステップ（Ｓ１０）においては、ピクセル生成部が、ピクセルＣＮＮモデルから抽出したピクセル推論値を用いて、生成しようとするイメージに対する最初のｋ個のピクセルを生成することができる。すなわち、最初のｋ個のピクセルに対してはピクセル予測値などの演算を実行せず、ピクセルＣＮＮモデルだけを用いてピクセル推論値を演算し、それを用いてイメージを生成することができる。場合によっては、最初のｋ個のピクセルにランダムなピクセル値を付与することもできる。例えば、イメージ生成時、最初の３個の列までは、ピクセルＣＮＮモデルを用いるピクセル推論値やランダム値でピクセル値を設定することができる。

予測ステップ（Ｓ２０）においては、ピクセル予測部が、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成することができる。ここで、ピクセル予測部は、対象領域を予め設定することができ、対象領域に含まれる対象ピクセルのピクセル予測値を同時に生成することができる。その後、一つの行に対するピクセル値の設定が完了すれば、次の予め設定された個数（例えば、２個）の行を対象領域に設定し、該対象領域内に含まれる各々の対象ピクセルに対するピクセル予測値を生成することができる。

具体的には、ｉ番目のピクセルまでピクセル値が設定された状態でｊ番目の対象ピクセルに対するピクセル予測値を生成する場合（ｊ＞ｉ、∀ｊ、ｉ∈［１，ｎ×ｍ］）、ピクセル予測部は、ｉ番目のピクセルまでのピクセル値と、ｉ＋１番目の対象ピクセルからｊ−１番目の対象ピクセルまでの事前予測値と、をピクセルＣＮＮモデルに適用する方式で、ｊ番目の対象ピクセルに対するピクセル予測値を生成することができる。ここで、事前予測値は、Ｕ−ｎｅｔニューラルネットワークを用いて抽出されることが可能であり、事前予測値は、ＩＩＤの特性を有することができる。すなわち、各々の対象ピクセルに対する事前予測値を予め生成することができるため、ピクセル予測部は、既存ピクセルのピクセル値と事前予測値とをピクセルＣＮＮモデルに並列的に適用することができ、それにより、複数の対象ピクセルに対する各々のピクセル予測値を同時に計算することができる。

信頼度生成ステップ（Ｓ３０）においては、信頼度推定部が、対象ピクセルごとにピクセル予測値に対する信頼度を生成することができる。すなわち、信頼度推定部は、ピクセル予測部により生成されたピクセル予測値を使用できるかに対する信頼度を計算して定量的な値として提供することができる。ここで、信頼度は、対象ピクセルに対するピクセル予測値が対象ピクセルに対するピクセル推論値と一致する確率であり、信頼度推定部は、ピクセル推論値とピクセル予測値との差を、ディープラーニングなどの機械学習技法で学習して信頼度を演算することができる。具体的には、ピクセルＣＮＮモデルを用いてサンプルイメージを生成した後、生成したサンプルイメージに含まれる各々のピクセルのピクセル推論値とピクセル予測部が生成したピクセル予測値とを比較する方式で学習することができる。

スキミングステップ（Ｓ４０）においては、対象ピクセルの信頼度を設定値と比較することができ、信頼度が設定値以上であれば、ピクセル生成部が、ピクセル予測値を対象ピクセルのピクセル値に設定することができる。すなわち、対象領域に含まれる各々の対象ピクセルに対して信頼度を順次判別することができ、信頼度が設定値以上である対象ピクセルに対してはピクセル予測値でピクセル値を設定することができる。この場合、ピクセルＣＮＮモデルを用いてピクセル推論値を計算しないため、速やかにピクセル値を設定することができる。一方、対象ピクセルの信頼度が設定値未満であれば、ドローステップ（Ｓ５０）に進む。

ドローステップ（Ｓ５０）においては、対象ピクセルの信頼度が設定値未満であれば、ピクセル生成部が、ピクセルＣＮＮモデルを用いて対象ピクセルのピクセル推論値を生成し、ピクセル推論値を対象ピクセルのピクセル値に設定することができる。すなわち、対象ピクセルのピクセル予測値に対する信頼度が低いため、ピクセル予測値の代わりにピクセルＣＮＮモデルを用いるピクセル推論値でピクセル値を設定することができる。ここで、ピクセルＣＮＮモデルを用いて対象ピクセルのピクセル推論値を演算する場合には、演算時間が相対的に長くなるが、より正確なイメージを生成することができる。

一方、ピクセル推論値で対象ピクセルのピクセル値を設定した後には、残りの対象領域に対するピクセル予測値および信頼度を再び演算してアップデートするアップデートステップ（Ｓ６０）を実行することができる。すなわち、ピクセル推論値で設定された対象ピクセルのピクセル値を反映してピクセル予測値および信頼度をアップデートすることによって、既存のピクセル予測値に含まれる誤差を除去し、より正確なピクセル予測値および信頼度を生成することができる。

その後、スキミングステップ（Ｓ４０）、ドローステップ（Ｓ５０）およびアップデートステップ（Ｓ６０）を、イメージ生成を完了するまで繰り返して、イメージを生成することができる。

本発明の実施形態によるスキム−ピクセルＣＮＮを用いるイメージ自動生成方法およびイメージ自動生成装置によれば、イメージ生成時、相対的に重要でないピクセル領域に対しては簡単な予測モデルでピクセル値を設定することができる。すなわち、ピクセルＣＮＮモデルを用いるピクセル推論値の生成を省略することができるため、必要な演算量を減少させることができる。また、相対的に重要度の高い領域ではピクセルＣＮＮモデルを用いてピクセル推論値を直接生成するため、イメージ生成に必要な演算量を減少させて演算速度を向上させつつ、高品質のイメージを生成することができる。

しかしながら、本発明の実施形態によるスキム−ピクセルＣＮＮを用いるイメージ自動生成方法およびイメージ自動生成装置が達成できる効果は、上記で言及したものに限定されず、言及していない他の効果は、上記の記載から当業者に明らかに理解できるものである。

前述した本発明の実施形態は、コンピュータ読み取り可能なコードであるプログラムとして実現されることが可能であり、また、プログラムが記憶されたコンピュータ読み取り可能な記憶媒体として実現されることが可能である。コンピュータ読み取り可能な記憶媒体は、コンピュータによって実行可能なプログラムを続けて記憶するものであってもよいし、実行またはダウンロードのために一時的に記憶するものであってもよい。また、媒体は、単一のまたは複数のハードウェアが結合された形態の様々な記憶手段または格納手段であってもよく、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含め、プログラム命令が記憶されるように構成されたものがある。また、他の媒体の例として、アプリケーションを配布するアプリケーションストアやその他の様々なソフトウェアを供給または配布するサイト、サーバなどが管理する記憶媒体または格納媒体も挙げられる。したがって、上記の詳細な説明は、全ての面で限定的に解釈されてはならず、例示的なものとみなされなければならない。本発明の範囲は、添付された請求項の合理的な解釈によって決定されなければならず、本発明の均等な範囲内での全ての変更は、本発明の範囲に含まれる。

本発明は、前述した実施形態および添付された図面によって限定されるものではない。当業者であれば、本発明の技術的思想を逸脱しない範囲内で本発明に係る構成要素を置換、変形および変更できることは明らかである。

１００・・・イメージ自動生成装置
１１０・・・ピクセル予測部
１２０・・・信頼度推定部
１３０・・・ピクセル生成部

Claims (14)

1. イメージ自動生成方法であって、
   ピクセル予測部が、イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成する予測ステップ、
   信頼度推定部が、前記対象ピクセルごとに前記ピクセル予測値に対する信頼度を生成するステップ、
   前記対象ピクセルの信頼度が設定値以上であれば、ピクセル生成部が、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定するステップ、および
   前記対象ピクセルの信頼度が前記設定値未満であれば、前記ピクセル生成部が、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定するステップ
   を含むイメージ自動生成方法。
2. 前記イメージは
   ｎ個の行とｍ個の列とで配列される複数のピクセルを含むように生成され、
   各々の行は、上から下へ順次生成され、前記行に含まれるピクセルのピクセル値は、左側から右側に進行しつつ生成される、請求項１に記載のイメージ自動生成方法。
3. 前記予測ステップは、
   いずれか一つの行に対するピクセル値の設定が完了すれば、次の予め設定された個数の行を含む対象領域に対するピクセル予測値を同時に生成する、請求項１に記載のイメージ自動生成方法。
4. 前記対象ピクセルのピクセル値が前記ピクセル推論値で設定されれば、前記対象ピクセルのピクセル値を反映して、前記対象ピクセルの後の残りの対象領域に対する前記ピクセル予測値および信頼度をアップデートするステップ
   をさらに含む、請求項３に記載のイメージ自動生成方法。
5. 前記予測ステップは、
   ｉ番目のピクセルまでピクセル値が設定された状態でｊ番目の対象ピクセルに対するピクセル予測値を生成する場合（ｊ＞ｉ、∀ｊ、ｉ∈［１，ｎ×ｍ］）、前記ｉ番目のピクセルまでのピクセル値と、ｉ＋１番目の対象ピクセルからｊ−１番目の対象ピクセルまでの事前予測値と、を前記ピクセルＣＮＮモデルに適用して、前記ｊ番目の対象ピクセルに対するピクセル予測値を生成する、請求項２に記載のイメージ自動生成方法。
6. 前記予測ステップは、
   Ｕ−ｎｅｔニューラルネットワークを用いて前記ｉ＋１番目の対象ピクセルから前記ｊ−１番目の対象ピクセルまでの事前予測値を抽出する、請求項５に記載のイメージ自動生成方法。
7. 前記予測ステップは、
   前記既存ピクセルのピクセル値と前記事前予測値とを前記ピクセルＣＮＮモデルに並列的に適用して、複数の対象ピクセルに対するピクセル予測値を同時に計算する、請求項６に記載のイメージ自動生成方法。
8. 前記信頼度推定部は、
   前記ピクセルＣＮＮモデルを用いて生成されたサンプルイメージを用いて、前記サンプルイメージに含まれるピクセルのピクセル推論値と前記ピクセル予測部が生成したピクセル予測値との差を学習して生成する、請求項１に記載のイメージ自動生成方法。
9. 前記信頼度推定部は、
   前記対象ピクセルに対するピクセル予測値が、前記対象ピクセルに対するピクセル推論値と一致する確率を計算して、前記対象ピクセルに対する信頼度として提供する、請求項８に記載のイメージ自動生成方法。
10. 前記ピクセル予測部は、
    前記ピクセルＣＮＮモデルと同一の学習イメージを用いて、同時に学習する、請求項８に記載のイメージ自動生成方法。
11. 前記ピクセル生成部が、前記ピクセルＣＮＮモデルから抽出したピクセル推論値を用いて、前記イメージの最初のｋ個のピクセルを生成するステップ
    をさらに含む、請求項１に記載のイメージ自動生成方法。
12. 請求項１〜１１のいずれか１項に記載のイメージ自動生成方法をコンピュータに実行させるコンピュータプログラム。
13. イメージ自動生成装置であって、
    イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成するピクセル予測部、
    前記対象ピクセルごとに前記ピクセル予測値に対する信頼度を生成する信頼度推定部、および
    前記対象ピクセルの信頼度が設定値以上であれば、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定し、前記対象ピクセルの信頼度が前記設定値未満であれば、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定するピクセル生成部
    を含むイメージ自動生成装置。
14. イメージ自動生成装置であって、
    プロセッサ、および
    前記プロセッサに接続されたメモリ
    を含み、
    前記メモリは、前記プロセッサにより実行されるように構成される一つ以上のモジュールを含み、
    前記一つ以上のモジュールは、
    イメージ内に既に生成されている既存ピクセルのピクセル値を用いて、生成しようとする複数の対象ピクセルのピクセル予測値を同時に生成し、
    前記対象ピクセルごとに前記ピクセル予測値に対する信頼度を生成し、
    前記対象ピクセルの信頼度が設定値以上であれば、前記ピクセル予測値を前記対象ピクセルのピクセル値に設定し、
    前記対象ピクセルの信頼度が前記設定値未満であれば、ピクセルＣＮＮモデルを用いて前記対象ピクセルのピクセル推論値を生成し、前記ピクセル推論値を前記対象ピクセルのピクセル値に設定する、
    命令を含む、イメージ自動生成装置。