JP2020514870A - 画像生成方法、画像生成装置、画像生成システム及びプログラム - Google Patents

Abstract

【課題】新規な画像生成技術を提供することである。【解決手段】本開示の一態様は、第１の画像の第１の潜在情報と第２の画像の第２の潜在情報とを取得することと、前記第１の潜在情報と前記第２の潜在情報とを融合し、融合潜在情報を生成することと、前記融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成することと、を有する画像生成方法に関する。【選択図】図１４

Description

本開示は、画像生成方法、画像生成装置、画像生成システム及びプログラムに関する。

インターネットなどのネットワーク上において、様々なツールを提供するサイト又はプラットフォームが提供されている。例えば、提供されたパーツを用いて、ユーザがアバター画像、キャラクタ画像などのデジタル画像を作成し、作成したデジタル画像を編集、公開、交換等するためのツールを提供するプラットフォームがインターネット上に開設されている。

例えば、ＣｒｙｐｔｏＫｉｔｔｉｅｓでは、ユーザは、父母のネコの画像から子供のネコの画像を作成することができ、保有するネコの画像を、仮想通貨を利用して売買することが可能である。

しかしながら、ＣｒｙｐｔｏＫｉｔｔｉｅｓにおいて生成された子供のネコの画像は、父母のネコの各パーツ（例えば、目、耳など）を組み合わせることによって生成され、ユニークな特徴がないうえに、バリエーションが少なかった。

https://www.cryptokitties.co/

本開示の課題は、新規な画像生成技術を提供することである。

上記課題を解決するため、本開示の一態様は、第１の画像の第１の潜在情報と第２の画像の第２の潜在情報とを取得することと、前記第１の潜在情報と前記第２の潜在情報とを融合し、融合潜在情報を生成することと、前記融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成することと、を有する画像生成方法に関する。

本開示の一実施例による画像生成処理を示す概略図である。 本開示の一実施例によるデジタル画像を示す図である。 本開示の一実施例によるデジタル画像を示す図である。 本開示の一実施例によるデジタル画像を示す図である。 本開示の一実施例による画像生成装置を示す概略図である。 本開示の一実施例による画像生成装置の機能構成を示すブロック図である。 本開示の一実施例によるプラットフォーム上の画像情報を示す図である。 本開示の一実施例によるプラットフォーム上の画像情報を示す図である。 本開示の一実施例による潜在情報の融合を示す図である。 本開示の一実施例による融合画像を示す図である。 本開示の一実施例による遺伝的操作による潜在情報の融合を示す図である。 本開示の他の実施例による潜在情報の融合を示す図である。 本開示の他の実施例による潜在情報の融合を示す図である。 本開示の一実施例による画像生成処理を示すフローチャートである。 本開示の一実施例による敵対的生成ネットワークによる学習処理を示すフローチャートである。 本開示の他の実施例による画像生成処理を示す概略図である。 本開示の他の実施例による画像生成処理を示すフローチャートである。 本開示の一実施例による画像生成システムを示す概略図である。 本開示の一実施例による画像生成装置、訓練装置及びユーザ装置のハードウェア構成を示すブロック図である。

以下、図面に基づいて本開示の実施の形態を説明する。以下の実施例では、デジタル画像を生成する画像生成装置及び方法が開示される。
［本開示の概略］
本開示の実施例による画像生成装置は、融合対象の２つの画像の潜在情報（例えば、遺伝子コード、属性など）を所定の操作（例えば、遺伝的操作など）により融合（ｆｕｓｅ）することで融合潜在情報を生成し、生成した融合潜在情報を訓練済み生成モデルに入力することで、２つの画像を融合した融合画像を生成する。

具体的には、図１に示されるようなキャラクタ画像は、コード（例えば、遺伝子コードなど、ノイズと呼んでもよい）と属性（例えば、髪型、髪の色、目の色、肌の色、表情、眼鏡や帽子などの付属物など。全てを使用してもよいし、その一部を使用してもよい。）とを含む潜在情報によって特徴付けされる。例えば、以下の実施例による画像生成装置は、図２及び３に示されるような融合対象の２つのキャラクタ画像の潜在情報を融合し、融合潜在情報を訓練済み生成モデル（例えば、敵対的生成ネットワーク（ＧＡＮｓ）により訓練済みの生成器などの機械学習モデル）に入力し、図４に示されるような融合画像を生成する。

本開示によると、画像生成装置は、２つの潜在情報のコードと属性とを継承させることにより、入力された画像のパーツの単なる組み合わせではなく、バリエーションに富んだユニークな融合画像を生成することができる。また、生成モデルを用いることにより、全体として調和した融合画像を生成することができる。
［画像生成装置］
まず、図５〜１１を参照して、本開示の一実施例による画像生成装置を説明する。図５は、本開示の一実施例による画像生成装置を示す概略図である。

図５に示されるように、画像生成装置１００は、訓練済み生成モデルを有し、融合対象の２つの画像の潜在情報を取得すると、取得した潜在情報を所定の操作に従って融合して融合潜在情報を生成する。そして、画像生成装置１００は、生成した融合潜在情報を生成モデルに入力して融合画像を生成する。

具体的には、画像生成装置１００は、画像生成のためのプラットフォームを実現するためのものであってもよく、例えば、ウェブサイトを介し当該プラットフォームを提供してもよい。例えば、プラットフォームにログインしたユーザが融合対象となる２つの画像を指定すると、画像生成装置１００は、当該ユーザから指定された２つの画像の潜在情報を取得し、取得した潜在情報を所定の操作に従って融合する。例えば、当該操作は、潜在情報に対する交叉、突然変異、選択などの遺伝的操作、四則演算、論理演算などの所定の合成演算などであってもよい。そして、画像生成装置１００は、訓練済み生成モデルを利用して、融合潜在情報から融合画像を生成し、生成した融合画像をプラットフォーム上にてユーザに提供してもよい。

なお、図示された実施例では、訓練済み生成モデルは、画像生成装置１００に備えられているが、本開示はこれに限定されず、例えば、画像生成装置１００に通信接続された外部装置に配置されてもよい。この場合、画像生成装置１００は、融合潜在情報を当該外部装置に送信し、訓練済み生成モデルによって生成された融合画像を外部装置から取得してもよい。

図６は、本開示の一実施例による画像生成装置の機能構成を示すブロック図である。図６に示されるように、画像生成装置１００は、潜在情報取得部１１０、潜在情報融合部１２０及び融合画像生成部１３０を有する。

潜在情報取得部１１０は、融合対象の２つの画像のそれぞれの潜在情報を取得する。例えば、融合対象の画像は、アバター画像、キャラクタ画像などのビットマップ画像であってもよく、当該アバター、キャラクタなどのオブジェクトを特徴付ける潜在情報と関連付けされる。ここで、潜在情報は、観測データ（例えば、画像データ）からモデル等を通じて推論される潜在変数が有する情報であってもよい。

具体的には、潜在情報はコードと属性とを含んでもよい。ここで、コードは、当該オブジェクトの固有の特徴（例えば、体の骨格、顔のパーツの形状など）を表し、属性は、当該オブジェクトの可変的な特徴（例えば、髪型、表情など）を表してもよい。例えば、図７及び８に示されるように、オブジェクトの画像に関連して、バーコードにより表示されるコード、各種属性及びサブ属性（すなわち、画像には発現していないが、当該画像に備わっている属性）が表示されるユーザインタフェースを介して、２つの画像（＃５９６５０６，＃５２９６９０）がユーザによって融合対象の画像として選択されると、潜在情報取得部１１０は、これら２つの画像に関連付けされているコード（図示された具体例では、（Ｘｃ１，Ｘｃ２，・・・，Ｘｃ（ｎ−１），Ｘｃｎ）及び（Ｙｃ１，Ｙｃ２，・・・，Ｙｃ（ｎ−１），Ｙｃｎ）として示される）と、属性（図示された具体例では、（Ｘａ１，Ｘａ２，・・・，Ｘａ（ｍ−１），Ｘａｍ）及び（Ｙａ１，Ｙａ２，・・・，Ｙａ（ｍ−１），Ｙａｍ）として示される）とを取得し、取得したコードと属性とから構成される各画像の潜在情報を潜在情報融合部１２０にわたす。

潜在情報融合部１２０は、２つの画像の潜在情報を融合し、融合潜在情報を生成する。例えば、潜在情報取得部１１０からコード（Ｘｃ１，Ｘｃ２，・・・，Ｘｃ（ｎ−１），Ｘｃｎ）及び（Ｙｃ１，Ｙｃ２，・・・，Ｙｃ（ｎ−１），Ｙｃｎ）と、属性（Ｘａ１，Ｘａ２，・・・，Ｘａ（ｍ−１），Ｘａｍ）及び（Ｙａ１，Ｙａ２，・・・，Ｙａ（ｍ−１），Ｙａｍ）とを取得すると、潜在情報融合部１２０は、図９に示されるように、取得したコード（Ｘｃ１，Ｘｃ２，・・・，Ｘｃ（ｎ−１），Ｘｃｎ）及び（Ｙｃ１，Ｙｃ２，・・・，Ｙｃ（ｎ−１），Ｙｃｎ）と、属性（Ｘａ１，Ｘａ２，・・・，Ｘａ（ｍ−１），Ｘａｍ）及び（Ｙａ１，Ｙａ２，・・・，Ｙａ（ｍ−１），Ｙａｍ）とに対して所定の融合操作を実行し、（Ｚｃ１，Ｚｃ２，・・・，Ｚｃ（ｎ−１），Ｚｃｎ）及び（Ｚａ１，Ｚａ２，・・・，Ｚａ（ｍ−１），Ｚａｍ）から構成される融合潜在情報を生成する。

ここで、当該融合操作は、図示されるようにコード単位及び属性単位に対して実行されてもよいし、あるいは、他の実施例では、潜在情報単位に対して実行されてもよい。そして、潜在情報融合部１２０は、生成した融合潜在情報を融合画像生成部１３０にわたす。また、融合対象の画像は、必ずしも異なる２つの画像である必要はなく、同一の画像又は異なる３つ以上の画像であってもよい。

融合画像生成部１３０は、融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成する。例えば、潜在情報融合部１２０から融合潜在情報（Ｚｃ１，Ｚｃ２，・・・，Ｚｃ（ｎ−１），Ｚｃｎ）及び（Ｚａ１，Ｚａ２，・・・，Ｚａ（ｍ−１），Ｚａｍ）を取得すると、融合画像生成部１３０は、取得した融合潜在情報を訓練済み生成モデルに入力し、図１０に示されるような融合画像を出力として生成する。生成された融合画像は、図示されるように、コード（Ｚｃ１，Ｚｃ２，・・・，Ｚｃ（ｎ−１），Ｚｃｎ）と、属性（Ｚａ１，Ｚａ２，・・・，Ｚａ（ｍ−１），Ｚａｍ）とから構成される潜在情報と関連付けされる。また、融合画像は、親子関係にある２つのオリジンの画像と関連付けして表示されてもよい。更に、融合画像の祖先の画像が家系図形式で表示されてもよい。

一実施例では、訓練済み生成モデルは、敵対的生成ネットワーク（ＧＡＮｓ）に従って訓練された生成器であってもよい。例えば、訓練装置２００は、ニューラルネットワークなどによって実現される生成器及び識別器を敵対的生成ネットワークとして予め訓練し、画像生成装置１００に提供してもよい。

一例となる訓練処理では、訓練画像のデータセットが訓練装置２００に与えられ、訓練装置２００はまず、乱数などのコードを生成器に入力し、出力として画像を取得する。次に、訓練装置２００は、生成器によって生成された画像とデータセットの訓練画像との何れかを識別器に入力し、入力された画像が生成器によって生成された画像と、訓練画像との何れであるかを示す識別結果を出力として取得する。そして、訓練装置２００は、識別器が正しい識別をするように識別器のパラメータを更新する。さらに、訓練装置２００は、識別器が誤った識別をするように生成器のパラメータを更新する。所定数の入力データに対して上述した処理の実行を完了したなどの所定の終了条件を充足すると、訓練装置２００は、最終的に取得された生成器を訓練済み生成モデルとして画像生成装置１００に提供する。

また、他の一例となる訓練処理では、属性を備えた訓練画像のデータセットが訓練装置２００に与えられ、訓練装置２００は、乱数などのコードと属性とを生成器に入力し、出力として画像を取得する。次に、訓練装置２００は、生成器によって生成された画像とデータセットの訓練画像との何れかを識別器に入力し、入力された画像が生成器によって生成された画像と、訓練画像との何れであるか、及び属性は何であるかを示す識別結果を出力として取得する。そして、訓練装置２００は、識別器が正しい識別をするように識別器のパラメータを更新する。さらに、訓練装置２００は、識別器が誤った識別をするように生成器のパラメータを更新する。所定数の入力データに対して上述した処理の実行を完了したなどの所定の終了条件を充足すると、訓練装置２００は、最終的に取得された生成器を訓練済み生成モデルとして画像生成装置１００に提供する。

本開示による訓練済み生成モデルは、上述した敵対的生成ネットワークに従って訓練された生成器又はニューラルネットワークに限定されず、他の何れか適切な訓練手法に従って訓練された何れかのタイプの機械学習モデルであってもよい。

一実施例では、潜在情報融合部１２０は、取得した２つの潜在情報に対して遺伝的操作を実行することによって、融合潜在情報を生成してもよい。例えば、図１１に示されるように、潜在情報融合部１２０は、２つのコードと２つの属性とをそれぞれ交叉（ｃｒｏｓｓｏｖｅｒ）することによって、融合コードと融合属性とを生成してもよい。図示された具体例では、融合対象の潜在情報ＸのコードＸｃは"０．２"，"１．４"，"０．４"，・・・から構成され、属性Ｘａは"金髪"，"眼鏡有"，"笑顔"，・・・から構成され、融合対象の潜在情報ＹのコードＹｃは"−０．２"，"０．９"，"０．８"，・・・から構成され、属性Ｙａは"緑髪"，"眼鏡無"，"赤面"，・・・から構成されている。

このとき、潜在情報融合部１２０は、コードＸｃ及びＹｃの要素を交叉することによって、図示されるように、融合潜在情報ＺのコードＺｃ"−０．２"，"１．４"，"０．４"，・・・を生成してもよい。また、潜在情報融合部１２０は、属性Ｘａ及びＹａの要素を交叉することによって、図示されるように、属性Ｚａ"緑髪"，"眼鏡有"，"笑顔"，・・・を生成してもよい。ここで、上述した交叉は、各要素単位によるものであるが、本実施例による交叉は、これに限定されず、任意数の要素の組み合わせ毎によるものであってもよい。

なお、本実施例による遺伝的操作は、交叉に限定されず、例えば、突然変異（ｍｕｔａｔｉｏｎ）、選択（ｓｅｌｅｃｔｉｏｎ）などの他の遺伝的操作を含んでもよい。例えば、突然変異では、潜在情報融合部１２０は、融合対象の潜在情報Ｘ，Ｙの要素と異なる値を融合潜在情報Ｚの１つ以上の要素に設定してもよい。融合操作に突然変異を導入することによって、生成される融合潜在情報のバリエーションを増加させることができる。

また、他の実施例では、潜在情報融合部１２０は、取得した２つの潜在情報の平均をとることによって、融合潜在情報を生成してもよい。例えば、図１に示されるような"０．２"、"−０．２"などの数値により表される潜在情報の要素については、２つの画像の対応する要素の平均値によって融合潜在情報の対応する要素が決定されてもよい。この場合、例えば、"Ｇｌａｓｓｅｓ"と"Ｎｏ Ｇｌａｓｓｅｓ"などの択一的な値を有する要素（付属物の有無など）については、融合潜在情報の対応する要素は、ランダムに何れかの値に決定されてもよい。

また、更なる他の実施例では、潜在情報融合部１２０は、取得した２つの潜在情報に対して論理演算・四則演算を実行することによって、融合潜在情報を生成してもよい。論理演算としては、例えば、論理和、論理積、排他的論理和、否定演算などであってもよい。四則演算としては、例えば、加算、減算、乗算、除算などであってもよい。例えば、算術平均、調和平均などのような四則演算の組み合わせも含まれる。２つの潜在情報に変換（例えば、指数・対数演算）・変動（例えば、ランダムノイズ）を加えた上に四則演算を実行し、または、２つの潜在情報に四則演算を実行してから変換・変動することなどであってもよい（例えば、幾何平均、指数平均）。

また、更なる他の実施例では、潜在情報融合部１２０は、取得した２つの潜在情報に対して上述した操作の何れか１つ以上の組み合わせを実行することによって、融合潜在情報を生成してもよい。

一実施例では、潜在情報は更に、サブ属性を含んでもよい。上述した属性（メイン属性と呼ぶ）は、融合画像に発現する確率の高い属性である一方、サブ属性は、当該画像には発現しておらず、発現確率は低いものの、融合画像に発現する可能性のある属性である。例えば、サブ属性は、メイン属性と同様の内容（例えば、髪型、表情など）であってもよい。メイン属性とサブ属性との何れか一方が確率的に選択され、融合潜在情報を生成するのに利用されてもよい。図７，８及び１０に示されるように、サブ属性もまたユーザインタフェース上に表示されてもよい。

例えば、図１２（Ａ）に示されるように、２つのオリジンの潜在情報Ｘ，Ｙがそれぞれ、コードＸｃ、メイン属性Ｘａ＿ｍａｉｎ及びサブ属性Ｘａ＿ｓｕｂと、コードＹｃ、メイン属性Ｙａ＿ｍａｉｎ及びサブ属性Ｙａ＿ｓｕｂとから構成されているとする。ここで、メイン属性が選択される確率Ｐｍａｉｎと、サブ属性が選択される確率Ｐｓｕｂとが予め設定され（限定されることなく、図示された具体例では、Ｐｍａｉｎ＝７５％及びＰｓｕｂ＝２５％）、設定された確率に従って、融合潜在情報の生成に利用される属性が決定されてもよい。

例えば、図１２（Ｂ）に示される具体例では、潜在情報Ｘについては、メイン属性Ｘａ＿ｍａｉｎが選択され、潜在情報Ｙについては、サブ属性Ｙａ＿ｓｕｂが選択される。ここで、属性を選択する際の確率値は、属性を構成する要素毎に異なる値に設定してもよい。また、設定された確率値に応じて、属性を構成する要素毎にメイン属性とサブ属性との何れか一方を選択するようにしてもよい。

潜在情報融合部１２０は、選択された潜在情報Ｘ（＝Ｘｃ＋Ｘａ＿ｍａｉｎ）と潜在情報Ｙ（＝Ｙｃ＋Ｙａ＿ｓｕｂ）とに基づいて、図１２（Ｃ）に示されるような融合潜在情報Ｚを生成する。

図示されるように、融合潜在情報Ｚもまた、メイン属性Ｚａ＿ｍａｉｎ及びサブ属性Ｚａ＿ｓｕｂを有してもよい。例えば、融合対象の属性Ｘａ＿ｍａｉｎ，Ｙａ＿ｓｕｂを交叉する際、潜在情報融合部１２０は、交叉によって融合潜在情報Ｚのメイン属性Ｚａ＿ｍａｉｎに選択されなかった要素からサブ属性Ｚａ＿ｓｕｂを構成してもよい。

ここで、融合潜在情報ＺがコードＺｃ、メイン属性Ｚａ＿ｍａｉｎ及びサブ属性Ｚａ＿ｓｕｂを有する場合、生成モデルは、入力されるメイン属性Ｚａ＿ｍａｉｎに対してサブ属性Ｚａ＿ｓｕｂより高い重み付けとなるように予め訓練されてもよい。また、メイン属性とサブ属性とを重み付けで融合し、訓練済み生成モデルに入力してもよい。あるいは、融合画像生成部１３０は、サブ属性Ｚａ＿ｓｕｂを生成モデルに入力することなく、コードＺｃとメイン属性Ｚａ＿ｍａｉｎとに基づき融合画像を生成してもよい。

このようにサブ属性を導入することによって、生成される融合潜在情報のバリエーションを増加させることができ、融合画像のバリエーションを増やすことができる。サブ属性の数は任意に選択してもよい。

同様に、潜在情報は更に、サブコードを含んでもよい。上述したコード（メインコードと呼ぶ）は、融合画像に発現する確率の高いコードである。一方、サブコードは、当該画像には発現しておらず、発現確率は低いものの、融合画像に発現する可能性のあるコードである。サブコードもまた、バーコードなどによってユーザインタフェース上に表示されてもよい。

例えば、図１３（Ａ）に示されるように、２つのオリジンの潜在情報Ｘ，Ｙがそれぞれ、メインコードＸｃ＿ｍａｉｎ、サブコードＸｃ＿ｓｕｂ、メイン属性Ｘａ＿ｍａｉｎ及びサブ属性Ｘａ＿ｓｕｂと、メインコードＹｃ＿ｍａｉｎ、サブコードＹｃ＿ｓｕｂ、メイン属性Ｙａ＿ｍａｉｎ及びサブ属性Ｙａ＿ｓｕｂとから構成されているとする。ここで、メインコードが選択される確率Ｐｍａｉｎと、サブコードが選択される確率Ｐｓｕｂとが予め設定され（限定されることなく、図示された具体例では、Ｐｍａｉｎ＝７５％及びＰｓｕｂ＝２５％）、設定された確率に従って、融合潜在情報の生成に利用されるコードが決定されてもよい。

例えば、図１３（Ｂ）に示される具体例では、潜在情報Ｘについては、サブコードＸｃ＿ｓｕｂが選択され、潜在情報Ｙについては、メインコードＹｃ＿ｍａｉｎが選択される。ここで、コードを選択する際の確率値は、コードを構成する要素毎に異なる値に設定してもよい。また、設定された確率値に応じて、コードを構成する要素毎にメインコードとサブコードとの何れか一方を選択するようにしてもよい。

潜在情報融合部１２０は、選択された潜在情報Ｘ（＝Ｘｃ＿ｓｕｂ＋Ｘａ＿ｍａｉｎ）と潜在情報Ｙ（＝Ｙｃ＿ｍａｉｎ＋Ｙａ＿ｓｕｂ）とに基づいて、図１３（Ｃ）に示されるような融合潜在情報Ｚを生成する。

図示されるように、融合潜在情報Ｚもまた、メインコードＺｃ＿ｍａｉｎ及びサブコードＺｃ＿ｓｕｂを有してもよい。例えば、融合対象のコードＸｃ＿ｓｕｂ，Ｙｃ＿ｍａｉｎを交叉する際、潜在情報融合部１２０は、交叉によって融合潜在情報ＺのメインコードＺｃ＿ｍａｉｎに選択されなかった要素からサブコードＺｃ＿ｓｕｂを構成してもよい。

メイン属性Ｚａ＿ｍａｉｎ及びサブ属性Ｚａ＿ｓｕｂと同様に、生成モデルは、入力されるメインコードＺｃ＿ｍａｉｎに対してサブコードＺｃ＿ｓｕｂより高い重み付けとなるように予め訓練されてもよい。また、メインコードとサブコードとを重みづけで融合し、訓練済み生成モデルに入力してもよい。あるいは、融合画像生成部１３０は、サブコードＺｃ＿ｓｕｂを生成モデルに入力することなく、メインコードＺｃとメイン属性Ｚａ＿ｍａｉｎとに基づき融合画像を生成してもよい。

このようにサブコードを導入することによって、生成される融合潜在情報のバリエーションを増加させることができ、融合画像のバリエーションを増やすことができる。
［画像生成処理及び学習処理］
次に、図１４及び１５を参照して、本開示の一実施例による画像生成処理及び学習処理を説明する。図１４は、本開示の一実施例による画像生成処理を示すフローチャートである。当該画像生成処理は、画像生成装置１００、特に画像生成装置１００のプロセッサによって実行可能である。

図１４に示されるように、ステップＳ１０１において、潜在情報取得部１１０は、融合対象となる２つのオリジンの潜在情報を取得する。典型的には、これらオリジンの潜在情報は、プラットフォーム上でユーザによって保有され、ユーザが融合対象のオリジンの画像を指定すると、潜在情報取得部１１０は、指定されたオリジンの潜在情報をプラットフォームから取得し、潜在情報融合部１２０にわたす。

ステップＳ１０２において、潜在情報融合部１２０は、取得した潜在情報を融合する。具体的には、潜在情報融合部１２０は、取得した潜在情報に対して交叉などの遺伝的操作を実行することによって、融合潜在情報を生成してもよい。

ステップＳ１０３において、融合画像生成部１３０は、取得した融合潜在情報を訓練済み生成モデルに入力する。当該生成モデルは、訓練装置２００によって予め訓練されたものであり、例えば、敵対的生成ネットワークにおける生成器であってもよい。訓練済み生成モデルは、入力される潜在情報から画像を生成するよう訓練されたものである。

ステップＳ１０４において、融合画像生成部１３０は、訓練済み生成モデルから融合画像を生成する。生成された融合画像は、当該融合画像に関連する潜在情報、すなわち、訓練済み生成モデルに入力された融合潜在情報と共に、プラットフォーム上のユーザのフォルダなどに格納される。

図１５は、本開示の一実施例による敵対的生成ネットワークによる学習処理を示すフローチャートである。当該学習処理は、敵対的生成ネットワークによる生成器及び識別器に対して、訓練装置２００、特に訓練装置２００のプロセッサによって実行される。当該学習処理では、訓練画像のデータセットが、訓練装置２００に提供される。

図１５に示されるように、ステップＳ２０１において、訓練装置２００は、乱数などのコード（ノイズ）とランダムな属性とで構成される潜在情報を生成器に入力し、出力として画像を取得する。

ステップＳ２０２において、訓練装置２００は、取得した画像又はデータセットの訓練画像を識別器に入力し、入力された画像が生成器によって生成された画像と訓練画像との何れであるかを示す識別結果を出力として取得する。ここで、属性を識別器に入力してもよいし、識別結果として属性を出力させてもよい。

ステップＳ２０３において、訓練装置２００は、敵対的生成ネットワークによるパラメータ更新手順に従って、識別結果に基づき生成器及び識別器のパラメータを調整する。具体的には、訓練装置２００は、正しい識別結果を出力するように識別器のパラメータを更新し、識別器が誤った識別をするように生成器のパラメータを更新する。

ステップＳ２０４において、訓練装置２００は、終了条件を充足したか判断し、終了条件を充足している場合（Ｓ２０４：ＹＥＳ）、当該学習処理を終了し、終了条件を充足していない場合（Ｓ２０４：ＮＯ）、ステップＳ２０１に戻り、次の訓練データに対して上述したステップＳ２０１〜Ｓ２０４を繰り返す。例えば、終了条件としては、所定数の入力データに対して当該学習処理が実行されたことなどであってもよい。

訓練装置２００は、当該学習処理の実行後に取得された生成器を訓練済み生成モデルとして画像生成装置１００に提供する。
［ブロックチェーン準拠コード］
次に、図１６及び１７を参照して、本開示の他の実施例による画像生成処理を説明する。図１６は、本開示の他の実施例による画像生成処理を示す概略図である。本実施例では、潜在情報がブロックチェーンに準拠したコードにより提供され、これにより、潜在情報が、ブロックチェーンベースの流通ネットワークを介しユーザ間でやりとり可能になる。

図１６に示されるように、潜在情報は、イーサリアムなどのブロックチェーンベースの流通ネットワークの何れかの規格に準拠したブロックチェーン準拠コードにより表されてもよい。

例えば、イーサリアムでは、潜在情報は３２０ビットで記述され、具体的には、コードは２５６ビットで記述され、属性は６４ビットで記述される。すなわち、ブロックチェーン準拠コードで表されていない潜在情報の典型的なデータ量（例えば、０．６５ＫＢ）と比較して、ブロックチェーン準拠コードはより少ないデータ量によって潜在情報を表している。

ブロックチェーン準拠コードで表された潜在情報とブロックチェーン準拠コードで表されていない潜在情報の要素との間には対応関係が規定され、双方の関係が一意的に決定できるようにしてもよい。画像生成装置１００は、例えば、他のユーザから購入したブロックチェーン準拠コードによる潜在情報と、自らが所有する潜在情報とを利用して、これら２つの潜在情報から融合画像を生成してもよい。

なお、ブロックチェーン準拠コードは、上述したイーサリアムの準拠コードに限定されず、他の何れか適切なブロックチェーン技術に基づく規格に準拠したコードであってもよい。本明細書を通じて、潜在情報という用語は、ブロックチェーン準拠コードで表されていない潜在情報だけでなく、本実施例におけるブロックチェーン準拠コードで表される潜在情報もまた含む。

図１７は、本開示の他の実施例による画像生成処理を示すフローチャートである。当該画像生成処理は、画像生成装置１００、特に画像生成装置１００のプロセッサによって実行可能である。

図１７に示されるように、ステップＳ３０１において、潜在情報取得部１１０は、融合対象となる２つのオリジンの潜在情報を示すブロックチェーン準拠コードを取得する。例えば、ブロックチェーン準拠コードは、ブロックチェーンベースのプラットフォームを介し他のユーザから取得されてもよい。ここで、ブロックチェーン準拠コードで表されていない潜在情報をブロックチェーン準拠コードの潜在情報に変換する処理を実行してもよい。

ステップＳ３０２において、潜在情報融合部１２０は、取得したブロックチェーン準拠コードを融合する。例えば、潜在情報融合部１２０は、取得したブロックチェーン準拠コードに対して交叉などの遺伝的操作を実行することによって、融合ブロックチェーン準拠コードを生成してもよい。ここで、図５〜１４を参照してブロックチェーン準拠コードを用いない場合に説明した融合処理（サブ・メインの選択等を含む）を、ブロックチェーン準拠コードに対する融合処理に適用してもよい。ブロックチェーン準拠コードで表された潜在情報が、少なくとも、サブ属性及びサブコードの何れか一つを含んでもよい。

ステップＳ３０３において、潜在情報融合部１２０は、取得した融合ブロックチェーン準拠コードを融合潜在情報に変換する。当該変換は、例えば、ブロックチェーン準拠コードとブロックチェーン準拠コードにより表されていない潜在情報の要素との間の対応関係を示す対応情報に従って実行されてもよい。

ステップＳ３０４において、融合画像生成部１３０は、取得した融合潜在情報を訓練済み生成モデルに入力する。当該生成モデルは、訓練装置２００によって予め訓練されたものであり、例えば、敵対的生成ネットワークにおける生成器であってもよい。訓練済み生成モデルは、入力される潜在情報から画像を生成するよう訓練されたものである。

ステップＳ３０５において、融合画像生成部１３０は、訓練済み生成モデルから融合画像を生成する。生成された融合画像は、融合潜在情報と共にプラットフォーム上のユーザのフォルダなどに格納されてもよい。

なお、本実施例では、融合処理は、ブロックチェーン準拠コードにより表された潜在情報に対して実行されたが、本開示は、これに限定されず、融合対象のブロックチェーン準拠コードをブロックチェーン準拠コードではない潜在情報に変換し、変換された潜在情報に対して融合処理を実行するようにしてもよい。

このようにして、各ユーザは、相対的にデータ量の大きなブロックチェーン準拠コードにより表されていない潜在情報ではなく、よりデータ量の少ないブロックチェーン準拠コードにより表された潜在情報を保有することができる。また、ブロックチェーンとスマートコントラクトにより、デジタル資産の価値と所有権を保証できるという効果を奏する。生成モデルの特性を利用することで、スマートコントラクトによる２つの画像の融合が可能になり、融合の結果は追跡可能かつ予測不能であるため、ユーザにとってゲームがより面白いものになると考えられる。

次に、図１８を参照して、本開示の一実施例による画像生成システムを説明する。本実施例では、画像生成装置１００の一部又は全ての機能が、画像生成システム１０においてクラウドサービスとして提供され、ユーザがパーソナルコンピュータなどのユーザ装置３００を経由して、融合画像の生成及び生成した融合画像の取得を実行してもよい。例えば、画像生成装置１００は、ユーザ装置３００と異なる場所に設置されていてもよい。

図１８に示されるように、画像生成システム１０は、画像生成装置１００及び画像生成装置１００に通信接続されたユーザ装置３００を有する。

ユーザ装置３００が融合対象の画像をネットワークを介し画像生成装置１００に指示すると、画像生成装置１００は、受信した指示に基づいて、融合対象の画像の潜在情報を融合して融合潜在情報を生成する。そして、画像生成装置１００は、生成した融合潜在情報を訓練済み生成モデルに入力して融合画像を生成し、生成した融合画像をユーザ装置３００に送信する。ユーザ装置３００は、画像生成装置１００で生成された融合画像をネットワークを介し取得する。なお、ユーザによって指示された融合対象の潜在情報は、ブロックチェーン準拠コードにより表された潜在情報であってもよいし、ブロックチェーン準拠コードにより表されていない潜在情報であってもよい。

また、図１８では、融合対象の潜在情報がユーザ装置３００から画像生成装置１００に送信されているが、ユーザに指示された２つのオリジン画像に関する情報がユーザ装置３００から画像生成装置１００に送信されるようにしてもよい。この場合、画像生成装置１００が、ユーザからの指示に基づいて、融合対象となる潜在情報を取得してもよい。

上述した実施例は画像生成に着目したが、本開示は、これに限定されず、動画、音声など、潜在情報から生成できる何れかのタイプの情報の生成に適用されてもよい。また、上述した画像生成技術は、キャラクタ等を新たに生成するゲームに利用されてもよい。
［画像生成装置、訓練装置及びユーザ装置のハードウェア構成］
実施形態における画像生成装置１００、訓練装置２００及びユーザ装置３００において、各機能は、アナログ回路、デジタル回路又はアナログ・デジタル混合回路で構成された回路であってもよい。また、各機能の制御を行う制御回路を備えていてもよい。各回路の実装は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等によるものであってもよい。

上記の全ての記載において、画像生成装置１００、訓練装置２００及びユーザ装置３００の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりＣＰＵ（Central Processing Unit）等が実施をしてもよい。ソフトウェアで構成される場合には、画像生成装置１００、訓練装置２００、ユーザ装置３００及びその少なくとも一部の機能を実現するプログラムを記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスク（例えばフレキシブルディスク）や光ディスク（例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ）等の着脱可能なものに限定されず、ハードディスク装置やメモリを利用するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、ＦＰＧＡ等の回路に実装され、ハードウェアが実行するものであってもよい。ジョブの実行は、例えば、ＧＰＵ（Graphics Processing Unit）等のアクセラレータを使用して行ってもよい。

例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。

図１９は、本開示の一実施形態におけるハードウェア構成の一例を示すブロック図である。画像生成装置１００、訓練装置２００及びユーザ装置３００は、プロセッサ１０１と、主記憶装置１０２と、補助記憶装置１０３と、ネットワークインタフェース１０４と、デバイスインタフェース１０５と、を備え、これらがバス１０６を介して接続されたコンピュータ装置として実現できる。

なお、図１４の画像生成装置１００、訓練装置２００及びユーザ装置３００は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、１台の画像生成装置１００、訓練装置２００及びユーザ装置３００が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数の画像生成装置１００、訓練装置２００及びユーザ装置３００それぞれがソフトウェアの異なる一部の処理を実行してもよい。この場合、複数の画像生成装置１００、訓練装置２００及びユーザ装置３００それぞれがネットワークインタフェース１０４等を介して、通信してもよい。

プロセッサ１０１は、画像生成装置１００、訓練装置２００及びユーザ装置３００の制御部および演算装置を含む電子回路（処理回路、Processing circuit、Processing circuitry）である。プロセッサ１０１は、画像生成装置１００、訓練装置２００及びユーザ装置３００の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ１０１は、画像生成装置１００、訓練装置２００及びユーザ装置３００のＯＳ（Operating System）や、アプリケーションなどを実行することにより、画像生成装置１００、訓練装置２００及びユーザ装置３００を構成する各構成要素を制御する。プロセッサ１０１は、上記の処理を行うことができれば特に限られるものではない。画像生成装置１００、訓練装置２００、ユーザ装置３００及びそれらの各構成要素は、プロセッサ１０１により実現される。ここで、処理回路とは、１チップ上に配置された１又は複数の電気回路を指してもよいし、２つ以上のチップあるいはデバイス上に配置された１又は複数の電気回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

主記憶装置１０２は、プロセッサ１０１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置１０２に記憶された情報がプロセッサ１０１により直接読み出される。補助記憶装置１０３は、主記憶装置１０２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。画像生成装置１００、訓練装置２００及びユーザ装置３００内において各種データを保存するためのメモリ、例えば、メモリは、主記憶装置１０２又は補助記憶装置１０３により実現されてもよい。例えば、メモリの少なくとも一部は、この主記憶装置１０２又は補助記憶装置１０３に実装されていてもよい。別の例として、アクセラレータが備えられている場合には、前述したメモリの少なくとも一部は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。

ネットワークインタフェース１０４は、無線又は有線により、通信ネットワーク１０８に接続するためのインタフェースである。ネットワークインタフェース１０４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース１０４により、通信ネットワーク１０８を介して通信接続された外部装置１０９Ａと情報のやり取りが行われてもよい。

外部装置１０９Ａは、例えば、カメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置１０９Ａは、画像生成装置１００、訓練装置２００及びユーザ装置３００の構成要素の一部の機能を有する装置でもよい。そして、画像生成装置１００、訓練装置２００及びユーザ装置３００は、画像生成装置１００、訓練装置２００及びユーザ装置３００の処理結果の一部を、クラウドサービスのように通信ネットワーク１０８を介して受け取ってもよい。

デバイスインタフェース１０５は、外部装置１０９Ｂと直接接続するＵＳＢ（Universal Serial Bus）などのインタフェースである。外部装置１０９Ｂは、外部記憶媒体でもよいし、ストレージ装置でもよい。メモリは、外部装置１０９Ｂにより実現されてもよい。

外部装置１０９Ｂは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（ElectroLuminescence）ディスプレイ、スピーカなどがあるが、これらに限られるものではない。

なお、外部装置１０９Ｂは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネル、マイクロフォンなどのデバイスを備え、これらのデバイスにより入力された情報を画像生成装置１００、訓練装置２００及びユーザ装置３００に与える。入力装置からの信号はプロセッサ１０１に出力される。

例えば、本実施形態における画像生成装置１００の潜在情報取得部１１０、潜在情報融合部１２０及び融合画像生成部１３０等は、１又は複数のプロセッサ１０１により実現されてもよい。また、画像生成装置１００、訓練装置２００及びユーザ装置３００のメモリは、主記憶装置１０２又は補助記憶装置１０３により実現されてもよい。また、画像生成装置１００、訓練装置２００及びユーザ装置３００は、１又は複数のメモリを搭載してもよい。

本明細書において、"ａ，ｂおよびｃの少なくとも１つ"は、ａ，ｂ，ｃ，ａ−ｂ，ａ−ｃ，ｂ−ｃ，ａ−ｂ−ｃの組み合わせだけでなく、ａ−ａ，ａ−ｂ−ｂ，ａ−ａ−ｂ−ｂ−ｃ−ｃなどの同じ要素の複数の組み合わせも含む表現である。また、ａ−ｂ−ｃ−ｄの組み合わせのように、ａ，ｂ，ｃ以外の要素を含む構成もカバーする表現である。

同様に、本明細書において、"ａ，ｂ又はｃの少なくとも１つ"は、ａ，ｂ，ｃ，ａ−ｂ，ａ−ｃ，ｂ−ｃ，ａ−ｂ−ｃの組み合わせだけでなく、ａ−ａ，ａ−ｂ−ｂ，ａ−ａ−ｂ−ｂ−ｃ−ｃなどの同じ要素の複数の組み合わせも含む表現である。また、ａ−ｂ−ｃ−ｄの組み合わせのように、ａ，ｂ，ｃ以外の要素を含む構成もカバーする表現である。

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

１０ 画像生成システム
１００ 画像生成装置
１０１ プロセッサ
１０２ 主記憶装置
１０３ 補助記憶装置
１０４ ネットワークインタフェース
１０５ デバイスインタフェース
１０８ 通信ネットワーク
１０９Ａ，Ｂ 外部装置
１１０ 潜在情報取得部
１２０ 潜在情報融合部
１３０ 融合画像生成部
２００ 訓練装置
３００ ユーザ装置

Claims (20)

1. 第１の画像の第１の潜在情報と第２の画像の第２の潜在情報とを取得することと、
   前記第１の潜在情報と前記第２の潜在情報とを融合し、融合潜在情報を生成することと、
   前記融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成することと、
   を有する画像生成方法。
2. 前記融合潜在情報を生成することは、前記第１の潜在情報と前記第２の潜在情報とに対して遺伝的操作を実行することによって、前記融合潜在情報を生成すること、を含む、請求項１に記載の画像生成方法。
3. 前記第１の潜在情報は、前記第１の画像のコードと属性とを含み、
   前記第２の潜在情報は、前記第２の画像のコードと属性とを含む、請求項１又は２に記載の画像生成方法。
4. 前記第１の潜在情報と前記第２の潜在情報とは、ブロックチェーン準拠コードにより表される、請求項１乃至３何れか一項に記載の画像生成方法。
5. 前記訓練済み生成モデルは、敵対的生成ネットワークに従って訓練された生成器である、請求項１乃至４何れか一項に記載の画像生成方法。
6. 第１の画像の第１の潜在情報と第２の画像の第２の潜在情報とを格納するメモリと、
   前記メモリに接続される一つ又は複数のプロセッサと、
   を有し、
   前記一つ又は複数のプロセッサは、
   前記第１の潜在情報と前記第２の潜在情報とを融合し、融合潜在情報を生成することと、
   前記融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成することと、
   を実行するように構成される画像生成装置。
7. 前記一つ又は複数のプロセッサは、前記第１の潜在情報と前記第２の潜在情報とに対して遺伝的操作を実行することによって、前記融合潜在情報を生成するように更に構成される、請求項６に記載の画像生成装置。
8. 前記第１の潜在情報は、前記第１の画像のコードと属性とを含み、
   前記第２の潜在情報は、前記第２の画像のコードと属性とを含む、請求項６又は７に記載の画像生成装置。
9. 前記第１の潜在情報と前記第２の潜在情報とは、ブロックチェーン準拠コードにより表される、請求項６乃至８何れか一項に記載の画像生成装置。
10. 前記訓練済み生成モデルは、敵対的生成ネットワークに従って訓練された生成器である、請求項６乃至９何れか一項に記載の画像生成装置。
11. 第１の画像と第２の画像の指示を受け付けるように構成される第１のコンピュータと、
    前記第１のコンピュータが受け付けた前記指示に基づいて、前記第１の画像の第１の潜在情報と前記第２の画像の第２の潜在情報とを融合した融合潜在情報を生成し、前記融合潜在情報を訓練済み生成モデルに入力して融合画像を生成するように構成される第２のコンピュータと、を備え、
    前記第１のコンピュータは、前記第２のコンピュータで生成された前記融合画像を取得するように更に構成される、画像生成システム。
12. 前記第２のコンピュータは、前記第１の潜在情報と前記第２の潜在情報とに対して遺伝的操作を実行することによって、前記融合潜在情報を生成するように更に構成される、請求項１１に記載の画像生成システム。
13. 前記第１の潜在情報は、前記第１の画像のコードと属性とを含み、
    前記第２の潜在情報は、前記第２の画像のコードと属性とを含む、請求項１１又は１２に記載の画像生成システム。
14. 前記第１の潜在情報と前記第２の潜在情報とは、ブロックチェーン準拠コードにより表される、請求項１１乃至１３何れか一項に記載の画像生成システム。
15. 前記訓練済み生成モデルは、敵対的生成ネットワークに従って訓練された生成器である、請求項１１乃至１４何れか一項に記載の画像生成システム。
16. 第１の画像の第１の潜在情報と第２の画像の第２の潜在情報とを取得する処理と、
    前記第１の潜在情報と前記第２の潜在情報とを融合し、融合潜在情報を生成する処理と、
    前記融合潜在情報を訓練済み生成モデルに入力し、融合画像を生成する処理と、
    をコンピュータに実行させるプログラム。
17. 前記融合潜在情報を生成する処理は、前記第１の潜在情報と前記第２の潜在情報とに対して遺伝的操作を実行することによって、前記融合潜在情報を生成する処理を含む、請求項１６に記載のプログラム。
18. 前記第１の潜在情報は、前記第１の画像のコードと属性とを含み、
    前記第２の潜在情報は、前記第２の画像のコードと属性とを含む、請求項１６又は１７に記載のプログラム。
19. 前記第１の潜在情報と前記第２の潜在情報とは、ブロックチェーン準拠コードにより表される、請求項１６乃至１８何れか一項に記載のプログラム。
20. 前記訓練済み生成モデルは、敵対的生成ネットワークに従って訓練された生成器である、請求項１６乃至１９何れか一項に記載のプログラム。