JP2018055384A - 信号調整装置、信号生成学習装置、方法、及びプログラム - Google Patents

信号調整装置、信号生成学習装置、方法、及びプログラム Download PDF

Info

Publication number
JP2018055384A
JP2018055384A JP2016190353A JP2016190353A JP2018055384A JP 2018055384 A JP2018055384 A JP 2018055384A JP 2016190353 A JP2016190353 A JP 2016190353A JP 2016190353 A JP2016190353 A JP 2016190353A JP 2018055384 A JP2018055384 A JP 2018055384A
Authority
JP
Japan
Prior art keywords
signal
attribute
representing
hidden variable
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016190353A
Other languages
English (en)
Other versions
JP6692272B2 (ja
Inventor
卓弘 金子
Takuhiro Kaneko
卓弘 金子
薫 平松
Kaoru Hiramatsu
薫 平松
柏野　邦夫
Kunio Kashino
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016190353A priority Critical patent/JP6692272B2/ja
Publication of JP2018055384A publication Critical patent/JP2018055384A/ja
Application granted granted Critical
Publication of JP6692272B2 publication Critical patent/JP6692272B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】信号を適切に調整することができる。【解決手段】予測部５０が、画像データから属性ベクトルを予測する。エンコード部５２が、入力された画像データ、及び属性ベクトルを入力とし、隠れ変数を抽出するためのニューラルネットワークを用いて、画像データの隠れ変数を抽出する。調整部５４が、抽出された隠れ変数の値を調整する。デコード部５６が、調整された隠れ変数を入力とし、画像データを生成するためのニューラルネットワークを用いて、画像データを生成する。【選択図】図８

Description

本発明は、信号調整装置、信号生成学習装置、方法、及びプログラムに係り、特に、信号を生成するための信号調整装置、信号生成学習装置、方法、及びプログラムに関する。
従来より、画像を直接編集する方法が知られている（非特許文献１）。
また、属性を１次元のベクトルで表現し(cVAE：attribute-conditioned variational autoencoder)、図３２に示すように画像を編集する方法が知られている（非特許文献２）。
また、属性ベクトル（attribute vector）を以下のように計算し、図３３に示すように、目的画像に加算する方法が知られている。
(attribute vector) = (ある属性を含む画像の隠れ変数の平均)
−(ある属性を含まない画像の隠れ変数の平均)
上記非特許文献１に記載の方法では、正面、短髪/束ねている、化粧薄い/なし、などの強い制約条件があるため、多様な入力データに対応することは困難である。
また、上記非特許文献２に記載の方法では、属性を１次元で表現しているため、表現能力が不十分である。
また、上記非特許文献３に記載の方法では、画像から抽出される隠れ変数内で、個人性と属性とが分離されていないため、編集しにくい。
本発明は、上記事情を考慮して成されたものであり、信号を適切に調整することができる信号調整装置、方法、及びプログラムを提供することを目的とする。
また、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を分けて抽出することができるニューラルネットワークを学習することができる信号生成学習装置及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明に係る信号調整装置は、入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出するエンコード部と、前記エンコード部によって抽出された前記隠れ変数の値を調整する調整部と、前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成するデコード部と、を含んで構成されている。
本発明に係る信号調整方法は、エンコード部が、入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出し、調整部が、前記エンコード部によって抽出された前記隠れ変数の値を調整し、デコード部が、前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成する。
本発明に係る信号生成学習装置は、入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を抽出するためのエンコーダとしてのニューラルネットワークと、前記抽出された前記個人性を表す隠れ変数と前記各属性を表す隠れ変数とを入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するためのデコーダとしてのニューラルネットワークと、前記生成された信号が、前記属性ベクトルの下で真の信号と同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、前記エンコーダとしてのニューラルネットワークと、前記デコーダとしてのニューラルネットワークと、前記識別器としてのニューラルネットワークとが、互いに競合する最適化条件に従って学習する学習部を含んで構成されている。
本発明に係るプログラムは、コンピュータを、上記信号調整装置又は信号生成学習装置を構成する各部として機能させるためのプログラムである。
本発明の信号調整装置、方法、及びプログラムによれば、入力された信号を入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、抽出された隠れ変数の値を調整し、調整された隠れ変数を入力とし、ニューラルネットワークを用いて、信号を生成することにより、信号を適切に調整することができる、という効果が得られる。
また、本発明の信号生成学習装置及びプログラムによれば、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を抽出するためのエンコーダとしてのニューラルネットワークと、個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するためのデコーダとしてのニューラルネットワークと、生成された信号が、属性ベクトルの下で真の信号と同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、互いに競合する最適化条件に従って学習することにより、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を分けて抽出することができるニューラルネットワークを学習することができる、という効果が得られる。
本発明の第１の実施の形態における属性調整の概念図である。 本発明の第１の実施の形態におけるエンコーダ及びデコーダの概念図である。 属性を多次元の属性ベクトルで表現することを説明するための図である。 （ａ）ＶＡＥの構造を示す図、（ｂ）ｃＶＡＥの構造を示す図、及び（ｃ）ｍｃＶＡＥの構造を示す図である。 個人性を保持したまま属性を変更することを説明するための図である。 ｍｃＶＡＥを愚直に学習した場合の例を示す図である。 ｃＧＡＮを一緒に学習することを説明するための図である。 本発明の第１の実施の形態に係る信号調整装置の構成を示すブロック図である。 本発明の第１、第２、及び第３の実施の形態に係る信号調整装置における学習処理ルーチンを示すフローチャートである。 本発明の第１の実施の形態に係る信号調整装置における生成処理ルーチンを示すフローチャートである。 属性「前髪」を調整した場合の結果の例を示す図である。 属性「眉毛」を調整した場合の結果の例を示す図である。 属性「髭」を調整した場合の結果の例を示す図である。 属性「眼鏡」を調整した場合の結果の例を示す図である。 属性「化粧」を調整した場合の結果の例を示す図である。 属性「笑顔」を調整した場合の結果の例を示す図である。 属性「年齢」を調整した場合の結果の例を示す図である。 本発明の第２の実施の形態における属性転写の概念図である。 本発明の第２の実施の形態に係る信号調整装置の構成を示すブロック図である。 本発明の第２及び第３の実施の形態に係る信号調整装置における生成処理ルーチンを示すフローチャートである。 属性「笑顔」を転写した場合の結果の例を示す図である。 属性「眼鏡」を転写した場合の結果の例を示す図である。 本発明の第３の実施の形態における属性強調の概念図である。 属性「髭」を強調した場合の結果の例を示す図である。 属性の例を示す図である。 生成した画像が属性を含むか否かを評価することを説明するための図である。 評価結果を示す図である。 生成した画像が属性を保持しているか否かを評価することを説明するための図である。 評価結果を示す図である。 生成した画像の多様性を評価した結果を示す図である。 生成した画像の多様性を評価した結果を示す図である。 従来技術において属性を１次元で表現した場合を説明するための図である。 従来技術において属性ベクトルを利用した場合を説明するための図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の第１の実施の形態に係る概要＞
まず、本発明の第１の実施の形態における概要を説明する。
第１の実施の形態では、図１に示すように、従来の画像編集ソフトと同様に、属性に対応するスライドバーを動かすことで、画像を調整し、属性を自由自在にコントロールすることができるようにする。
ここで、世の中には多様なデータが存在する。様々な顔の向き、様々な照明条件、様々な年齢、様々な表情などである。
そこで、本実施の形態では、画像を直接編集するのではなく、図２に示すようなニューラルネットワークを用いて、隠れ変数（画像を表現するのに有用なエッセンスのようなもの）を抽出し、隠れ変数の値を調整する。
また、一つの属性の中にも多様性が存在する。例えば、一言に「前髪」と言っても様々な形状が存在する。
そこで、本実施の形態では、図３に示すように、属性毎に、複数の隠れ変数で表現する(mcVAE：multi-dimensional attribute-conditioned variational autoencoder)。具体的には、隠れ変数内で、個人性と属性とを分離することで、属性をコントロールしやすくする。また、属性毎に、複数の隠れ変数で表現することにより、十分な表現能力を得る。
ここで、図４（ａ）に従来法（VAE：variational autoencoder）の構造を示し、図４（ｂ）に従来法（cVAE）の構造を示し、図４（ｃ）に、本実施の形態（mcVAE）の構造を示し、構造を比較する。
従来法（VAE）の構造では、抽出される隠れ変数が、属性と個人性とに分離されていない。また、従来法（cVAE）の構造では、抽出される隠れ変数が、属性と個人性とに分離されているものの、各々の属性が１つの隠れ変数で表現されている。
一方、本実施の形態（mcVAE）の構造では、抽出される隠れ変数が、属性と個人性とに分離されており、各々の属性が、複数の隠れ変数で表現されている。
また、本実施の形態では、図５に示すように、画像の属性を調整する際に、個人性を保持したまま属性を変更する。
図６に示すように、mcVAEの構造を愚直に学習しようとする場合、真のデータと、mcVAEを介して生成されたデータとの誤差が小さくなるように学習することになる。このとき、隠れ変数ｚと、属性ベクトルｙとの二つがそれぞれ何を表すかについて明確な制約を与えられない。
そこで、本実施の形態では、図７に示すように、学習時にConditional generative adversarial networks (cGAN)を一緒に学習する。このとき、cGANは、ランダムに選択した隠れ変数zに基づいて生成した画像が、属性ベクトルに応じて、ある属性を含む or 含まないように制約を付与し、識別器は、属性ベクトルが表す各属性の有無の下で、真の画像と同一の分布に従うか否かを識別する。これにより、様々なzi、zaについてそれぞれ個人性、属性を表現するように制約を与えることができる。
従来法では、画像の精緻化という目的でVAEとGANを利用していたが（非特許文献３参照）、本実施の形態では、個人性と属性の分離のためにmcVAEとcGANを利用する。
＜本発明の第１の実施の形態に係る信号調整装置の構成＞
次に、本発明の第１の実施の形態に係る信号調整装置の構成について説明する。図８に示すように、本発明の第１の実施の形態に係る信号調整装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び生成処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この信号調整装置１００は、機能的には図８に示すように入力部１０と、演算部２０と、出力部９０とを備えている。
入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、調整対象の属性、調整対象の属性に対応する複数の隠れ変数のうちの何れか一つの指定、及び調整量とを受け付ける。
演算部２０は、学習部３０と、ニューラルネットワーク記憶部４０と、予測部５０と、エンコード部５２と、調整部５４と、デコード部５６とを含んで構成されている。
学習部３０は、入力された学習データに基づいて、画像データｘと、画像データの各属性の有無を表す属性ベクトルｙとを入力とし、画像データから個人性を表す隠れ変数ｚi及び各属性を表す隠れ変数ｚaを抽出するためのエンコーダとしてのニューラルネットワークと、抽出された個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaとを入力とし、個人性を表す隠れ変数及び各属性を表す隠れ変数から、画像データ

を生成するためのデコーダとしてのニューラルネットワークと、生成された画像データ

が、属性ベクトルｙの下で真の画像データと同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、エンコーダとしてのニューラルネットワークと、デコーダとしてのニューラルネットワークと、識別器としてのニューラルネットワークとが、互いに競合する最適化条件に従って学習する。
具体的には、入力された学習データの画像データｘと属性ベクトルｙとを入力とし、エンコーダとしてのニューラルネットワークを用いて、個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaを抽出する。このとき、各属性を表す隠れ変数ｚaは、属性ベクトルｙに条件付けして、エンコーダとしてのニューラルネットワークが出力する各属性を表す隠れ変数ｚa’をフィルタリングすることにより得られる。フィルタリングの一例としては、エンコーダとしてのニューラルネットワークが出力する各属性を表す隠れ変数ｚa’と属性ベクトルｙとを掛け合わせることが考えられる。
また、抽出された個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaとを入力とし、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成する。
また、ランダムに選択された個人性を表す隠れ変数ｚi pとランダムに選択された各属性を表す隠れ変数ｚa p’とを求め、属性ベクトルｙに条件付けして、各属性を表す隠れ変数ｚa p’をフィルタリングすることにより、各属性を表す隠れ変数ｚa pを求める。そして、個人性を表す隠れ変数ｚi pと各属性を表す隠れ変数ｚa pとを入力とし、デコーダとしてのニューラルネットワークを用いて、画像データｘpを生成する。
そして、抽出された個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaとが、所定の分布（例えば正規分布）に従う制約を満たし、かつ、隠れ変数の値を調整せずに生成された画像データ

が、元の画像データｘと同じになる制約を満たすように、エンコーダとしてのニューラルネットワークのパラメータを更新する。
また、生成された画像データ

が、元の画像データｘと同じになる制約を満たし、かつ、生成された画像データ

又はｘpを、なるべく識別器が属性ベクトルｙの下で真の画像データと同一の分布に従わないと識別する制約を満たさないように、デコーダとしてのニューラルネットワークのパラメータを更新する。
また、生成された画像データ

又はｘpを、なるべく識別器が属性ベクトルｙの下で真の画像データと同一の分布に従わないと識別する制約を満たすように、識別器としてのニューラルネットワークのパラメータを更新する。
なお、生成された画像データ

又はｘpを、なるべく識別器が属性ベクトルｙの下で真の画像データと同一の分布に従わないと識別する制約は、以下の損失関数で表わされる。
ただし、Ｄｉｓは識別器（Discriminator）を表し、Ｄｅｃはデコーダを表し、Ｅｎｃはエンコーダを表す。ｚpは、個人性を表す隠れ変数ｚi pと各属性を表す隠れ変数ｚa pとを表す。また、上記式の第二項は、ｘpに対応した項であり、第三項は、

に対応した項である。なお、上記式において、各項に重みをつけて重要度を調整してもよい。
上記の処理を、学習データ毎に行って、各種のニューラルネットワークのパラメータを繰り返し更新する。
最終的に得られたエンコーダとしてのニューラルネットワークと、デコーダとしてのニューラルネットワークと、識別器としてのニューラルネットワークは、ニューラルネットワーク記憶部４０に記憶される。
予測部５０は、入力部１０で受け付けた調整対象の画像データを、属性ベクトルｙを予測するための予測器としての予め学習されたニューラルネットワーク（CNN）に入力し、属性ベクトルｙを予測する。
予測器としてのニューラルネットワーク（CNN）は、属性毎に、当該属性の有無を分類し、属性ベクトルを出力する。
エンコード部５２は、入力された調整対象の画像データｘと、予測部５０によって予測された属性ベクトルｙとを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、調整対象の画像データｘの個人性を表す隠れ変数ｚi及び各属性を表す隠れ変数ｚaを抽出する。このとき、各属性を表す隠れ変数ｚaは、属性ベクトルｙに条件付けして、エンコーダとしてのニューラルネットワークが出力する各属性を表す隠れ変数ｚa’をフィルタリングすることにより得られる。フィルタリングの一例としては、エンコーダとしてのニューラルネットワークが出力する各属性を表す隠れ変数ｚa’と属性ベクトルｙとを掛け合わせることが考えられる。各属性を表す隠れ変数ｚa’は、属性毎に複数の隠れ変数を有しているため、属性ベクトルｙの要素は、属性が対応する複数の隠れ変数の全てに掛け合わされる。
調整部５４は、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する指定された一つの隠れ変数

の値を、入力された調整量だけ調整する。
デコード部５６は、エンコード部５２によって抽出された個人性を表す隠れ変数ｚiと、調整部５４によって調整された調整対象の属性に対応する指定された一つの隠れ変数

を含む各属性を表す隠れ変数ｚaとを入力とし、ニューラルネットワーク記憶部４０に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成し、出力部９０により出力する。
＜本発明の第１の実施の形態に係る信号調整装置の作用＞
次に、本発明の第１の実施の形態に係る信号調整装置１００の作用について説明する。信号調整装置１００は、以下に説明する学習処理ルーチンと生成処理ルーチンを実行する。
まず、学習処理ルーチンについて説明する。入力部１０において学習データとして、画像データｘと属性ベクトルｙとのペアを複数受け付けると、信号調整装置１００は、図９に示す学習処理ルーチンを実行する。
まず、ステップＳ１００では、入力部１０で受け付けた複数の学習データのうちの何れか一つを取得する。
次に、ステップＳ１０２では、ステップＳ１００で得た学習データに含まれる画像データｘと属性ベクトルｙとを入力として、エンコーダとしてのニューラルネットワークを用いて、個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaを抽出する。また、抽出された個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaとを入力とし、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成する。
ステップＳ１０４では、ランダムに選択された個人性を表す隠れ変数ｚi pを求め、ランダムに選択された各属性を表す隠れ変数ｚa p’を求める。
ステップＳ１０６では、と、ステップＳ１００で取得した属性ベクトルｙに条件付けして、ステップＳ１０４で求められた各属性を表す隠れ変数ｚa p’をフィルタリングすることにより、各属性を表す隠れ変数ｚa pを求める。
そして、ステップＳ１０８では、上記ステップＳ１０４、Ｓ１０６で求められた、個人性を表す隠れ変数ｚi pと各属性を表す隠れ変数ｚa pとを入力とし、デコーダとしてのニューラルネットワークを用いて、画像データｘpを生成する。
ステップＳ１１０では、上記ステップＳ１０２で抽出された個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaと、生成された画像データ

と、上記ステップＳ１０８で生成された画像データｘpと、ステップＳ１００で得た学習データに含まれる画像データｘ及び属性ベクトルｙとに基づいて、エンコーダとしてのニューラルネットワークのパラメータ、デコーダとしてのニューラルネットワークのパラメータ、及び識別器としてのニューラルネットワークのパラメータを更新する。
ステップＳ１１２では、全ての学習データについて、上記ステップＳ１００〜Ｓ１１０の処理を実行したか否かを判定し、上記ステップＳ１００〜Ｓ１１０の処理を実行していない学習データが存在する場合、上記ステップＳ１００へ戻り、当該学習データを取得する。一方、全ての学習データについて、上記ステップＳ１００〜Ｓ１１０の処理を実行した場合には、学習処理ルーチンを終了し、最終的に得られたエンコーダとしてのニューラルネットワークのパラメータ、デコーダとしてのニューラルネットワークのパラメータ、及び識別器としてのニューラルネットワークのパラメータを、ニューラルネットワーク記憶部４０に格納する。
次に、生成処理ルーチンについて説明する。入力部１０において調整対象となる画像データと、調整対象の属性と、調整対象の属性に対応する複数の隠れ変数のうちの何れか一つの指定と、調整量とを受け付けると、信号調整装置１００は、図１０に示す生成処理ルーチンを実行する。
ステップＳ１５０では、入力部１０で受け付けた調整対象となる画像データに基づいて、予め学習された予測器としてのニューラルネットワーク（ＣＮＮ）を用いて、属性ベクトルｙを予測する。
ステップＳ１５２では、入力部１０で受け付けた調整対象となる画像データｘと上記ステップＳ１５０で予測された属性ベクトルｙとを入力として、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaを抽出する。
ステップＳ１５４では、上記ステップＳ１５２で抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する指定された一つの隠れ変数

の値を、入力部１０で受け付けた調整量だけ調整する。
そして、ステップＳ１５６では、上記ステップＳ１５２で抽出された個人性を表す隠れ変数ｚiと、上記ステップＳ１５４で調整された調整対象の属性に対応する指定された一つの隠れ変数

を含む各属性を表す隠れ変数ｚaとを入力とし、ニューラルネットワーク記憶部４０に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成し、出力部９０により出力して、生成処理ルーチンを終了する。
以上説明したように、本発明の第１の実施の形態に係る信号調整装置によれば、入力された調整対象の画像データを入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、抽出された隠れ変数の値を調整し、調整された隠れ変数を入力とし、ニューラルネットワークを用いて、画像データを生成することにより、画像データを適切に調整することができる。
また、属性毎に、複数の隠れ変数を有するため、属性の多様性を表現することができ、また、一つの属性に対する複数の隠れ変数のうちの一つの隠れ変数の値だけをコントロールすることができる。
例えば、図１１〜図１７に示すように、「前髪」、「眉毛」、「髭」、「眼鏡」といった局所的な変化に関する属性の調整ができると共に、「化粧」、「笑顔」（表情）、「年齢」のような大局的な変化に関する属性の調整もすることができる。
また、画像データから個人性を表す隠れ変数及び各属性を表す隠れ変数を抽出するためのエンコーダとしてのニューラルネットワークと、個人性を表す隠れ変数及び各属性を表す隠れ変数から、画像データを生成するためのデコーダとしてのニューラルネットワークと、生成された画像データが、属性ベクトルの下で真の画像データと同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、互いに競合する最適化条件に従って学習することにより、画像データから個人性を表す隠れ変数及び各属性を表す隠れ変数を分けて抽出することができるニューラルネットワークを学習することができる。
学習時に、エンコーダとしてのニューラルネットワーク及びデコーダとしてのニューラルネットワークをcGANと同時に学習することにより、エンコーダとしてのニューラルネットワークにより抽出される隠れ変数が、個人性と属性を分離して表現するように、ニューラルネットワークを学習することができる。
次に、本発明の第２の実施の形態に係る信号調整装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。
第２の実施の形態では、参照対象の画像データから抽出された、調整対象の属性を表す隠れ変数の値で置き換えることにより、調整対象の属性を表す隠れ変数の値を調整している点が、第１の実施の形態と異なっている。
＜本発明の第２の実施の形態に係る概要＞
次に、本発明の第２の実施の形態における概要を説明する。
第２の実施の形態では、参照対象の画像データから抽出された、調整対象の属性を表す隠れ変数の値で置き換える。これにより、図１８に示すように、調整対象の属性について、参照対象の画像データと同じ特性を持つように転写する。例えば、前髪の分け方が参照画像と同じ特性を持つように画像を変化させる。
＜本発明の第２の実施の形態に係る信号調整装置の構成＞
図１９に示すように、本発明の第２の実施の形態に係る信号調整装置２００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び生成処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この信号調整装置２００は、機能的には図１９に示すように入力部１０と、演算部２２０と、出力部９０とを備えている。
入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、調整対象の属性と、参照対象となる画像データｘとを受け付ける。
演算部２２０は、学習部３０と、ニューラルネットワーク記憶部４０と、予測部５０、２５０と、エンコード部５２、２５２と、調整部２５４と、デコード部５６とを含んで構成されている。
予測部２５０は、入力部１０で受け付けた参照対象の画像データを、属性ベクトルｙを予測するための予め学習されたニューラルネットワーク（CNN）に入力し、属性ベクトルｙを予測する。
エンコード部２５２は、入力された参照対象の画像データｘと、予測部２５０によって予測された属性ベクトルｙとを入力とし、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、参照対象の画像データｘの個人性を表す隠れ変数ｚi及び各属性を表す隠れ変数ｚaを抽出する。このとき、各属性を表す隠れ変数ｚaは、属性ベクトルｙに条件付けして、エンコーダとしてのニューラルネットワークが出力する各属性を表す隠れ変数ｚa’をフィルタリングすることにより得られる。
調整部２５４は、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する複数の隠れ変数

の各々の値を、エンコード部２５２によって抽出された調整対象の属性に対応する複数の隠れ変数

の各々の値で置き換えることにより調整する。
なお、調整部２５４は、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する複数の隠れ変数

のうちの少なくとも１つの値を、エンコード部２５２によって抽出された調整対象の属性に対応する複数の隠れ変数

のうちの少なくとも１つの値で置き換えることにより調整するようにしてもよい。これにより、髪型の属性に対応する複数の隠れ変数のうち、髪の分け方のような特性を表す１つの隠れ変数を、参照対象の画像データのように変更することができる。
＜本発明の第２の実施の形態に係る信号調整装置の作用＞
次に、本発明の第２の実施の形態に係る信号調整装置２００の作用について説明する。信号調整装置２００は、まず、上記図９に示す学習処理ルーチンと同様の処理ルーチンを実行し、生成処理ルーチンを実行する。
生成処理ルーチンについて説明する。入力部１０において調整対象となる画像データと、調整対象の属性と、参照対象となる画像データとを受け付けると、信号調整装置２００は、図２０に示す生成処理ルーチンを実行する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
ステップＳ１５０では、入力部１０で受け付けた調整対象となる画像データに基づいて、予め学習されたニューラルネットワーク（ＣＮＮ）を用いて、属性ベクトルｙを予測する。
ステップＳ１５２では、入力部１０で受け付けた調整対象となる画像データｘと上記ステップＳ１５０で予測された属性ベクトルｙとを入力として、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaを抽出する。
ステップＳ２５０では、入力部１０で受け付けた参照対象となる画像データに基づいて、予め学習されたニューラルネットワーク（ＣＮＮ）を用いて、属性ベクトルｙを予測する。
ステップＳ２５２では、入力部１０で受け付けた参照対象となる画像データｘと上記ステップＳ２５０で予測された属性ベクトルｙとを入力として、ニューラルネットワーク記憶部４０に記憶された、エンコーダとしてのニューラルネットワークを用いて、個人性を表す隠れ変数ｚiと各属性を表す隠れ変数ｚaを抽出する。
ステップＳ２５４では、上記ステップＳ１５２で抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する複数の隠れ変数

の各々の値を、上記ステップＳ２５２で抽出された調整対象の属性に対応する複数の隠れ変数

の各々の値で置換することにより調整する。
そして、ステップＳ１５６では、上記ステップＳ１５２で抽出された個人性を表す隠れ変数ｚiと、上記ステップＳ２５４で調整された調整対象の属性に対応する複数の隠れ変数

を含む各属性を表す隠れ変数ｚaとを入力とし、ニューラルネットワーク記憶部４０に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成し、出力部９０により出力して、生成処理ルーチンを終了する。
なお、第２の実施の形態に係る信号調整装置２００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
以上説明したように、本発明の第２の実施の形態に係る信号調整装置によれば、入力された調整対象の画像データを入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、入力された参照対象の画像データを入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、参照対象の画像データから抽出された隠れ変数の値で、調整対象の属性に対応する隠れ変数の値を調整し、調整された隠れ変数を入力とし、ニューラルネットワークを用いて、画像データを生成することにより、画像データの属性を転写することができる。
例えば、図２１、図２２に示すように、属性「笑顔」、「眼鏡」のような複雑な属性を転写することができる。
次に、本発明の第３の実施の形態に係る信号調整装置の構成について説明する。なお、第３の実施の形態に係る信号調整装置は、第２の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第３の実施の形態では、参照対象の画像データから抽出された、調整対象の属性を表す隠れ変数の値を基準に、調整対象の属性を表す隠れ変数の値を調整している点が、第２の実施の形態と異なっている。
＜本発明の第３の実施の形態に係る概要＞
次に、本発明の第３の実施の形態における概要を説明する。
第３の実施の形態では、図２３に示すように、参照対象の画像データから抽出された、調整対象の属性を表す隠れ変数の値を基準に、調整対象の画像データから抽出された、調整対象の属性を表す隠れ変数の値を調整し、参照対象の画像データにおける調整対象の属性に近づける。調整度合いは、例えばスライドバーを動かすことでコントロールされる。
＜本発明の第３の実施の形態に係る信号調整装置の構成＞
本発明の第３の実施の形態に係る信号調整装置２００の入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、調整対象の属性と、調整度合いと、参照対象となる画像データｘとを受け付ける。
調整部２５４は、エンコード部２５２によって抽出された調整対象の属性に対応する複数の隠れ変数

の各々の値と、エンコード部５２によって抽出された調整対象の属性に対応する複数の隠れ変数

の各々の値との差分を、隠れ変数毎に算出する。調整部２５４は、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する複数の隠れ変数

の各々の値に、隠れ変数毎に算出した差分に調整度合いを掛けた値だけ加算することにより調整する。
なお、調整部２５４は、エンコード部２５２によって抽出された調整対象の属性に対応する複数の隠れ変数

のうちの少なくとも１つの値と、エンコード部５２によって抽出された調整対象の属性に対応する複数の隠れ変数

のうちの少なくとも１つの値との差分を、隠れ変数毎に算出し、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaのうち、調整対象の属性に対応する複数の隠れ変数

のうちの少なくとも１つの値に、隠れ変数毎に算出した差分に調整度合いを掛けた値だけ加算することにより調整するようにしてもよい。これにより、髪型の属性に対応する複数の隠れ変数のうち、髪の分け方のような特性を表す１つの隠れ変数を、参照対象の画像データに近づけるように調整することができる。
なお、第３の実施の形態に係る信号調整装置２００の他の構成及び作用については、第２の実施の形態と同様であるため、説明を省略する。
以上説明したように、本発明の第３の実施の形態に係る信号調整装置によれば、入力された調整対象の画像データを入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、入力された参照対象の画像データを入力とし、ニューラルネットワークを用いて、隠れ変数を抽出し、参照対象の画像データから抽出された隠れ変数の値との差分に応じて、調整対象の属性に対応する隠れ変数の値を調整し、調整された隠れ変数を入力とし、ニューラルネットワークを用いて、画像データを生成することにより、画像データの属性を、参照対象の画像データのものに近づけることができる。
例えば、図２４に示すように、属性「髭」のような複雑な属性を、参照対象の画像データのものに近づけることができる。
次に、本発明の第４の実施の形態に係る信号調整装置の構成について説明する。なお、第４の実施の形態に係る信号調整装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第４の実施の形態では、個人性を表す隠れ変数の値を調整している点が、第１の実施の形態と異なっている。
＜本発明の第４の実施の形態に係る信号調整装置の構成＞
本発明の第４の実施の形態に係る信号調整装置１００の入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、個人性を表す隠れ変数のうちの何れか一つの指定、及び調整量とを受け付ける。
調整部５４は、エンコード部５２によって抽出された個人性を表す隠れ変数ｚiのうち、指定された一つの隠れ変数の値を、入力された調整量だけ調整する。
デコード部５６は、調整部５４によって調整された隠れ変数を含む、個人性を表す隠れ変数ｚiと、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaとを入力とし、ニューラルネットワーク記憶部４０に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成し、出力部９０により出力する。
なお、第４の実施の形態に係る信号調整装置１００の他の構成及び作用は、第１の実施の形態と同様であるため、説明を省略する。
次に、本発明の第５の実施の形態に係る信号調整装置の構成について説明する。なお、第５の実施の形態に係る信号調整装置は、第２の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第５の実施の形態では、参照対象の画像データから抽出された、個人性を表す隠れ変数の値で置き換えることにより、個人性を表す隠れ変数の値を調整している点が、第２の実施の形態と異なっている。
＜本発明の第５の実施の形態に係る信号調整装置の構成＞
本発明の第５の実施の形態に係る信号調整装置２００の入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、参照対象となる画像データｘとを受け付ける。
調整部２５４は、エンコード部５２によって抽出された個人性を表す隠れ変数ｚiの値を、エンコード部２５２によって抽出された個人性を表す隠れ変数ｚiの値で置き換えることにより調整する。
デコード部５６は、調整部５４によって調整された隠れ変数を含む、個人性を表す隠れ変数ｚiと、エンコード部５２によって抽出された各属性を表す隠れ変数ｚaとを入力とし、ニューラルネットワーク記憶部４０に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ

を生成し、出力部９０により出力する。
なお、第５の実施の形態に係る信号調整装置２００の他の構成及び作用は、第２の実施の形態と同様であるため、説明を省略する。
次に、本発明の第６の実施の形態に係る信号調整装置の構成について説明する。なお、第６の実施の形態に係る信号調整装置は、第２の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第６の実施の形態では、参照対象の画像データから抽出された、個人性を表す隠れ変数の値を基準に、個人性を表す隠れ変数の値を調整している点が、第３の実施の形態と異なっている。
＜本発明の第６の実施の形態に係る信号調整装置の構成＞
本発明の第６の実施の形態に係る信号調整装置２００の入力部１０は、学習データとして、画像データｘ及び属性ベクトルｙのペアを複数受け付ける。また、入力部１０は、調整対象となる画像データｘと、調整度合いと、参照対象となる画像データｘとを受け付ける。
調整部２５４は、エンコード部２５２によって抽出された個人性を表す隠れ変数ｚiの値と、エンコード部５２によって抽出された個人性を表す隠れ変数ｚiの値との差分を、隠れ変数毎に算出する。調整部２５４は、エンコード部５２によって抽出された個人性を表す隠れ変数ｚiの各々の値に、隠れ変数毎に算出した差分に調整度合いを掛けた値だけ加算することにより調整する。
なお、第６の実施の形態に係る信号調整装置２００の他の構成及び作用は、第３の実施の形態と同様であるため、説明を省略する。
＜実験結果＞
本発明の実施の形態の有効性を示すために、一実現方法を用いて、実験を行った。
実験データとして、インターネット上の画像から収集された200,000枚以上の顔画像であるCelebA dataset（非特許文献４参照）を用い、目の位置を基準にアライメント・切り出しを行い、画像サイズは64×64とした。
[非特許文献４]：Z. Liu, P. Luo, X. Wang, , and X. Tang. Deep learning face attributes in the wild. In ICCV, 2015.
また、属性として、図２５に示す７つの属性を用いた。また、エンコーダ、デコーダ、識別器、及び予測器の各々としてのニューラルネットワークを、以下の表１に示すように実装した。
また、比較対象とする５つのモデルは、VAEと属性を表す隠れ変数（attribute vector）との組み合わせ、VAEとGANと属性を表す隠れ変数（attribute vector）との組み合わせ（上記非特許文献３参照）、cVAE（上記非特許文献２） [related to Yan, arXiv2015]、cVAEとcGANとの組み合わせ、及びmcVAEとした。
本実施の形態に係るモデルは、mcVAEとcGANとの組み合わせである。
また、評価方法として、属性を含むかどうかの評価、個人性を保持しているかどうかの評価、生成画像の多様性の評価を行った。
図２６に示すように、生成した画像が属性を含むかどうかを識別し、属性を含むかどうかの評価を行った。評価結果を図２７に示す。本実施の形態の手法が、最高精度を実現していることが分かった。
また、個人性を保持しているかどうかを評価するために、変化前と変化後の画像を比較し、図２８に示すように、属性に関わる場所（図２８の矩形で囲われた部分）の変化率が、他の場所の変化率よりも大きければ正しいとみなした。評価結果を図２９に示す。cGANを用いることで、個人性の保持性能が概ね向上していることが確認できた。
また、生成画像の多様性を評価するために定性的評価を行った。図３０、図３１に示すように、比較対象のモデルに比べ、一つの属性（前髪、眼鏡）に対して様々な画像が生成できることが分かった。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述した実施の形態では、ニューラルネットワークの学習を行う学習部を含む信号調整装置として構成していたが、これに限定されるものではなく、学習部を含む信号生成学習装置と、予測部、エンコード部、調整部、及びデコード部を含む信号調整装置のそれぞれに分けて構成してもよい。
また、上述した実施の形態では、入力される信号が、画像データである場合を例に説明したが、これに限定されるものではなく、画像データ以外の信号であってもよく、例えば、音声信号（歌）であってもよい。この場合には、個人性（例えば音色）を表す隠れ変数と、属性(例えば、曲調（ラップ調、オーケストラ調など））を表す隠れ変数とを抽出した後、属性を表す隠れ変数だけを調整して、音声信号を再構成することで、音色はそのままで曲調変換をすることができる。
また、上述した実施の形態では、エンコーダ、デコーダ、及び予測器のニューラルネットワークとして、ＣＮＮを用いる場合を例に説明したが、これに限定されるものではなく、他のニューラルネットワーク構造を用いてもよく、例えば、ＲＮＮやＦｕｌｌｙ Ｃｏｎｎｅｃｔｅｄなどを用いてもよい。
また、エンコーダの出力として、隠れ変数そのものを出力する場合を例に説明したが、これに限定されるものではない。例えば、エンコーダの出力を、隠れ変数の分布に関するパラメータ（例えば、ガウシアン分布の場合、平均と標準偏差）とし、その分布パラメータに従ってサンプリングして隠れ変数を得るようにしてもよい。
１０ 入力部
２０、２２０ 演算部
３０ 学習部
４０ ニューラルネットワーク記憶部
５０、２５０ 予測部
５２、２５２ エンコード部
５４、２５４ 調整部
５６ デコード部
９０ 出力部
１００、２００ 信号調整装置

Claims (8)

  1. 入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出するエンコード部と、
    前記エンコード部によって抽出された前記隠れ変数の値を調整する調整部と、
    前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成するデコード部と、
    を含む信号調整装置。
  2. 前記エンコード部は、入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数、及び属性毎に複数の隠れ変数を有する各属性を表す隠れ変数を抽出するための前記予め学習されたニューラルネットワークを用いて、入力された信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    前記調整部は、前記エンコード部によって抽出された前記各属性を表す隠れ変数のうち、調整対象の属性を表す隠れ変数の値、又は調整対象の個人性を表す隠れ変数を調整し、
    前記デコード部は、前記調整部によって調整された前記隠れ変数を含む、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するための前記予め学習されたニューラルネットワークを用いて、信号を生成する
    請求項１記載の信号調整装置。
  3. 前記エンコード部は、入力された調整対象の信号と、前記調整対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された調整対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    入力された参照対象の信号と、前記参照対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された参照対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    前記調整部は、前記デコード部によって前記調整対象の信号について抽出された前記各属性を表す隠れ変数のうち、調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも１つの値を、前記デコード部によって前記参照対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも１つの値に置き換え、
    あるいは、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数の値を、前記デコード部によって前記参照対象の信号について抽出された前記個人性を表す隠れ変数の値に置き換える請求項２記載の信号調整装置。
  4. 前記エンコード部は、入力された調整対象の信号と、前記調整対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された調整対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    入力された参照対象の信号と、前記参照対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された参照対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    前記調整部は、前記デコード部によって前記調整対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも１つの値と、前記参照対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも１つの値との差分に応じて、前記デコード部によって前記調整対象の信号について抽出された前記各属性を表す隠れ変数のうち、前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも１つの値を調整し、
    あるいは、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数の値と、前記参照対象の信号について抽出された前記個人性を表す隠れ変数の値との差分に応じて、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数を調整する請求項２記載の信号調整装置。
  5. 入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を抽出するためのエンコーダとしてのニューラルネットワークと、前記抽出された前記個人性を表す隠れ変数と前記各属性を表す隠れ変数とを入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するためのデコーダとしてのニューラルネットワークと、前記生成された信号が、前記属性ベクトルの下で真の信号と同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、前記エンコーダとしてのニューラルネットワークと、前記デコーダとしてのニューラルネットワークと、前記識別器としてのニューラルネットワークとが、互いに競合する最適化条件に従って学習する学習部
    を含む信号生成学習装置。
  6. エンコード部が、入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出し、
    調整部が、前記エンコード部によって抽出された前記隠れ変数の値を調整し、
    デコード部が、前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成する、
    信号調整方法。
  7. 前記エンコード部によって抽出することでは、入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数、及び属性毎に複数の隠れ変数を有する各属性を表す隠れ変数を抽出するための前記予め学習されたニューラルネットワークを用いて、入力された信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
    前記調整部によって調整することでは、前記エンコード部によって抽出された前記各属性を表す隠れ変数のうち、調整対象の属性を表す隠れ変数の値、又は調整対象の個人性を表す隠れ変数を調整し、
    前記デコード部によって生成することでは、前記調整部によって調整された前記隠れ変数を含む、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するための前記予め学習されたニューラルネットワークを用いて、信号を生成する
    請求項６記載の信号調整方法。
  8. コンピュータを、請求項１〜請求項４の何れか１項記載の信号調整装置、及び請求項５記載の信号生成学習装置を構成する各部として機能させるためのプログラム。
JP2016190353A 2016-09-28 2016-09-28 信号調整装置、信号生成学習装置、方法、及びプログラム Active JP6692272B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016190353A JP6692272B2 (ja) 2016-09-28 2016-09-28 信号調整装置、信号生成学習装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016190353A JP6692272B2 (ja) 2016-09-28 2016-09-28 信号調整装置、信号生成学習装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018055384A true JP2018055384A (ja) 2018-04-05
JP6692272B2 JP6692272B2 (ja) 2020-05-13

Family

ID=61835858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016190353A Active JP6692272B2 (ja) 2016-09-28 2016-09-28 信号調整装置、信号生成学習装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6692272B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095407A (ja) * 2018-12-11 2020-06-18 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
JP2020170496A (ja) * 2019-04-04 2020-10-15 ▲広▼州大学 顔認識用の年齢プライバシー保護方法及びシステム
WO2021020299A1 (ja) * 2019-07-30 2021-02-04 株式会社Ｎｔｔドコモ 人気度推定システム及び地理的特徴生成モデル
WO2021166363A1 (ja) * 2020-02-18 2021-08-26 株式会社データグリッド プログラム、画像データ生成装置及び画像データ生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RYOSUKE TACHIBANA ET AL.: "Semi-Supervised Learning Using Adversarial Networks", 2016 IEEE/ACIS 15TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE(ICIS), JPN6019032852, 29 June 2016 (2016-06-29), ISSN: 0004102657 *
片岡 裕介 外2名: "深層学習における敵対的ネットワークと注視を用いた画像生成の試み", 一般社団法人 人工知能学会 第３０回全国大会論文集ＣＤ−ＲＯＭ ［ＣＤ−ＲＯＭ］ ２０１６年度 人工, JPN6019032853, 6 June 2016 (2016-06-06), JP, pages 1 - 4, ISSN: 0004102658 *
立花 亮介 外2名: "深層学習における敵対的ネットワークによるラベル推定と半教師あり学習", 一般社団法人 人工知能学会 第３０回全国大会論文集ＣＤ−ＲＯＭ ［ＣＤ−ＲＯＭ］ ２０１６年度 人工, JPN6019032854, 6 June 2016 (2016-06-06), JP, pages 1 - 4, ISSN: 0004102659 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020095407A (ja) * 2018-12-11 2020-06-18 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
WO2020121811A1 (ja) * 2018-12-11 2020-06-18 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
JP7099292B2 (ja) 2018-12-11 2022-07-12 日本電信電話株式会社 画像生成装置、画像生成方法、及びプログラム
JP2020170496A (ja) * 2019-04-04 2020-10-15 ▲広▼州大学 顔認識用の年齢プライバシー保護方法及びシステム
WO2021020299A1 (ja) * 2019-07-30 2021-02-04 株式会社Ｎｔｔドコモ 人気度推定システム及び地理的特徴生成モデル
WO2021166363A1 (ja) * 2020-02-18 2021-08-26 株式会社データグリッド プログラム、画像データ生成装置及び画像データ生成方法
JPWO2021166363A1 (ja) * 2020-02-18 2021-08-26
JP7095935B2 (ja) 2020-02-18 2022-07-05 株式会社データグリッド プログラム、画像データ生成装置及び画像データ生成方法

Also Published As

Publication number Publication date
JP6692272B2 (ja) 2020-05-13

Similar Documents

Publication Publication Date Title
CN111489412B (zh) 用于使用神经网络生成基本逼真图像的语义图像合成
CN106096727B (zh) 一种基于机器学习的网络模型构造方法及装置
US11288851B2 (en) Signal change apparatus, method, and program
US11335118B2 (en) Signal retrieval apparatus, method, and program
JP6692272B2 (ja) 信号調整装置、信号生成学習装置、方法、及びプログラム
KR102532748B1 (ko) 뉴럴 네트워크 학습 방법 및 장치
Van et al. Interpreting the latent space of generative adversarial networks using supervised learning
Zamzami et al. An accurate evaluation of msd log-likelihood and its application in human action recognition
WO2018203551A1 (ja) 信号検索装置、方法、及びプログラム
JP6004014B2 (ja) 学習方法、情報変換装置および学習プログラム
KR102549937B1 (ko) Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 장치 및 방법
JP2016207136A (ja) モデル推定システム、モデル推定方法およびモデル推定プログラム
CN115309985A (zh) 推荐算法的公平性评估方法及ai模型选择方法
Martin et al. The Possibilistic Reward Method and a Dynamic Extension for the Multi-armed Bandit Problem: A Numerical Study
Rai et al. Improved attribute manipulation in the latent space of stylegan for semantic face editing
Castillo-Arredondo et al. PhotoHandler: manipulation of portrait images with StyleGANs using text
CN111898708A (zh) 一种迁移学习方法和电子设备
CN116363737B (zh) 一种人脸图像属性编辑方法、系统、电子设备及存储介质
US20240037870A1 (en) Methods and apparatus for determining and using controllable directions of gan space
KR102549939B1 (ko) Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 서버, 사용자 단말 및 방법
WO2024060066A1 (zh) 一种文本识别方法、模型及电子设备
KR20220040273A (ko) 인공지능 이미지의 특징을 직관적으로 조절하기 위한 인터페이스 장치
Valdez et al. Latent Variable Representations for Interactive Structural Design Exploration
Sun et al. Architecture Design for Variational Auto-Encoders
KR20220040269A (ko) 이미지 특징 데이터를 탐색하는 직관적 인터페이스 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200414

R150 Certificate of patent or registration of utility model

Ref document number: 6692272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150