JP2021190062A - Image generation system and image generation method using the same - Google Patents
Image generation system and image generation method using the same Download PDFInfo
- Publication number
- JP2021190062A JP2021190062A JP2020169539A JP2020169539A JP2021190062A JP 2021190062 A JP2021190062 A JP 2021190062A JP 2020169539 A JP2020169539 A JP 2020169539A JP 2020169539 A JP2020169539 A JP 2020169539A JP 2021190062 A JP2021190062 A JP 2021190062A
- Authority
- JP
- Japan
- Prior art keywords
- image
- style
- reference image
- domain
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 239000002131 composite material Substances 0.000 claims abstract description 76
- 238000013507 mapping Methods 0.000 claims description 41
- 210000004209 hair Anatomy 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001482630 Epinnula magistralis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/32—Image data format
Abstract
Description
本発明は、イメージを生成するシステム及びこれを利用したイメージ生成方法に関する。 The present invention relates to a system for generating an image and an image generation method using the same.
イメージの一部特徴を他の特徴に変換したり、複数のイメージを互いに合成することにより、新しいイメージを生成するイメージ生成技術は、産業界において様々な目的に活用されているだけでなく、最近では、一般ユーザにも娯楽の要素として広く活用されている。 Image generation technology that creates new images by converting some features of an image into other features or synthesizing multiple images with each other has not only been used for various purposes in industry, but also recently. Is widely used as an element of entertainment for general users.
このようなイメージ生成技術は、人工知能の発達により、その生成技術が日々発展しており、実際に、人の目では区別が難しい程度の水準まで至った。 With the development of artificial intelligence, such image generation technology is being developed day by day, and in fact, it has reached a level that is difficult for the human eye to distinguish.
特に、イメージ生成技術は、２０１４年にヨシュア・ベンジオ（Ｙｏｓｈｕａ Ｂｅｎｇｉｏ）教授の研究チームで考案された、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ。略字：ＧＡＮ）に基づいて飛躍的に発展した。 In particular, image generation technology has evolved dramatically based on the Generative Adversarial Network, which was devised by Professor Yoshua Bengio's research team in 2014.
敵対的生成ネットワーク（ＧＡＮ）は、確率分布を学習する生成モデルと互いに異なる集合を区分する識別モデルとで構成される。このとき、イメージ生成モデル（または、生成子）は、ターゲットドメインを有する偽物イメージを作って識別モデルを最大限詐称して訓練するようになされる。そして、識別モデル（または、識別子）は、生成モデルが提示する偽物イメージと実際イメージとをターゲットドメインを基準に最大限正確に区分するように訓練される。 A hostile generative network (GAN) consists of a generative model that learns a probability distribution and a discriminative model that separates different sets. At this time, the image generation model (or generator) is designed to create a fake image having a target domain and to spoof and train the discriminative model as much as possible. The discriminative model (or identifier) is then trained to discriminate between the fake image and the real image presented by the generative model as accurately as possible with respect to the target domain.
このように、識別モデルを詐称するように生成モデルを訓練する方式を対立的プロセスという。このような敵対的生成ネットワークは、生成モデルと識別モデルとを対立的プロセスを介して発展させる過程であって、ターゲットドメインに対して実際イメージと極めて類似した類似イメージ、すなわち、偽物イメージを生成できるようになった。 In this way, the method of training the generative model so as to spoof the discriminative model is called a confrontational process. Such a hostile generative network is a process of developing a generative model and a discriminative model through a contradictory process, and can generate a similar image, that is, a fake image, which is very similar to a real image for a target domain. It became so.
しかしながら、このような敵対的生成ネットワークにおいてイメージ生成モデル及び識別モデルは、ターゲットドメインを基準に学習されるので、ターゲットドメインが変更される場合、新しいイメージ生成モデル及び識別モデルを訓練しなければならないという限界を有する。 However, in such a hostile generative network, the image generation model and the discriminative model are learned based on the target domain, so if the target domain is changed, a new image generation model and the discriminative model must be trained. Has a limit.
これにより、様々なターゲットドメインに対して柔軟に対処できるイメージ生成方法に対するニーズが依然として存在する。 As a result, there is still a need for an image generation method that can flexibly deal with various target domains.
本発明は、互いに異なるターゲットドメインに対応する様々なイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。 The present invention provides an image generation system capable of generating various images corresponding to different target domains and an image generation method using the same.
前述したような課題を解決するために、本発明に係るイメージ生成システムは、変換の対象になるソースイメージを受信するイメージ入力部と、基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部とを備えることができる。 In order to solve the above-mentioned problems, the image generation system according to the present invention has an image input unit that receives a source image to be converted, and a style code that inputs a style code related to the appearance style of the reference image. An input unit and an image generation unit that uses the style code to generate a composite image in which the appearance style of the reference image is reflected in the source image can be provided.
本発明に係るイメージ生成システムは、ドメインの特性を含むスタイルコードを用いて、スタイルコードに含まれたドメイン特性に該当するドメインを有するイメージを生成できる。 The image generation system according to the present invention can generate an image having a domain corresponding to the domain characteristic included in the style code by using the style code including the domain characteristic.
以下、添付された図面を参照して本明細書に開示された実施形態を詳細に説明するものの、図面符号に関係なく、同一であるか、類似した構成要素には同じ参照符号を付し、これについての重複する説明を省略する。以下の説明において使用される構成要素に対する接尾辞の「モジュール」及び「部」は、明細書作成の容易さだけが考慮されて付与されるか、混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。また、本明細書に開示された実施形態を説明するにあたって、関連した公知技術についての具体的な説明が本明細書に開示された実施形態の要旨を不明確にする恐れがあると判断される場合、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施形態を容易に理解できるようにするためのものであり、添付された図面によって本明細書に開示された技術的思想が限定されず、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物ないし代替物を含むことと理解されるべきである。 Hereinafter, embodiments disclosed herein will be described in detail with reference to the accompanying drawings, but the same or similar components are designated by the same reference numerals regardless of the drawing reference numerals. A duplicate description of this will be omitted. The suffixes "modules" and "parts" for the components used in the following description are either given or mixed only for ease of specification and are themselves mutually exclusive. It does not have a distinguishing meaning or role. Further, in explaining the embodiments disclosed in the present specification, it is determined that a specific description of the related publicly known technology may obscure the gist of the embodiments disclosed in the present specification. If so, the detailed description thereof will be omitted. Further, the attached drawings are intended to facilitate understanding of the embodiments disclosed in the present specification, and the attached drawings do not limit the technical ideas disclosed in the present specification. , All modifications, equivalents or alternatives contained within the ideas and technical scope of the invention should be understood.
第１、第２などのように、序数を含む用語は、様々な構成要素を説明するのに使用され得るが、上記構成要素等は、前記用語等により限定されるものではない。前記用語等は、１つの構成要素を他の構成要素から区別する目的にのみ使用される。 Terms including ordinal numbers, such as first, second, etc., can be used to describe various components, but the components and the like are not limited by the terms and the like. The terms and the like are used only for the purpose of distinguishing one component from the other.
ある構成要素が他の構成要素に「連結されて」いるまたは「接続されて」いると言及されたときには、その他の構成要素に直接的に連結されているまたは接続されていることもできるが、中間に他の構成要素が存在することもできると理解されるべきであろう。それに対し、ある構成要素が他の構成要素に「直接連結されて」いるまたは「直接接続されて」いると言及されたときには、中間に他の構成要素が存在しないことと理解されるべきであろう。 When it is mentioned that one component is "connected" or "connected" to another component, it may be directly connected or connected to another component, It should be understood that other components may be present in the middle. On the other hand, when it is mentioned that one component is "directly linked" or "directly connected" to another component, it should be understood that there is no other component in between. Let's do it.
単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。 A singular expression includes multiple expressions unless they are meant to be explicitly different in context.
本出願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないことと理解されなければならない。 In this application, terms such as "include" or "have" seek to specify the existence of features, numbers, steps, actions, components, parts, or combinations thereof described herein. It must be understood that it does not preclude the existence or addability of one or more other features or numbers, steps, actions, components, parts, or combinations thereof.
一方、本発明は、互いに異なるターゲットドメインに対応する様々なイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。 On the other hand, the present invention provides an image generation system capable of generating various images corresponding to different target domains and an image generation method using the same.
より具体的に、本発明は、単一のイメージ生成部を利用して、互いに異なるターゲットドメインに各々対応する互いに異なるイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。 More specifically, the present invention provides an image generation system capable of generating different images corresponding to different target domains by using a single image generation unit, and an image generation method using the same. be.
さらに、本発明は、ターゲットドメインを基準に様々な外貌スタイルを有するイメージを生成できるイメージ生成システム及びこれを利用したイメージ生成方法を提供するものである。本発明は、イメージ生成システム及びこれを利用したイメージ生成方法に関するものであって、特に、本発明に係るイメージ生成システムは、「イメージトゥイメージ（ｉｍａｇｅ ｔｏ ｉｍａｇｅ）変換（ｔｒａｎｓｌａｔｉｏｎ）」に基づいてイメージを生成できる。 Further, the present invention provides an image generation system capable of generating images having various appearance styles based on a target domain, and an image generation method using the same. The present invention relates to an image generation system and an image generation method using the same, and in particular, the image generation system according to the present invention is an image based on "image to image conversion". Can be generated.
ここで、「イメージトゥイメージ変換」とは、与えられた入力イメージを基に新しいイメージを生成することを意味する。より具体的に、イメージトゥイメージ変換では、入力イメージの少なくとも一部分を変換することで、新しいイメージを生成することを意味できる。 Here, "image-to-image conversion" means to generate a new image based on a given input image. More specifically, image-to-image conversion can mean generating a new image by converting at least a portion of the input image.
本発明は、特に、「イメージトゥイメージ変換」を行うにあたって、単一の「イメージ生成部」だけで、様々なスタイル及びドメインに該当する新しいイメージを生成できるイメージ生成システムに関するものである。 The present invention particularly relates to an image generation system capable of generating new images corresponding to various styles and domains with only a single "image generation unit" in performing "image-to-image conversion".
このとき、イメージ生成部は、同じドメインに対する様々なスタイルのイメージを生成する、または、互いに異なるドメインに対する同じスタイルのイメージを生成できる。以下では、本発明に係るイメージ生成システムについて添付された図面とともにより具体的に説明する。図１及び図２は、本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法を説明するための概念図であり、図３は、本発明に係るイメージ生成方法を説明するためのフローチャートである。 At this time, the image generation unit can generate images of various styles for the same domain, or can generate images of the same style for different domains. Hereinafter, the image generation system according to the present invention will be described in more detail together with the attached drawings. 1 and 2 are conceptual diagrams for explaining an image generation system according to the present invention and an image generation method using the same, and FIG. 3 is a flowchart for explaining an image generation method according to the present invention. be.
図１に示されたように、本発明に係るイメージ生成システム１００は、生成部（ｇｅｎｅｒａｔｏｒ、または、イメージ生成部、１１０）及びスタイルコード入力部１２０を備えるように構成されることができる（以下、説明の都合上、「生成部１１０」は「イメージ生成部１１０」と命名する）。さらに、イメージ生成システム１００は、入力部１３０及び出力部１４０のうち、少なくとも１つをさらに備えることができる。
As shown in FIG. 1, the
イメージ生成部１１０は、入力部１３０を介して入力されるイメージを基にイメージを生成し、生成されたイメージは、出力部１４０を介して出力されることができる。
The
本発明では、説明の都合上、イメージ生成部１１０に、イメージ生成のために入力されるイメージを「ソースイメージ（ｓｏｕｒｃｅ ｉｍａｇｅ）」と命名する。
In the present invention, for convenience of explanation, the image input to the
ここで、ソースイメージは、イメージ変換（または、イメージ生成）の基になるイメージを意味できる。イメージ生成部１１０は、ソースイメージを基に新しいイメージを生成できる。図１に示されたように、ソースイメージ１００ａは、入力部１３０を介してイメージ生成部１１０に入力されることができる。
Here, the source image can mean an image that is the basis of image conversion (or image generation). The
さらに、本発明では、説明の都合上、イメージ生成部１１０により生成されたイメージを「合成イメージ（または、出力イメージ）」と命名する。図１に示されたように、合成イメージ２００は、出力部１４０を介して出力されることができる。
Further, in the present invention, for convenience of explanation, the image generated by the
このように、イメージ生成部１１０は、入力部１３０を介して入力されるソースイメージ１００ａを基に、基準イメージ１００ｂを用いて合成イメージ２００を生成できる。
In this way, the
このとき、イメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードを用いて合成イメージ２００を生成できる。
At this time, the
図１に示されたように、ソースイメージ１００ａには、少なくとも１つのグラフィックオブジェクト（例えば、人のイメージ）が含まれ得る。イメージ生成部１１０は、このようなグラフィックオブジェクト（または、第１のグラフィックオブジェクト）に、スタイルコードによる外貌スタイルを反映して合成イメージ２００を生成できる。
As shown in FIG. 1, the
本発明において、グラフィックオブジェクトは、人、動物、自動車、花、かばん、山などのように、事物に対するイメージと理解されることができる。 In the present invention, a graphic object can be understood as an image of a thing such as a person, an animal, a car, a flower, a bag, a mountain, and the like.
本明細書では、説明の都合上、ソースイメージ１００ａに含まれたグラフィックオブジェクトを「第１のグラフィックオブジェクト」と命名する。そして、合成イメージ２００に含まれたグラフィックオブジェクトを「第３のグラフィックオブジェクト」と命名する。そして、基準イメージ１００ｂに含まれたグラフィックオブジェクトを「第２のグラフィックオブジェクト」と命名する。さらに、第２のグラフィックオブジェクトは、基準イメージ１００ｂに含まれたものだけでなく、ガウス分布から抽出されるノイズ情報によって特定されるオブジェクトを意味できる。このような、ガウス分布から抽出されるオブジェクトは、スタイルコードの抽出対象（または、スタイルコードを抽出するために参照される対象）とも表現することができる。
In the present specification, for convenience of explanation, the graphic object included in the
すなわち、第２のグラフィックオブジェクトは、基準イメージ（ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）１００ｂに含まれるか、または複数の基準イメージに対するデータ分布によるガウス分布の特定ノイズに対応することができる。
That is, the second graphic object can be included in the
以下では、説明の都合上、ガウス分布の特定ノイズに対応する第２のグラフィックオブジェクトについて別に称さずに、全て「基準イメージ」と統一して説明する。 In the following, for convenience of explanation, the second graphic object corresponding to the specific noise of the Gaussian distribution will be described in a unified manner as the "reference image" without being referred to separately.
すなわち、以下では、説明の都合上、第２のグラフィックオブジェクトと基準イメージとを同じ意味として説明する。したがって、以下において基準イメージは、ガウス分布により特定されるオブジェクトを意味することもできる。 That is, in the following, for convenience of explanation, the second graphic object and the reference image will be described as having the same meaning. Therefore, in the following, the reference image can also mean an object specified by a Gaussian distribution.
また、本明細書では、ソースイメージと第１のグラフィックオブジェクトとを互いに同じ意味として使用することができる。すなわち、ソースイメージの外貌スタイルは、つまり、第１のグラフィックオブジェクトの外貌スタイルを意味できる。 Further, in the present specification, the source image and the first graphic object can be used as having the same meaning as each other. That is, the appearance style of the source image can mean the appearance style of the first graphic object.
ここで、スタイルコードは、基準イメージ１００ｂの外貌スタイルと関連することができる。「外貌スタイル」は、基準イメージ１００ｂの視覚的な外観を定義できる要素であって、ヘアスタイル（または、頭髪スタイル）、性別など、様々な要素によって決定されることができる。
Here, the style code can be associated with the appearance style of the
前述したように、基準イメージ１００ｂは、ソースイメージ１００ａの外貌スタイルを変更するために参照される対象を意味できる。
As described above, the
このように、イメージ生成部１１０は、ソースイメージ１００ａに、基準イメージの外貌スタイルに該当するスタイルコードを反映することにより、前記基準イメージの外貌スタイルが反映された合成イメージ２００を生成できる。
As described above, the
本発明において、合成イメージ２００を生成するとは、ソースイメージ１００ａ、すなわち、第１のグラフィックオブジェクトの外貌スタイルを、基準イメージ１００ｂの外貌スタイルを参照して変換（または、変更）することを意味できる。その結果、本発明では、第１のグラフィックオブジェクトの一部分が基準イメージの外貌スタイルに変換された合成イメージが生成され得る。
In the present invention, generating the
一方、本発明において、スタイルコードは、スタイル情報及びドメイン特性情報を含むことができる。このとき、スタイル情報は、ドメイン特性情報によるドメインと関連したスタイルに関する情報でありうる。 On the other hand, in the present invention, the style code can include style information and domain characteristic information. At this time, the style information can be information about the style related to the domain by the domain characteristic information.
イメージ生成部１１０は、スタイルコードに含まれたスタイル情報及びドメイン特性情報に基づいて、ソースイメージ１００ａ（より具体的には、ソースイメージ１００ａに含まれた第１のグラフィックオブジェクト）の外貌スタイルを変換することにより合成イメージ２００を生成できる。このとき、イメージ生成部１１０は、合成イメージ２００が、スタイルコードに含まれたドメイン特性情報に対応するドメインを有するように、前記ソースイメージ１００ａを基に合成イメージ２００を生成できる。
The
その結果、合成イメージ２００に含まれた第３のグラフィックオブジェクトは、第１のグラフィックオブジェクトに、前記スタイルコードに含まれたスタイル情報及びドメイン特性情報が反映されたグラフィックオブジェクトでありうる。すなわち、第３のグラフィックオブジェクトは、第１のグラフィックオブジェクトに第２のグラフィックオブジェクトの外貌スタイルが合成されたイメージでありうる。
As a result, the third graphic object included in the
このように、本発明では、スタイル情報及びドメイン特性情報が含まれたスタイルコードを用いて、ソースイメージ１００ａを基にする合成イメージ２００を生成できる。
As described above, in the present invention, the
すなわち、本発明に係るイメージ生成システム１００は、ソースイメージ１００ａの特定ドメインを基準イメージ１００ｂの特定ドメインに変更することにより合成イメージ２００を生成できる。
That is, the
スタイルコードは、図２に示されたように、それぞれの基準イメージ１０１ｂ、１０２ｂ、１０３ｂ、１０４ｂ、１０５ｂ、１０６ｂに対するスタイル及びドメインに関する情報を含むことができる。
The style code can include information about the style and domain for each
このとき、スタイルコードは、図２に示されたように、ベクトル（ｖｅｃｔｏｒ）形式を有するようになされることができる。さらに、スタイルコード入力部１２０は、このようなベクトル形式を有するスタイルコードを、適応インスタンス正規化（ａｄａｐｔｉｖｅ ｉｎｓｔａｎｃｅ ｎｏｒｍａｌｉｚａｔｉｏｎ）（ＡｄａＩＮ）を介してイメージ生成部１１０に入力することができる。
At this time, the style code can be made to have a vector format as shown in FIG. Further, the style
上述したように、スタイルコードは、基準イメージ１００ｂのスタイル及びドメインを特定するための、スタイル情報及びドメイン特性情報を含むことができる。以下では、本発明に対する理解を助けるために、スタイル情報、ドメイン、及びドメイン特性情報が有する意味について説明する。
As mentioned above, the style code can include style information and domain characteristic information for identifying the style and domain of the
まず、「スタイル情報」は、グラフィックオブジェクトが有する外貌スタイル、すなわち、視覚的特徴（または、視覚的外観）に関する情報を意味する。 First, "style information" means information about the appearance style of a graphic object, that is, visual features (or visual appearance).
ここで、視覚的特徴は、頭髪スタイルなどのように、目に見える外貌（ａｐｐｅａｒａｎｃｅ）と関連した特徴を意味できる。 Here, a visual feature can mean a feature associated with a visible appearance, such as a hair style.
このようなスタイル情報は、複数のカテゴリー（または、スタイルカテゴリー、属性（ａｔｔｒｉｂｕｔｅ）などと命名可能である）のうち、少なくとも１つのカテゴリーに対する特徴情報を含むことができる。 Such style information can include feature information for at least one of a plurality of categories (or style categories, attributes, etc.).
ここで、カテゴリーまたは属性は、グラフィックオブジェクトが有する意味のある視覚的特徴を区分するための区分基準であると理解されることができる。また、カテゴリーは、グラフィックオブジェクトの外貌スタイルを定義するための要素であると理解されることができる。 Here, a category or attribute can be understood as a classification criterion for classifying meaningful visual features of a graphic object. Categories can also be understood as elements for defining the appearance style of graphic objects.
一方、カテゴリーに対する特徴情報は、グラフィックオブジェクトが当該カテゴリーにおいて「どのような視覚的特徴を有するか」をデータとして表現したことを意味できる。 On the other hand, the feature information for a category can mean that "what kind of visual features the graphic object has" in the category is expressed as data.
このとき、「カテゴリーに対する特徴情報」は、「属性値（ａｔｔｒｉｂｕｔｅ ｖａｌｕｅ）」とも命名されることができる。 At this time, the "characteristic information for the category" can also be named "attribute value".
「カテゴリー（または、属性）」についてより具体的に説明すれば、グラフィックオブジェクトの外貌スタイル、すなわち、視覚的特徴を表現するためのカテゴリー（または、属性）の種類は非常に様々でありうる。 More specifically about the "category (or attribute)", the appearance style of the graphic object, that is, the type of category (or attribute) for expressing the visual feature can be very different.
例えば、性別、年齢、ヘアスタイル（頭髪スタイル）、ヘア色相（頭髪色相）、皮膚色相、メーキャップ（化粧）、ひげ、顔型、表情、メガネ、アクセサリー、眉毛形状、目形状、口唇形状、鼻形状、耳形状、人中形状などが全てそれぞれの個別カテゴリー（または、属性）と理解されることができる。 For example, gender, age, hairstyle (hair style), hair hue (head hair hue), skin hue, makeup (makeup), whiskers, face shape, facial expression, glasses, accessories, eyebrow shape, eye shape, lip shape, nose shape. , Ear shape, philtrum shape, etc. can all be understood as individual categories (or attributes).
スタイル情報は、カテゴリーに対する識別情報（カテゴリー種類、カテゴリーインデックス情報等）及び当該カテゴリーに対する特徴情報を全て含むことができる。 The style information can include all the identification information (category type, category index information, etc.) for the category and the feature information for the category.
例えば、カテゴリーに対する識別情報は、「ヘアスタイル」であり、カテゴリーに対する特徴情報は、「金髪ウェーブ」でありうる。 For example, the identification information for a category can be a "hairstyle" and the feature information for a category can be a "blond wave".
このように、スタイルコードは、グラフィックオブジェクトの外貌スタイルを定義できる様々なカテゴリーのうち、少なくとも１つのカテゴリーに関する情報（カテゴリーに対する識別情報及びカテゴリーに対する特徴情報のうち、少なくとも１つを含む）を含むスタイル情報を含むことができる。 Thus, the style code is a style that includes information about at least one category (including at least one of the identification information for the category and the feature information for the category) among the various categories that can define the appearance style of the graphic object. Information can be included.
例えば、図１に示された合成イメージ２００のうち、第１の合成イメージ２０１及び第２の合成イメージ２０２を「ヘアスタイル」カテゴリー観点で説明する。この場合、第１の合成イメージ２０１は、ヘアスタイルカテゴリーに対して、第１の基準イメージ１０１ｂによる「黒色ウェーブ髪２０１ａ」に該当するカテゴリーに対する特徴情報、すなわち、スタイル情報を有することができる。そして、第２の合成イメージ２０２は、ヘアスタイルカテゴリーに対して、第２の基準イメージ１０２ｂに該当する「前髪がある金髪ウェーブ髪２０２ａ」によるカテゴリーに対する特徴情報、すなわち、スタイル情報を有することができる。
For example, among the
このように、第１及び第２の合成イメージ２０１、２０２は、同じカテゴリー（例えば、「ヘアスタイル」カテゴリー）に対して互いに異なるスタイル情報を有することができる。
Thus, the first and second
したがって、スタイルコードにどのカテゴリーのどのような特徴を有するスタイル情報が含まれるかによって合成イメージの外貌スタイルが変わることができる。 Therefore, the appearance style of the composite image can be changed depending on which category and what characteristic of the style information is included in the style code.
したがって、本発明に係るイメージ生成部１１０は、ソースイメージ１００ａに対して、基準イメージ１００ｂの外貌スタイルから抽出されたスタイル情報を含むスタイルコードを反映できる。これにより、イメージ生成部１１０は、基準イメージ１００ｂの外貌スタイルを有する合成イメージ２００を生成できる。
Therefore, the
このように、イメージ生成部１１０は、スタイルコードに含まれたスタイル情報に基づいて、ソースイメージ１００ａの少なくとも１つのカテゴリーに対する変換を行うことができる。
In this way, the
イメージ生成部１１０は、ソースイメージ（１００ａ、または、第１のグラフィックオブジェクト）の外貌スタイルを定義するための複数のカテゴリーのうち、スタイル情報に含まれたカテゴリーと同一または対応するカテゴリーを基準に変換を行うことができる。
The
ここで、ソースイメージ１００ａの特定カテゴリーに対して変換を行うとは、ソースイメージ１００ａの特定カテゴリーに対する特徴情報または属性値を変換することであって、このような特徴情報が変更される場合、当該カテゴリーに対する視覚的外観が変わるようになる。
Here, the conversion for the specific category of the
次に、ドメイン及びドメイン特性情報について説明する。 Next, the domain and the domain characteristic information will be described.
ドメイン（ｄｏｍａｉｎ）は、前述した、イメージ（または、グラフィックオブジェクト）の外貌スタイルを区分する互いに異なる複数のカテゴリーのうち、基準になる少なくとも１つのカテゴリーに対する特徴情報（または、属性値）を意味できる。 The domain (domine) can mean the characteristic information (or attribute value) for at least one category as a reference among a plurality of different categories that classify the appearance style of the image (or graphic object) described above.
ここで、「基準」は、イメージ変換の基準、イメージ分類の基準、またはイメージ区分の基準のように、様々な意味と受け入れられることができる。 Here, "criteria" can be accepted as having various meanings, such as image conversion criteria, image classification criteria, or image classification criteria.
ドメイン（ｄｏｍａｉｎ）は、互いに異なる複数のイメージが、「特定カテゴリーに対して互いに同じ属性値を有する」または「特定カテゴリーに対して互いに異なる共通属性値を有する」と表現するとき、「特定カテゴリーに対する属性値」がつまり、ドメインを意味できる。 A domain is defined as "for a particular category" when multiple images that are different from each other are described as "having the same attribute values for a particular category" or "having different common attribute values for a particular category". "Attribute value" can mean a domain.
例えば、複数のカテゴリーのうち、「性別」カテゴリーを基準にドメインを説明するとき、図２に示されたように、第１、第２、及び第３のイメージ２０１、２０２、２０３は、同じドメインを有する。そして、第４、第５、及び第６イメージ２０４、２０５、２０６も同じドメインを有する。しかし、第１、第２、及び第３のイメージ２０１、２０２、２０３のドメインは、第４、第５、及び第６のイメージ２０４、２０５、２０６のドメインと互いに異なることができる。すなわち、第１、第２、及び第３のイメージ２０１、２０２、２０３は、「女性」であり、第４、第５、及び第６のイメージ２０４、２０５、２０６のドメインは、「男性」である。このとき、「女性」または「男性」がつまり、ドメインを意味できる。
For example, when describing a domain based on the "gender" category among a plurality of categories, the first, second, and
このように、ドメインは、外貌スタイルと関連した様々なカテゴリーに対する属性値のうち、少なくとも１つであって、イメージの変換、イメージの分類、またはイメージの区分基準になる指標でありうる。 Thus, the domain is at least one of the attribute values for the various categories associated with the appearance style and can be an index that serves as an image transformation, image classification, or image classification criterion.
一方、スタイルコードに含まれたドメイン特性情報は、特定ドメイン（または、ターゲットドメイン）を表すデータであって、外貌スタイルを区分する特定カテゴリー（または、属性）及びこれに対する特徴情報（属性値）を含むことができる。 On the other hand, the domain characteristic information included in the style code is data representing a specific domain (or target domain), and includes specific categories (or attributes) that classify appearance styles and characteristic information (attribute values) for them. Can include.
一方、イメージ生成部１１０は、スタイルコードに含まれたドメイン特性情報に基づいて合成イメージ２００のドメインを決定できる。
On the other hand, the
前記イメージ生成部１１０は、合成イメージ２００がスタイルコードに含まれたドメイン特性情報によるドメインを有するようにソースイメージ１００ａを変換できる。
The
ここで、スタイルコードに含まれたドメイン特性情報は、基準イメージの特定ドメインに関する情報でありうる。すなわち、イメージ生成部１１０は、合成イメージ２００が、基準イメージの特定ドメインと同じドメインを有するようにソースイメージ１００ａを変換できる。
Here, the domain characteristic information included in the style code can be information about a specific domain of the reference image. That is, the
例えば、スタイルコードに第４、第５、及び第６の基準イメージ１０４ｂ、１０５ｂ、１０６ｂによる「男性」に該当する特定ドメインに対するドメイン特性情報が含まれた場合、イメージ生成部１１０により生成された第４、第５、及び第６のイメージ２０４、２０５、２０６は、「男性」ドメインを有することができる。
For example, when the style code contains domain characteristic information for a specific domain corresponding to "male" according to the fourth, fifth, and
このように、イメージ生成部１１０は、合成イメージ２０４、２０５、２０６が基準イメージ（例えば、第４、第５、及び第６の基準イメージ１０４ｂ、１０５ｂ、１０６ｂ）の特定ドメイン（例えば、男性）を有するように、ソースイメージ１００ａに前記ドメイン特性情報を反映できる。
As described above, in the
このとき、イメージ生成部１１０は、ソースイメージ１００ａのドメインとスタイルコードに含まれたドメイン特性情報による特定ドメインとが異なる場合、これを考慮せずに合成イメージ２００のドメインを決定できる。
At this time, if the domain of the
すなわち、イメージ生成部１１０は、ソースイメージ１００ａの特定ドメインと基準イメージ１００ｂの特定ドメインとが異なる場合、ソースイメージ１００ａの特定ドメインより、前記基準イメージ１００ｂの特定ドメインを優先して、合成イメージ（または、第３のグラフィックオブジェクト）のドメインを決定できる。その結果、合成イメージ２００は、基準イメージ１００ｂの特定ドメインを有する。
That is, when the specific domain of the
一方、イメージ生成部１１０は、スタイルコードに基づいてソースイメージ１００ａを変換する場合、ソースイメージ１００ａの外貌的正体性を決定する少なくとも１つの外貌特徴部分を基準に、残りの部分に対する外貌スタイルを変更できる。
On the other hand, when the
より具体的に、ソースイメージ１００ａは、前記ソースイメージ１００ａの外貌的正体性を決定する少なくとも１つの外貌特徴部分を含むことができる。イメージ生成部１００ａは、ソースイメージ１００ａの外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージ１００ａに対して基準イメージ１００ｂの外貌スタイルを反映できる。このとき、基準イメージ１００ｂの外貌スタイルは、スタイルコードに含まれたドメイン特性情報に対応する基準イメージの特定ドメインを基準に定義された外貌スタイルを意味できる。
More specifically, the
ソースイメージ１００ａ及び基準イメージ１００ｂが人に対応する場合、前記ソースイメージ１００ａの前記外貌特徴部分は、人の目、鼻、及び口のうち、少なくとも１つに対応する部分でありうる。このとき、前記基準イメージ１００ｂの外貌スタイルは、人の頭髪スタイル、ひげ、年齢、皮膚色、メーキャップのうち、少なくとも１つと関連したものでありうる。
When the
一方、前記ソースイメージ１００ａの外貌的正体性を決定する要素は様々でありうるし、イメージ生成部１１０は、合成イメージ２００の合成目的によって、外貌的正体性を決定する要素を異なるように決定することができる。
On the other hand, the factors that determine the external identity of the
イメージ生成部１１０において、どの部分を外貌的正体性と決定するか否かは、予め入力された情報に基づいて決定されることも可能である。
In the
例えば、合成イメージ２００の目的が特定人物に対する様々な頭髪スタイルの変化を表すことであるならば、このとき、外貌的正体性を表す外貌特徴部分は、特定人物の目、鼻、口、顔型などに対応する部分でありうる。
For example, if the purpose of the
その結果、図１に示されたように、イメージ生成部１１０は、ソースイメージ１００ａの外貌的正体性に該当する外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージ１００ａに対して基準イメージ１００ｂの外貌スタイル（例えば、ヘアスタイル）を反映できる。その結果、ソースイメージ１００ａの外貌的正体性を維持しながら、基準イメージ１００ｂの外貌スタイルを有する合成イメージ２００が生成され得る。
As a result, as shown in FIG. 1, the
一方、ここで、外貌的正体性は、ソースイメージ１００ａに含まれたグラフィックオブジェクトのポーズ（ｐｏｓｅ）または姿勢を含むことができる。
On the other hand, here, the external identity can include the pose or posture of the graphic object included in the
すなわち、イメージ生成部１１０は、ソースイメージ１００ａに含まれたグラフィックオブジェクトのポーズと同じポーズを有するグラフィックオブジェクトが含まれるように合成イメージ２００を生成できる。
That is, the
このように、本発明に係るイメージ生成システム１００は、入力部１１０を介してソースイメージを受信し（Ｓ３１０）、スタイルコード入力部１２０を介して外貌スタイルと関連したスタイルコードを受信する（Ｓ３２０）。そして、受信されたスタイルコードを用いて、スタイルコードに対応する外貌スタイルが反映されたイメージを生成できる（Ｓ３３０）。
As described above, the
以上で説明したように、本発明に係るイメージ生成システム１００は、イメージ生成部１１０にドメインの特性情報を含むスタイルコードに基づいて合成イメージを生成できる。
As described above, the
以下では、スタイルコードを生成する方法について添付された図面とともにより具体的に説明する。図４、図５、及び図６は、本発明に係るマッピングネットワークを利用してスタイルコードを生成する方法を説明するための概念図である。 In the following, the method of generating the style code will be described more specifically together with the attached drawings. 4, 5, and 6 are conceptual diagrams for explaining a method of generating a style code using the mapping network according to the present invention.
前述したように、本発明に係るイメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードにより、ソースイメージ１００ａにおいてどのドメインを基準にイメージを変換するかを決定できる。
As described above, the
すなわち、スタイルコードは、特定ドメイン（または、ターゲットドメイン）に対するドメイン特性情報及び前記特定ドメインを基準に抽出されたスタイル情報を含むことができる。一方、スタイルコードに含まれたドメイン特性情報に基づいて、ソースイメージ１００ａの変換対象ターゲットドメインが決定される。
That is, the style code can include domain characteristic information for a specific domain (or a target domain) and style information extracted based on the specific domain. On the other hand, the conversion target domain of the
このようなスタイルコードは、図４に示されたマッピングネットワーク４００から抽出されることができる。イメージ生成部１１０は、マッピングネットワーク４００から抽出されたスタイルコードを用いて、ソースイメージの特定ドメインを、スタイルコードに含まれたドメイン特性情報による特定ドメイン（または、ターゲットドメイン）に変換することができる。
Such a style code can be extracted from the
より具体的に、図４に示されたように、マッピングネットワーク４００は、マッピングネットワーク部４１０、入力部４２０、及び出力部４３０のうち、少なくとも１つを備えることができる。
More specifically, as shown in FIG. 4, the
マッピングネットワーク部４１０は、ガウス分布４００ａからノイズ情報（ｚ１ないしｚ７）を抽出し、抽出されたノイズ情報を利用してスタイルコードを生成できる。
The
このようなノイズ情報は、潜在コード（ｌａｔｅｎｔ ｃｏｄｅ）とも命名されることができる。 Such noise information can also be named latent code.
マッピングネットワーク部４１０は、ガウス分布４００ａからランダムにサンプリングを行うことにより、様々なドメイン及び様々なスタイルを有する様々なスタイルコードを生成できる。
The
マッピングネットワーク部４１０は、このようなガウス分布４００ａからサンプリングを行ってノイズ情報（潜在コードまたはノイズ）を抽出できる。このように抽出されたノイズ情報は、特定ドメインに対するスタイル情報になることができる。
The
マッピングネットワーク部４１０は、スタイルコードに反映しようとする特定ドメインの情報とガウス分布４００ａから抽出された特定ノイズ情報とを組み合わせることができる。そして、マッピングネットワーク部４１０は、前記組み合わせに基づいて、特定ドメインに対する特性情報及び前記抽出された特定ノイズ情報に対応するスタイル情報を含むスタイルコードを生成できる。
The
このとき、ガウス分布４００ａは、複数のイメージに対するものであって、複数のイメージに対するデータセット（ｄａｔａ ｓｅｔ）の確率分布でありうる。
At this time, the
前述したように、マッピングネットワーク部４１０は、ノイズ情報からスタイルコードを変換するとき、変換されたスタイルコードにドメインの情報が含まれるようにスタイルコードを生成できる。
As described above, when the
例えば、図５に示されたように、ガウス分布４００ａから特定ノイズ情報ｚ１が抽出された場合、当該ノイズ情報ｚ１がどのドメインに対することであるかによって、互いに異なるスタイルコードが生成され得る。
For example, as shown in FIG. 5, when the specific noise information z1 is extracted from the
すなわち、マッピングネットワーク部４００は、ガウス分布４００ａから同一ノイズ情報が抽出されても、基準になるドメインによって、互いに異なるスタイルコードを生成できる。
That is, even if the same noise information is extracted from the
このために、マッピングネットワーク部４００は、互いに異なるドメインに対するスタイルコードを出力するための複数の出力分岐があるＭＬＰ（ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）（ＭＬＰ ｗｉｔｈ ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ ｂｒａｎｃｈｅｓ）で構成されることができる。このような、同じノイズ情報に対して互いに異なるスタイルコードが生成され得る。この場合、互いに異なるスタイルコードは、各々互いに異なるターゲットドメインに対応することができる。
For this purpose, the
より具体的に、図５において特定ノイズ情報ｚ１は、図１及び図２において説明した基準イメージ１０１ｂを表すためのデータを含むことができる。
More specifically, in FIG. 5, the specific noise information z1 can include data for representing the
マッピングネットワーク部４１０は、基準イメージ１０１ｂに対応するノイズ情報ｚからスタイルコードを生成できる。この場合、マッピングネットワーク部４１０は、互いに異なる様々なドメインを基準にスタイルコードを生成できる。すなわち、マッピングネットワーク部４００は、特定ドメインを基準に互いに異なるスタイルコードを生成できる。
The
例えば、図５に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「性別」である場合、マッピングネットワーク部４１０は、基準イメージ１０１ｂの性別（例えば、「女性」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。
For example, as shown in FIG. 5, when the reference of the specific domain (target domain) included in the style code is "gender", the
このとき、マッピングネットワーク部４１０は、ノイズ情報ｚから前記特定ドメインが有する特徴（例えば、「女性」の特徴：長髪、化粧）を中心にスタイル情報を抽出できる。
At this time, the
さらに他の例として、図５に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「年齢」である場合、マッピングネットワーク部４１０は、基準イメージ１０１ｂの年齢（例えば、「若者」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。
As yet another example, as shown in FIG. 5, when the reference of the specific domain (target domain) included in the style code is "age", the
このとき、マッピングネットワーク部４１０は、ノイズ情報ｚから前記特定ドメインが有する特徴（例えば、「若い女性」の特徴：滑らかな皮膚、化粧）を中心にスタイル情報を抽出できる。
At this time, the
また、図示したように、マッピングネットワーク部４１０は、ヘアカラー、皮膚カラー、ヘアスタイル、顔型など、様々なターゲットドメインを基準に、ノイズ情報ｚからスタイル情報を抽出できる。
Further, as shown in the figure, the
一方、本発明において、「ターゲットドメインを基準にスタイル情報を抽出する」とは、ノイズ情報ｚから、ターゲットドメインと関連した特徴（例えば、ターゲットドメインが女性である場合、長髪、化粧）と関連した外貌的な特徴を有するスタイル情報を抽出することを意味できる。 On the other hand, in the present invention, "extracting style information based on the target domain" is related to the characteristics related to the target domain (for example, long hair, makeup when the target domain is female) from the noise information z. It can be meant to extract style information with external features.
このように、本発明に係るマッピングネットワーク部４１０は、複数の基準イメージに対するガウス分布から基準イメージ１０１ｂに対応するノイズ情報ｚを抽出し、前記抽出されたノイズ情報ｚを利用して、基準イメージ１０１ｂの外貌スタイルと関連したスタイルコードを生成できる。
As described above, the
前述したように、マッピングネットワーク部４１０は、前記ノイズ情報に前記第２のグラフィックオブジェクトの外貌スタイルに基づいて分類可能な複数のドメインのうち、いずれか１つのドメイン（または、ターゲットドメイン、特定ドメイン）を基準にスタイルコードを生成できる。したがって、スタイルコードは、前記いずれか１つのドメイン（ターゲットドメイン）によるドメイン特性情報が反映されて存在することができる。
As described above, the
一方、図５に示されたように、スタイルコードは、ドメインを基準に互いに異なるスケール（ｓｃａｌｅ）を有するベクトルで構成されることができる。 On the other hand, as shown in FIG. 5, the style code can be composed of vectors having different scales with respect to the domain.
例え、図示されてはいないが、マッピングネットワーク４００は、学習部をさらに備えることができる。マッピングネットワーク４００の学習部は、抽出されたノイズ情報をスタイルコードに変換する学習を行うことができる。
For example, although not shown, the
より具体的に、学習部は、抽出されたノイズ情報から、与えられた特定ドメインに対応するスタイル情報が抽出されるようにする学習を行うことができる。 More specifically, the learning unit can perform learning so that the style information corresponding to a given specific domain is extracted from the extracted noise information.
このような学習を介して、マッピングネットワーク部４１０は、ノイズ情報から前記特定ドメインが有する特徴（例えば、「女性」の特徴）をより正確に反映されるようにするスタイル情報を抽出できる。
Through such learning, the
すなわち、学習部は、マッピングネットワーク部４１０が、ノイズ情報から特定ドメイン（ターゲットドメイン）に対してありそうな（確率が高い）スタイル情報を抽出させる学習を進行できる。マッピングネットワーク部４１０は、特定ドメインに対してありそうなスタイル情報を含むスタイルコードを生成することにより、ソースイメージをより実際に近く変換することができる。
That is, the learning unit can proceed with the learning that the
例えば、ターゲットドメインが女性である場合、初期にマッピングネットワーク部４１０から抽出されたスタイルコードに「ひげ」に対するスタイル情報が含まれた場合、学習を介して、「ひげ」に対するスタイル情報が除外され得る。
For example, when the target domain is female, if the style code extracted from the
一方、マッピングネットワーク４００は、ガウス分布内に存在するノイズ情報に基づいてスタイルコードを生成するので、連続する隣接したノイズ情報は、類似したスタイル情報を含むことができる。
On the other hand, since the
したがって、図１において説明したソースイメージ１００ａに対し、ターゲットドメインを「女性」としてイメージ変換を行う場合、図５において説明した特定ノイズ情報ｚ及びこれと隣接したノイズ情報に基づいて生成されたスタイルコードにより合成されたイメージ６１０、６２０、６３０、６４０、６６０は、図６に示されたように、隣り合った合成イメージと互いに類似した外貌スタイルを有することができる。
Therefore, when image conversion is performed on the
以上で説明したように、本発明に係るマッピングネットワークシステムは、ノイズ情報から様々なドメインに対するスタイルコードを生成できる。さらに、イメージ生成部１１０は、このようなスタイルコードを用いて、ソースイメージに対する様々なドメインの変更を行いながら、様々なスタイルを有する合成イメージを生成できる。
As described above, the mapping network system according to the present invention can generate style codes for various domains from noise information. Further, the
一方、以上では、マッピングネットワークシステムを利用してスタイルコードを生成する方法について説明したが、本発明では、スタイルエンコーダを用いて、スタイルコードを生成することも可能である。以下では、スタイルエンコーダを活用してスタイルコードを生成する方法について添付された図面とともにより具体的に説明する。図７及び図８は、本発明に係るスタイルエンコーダを用いてスタイルコードを生成する方法を説明するための概念図である。 On the other hand, in the above, the method of generating the style code by using the mapping network system has been described, but in the present invention, it is also possible to generate the style code by using the style encoder. In the following, the method of generating a style code by utilizing the style encoder will be described more specifically together with the attached drawings. 7 and 8 are conceptual diagrams for explaining a method of generating a style code using the style encoder according to the present invention.
前述したように、本発明に係るイメージ生成部１１０は、スタイルコード入力部１２０を介して入力されるスタイルコードを介して、ソースイメージ１００ａでどのドメインを基準にイメージを変換するかを決定できる。
As described above, the
すなわち、スタイルコードは、特定ドメイン（または、ターゲットドメイン）に対するドメイン特性情報及び前記特定ドメインを基準に抽出されたスタイル情報を含むことができる。一方、スタイルコードに含まれたドメイン特性情報に基づいてソースイメージ１００ａの変換対象ターゲットドメインが決定される。
That is, the style code can include domain characteristic information for a specific domain (or a target domain) and style information extracted based on the specific domain. On the other hand, the conversion target domain of the
このようなスタイルコードは、図７に示されたスタイルエンコーダシステム７００から抽出されることができる。イメージ生成部１１０は、スタイルエンコーダシステム７００から抽出されたスタイルコードを用いて、ソースイメージの特定ドメインを、スタイルコードに含まれたドメイン特性情報による特定ドメイン（または、ターゲットドメイン）に変換することができる。
Such a style code can be extracted from the
より具体的に、図７に示されたように、スタイルエンコーダシステム７００は、スタイルエンコーダ７１０、入力部７２０、及び出力部７３０のうち、少なくとも１つを備えることができる。
More specifically, as shown in FIG. 7, the
スタイルエンコーダ７１０は、入力部７２０を介して入力される基準イメージ（７０１ないし７０３）から特定ドメイン（または、ターゲットドメイン）を基準にスタイル情報を抽出できる。そして、スタイルエンコーダ部７１０は、抽出されたスタイル情報及び特定ドメインに対するドメイン特性情報を利用してスタイルコードを生成できる。
The
スタイルエンコーダ７１０は、基準イメージ１０１ｂ（図７の図面符号７０１ないし７０６参照）から、基準イメージ１０１ｂの外貌スタイルと関連したスタイル情報を抽出できる。
The
このとき、スタイルエンコーダ７１０は、基準イメージから、前記基準イメージ１０１ｂの外貌スタイルを基に分類可能な複数のドメインのうち、いずれか１つのドメインを基準に前記スタイル情報を抽出できる。ここで、いずれか１つのドメインは、特定ドメインまたはターゲットドメインと命名されることができる。
At this time, the
図８に示された基準イメージ７０１を例を挙げて説明すれば、スタイルエンコーダ７１０は、基準イメージ７０１から、基準イメージ７０１の外貌スタイルを基に分類可能な複数のドメイン（例えば、女性、黒色の長髪、白色皮膚など）のうち、いずれか少なくとも１つのドメイン（例えば、女性）を基準にスタイル情報を抽出できる。
Taking the
ここで、基準になるドメインは、前述したように、ターゲットドメインと命名されることができる。スタイルエンコーダ７１０は、基準イメージ７０１から互いに異なるターゲットドメインに各々該当するスタイル情報を抽出し、これを利用してスタイルコードを生成できる。
Here, the reference domain can be named the target domain as described above. The
例えば、図８に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「性別」である場合、スタイルエンコーダ７１０は、基準イメージ７０１の性別（例えば、「女性」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。
For example, as shown in FIG. 8, when the reference of the specific domain (target domain) included in the style code is "gender", the
このとき、スタイルエンコーダ７１０は、基準イメージ７０１から前記特定ドメインが有する特徴（例えば、「女性」の特徴：長髪、化粧）を中心にスタイル情報を抽出できる。
At this time, the
さらに他の例として、図８に示されたように、スタイルコードに含まれる特定ドメイン（ターゲットドメイン）の基準が「年齢」である場合、スタイルエンコーダ７１０は、基準イメージ７０１の年齢（例えば、「若者」）がドメイン特性情報として含まれるようにスタイルコードを生成できる。
As yet another example, as shown in FIG. 8, when the reference of the specific domain (target domain) included in the style code is "age", the
このとき、スタイルエンコーダ７１０は、基準イメージ７０１から前記特定ドメインが有する特徴（例えば、「若い女性」の特徴：滑らかな皮膚、化粧）を中心にスタイル情報を抽出できる。
At this time, the
また、図示したように、スタイルエンコーダ７１０は、ヘアカラー、皮膚カラー、ヘアスタイル、顔型など、様々なターゲットドメインを基準に、基準イメージ７０１からスタイル情報を抽出できる。
Further, as shown in the figure, the
そして、このように抽出されたスタイル情報は、基準になるターゲットドメインに該当するドメイン特性情報を含んで、互いに異なるスタイルコードとして生成されることができる。 Then, the style information extracted in this way can be generated as different style codes from each other, including the domain characteristic information corresponding to the reference target domain.
前述したように、スタイルエンコーダ７１０は、基準イメージ７０１の外貌スタイルを基に分類可能な複数のドメイン（例えば、性別、頭髪スタイル等）のうち、いずれか１つのドメイン（または、ターゲットドメイン、特定ドメイン）を基準にスタイルコードを生成できる。したがって、スタイルコードは、前記いずれか１つのドメイン（ターゲットドメイン）によるドメイン特性情報が反映されて存在することができる。一方、図８に示されたように、スタイルコードは、ドメインを基準に互いに異なるスケール（ｓｃａｌｅ）のベクトルで構成されることができる。
As described above, the
以上で説明したように、本発明に係るイメージ生成システムのイメージ生成部は、マッピングネットワークまたはスタイルエンコーダシステムを介して生成されたスタイルコードを用いて、ソースイメージの特定ドメインを基準イメージのターゲットドメインに変更することができる。 As described above, the image generation unit of the image generation system according to the present invention uses a style code generated via a mapping network or a style encoder system to set a specific domain of the source image as the target domain of the reference image. Can be changed.
一方、本発明に係るイメージ生成システムは、学習を介してイメージ生成の性能を高めることができ、以下では、学習過程について添付された図面とともにより具体的に説明する。図９は、本発明に係るイメージ生成システムを学習する方法を説明するための概念図である。 On the other hand, the image generation system according to the present invention can improve the performance of image generation through learning, and the learning process will be described more specifically with the attached drawings below. FIG. 9 is a conceptual diagram for explaining a method of learning the image generation system according to the present invention.
本発明では、様々な学習アルゴリズムを利用して、イメージ生成システムを学習させることが可能である。イメージ生成部（１１０、図１参照）は、スタイルコードによるターゲットドメインと区分されない合成イメージを作るようにする学習が進行される。 In the present invention, it is possible to train an image generation system by using various learning algorithms. The image generation unit (110, see FIG. 1) is trained to create a composite image that is not distinguished from the target domain by the style code.
例えば、図示されてはいないが、本発明に係るイメージ生成システム１００は、学習部をおき、様々な学習アルゴリズムを利用してイメージ生成部１１０に対する学習を行うことができる。イメージ生成部１１０は、スタイルコードにより定義されるターゲットドメイン（例えば、黒髪）と、さらに類似または同一の合成イメージを生成するように学習されることができる。
For example, although not shown, the
一例として、学習部は、識別部（Ｄｉｓｃｒｉｍｉｎａｔｏｒ、９００）を利用して学習を進行できる。識別部９００は、ターゲットドメイン（例えば、黒髪）を基準に、合成イメージ２０１と基準イメージ１０１ｂとを比較できる。そして、比較結果に基づいて、識別部９００は、合成イメージ２０１が実際（または、本物）イメージ（ｒｅａｌ ｉｍａｇｅ）であるか、または、作られた偽物イメージ（ｆａｋｅ ｉｍａｇｅ）であるかを判断できる。
As an example, the learning unit can proceed with learning by using the identification unit (Discriminator, 900). The
識別部９００は、合成イメージ２０１が実際イメージであると判断された場合、「１」の値を出力し、偽物イメージであると判断された場合、「０」の値を出力できる。
The
さらに、学習部は、識別部９００での比較結果に該当する、合成イメージ２０１と基準イメージ１０１との間の差値を用いてイメージ生成部１１０を学習できる。イメージ生成部１１０は、前記差値が最小になるようにするイメージを生成するように学習されることができる。
Further, the learning unit can learn the
また、例え、図示されてはいないが、スタイルエンコーダシステム７００は、学習部をさらに備えることができる。スタイルエンコーダシステム７００の学習部は、イメージ生成部１１０を介して生成された合成イメージから、前記合成イメージのスタイルコードが抽出されるように前記スタイルエンコーダを制御できる。ここで、合成イメージは、スタイルエンコーダ部７１０により生成されたスタイルコードにより生成されたイメージでありうる。
Further, although not shown, the
学習部は、スタイルエンコーダ７１０により生成されたスタイルコードが反映された合成イメージを利用してスタイルエンコーダ７１０を学習させることができる。
The learning unit can train the
より具体的に、学習部は、スタイルエンコーダ７１０に合成イメージを基準イメージとして入力し、合成イメージからスタイルコードを生成できる。このとき、ターゲットドメインは、合成イメージの生成に使用されたスタイルコードのターゲットドメインと同一に設定されることができる。
More specifically, the learning unit can input a composite image into the
一方、学習部は、合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）と、合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）とを比較し、比較結果を利用してイメージ生成部１１０を学習させることができる。すなわち、イメージ生成部１１０を介して生成された合成イメージにターゲットドメインのスタイル情報が含まれているか判断し、判断結果に基づいてイメージ生成部１１０が学習される方式である。
On the other hand, the learning unit has the style code used to generate the composite image (or the style code of the reference image, the first style code) and the style code generated from the composite image (or the style of the composite image). The code, the second style code) can be compared, and the
前記学習部は、前記比較結果、ｉ）合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）とｉｉ）合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）とが互いに相違した場合、ｉ）合成イメージを生成するために使用されたスタイルコード（または、基準イメージのスタイルコード、第１のスタイルコード）とｉｉ）合成イメージから生成されたスタイルコード（または、合成イメージのスタイルコード、第２のスタイルコード）との差値が最小になるようにイメージ生成部１１０を学習させることができる。このとき、学習部は、スタイル再構成損失（ｓｔｙｌｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）関数を利用して学習を行うことができる。
The learning unit includes the comparison result, i) the style code used to generate the composite image (or the style code of the reference image, the first style code) and ii) the style code generated from the composite image (i). Or, if the style code of the composite image (second style code) is different from each other, i) the style code used to generate the composite image (or the style code of the reference image, the first style code). And ii) The
一方、以上で説明した学習の方法の他にも、学習部は、様々な損失（ｌｏｓｓ）関数（例えば、ダイバーシティセンシティブ損失（ｄｉｖｅｒｓｉｔｙ ｓｅｎｓｉｔｉｖｅ ｌｏｓｓ）関数、サイクル一貫性損失（ｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｃｙ ｌｏｓｓ））を利用して本発明に係るイメージ生成システムを学習させることができる。 On the other hand, in addition to the learning method described above, the learning unit uses various loss functions (for example, diversity sensitive loss function, cycle consistency loss). Then, the image generation system according to the present invention can be learned.
上述したように、本発明に係るイメージ生成システム及びこれを利用したイメージ生成方法は、ドメインの特性を含むスタイルコードを用いて、スタイルコードに含まれたドメイン特性に該当するドメインを有するイメージを生成できる。 As described above, the image generation system according to the present invention and the image generation method using the image generation system generate an image having a domain corresponding to the domain characteristic included in the style code by using the style code including the domain characteristic. can.
このとき、本発明では、スタイルコードにスタイル情報を含めることにより、スタイルコードだけで生成しようとするイメージのスタイル及びドメインを特定できる。 At this time, in the present invention, by including the style information in the style code, the style and domain of the image to be generated can be specified only by the style code.
したがって、本発明によれば、スタイルコードにどのドメインによるドメイン特性が反映されているかによって、生成されるイメージのドメインが様々に定義され得る。 Therefore, according to the present invention, the domain of the generated image can be variously defined depending on which domain reflects the domain characteristic in the style code.
すなわち、本発明では、イメージ生成部に入力されるスタイルコードにドメインの特性を反映することにより、単一のイメージ生成部だけでも互いに異なる様々なドメインに対応する様々なイメージを生成できる。 That is, in the present invention, by reflecting the characteristics of the domain in the style code input to the image generation unit, it is possible to generate various images corresponding to various domains different from each other even with a single image generation unit alone.
したがって、本発明によれば、ドメイン毎に別のイメージ生成部を備えなくとも、単一のイメージ生成部だけでも、様々なドメインに対する新しいイメージを生成できるドメイン側面での拡張性を提供できる。 Therefore, according to the present invention, even if a separate image generation unit is not provided for each domain, a single image generation unit alone can provide extensibility in terms of domains that can generate new images for various domains.
また、本発明は、スタイルコードにどのスタイルによるスタイル情報を含めるかによって、同じドメインに対して互いに異なるスタイルのイメージを生成できる。したがって、本発明は、スタイルコードに含まれるスタイル情報を変更させることだけでも、同じドメインに対する様々なスタイルのイメージを生成することにより、スタイル側面での多様性を提供できる。 Further, the present invention can generate images of different styles for the same domain depending on which style of style information is included in the style code. Therefore, the present invention can provide diversity in terms of style by generating images of various styles for the same domain simply by changing the style information contained in the style code.
一方、上記で説明した本発明は、コンピュータで１つ以上のプロセスによって実行され、このようなコンピュータ読み取り可能な媒体に格納可能なプログラムとして実現されることができる。 On the other hand, the present invention described above can be realized as a program that can be executed by one or more processes on a computer and can be stored in such a computer-readable medium.
さらに、上記で説明した本発明は、プログラムが記録された媒体にコンピュータ読み取り可能なコードまたは命令語として実現することが可能である。すなわち、本発明は、プログラムの形態で提供されることができる。 Further, the invention described above can be realized as a computer-readable code or instruction word on the medium on which the program is recorded. That is, the present invention can be provided in the form of a program.
一方、コンピュータ読み取り可能な媒体は、コンピュータシステムによって読み取られることができるデータが格納されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な媒体の例では、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＳＤＤ（Ｓｉｌｉｃｏｎ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、また、キャリアウェーブ（例えば、インターネットを介しての送信）の形態で実現されることも含む。 Computer-readable media, on the other hand, include all types of recording devices that store data that can be read by computer systems. Examples of computer-readable media include HDDs (Hard Disk Drives), SSDs (Solid State Disks), SDDs (Silicon Disk Drives), ROMs, RAMs, CD-ROMs, magnetic tapes, floppy disks, optical data storage devices, and the like. It also includes being realized in the form of a carrier wave (eg, transmission over the Internet).
さらに、コンピュータ読み取り可能な媒体は、格納所を含み、電子機器が通信を介して接近できるサーバまたはクラウド格納所でありうる。 Further, the computer-readable medium may be a server or cloud vault, including the vault, accessible to electronic devices via communication.
さらに、本発明では、上記で説明したコンピュータは、プロセッサ、すなわち、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）が搭載された電子機器であって、その種類に対して特別な限定をおかない。 Further, in the present invention, the computer described above is an electronic device equipped with a processor, that is, a CPU (Central Processing Unit), and there is no particular limitation on the type thereof.
一方、上記の詳細な説明は、あらゆる面において制限的に解釈されてはならず、例示的なことと考慮されなければならない。本発明の範囲は、添付された請求項の合理的解釈により決定されなければならず、本発明の等価的範囲内での全ての変更は本発明の範囲に含まれる。 On the other hand, the above detailed description should not be construed in a restrictive manner in all respects and should be considered exemplary. The scope of the invention must be determined by reasonable interpretation of the appended claims, and all modifications within the equivalent scope of the invention are within the scope of the invention.
Claims (16)
基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部と、
を備え、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成システム。 The image input section that receives the source image to be converted, and
The style code input section for inputting the style code related to the appearance style of the reference image,
An image generation unit that uses the style code to generate a composite image in which the appearance style of the reference image is reflected in the source image.
Equipped with
The appearance style of the reference image is an image generation system associated with a particular domain of the reference image.
前記基準イメージの特定ドメインに対応するドメイン特性情報を含み、
前記イメージ生成部は、
前記スタイルコードに基づいて、前記合成イメージが、前記基準イメージの特定ドメインを有するように前記合成イメージを生成する、請求項１に記載のイメージ生成システム。 The style code is
Includes domain characteristic information corresponding to the specific domain of the reference image
The image generation unit
The image generation system according to claim 1, wherein the composite image is generated so that the composite image has a specific domain of the reference image based on the style code.
前記ソースイメージの特定ドメインを、前記基準イメージの特定ドメインに変換して前記合成イメージを生成し、
前記ソースイメージの特定ドメイン及び前記基準イメージの特定ドメインは、互いに対応する外貌的属性である、請求項２に記載のイメージ生成システム。 The image generation unit
The specific domain of the source image is converted into the specific domain of the reference image to generate the composite image.
The image generation system according to claim 2, wherein the specific domain of the source image and the specific domain of the reference image are external attributes corresponding to each other.
前記ソースイメージの特定ドメインと前記基準イメージの特定ドメインとが互いに異なる場合、
前記ソースイメージの特定ドメインより、前記基準イメージの特定ドメインを優先して、前記合成イメージのドメインを決定する、請求項３に記載のイメージ生成システム。 The image generation unit
When the specific domain of the source image and the specific domain of the reference image are different from each other,
The image generation system according to claim 3, wherein the domain of the composite image is determined by giving priority to the specific domain of the reference image over the specific domain of the source image.
前記スタイルエンコーダは、
前記基準イメージから、前記基準イメージの外貌スタイルと関連したスタイル情報を抽出する、請求項１〜４のいずれか１項に記載のイメージ生成システム。 With more style encoders
The style encoder
The image generation system according to any one of claims 1 to 4, wherein style information related to the appearance style of the reference image is extracted from the reference image.
前記基準イメージから、前記基準イメージの特定ドメインを基準に前記スタイル情報を抽出し、
前記スタイル情報及び前記基準イメージの特定ドメインによるドメイン特性情報が含まれた前記スタイルコードを生成する、請求項５に記載のイメージ生成システム。 The style encoder
The style information is extracted from the reference image based on the specific domain of the reference image.
The image generation system according to claim 5, wherein the style code including the style information and domain characteristic information according to a specific domain of the reference image is generated.
前記基準イメージから、複数のドメインのうち、どのドメインを基準に前記基準イメージの外貌スタイルと関連したスタイル情報が抽出されたかによって、互いに異なるベクトル値を有する、請求項５に記載のイメージ生成システム。 The style code is
The image generation system according to claim 5, wherein the image generation system has different vector values depending on which domain is used as a reference for extracting style information related to the appearance style of the reference image from the reference image.
前記マッピングネットワーク部は、
ガウス分布から抽出されるノイズ情報を利用して、前記基準イメージの特定ドメインと関連した前記スタイルコードを生成する、請求項１〜７のいずれか１項に記載のイメージ生成システム。 Further equipped with a mapping network part,
The mapping network part is
The image generation system according to any one of claims 1 to 7, wherein the style code associated with the specific domain of the reference image is generated by using the noise information extracted from the Gaussian distribution.
前記抽出されたノイズ情報から、前記基準イメージの特定ドメインと関連したスタイル情報を抽出する、請求項８に記載のイメージ生成システム。 The mapping network part is
The image generation system according to claim 8, wherein the style information related to the specific domain of the reference image is extracted from the extracted noise information.
前記抽出されたノイズ情報を利用して、前記基準イメージと関連した複数のドメインの各々に対して互いに異なるスタイルコードを生成し、
前記基準イメージの特定ドメインは、前記複数のドメインのうち、いずれか１つである、請求項９に記載のイメージ生成システム。 The mapping network part is
The extracted noise information is used to generate different style codes for each of the plurality of domains associated with the reference image.
The image generation system according to claim 9, wherein the specific domain of the reference image is any one of the plurality of domains.
前記ソースイメージの外貌的正体性を決定する少なくとも１つの外貌特徴部分を含み、
前記イメージ生成部は、
前記ソースイメージの外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージに対して前記基準イメージの外貌スタイルを反映する、請求項１〜１０のいずれか１項に記載のイメージ生成システム。 The source image is
It contains at least one glamor feature portion that determines the glamor identity of the source image.
The image generation unit
The image generation system according to any one of claims 1 to 10, wherein the appearance style of the reference image is reflected on the source image centering on the remaining portion excluding the appearance feature portion of the source image.
前記ソースイメージの前記外貌特徴部分は、
人の目、鼻、及び口のうち、少なくとも１つに対応し、
前記基準イメージの外貌スタイルは、
人の頭髪スタイル、ひげ、年齢、皮膚色、メーキャップのうち、少なくとも１つと関連している、請求項１１に記載のイメージ生成システム。 When the source image and the reference image correspond to a person
The external feature portion of the source image is
Corresponds to at least one of the human eye, nose, and mouth,
The appearance style of the reference image is
11. The image generation system of claim 11, which is associated with at least one of a person's hair style, beard, age, skin color, and makeup.
前記識別部は、
前記基準イメージを基に、前記合成イメージが、前記基準イメージの特定ドメインに対して、前記イメージ生成部により生成された偽物イメージであるか否かを識別し、
識別結果、前記合成イメージが偽物イメージと識別された場合、前記基準イメージと前記合成イメージとが偽物イメージとの差値が最小化されるように前記イメージ生成部を学習させる、請求項１〜１２のいずれか１項に記載のイメージ生成システム。 With more identification
The identification unit is
Based on the reference image, it is determined whether or not the composite image is a fake image generated by the image generation unit for a specific domain of the reference image.
When the composite image is identified as a fake image as a result of the identification, the image generation unit is trained so that the difference between the reference image and the composite image is minimized between the reference image and the fake image. The image generation system according to any one of the above.
前記学習部は、
スタイルエンコーダを用いて、前記合成イメージから前記基準イメージの特定ドメインと関連したスタイルコードを抽出し、
前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとを比較する、請求項１〜１３のいずれか１項に記載のイメージ生成システム。 With more learning department,
The learning unit
Using the style encoder, the style code associated with the specific domain of the reference image is extracted from the composite image.
The image generation system according to any one of claims 1 to 13, which compares the style code of the composite image with the style code of the reference image.
比較結果、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとが互いに相違した場合、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとの差値が最小になるように前記イメージ生成部を学習させる、請求項１４に記載のイメージ生成システム。 The learning unit
As a result of comparison, when the style code of the composite image and the style code of the reference image are different from each other, the image generation unit is such that the difference value between the style code of the composite image and the style code of the reference image is minimized. 14. The image generation system according to claim 14.
基準イメージの外貌スタイルと関連したスタイルコードを受信するステップと、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するステップと、
を含み、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成方法。 The step of receiving the source image to be converted, and
Steps to receive the style code associated with the glamor style of the reference image,
Using the style code, a step of generating a composite image in which the appearance style of the reference image is reflected in the source image, and
Including
The appearance style of the reference image is an image generation method associated with a specific domain of the reference image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200064860A KR102427484B1 (en) | 2020-05-29 | 2020-05-29 | Image generation system and image generation method using the system |
| KR10-2020-0064860 | 2020-05-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021190062A true JP2021190062A (en) | 2021-12-13 |
| JP7224323B2 JP7224323B2 (en) | 2023-02-17 |
Family
ID=78849731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020169539A Active JP7224323B2 (en) | 2020-05-29 | 2020-10-07 | Image generation system and image generation method using the same |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7224323B2 (en) |
| KR (1) | KR102427484B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102543451B1 (en) * | 2022-04-29 | 2023-06-13 | 주식회사 이너버즈 | Image feature extraction and synthesis system using deep learning and its learning method |
| KR102515436B1 (en) * | 2022-08-01 | 2023-03-29 | 주식회사 어썸커머스 | Method, device and system for processing face makeup based on artificial intelligence |
| KR102593151B1 (en) * | 2022-11-15 | 2023-10-25 | 주식회사 블록버스터랩 | Method for executing game using nft and application therefor |
| KR102636155B1 (en) * | 2023-07-18 | 2024-02-13 | 주식회사 젠젠에이아이 | Method and system for generating image using content code |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021086462A (en) * | 2019-11-28 | 2021-06-03 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data generation method, data generation device, model generation method, model generation device, and program |
| JP2021111372A (en) * | 2020-01-08 | 2021-08-02 | パロ アルト リサーチ センター インコーポレイテッド | System for and method of generating composite image using local edition |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| KR20200034028A (en) * | 2018-09-13 | 2020-03-31 | 정형록 | System and method for virtual fitting based on artificial intelligence |
| KR102211400B1 (en) * | 2019-11-08 | 2021-02-03 | 송우상 | Apparatus and method for generating designs based on image and text |
-
2020
- 2020-05-29 KR KR1020200064860A patent/KR102427484B1/en active IP Right Grant
- 2020-10-07 JP JP2020169539A patent/JP7224323B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021086462A (en) * | 2019-11-28 | 2021-06-03 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | Data generation method, data generation device, model generation method, model generation device, and program |
| JP2021111372A (en) * | 2020-01-08 | 2021-08-02 | パロ アルト リサーチ センター インコーポレイテッド | System for and method of generating composite image using local edition |
Non-Patent Citations (2)
| Title |
|---|
| 柳井啓司: ""１章 質感の視覚工学 １−３ 深層学習によるスタイル変換"", 映像情報メディア学会誌, vol. 第73巻, 第3号, JPN6021052418, 2019, pages 413 - 417, ISSN: 0004840336 * |
| 金子卓弘, 外2名: ""Conditional Filtered Generative Adversarial Networksを用いた生成的属性制御"", 情報処理学会研究報告, vol. Vol.2017-CVIM-208, No.36, JPN6021052417, 2017, pages 213 - 220, ISSN: 0004840337 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7224323B2 (en) | 2023-02-17 |
| KR102427484B1 (en) | 2022-08-05 |
| KR20210147507A (en) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110785767B (en) | Compact linguistics-free facial expression embedding and novel triple training scheme | |
| JP2021190062A (en) | Image generation system and image generation method using the same | |
| US10853987B2 (en) | Generating cartoon images from photos | |
| WO2021254499A1 (en) | Editing model generation method and apparatus, face image editing method and apparatus, device, and medium | |
| US11144597B2 (en) | Computer generated emulation of a subject | |
| US20190304156A1 (en) | Artificial intelligence for generating structured descriptions of scenes | |
| CN112991160B (en) | Image processing method, image processing device, computer equipment and storage medium | |
| JPWO2018012136A1 (en) | MAKE-UP SUPPORT DEVICE AND MAKE-UP SUPPORT METHOD | |
| KR20220011100A (en) | Digital human generation system and method through face image search | |
| US20230090253A1 (en) | Systems and methods for authoring and managing extended reality (xr) avatars | |
| CN114463827A (en) | Multi-modal real-time emotion recognition method and system based on DS evidence theory | |
| WO2021127916A1 (en) | Facial emotion recognition method, smart device and computer-readabel storage medium | |
| Van et al. | Interpreting the latent space of generative adversarial networks using supervised learning | |
| KR102247481B1 (en) | Device and method for generating job image having face to which age transformation is applied | |
| Na et al. | Miso: Mutual information loss with stochastic style representations for multimodal image-to-image translation | |
| Sun et al. | AnyFace++: A Unified Framework for Free-style Text-to-Face Synthesis and Manipulation | |
| CN114240736A (en) | Method for simultaneously generating and editing any human face attribute based on VAE and cGAN | |
| Lambiase et al. | A two-tier GAN architecture for conditioned expressions synthesis on categorical emotions | |
| KR20210063171A (en) | Device and method for image translation | |
| Cakir et al. | Audio to video: Generating a talking fake agent | |
| Nakashima et al. | A Comparison of Cartoon Portrait Generators Based on Generative Adversarial Networks | |
| CN117152308B (en) | Virtual person action expression optimization method and system | |
| Li et al. | Egt2i: Exemplar-Guided Text-to-Image Synthesis with Contrastive Learning and Spatial Constraints | |
| El Katerji | BrandGAN: Unsupervised Structural Image Correction | |
| Rahman et al. | Implementation of diffusion model in realistic face generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201007 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201026 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220407 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221129 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221212 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7224323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |