CN111340060B - 图像生成器的训练方法 - Google Patents
图像生成器的训练方法 Download PDFInfo
- Publication number
- CN111340060B CN111340060B CN201811602343.XA CN201811602343A CN111340060B CN 111340060 B CN111340060 B CN 111340060B CN 201811602343 A CN201811602343 A CN 201811602343A CN 111340060 B CN111340060 B CN 111340060B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- loss value
- discriminator
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像生成器的训练方法,包括数次迭代,各迭代执行:输入真实图像至第一生成器;第一生成器的图像转换分支产生一生成图像;输入生成图像至第一鉴别器;第一鉴别器产生一损失值;第一生成器的图像分割分支产生一分割图像;根据分割图像,产生一分割损失值;输入生成图像至第二生成器;第二生成器产生一重建图像;及根据重建图像及真实图像,产生一重建损失值。训练方法更包括:比较图像转换分支与图像分割分支的权重差异程度,产生一相似程度损失值;根据各迭代的损失值、分割损失值、重建损失值及相似程度损失值,更新第一生成器及第二生成器的网络参数。
Description
技术领域
本发明是有关于一种图像生成器的训练方法,且特别是有关于一种基于生成式对抗网络的图像生成器的训练方法。
背景技术
近年来,由于人工智慧技术的兴起,以往需要以人工方式完成的工作,现已可通过机器完成,大幅缩减人力成本。
然而,要让机器足以取代人力,需要大量的学习资料才能增加应用的准确率。例如应用在道路检测的图像辨识上时,需要大量的目标物标记(例如标线标记)的数据来进行深度学习模型的训练,但大量的目标物标记的数据往往不易取得,使得深度学习模型的学习效果不佳。
发明内容
本发明有关于一种图像生成器的训练方法,可改善前述问题。
本发明的一实施例提出一种图像生成器的训练方法,使训练出的图像生成器可用于扩充具有目标物标记的图像。训练方法包括以下步骤。进行多次第一迭代,在各第一迭代的过程中,执行以下步骤:输入一第一真实图像至一第一生成器,第一真实图像具有一第一路面特征;第一生成器的一第一图像转换分支对第一真实图像进行一第一图像转换处理,产生一第一生成图像,以将第一路面特征转换为一第二路面特征;输入第一生成图像至一第一鉴别器;第一鉴别器根据第一生成图像,产生一第一损失值;第一生成器的一第一图像分割分支对第一真实图像进行一第一图像分割处理,产生一第一分割图像;根据第一分割图像,产生一第一分割损失值;输入第一生成图像至一第二生成器;第二生成器对第一生成图像进行一第二图像转换处理,产生一第一重建图像,以将第二路面特征转换为第一路面特征;及根据第一重建图像及第一真实图像,产生一第一重建损失值。比较第一图像转换分支与第一图像分割分支的权重差异程度,产生一第一相似程度损失值。根据各第一迭代产生的第一损失值、第一分割损失值、第一重建损失值及第一相似程度损失值,更新第一生成器及第二生成器的网络参数,以完成训练图像生成器。
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合所附图式详细说明如下:
附图说明
图1为本发明实施例的生成器训练系统的方块图。
图2为本发明实施例的鉴别器训练系统的方块图。
图3为本发明一实施例的图像生成器的训练方法的流程图。
图4A为本发明一实施例的第一真实图像的示意图。
图4B为本发明一实施例的第一生成图像的示意图。
图4C为本发明一实施例的第一分割图像的示意图。
图5A及图5B分别为本发明一实施例的初始训练图像及所生成的另一张训练图像的示意图。
图6A及图6B为本发明另一实施例的图像生成器的训练方法的流程图。
图7A为本发明另一实施例的第二真实图像的示意图。
图7B为本发明另一实施例的第二生成图像的示意图。
图8A及图8B为本发明又一实施例的图像生成器的训练方法的流程图。
图9为本发明又一实施例的第二分割图像的示意图。
图10A及图10B分别为本发明又一实施例的初始训练图像及所生成的另一张训练图像的示意图。
其中,附图标记:
100:生成器训练系统
110:第一生成器
111:第一图像转换分支
112:第一图像分割分支
120:第二生成器
121:第二图像转换分支
122:第二图像分割分支
130:第一鉴别器
140:第二鉴别器
200:鉴别器训练系统
FK1:第一生成图像
FK2:第二生成图像
FK3:第一重建图像
FK4:第二重建图像
FS:可行驶区域
GF1:第一路面特征
GF2:第二路面特征
GT1:第一真实图像
GT2:第二真实图像
L:标线
LL:标线标记
S1:第一图像分割处理
S2:第二图像分割处理
S101~S122、S222、S321、S322:步骤
SM1:第一分割图像
SM2:第二分割图像
T1:第一图像转换处理
T2:第二图像转换处理
Ti_1、Ti_3:初始训练图像
Ti_2、Ti_4:另一张训练图像
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
本发明提供一种图像生成器的训练方法,所获得的图像生成器可用于扩充训练图像,以供深度学习模型学习,进而使深度学习模型能应用在道路检测的图像辨识上。
此类的训练图像通常需要大量的目标物标记(label)的数据,以增强深度学习模型的学习效果。例如,一种目标物标记为道路的标线标记,标线举例可为车道线(laneline)、停止线、路面边线等。通过学习多张具有标线标记的目标物标记的训练图像,可有助于深度学习模型进行高精度的车道线检测,且愈多张的训练图像,更可增强深度学习模型的学习效果。
根据本发明的实施例,是基于生成式对抗网络(Generative AdversarialNetwork,GAN)技术训练出可用于扩充训练图像的图像生成器。通过此训练出的图像生成器,当输入一张具有目标物标记的初始训练图像时,图像生成器可生成同样场景下具有另一种路面特征(例如路面材质、或车道线种类、或其它的路面特征)的另一张训练图像,此生成的另一张训练图像亦具有一目标物标记,且其位置与所输入的初始训练图像的目标物标记的位置相对应。这里所指的“位置相对应”、或其它类似的用语,可泛指图像中属于“此目标物标记”类别的像素在两张训练图像之间是属于相同位置的像素。
简言之,通过训练完成的图像生成器,所生成的另一张训练图像的目标物标记的位置可保持不变,亦即其位置与初始训练图像的目标物标记的位置相对应。如此一来,即可得到在同样场景下具有不同路面特征的数张训练图像,且这些训练图像的目标物标记的位置均不变,因而不需再重新进行目标物的标记作业。藉此,可达成倍增同样场景下、不同路面特征的数张训练图像的目的。
图1为本发明实施例的生成器训练系统100的方块图。在一实施例中,生成器训练系统100可包括第一生成器110的训练系统,如图1的上半部分所示。第一生成器110的训练系统包括第一生成器110、第二生成器120及第一鉴别器130。第一生成器110、第二生成器120及第一鉴别器130中至少一者可整合成至一处理器(process),如中央处理器(CPU)。例如,第一生成器110、第二生成器120及第一鉴别器130中至少一者可以是软件、固件或电路结构。
第一生成器110可用于使具有第一路面特征GF1的图像,产生并转换为具有第二路面特征GF2的另一图像。相反地,第二生成器120可用于使具有第二路面特征GF2的图像,产生并转换为具有第一路面特征GF1的另一图像。
在一些实施例中,第一路面特征GF1及第二路面特征GF2可分别为不同种类的路面材质,例如柏油路面、水泥路面、或任何可绘出标线的路面材质。举例来说,第一路面特征GF1可以是柏油路面,第二路面特征GF2可以是水泥路面。在另一些实施例中,第一路面特征GF1及第二路面特征GF2可分别为在不同天气、日夜或其组合的条件下具有不同特性的路面,例如昼、夜、晴天、雨天、雾气或其组合条件下具有不同特性的路面。举例来说,第一路面特征GF1可以是白昼时的柏油路面,第二路面特征GF2可以是傍晚时的水泥路面。在又一些实施例中,第一路面特征GF1及第二路面特征GF2可分别为不同种类的标线,标线举例可为车道线,例如是双黄实线、单黄实线、单黄虚线、双白实线、单白虚线、单红实线等。举例来说,第一路面特征GF1可以是双黄实线,第二路面特征GF2可以是单黄虚线。上述实施例仅为举例说明,可理解的是,本发明不以上述实施例为限。
待完成第一生成器110的训练后,即可输入一张具有目标物标记及第一路面特征GF1的初始训练图像至第一生成器110,第一生成器110可将初始训练图像的第一路面特征GF1转换为第二路面特征GF2,生成另一张训练图像,此生成的另一张训练图像亦具有一目标物标记,且其位置与所输入的初始训练图像的目标物标记的位置相对应。以下内容先进一步描述第一生成器110的训练方法。
图2为本发明实施例的鉴别器训练系统200的方块图。图3为本发明一实施例的图像生成器的训练方法的流程图。图4A为本发明一实施例的第一真实图像GT1的示意图。图4B为本发明一实施例的第一生成图像FK1的示意图。图4C为本发明一实施例的第一分割图像SM1的示意图。
请参照图3,并配合参照图1和图4A。在进行第一生成器110的训练时,进行多次迭代,迭代的次数(处理的图像数)可依据处理器的记忆体大小而定,在此不特别限制。每次的迭代均重复执行步骤S101~S109,直到完成所有应完成的迭代。在每次的迭代中,均产生一第一损失值(步骤S104)、一第一分割损失值(步骤S106)及一第一重建损失值(步骤S109)。
首先如步骤S101所示,在每次的迭代中,输入第一真实图像GT1至第一生成器110。在此,第一真实图像GT1是属于实际在道路上拍摄出的图像,其可由摆放于车辆上的图像感测器(例如行车记录器)所拍摄。第一真实图像GT1具有第一路面特征GF1。并且,在不同次的迭代中,可输入不同张的第一真实图像GT1,但这些第一真实图像GT1皆具有第一路面特征GF1。在本实施例中,如图4A所示,第一路面特征GF1以双黄实线为例作说明。
请参照图3,并配合参照图1和图4B。在步骤S102中,第一生成器110的一第一图像转换分支111对第一真实图像GT1进行一第一图像转换处理T1,产生一第一生成图像FK1,以将第一路面特征GF1转换为第二路面特征GF2。在本实施例中,如图4B所示,第二路面特征GF2以单黄虚线为例作说明。
在步骤S103中,输入第一生成图像FK1至第一鉴别器130。接着,在步骤S104中,第一鉴别器130根据第一生成图像FK1,产生一第一损失值。
在一实施例中,第一损失值可以函数式表述,函数式如下式(1):
式(1)中,X和Y分别代表具有第一路面特征GF1(双黄实线)的图像(第一真实图像GT1)与具有第二路面特征GF2(单黄虚线)的图像(第一生成图像FK1),Gx,t代表第一生成器110负责对x图像(第一真实图像GT1)进行第一图像转换处理T1的第一图像转换分支111,Dy代表第一鉴别器130。
需说明的是,在进行第一生成器110的训练的多次迭代的过程中,亦交互地进行第一鉴别器130的训练。如图2的鉴别器训练系统200的上半部分所示,是将第一生成图像FK1及第二真实图像GT2输入至第一鉴别器130,第一生成图像FK1及第二真实图像GT2均具有第二路面特征GF2(单黄虚线);差异在于,第一生成图像FK1经由第一生成器110所产生的图像,第二真实图像GT2是属于实际在道路上拍摄出的图像。第一鉴别器130的训练目标在于:负责判断第一生成图像FK1中的单黄虚线的车道线与真实具有单黄虚线的车道线的第二真实图像GT2是否具有差别。若输入的图像为第二真实图像GT2,是期望第一鉴别器130的输出结果(即Dy)为接近1;若输入的图像为第一生成图像FK1,是期望第一鉴别器130的输出结果(即DY(Gx,t(x)))为接近0。因此,对于第一鉴别器130的训练而言,是期望最大化函数式(1)之值。
相反地,对于第一生成器110的第一图像转换分支111而言,是期望第一鉴别器130的输出结果(即DY(Gx,t(x)))为接近1。因此,对于第一生成器110的第一图像转换分支111而言,在多次的迭代后,是期望函数式(1)后半部分的值愈小愈好。第一生成器110的第一图像转换分支111与第一鉴别器130两者互相对抗,期望得到的最佳化目标为
进一步地说,在步骤S104中,第一鉴别器130可通过比较第一生成图像FK1与第二真实图像GT2的差异程度,根据函数式(1)产生第一损失值。在经过多次的迭代后,便可产生多个第一损失值。最后,将以为最佳化目标来更新第一生成器110的网络参数(步骤S122)。
请参照图3,并配合参照图1和图4C。在步骤S105中,第一生成器110的第一图像分割分支112对第一真实图像GT1进行一第一图像分割处理S1,产生一第一分割图像SM1。
接着,在步骤S106中,根据第一分割图像SM1,产生一第一分割损失值。
在一实施例中,第一分割损失值可以函数式表述,函数式如下式(2):
式(2)中,Gx,s代表负责对x图像(第一真实图像GT1)进行第一图像分割处理S1的第一生成器110的第一图像分割分支112,Ys代表对应第一真实图像GT1的图像分割真值(Ground-Truth)。
进一步地说,在步骤S106中,可比较第一分割图像SM1与对应第一真实图像GT1的图像分割真值,进而产生第一分割损失值。也就是说,第一分割损失值可代表第一分割图像SM1与对应第一真实图像GT1的图像分割真值的比较结果。若第一生成器110的第一图像分割分支112将图像分割得愈来愈好,则损失值将会愈来愈小。例如图4C所示,假设第一图像分割分支112为一理想模型,经第一图像分割处理S1后,第一分割图像SM1可将标线L和可行驶区域FS分割出来。在经过多次的迭代后,便可产生多个第一分割损失值。最后,将以最小化第一分割损失值为目标来更新第一生成器110的网络参数(步骤S122)。
请参照图3,并配合参照图1和图4B。在步骤S107中,输入第一生成图像FK1至第二生成器120。
接着,在步骤S108中,第二生成器120对第一生成图像FK1进行一第二图像转换处理T2,产生一第一重建图像FK3,以将第二路面特征GF2转换为第一路面特征GF1。
接着,在步骤S109中,根据第一重建图像FK3及第一真实图像GT1,产生一第一重建损失值。
在一实施例中,第一重建损失值可以函数式表述,函数式如下式(3):
式(3)中,Gy,t代表第二生成器120负责对y图像(具有第二路面特征GF2的图像,在此为第一生成图像FK1)进行第二图像转换处理T2的部分。
进一步地说,在步骤S109中,可比较第一重建图像FK3与第一真实图像GT1,进而产生第一重建损失值。也就是说,第一重建损失值可代表第一重建图像FK3与第一真实图像GT1的比较结果。若第一重建图像FK3(即Gy,t(Gx,t(x)))与第一真实图像GT1的差距很小,可避免所产生的第一生成图像FK1彼此间差距过小,或是转换后的第一生成图像FK1与第一真实图像GT1的差距过大。在经过多次的迭代后,便可产生多个第一重建损失值。最后,将以最小化第一重建损失值为目标来更新第一生成器110即第二生成器120的网络参数(步骤S122)。
请参照图3,接着,判断是否完成所有应完成的迭代,如步骤S110所示。若尚未完成,则重复执行步骤S101~S109。若已完成所有应完成的迭代,执行步骤S121。
在步骤S121中,比较第一图像转换分支111与第一图像分割分支112的权重差异程度,产生一第一相似程度损失值。
在一实施例中,第一相似程度损失值可以函数式表述,函数式如下式(4):
式(4)中,ωx,t为第一生成器110的第一图像转换分支111的网络权重,ωx,s为第一生成器110的第一图像分割分支112的网络权重。
进一步地说,在步骤S121中,通过比较第一生成器110的第一图像转换分支111与第一生成器110的第一图像分割分支112的权重差异程度,可得知第一图像转换分支111与第一图像分割分支112的相似程度。这里所指的相似程度,可指两分支的权重向量的余弦相似度。若能让ωx,t和ωx,s这两组权重向量十分类似,即两组权重向量之间的夹角愈小,使两分支的网络权重尽量一致,则损失值愈小,以使第一图像分割分支112能引导第一图像转换分支111在进行第一图像转换处理T1的过程中,尽量维持图像中的目标物结构。在本发明中,目的即是要维持图像中位置不变的目标物标记,使得转换后的另一张训练图像的目标物标记的位置,可与初始训练图像的目标物标记的位置相对应。
接着,在步骤S122中,根据所有迭代产生的第一损失值(步骤S104)、第一分割损失值(步骤S106)、第一重建损失值(步骤S109)及第一相似程度损失值(步骤S121),更新第一生成器110及第二生成器120的网络参数,即完成训练图像生成器一次。在其它实施例中,可多次地(例如上千次或上万次)执行如图3所述的流程步骤,以完成训练图像生成器。如此一来,第一生成器110的第一图像转换分支111即可作为图像生成器使用。第一图像转换分支111适于将具有第一路面特征GF1的初始训练图像转换并生成具有第二路面特征GF2的另一张训练图像,且转换前后的两张训练图像的目标物标记的位置相对应。
举例来说,请参照图5A和图5B,当完成上述第一生成器110的训练后,即可输入一初始训练图像Ti_1至第一生成器110,初始训练图像Ti_1具有目标物标记(举例为标线标记LL)及第一路面特征GF1(举例为双黄实线)。第一生成器110的第一图像转换分支111便可将初始训练图像Ti_1的第一路面特征GF1转换为第二路面特征GF2(举例为单黄虚线),生成另一张训练图像Ti_2。由于经训练后的第一图像转换分支111的网络权重与第一图像分割分支112的网络权重具有足够的相似性,因此,第一图像转换分支111在对初始训练图像Ti_1进行第一图像转换处理T1的过程中,会受到第一图像分割分支112的影响,使生成的另一张训练图像Ti_2中的标线标记LL的位置能够与初始训练图像Ti_1的标线标记LL的位置相对应,而达到图像转换后、标线标记LL的位置能维持不变的目的。
请参照图1,在另一实施例中,生成器训练系统100包括第一生成器110的训练系统,且更包括第二生成器120的训练系统。第二生成器120的训练系统包括第二生成器120、第一生成器110及第二鉴别器140。第二生成器120、第一生成器110及第二鉴别器140中至少一者可整合成至一处理器,如中央处理器。例如,第二生成器120、第一生成器110及第二鉴别器140中至少一者可以是软件、固件或电路结构。于此,第二生成器120包括一第二图像转换分支121。
图6A及图6B为本发明另一实施例的图像生成器的训练方法的流程图。在本实施例中,为了确保第二生成器120产生图像的能力,除了进行第一生成器110的训练(如图6A的步骤S101~S110)外,亦进行第二生成器120的训练(如图6B的步骤S111~S114、S117~S120)。待完成第一生成器110及第二生成器120的训练后,第一生成器110的第一图像转换分支111即可作为图像生成器使用。
图6A的步骤S101~S110同图3的步骤S101~S110,于此不再赘述。以下内容进一步描述第二生成器120的训练方法。
图7A为本发明另一实施例的第二真实图像GT2的示意图。图7B为本发明另一实施例的第二生成图像FK2的示意图。
请参照图6B,并配合参照图1和图7A。在进行第二生成器120的训练时,进行多次迭代,迭代的次数可依据处理器的记忆体大小而定,在此不特别限制。每次的迭代均重复执行步骤S111~S114、S117~S119,直到完成所有应完成的迭代。在每次的迭代中,均产生一第二损失值(步骤S114)及一第二重建损失值(步骤S119)。
如步骤S111所示,在每次的迭代中,输入第二真实图像GT2至第二生成器120。第二真实图像GT2具有第二路面特征GF2。并且,在不同次的迭代中,可输入不同张的第二真实图像GT2,但这些第二真实图像GT2皆具有第二路面特征GF2。在本实施例中,如图7A所示,第二路面特征GF2以单黄虚线为例作说明。
请参照图6B,并配合参照图1和图7B。在步骤S112中,第二生成器120的第二图像转换分支121对第二真实图像GT2进行一第二图像转换处理T2,产生一第二生成图像FK2,以将第二路面特征GF2转换为第一路面特征GF1。在本实施例中,如图7B所示,第一路面特征GF1以双黄实线为例作说明。
在步骤S113中,输入第二生成图像FK2至第二鉴别器140。接着,在步骤S114中,第二鉴别器140根据第二生成图像FK2,产生一第二损失值。
第二损失值的产生方式类似于第一损失值,于此不再赘述。并且,在进行第二生成器120的训练的多次迭代的过程中,亦交互地进行第二鉴别器140的训练。如图2的鉴别器训练系统200的下半部分所示,是将第二生成图像FK2及第一真实图像GT1输入至第二鉴别器140,第二生成图像FK2及第一真实图像GT1均具有第一路面特征GF1(双黄实线);差异在于,第二生成图像FK2经由第二生成器120所产生的图像,第一真实图像GT1是属于实际在道路上拍摄出的图像。第二鉴别器140的训练目标在于:负责判断第二生成图像FK2中的双黄实线的车道线与真实具有双黄实线的车道线的第一真实图像GT1是否具有差别。
请参照图6B,并配合参照图1和图7B。在步骤S117中,输入第二生成图像FK2至第一生成器110。
接着,在步骤S118中,第一生成器110的第一图像转换分支111对第二生成图像FK2进行第一图像转换处理T1,产生一第二重建图像FK4,以将第一路面特征GF1转换为第二路面特征GF2。
接着,在步骤S119中,根据第二重建图像FK4及第二真实图像GT2,产生一第二重建损失值。
第二重建损失值的产生方式类似于第一重建损失值,于此不再赘述。
接着,判断是否完成所有应完成的迭代,如步骤S120所示。若尚未完成,则重复执行步骤S111~S114、S117~S119。若已完成所有应完成的迭代,则至节点A的流程。
请参照图6A,节点A接续于步骤S110之后。接着,执行步骤S121。
如同图3的步骤S121,比较第一图像转换分支111与第一图像分割分支112的权重差异程度,产生一第一相似程度损失值。于此不再赘述。
接着,执行步骤S222。在步骤S222中,根据所有迭代产生的第一损失值(步骤S104)、第一分割损失值(步骤S106)、第一重建损失值(步骤S109)、第二损失值(步骤S114)、第二重建损失值(步骤S119)及第一相似程度损失值(步骤S121),更新第一生成器110及第二生成器120的网络参数,即完成训练图像生成器一次。在其它实施例中,可多次地(例如上千次或上万次)执行如图6A和图6B所述的流程步骤,以完成训练图像生成器。如此一来,第一生成器110的第一图像转换分支111即可作为图像生成器使用。第一图像转换分支111适于将具有第一路面特征GF1的初始训练图像转换并生成具有第二路面特征GF2的另一张训练图像,且转换前后的两张训练图像的目标物标记的位置相对应。
请参照图1,在又一实施例中,生成器训练系统100包括第一生成器110的训练系统和第二生成器120的训练系统,且第二生成器120更包括一第二图像分割分支122。
图8A及图8B为本发明又一实施例的图像生成器的训练方法的流程图。在本实施例中,除了进行第一生成器110的训练(如图8A的步骤S101~S110)外,亦进行第二生成器120的训练(如图8B的步骤S111~S120)。待完成第一生成器110及第二生成器120的训练后,不但可将第一生成器110的第一图像转换分支111作为图像生成器使用,亦可将第二生成器120的第二图像转换分支121作为另一图像生成器使用。
图8A的步骤S101~S110同图3的步骤S101~S110,图8B的步骤S111~S114、S117~S119同图6B的步骤S111~S114、S117~S119,于此不再赘述。
图9为本发明又一实施例的第二分割图像SM2的示意图。
请参照图8B,并配合参照图1和图9。在进行第二生成器120的训练时,更包括执行步骤S115及步骤S116。
在步骤S115中,第二生成器120的第二图像分割分支122对第二真实图像GT2进行一第二图像分割处理S2,产生一第二分割图像SM2。
接着,在步骤S116中,根据第二分割图像SM2,产生一第二分割损失值。
第二分割损失值的产生方式类似于第一分割损失值,于此不再赘述。如图9所示,若第二图像分割分支122为一理想模型,经第二图像分割处理S2后,第二分割图像SM2可将标线L和可行驶区域FS分割出来。
请参照图8B,若已完成所有应完成的迭代,则至节点B的流程。
请参照图8A,节点B接续于步骤S110之后。接着,执行步骤S321。
在步骤S321中,比较第一图像转换分支111与第一图像分割分支112的权重差异程度,产生一第一相似程度损失值。此外,更比较第二图像转换分支121与第二图像分割分支122的权重差异程度,产生一第二相似程度损失值。
第二相似程度损失值的产生方式类似于第一相似程度损失值,于此不再赘述。
接着,在步骤S322中,根据所有迭代产生的第一损失值(步骤S104)、第一分割损失值(步骤S106)、第一重建损失值(步骤S109)、第二损失值(步骤S114)、第二分割损失值(步骤S116)、第二重建损失值(步骤S119)、第一相似程度损失值(步骤S321)及第二相似程度损失值(步骤S321),更新第一生成器110及第二生成器120的网络参数,即完成训练图像生成器一次。在其它实施例中,可多次地(例如上千次或上万次)执行如图8A和图8B所述的流程步骤,以完成训练图像生成器。如此一来,第一生成器110的第一图像转换分支111即可作为图像生成器使用,且第二生成器120的第二图像转换分支121亦可作为另一图像生成器使用。第一图像转换分支111适于将具有第一路面特征GF1的初始训练图像转换并生成具有第二路面特征GF2的另一张训练图像,且转换前后的两张训练图像的目标物标记的位置相对应。此外,第二图像转换分支121适于将具有第二路面特征GF2的初始训练图像转换并生成具有第一路面特征GF1的另一张训练图像,且转换前后的两张训练图像的目标物标记的位置相对应。
举例来说,请参照图5A、图5B、图10A和图10B,当完成上述第一生成器110及第二生成器120的训练后,即可输入一初始训练图像Ti_1(图5A)至第一生成器110,初始训练图像Ti_1具有目标物标记(举例为标线标记LL)及第一路面特征GF1(举例为双黄实线)。第一生成器110的第一图像转换分支111便可将初始训练图像Ti_1的第一路面特征GF1转换为第二路面特征GF2(举例为单黄虚线),生成另一张训练图像Ti_2。
另一方面,也可输入一初始训练图像Ti_3(图10A)至第二生成器120,初始训练图像Ti_3具有目标物标记(举例为标线标记LL)及第二路面特征GF2(举例为单黄虚线)。第二生成器120的第二图像转换分支121便可将初始训练图像Ti_3的第二路面特征GF2转换为第一路面特征GF1(举例为双黄实线),生成另一张训练图像Ti_4。
经训练后的第一生成器110及第二生成器120,第一生成器110的第一图像转换分支111与第一图像分割分支112之间的网络权重具有足够的相似性,且第二生成器120的第二图像转换分支121与第二图像分割分支122之间的网络权重具有足够的相似性,因此,第一图像转换分支111和第二图像转换分支121分别在对初始训练图像Ti_1、Ti_3进行第一图像转换处理T1和第二图像转换处理T2的过程中,分别会受到第一图像分割分支112和第二图像分割分支122的影响,使生成的另一张训练图像Ti_2、Ti_4中的标线标记LL的位置能够与初始训练图像Ti_1、Ti_3的标线标记LL的位置相对应,而达到图像转换后、标线标记LL的位置能维持不变的目的。
综上所述,虽然本发明已以实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视后附的申请专利范围所界定者为准。
Claims (10)
1.一种图像生成器的训练方法,其特征在于,该图像生成器用于扩充具有目标物标记的图像,该训练方法包括:
进行多次第一迭代,在各该第一迭代的过程中,执行以下步骤:
输入一第一真实图像至一第一生成器,该第一真实图像具有一第一路面特征;
该第一生成器的一第一图像转换分支对该第一真实图像进行一第一图像转换处理,产生一第一生成图像,以将该第一路面特征转换为一第二路面特征;
输入该第一生成图像至一第一鉴别器;
该第一鉴别器根据该第一生成图像,产生一第一损失值;
该第一生成器的一第一图像分割分支对该第一真实图像进行一第一图像分割处理,产生一第一分割图像;
根据该第一分割图像,产生一第一分割损失值;
输入该第一生成图像至一第二生成器;
该第二生成器对该第一生成图像进行一第二图像转换处理,产生一第一重建图像,以将该第二路面特征转换为该第一路面特征;及
根据该第一重建图像及该第一真实图像,产生一第一重建损失值;
比较该第一图像转换分支与该第一图像分割分支的权重差异程度,产生一第一相似程度损失值;以及
根据各该第一迭代产生的该第一损失值、该第一分割损失值、该第一重建损失值及该第一相似程度损失值,更新该第一生成器及该第二生成器的网络参数,以完成训练该图像生成器。
3.如权利要求1所述的训练方法,其特征在于,在各该第一迭代的过程中,更执行以下步骤:
输入该第一生成图像及一第二真实图像至该第一鉴别器,以训练该第一鉴别器,该第二真实图像具有该第二路面特征;以及
该第一鉴别器根据该第一生成图像产生该第一损失值的步骤包括:该第一鉴别器比较该第一生成图像与该第二真实图像的差异程度,产生该第一损失值。
4.如权利要求1所述的训练方法,其特征在于,更包括:
进行多次第二迭代,在各该第二迭代的过程中,执行以下步骤:
输入一第二真实图像至该第二生成器,该第二真实图像具有该第二路面特征;
该第二生成器对该第二真实图像进行该第二图像转换处理,产生一第二生成图像,以将该第二路面特征转换为该第一路面特征;
输入该第二生成图像至一第二鉴别器;
该第二鉴别器根据该第二生成图像,产生一第二损失值;
输入该第二生成图像至该第一生成器;
该第一生成器的该第一图像转换分支对该第二生成图像进行该第一图像转换处理,产生一第二重建图像,以将该第一路面特征转换为该第二路面特征;及
根据该第二重建图像及该第二真实图像,产生一第二重建损失值;
其中,该训练方法更根据各该第二迭代产生的该第二损失值及该第二重建损失值,更新该第一生成器及该第二生成器的网络参数。
5.如权利要求4所述的训练方法,其特征在于:
在各该第一迭代的过程中,更执行以下步骤:
输入该第一生成图像及该第二真实图像至该第一鉴别器,以训练该第一鉴别器;以及
该第一鉴别器根据该第一生成图像产生该第一损失值的步骤包括:该第一鉴别器比较该第一生成图像与该第二真实图像的差异程度,产生该第一损失值;且
在各该第二迭代的过程中,更执行以下步骤:
输入该第二生成图像及该第一真实图像至该第二鉴别器,以训练该第二鉴别器;以及
该第二鉴别器根据该第二生成图像产生该第二损失值的步骤包括:该第二鉴别器比较该第二生成图像与该第一真实图像的差异程度,产生该第二损失值。
6.如权利要求1所述的训练方法,其特征在于,更包括:
进行多次第二迭代,在各该第二迭代的过程中,执行以下步骤:
输入一第二真实图像至该第二生成器,该第二真实图像具有该第二路面特征;
该第二生成器的一第二图像转换分支对该第二真实图像进行该第二图像转换处理,产生一第二生成图像,以将该第二路面特征转换为该第一路面特征;
输入该第二生成图像至一第二鉴别器;
该第二鉴别器根据该第二生成图像,产生一第二损失值;
该第二生成器的一第二图像分割分支对该第二真实图像进行一第二图像分割处理,产生一第二分割图像;
根据该第二分割图像,产生一第二分割损失值;
输入该第二生成图像至该第一生成器;
该第一生成器的该第一图像转换分支对该第二生成图像进行该第一图像转换处理,产生一第二重建图像,以将该第一路面特征转换为该第二路面特征;及
根据该第二重建图像及该第二真实图像,产生一第二重建损失值;以及
比较该第二图像转换分支与该第二图像分割分支的权重差异程度,产生一第二相似程度损失值;
其中,该训练方法更根据各该第二迭代产生的该第二损失值、该第二分割损失值、该第二重建损失值及该第二相似程度损失值,更新该第一生成器及该第二生成器的网络参数,以完成训练该图像生成器。
7.如权利要求6所述的训练方法,其特征在于:
在各该第一迭代的过程中,更执行以下步骤:
输入该第一生成图像及该第二真实图像至该第一鉴别器,以训练该第一鉴别器;以及
该第一鉴别器根据该第一生成图像产生该第一损失值的步骤包括:
该第一鉴别器比较该第一生成图像与该第二真实图像的差异程度,产生该第一损失值;且
在各该第二迭代的过程中,更执行以下步骤:
输入该第二生成图像及该第一真实图像至该第二鉴别器,以训练该第二鉴别器;以及
该第二鉴别器根据该第二生成图像产生该第二损失值的步骤包括:该第二鉴别器比较该第二生成图像与该第一真实图像的差异程度,产生该第二损失值。
8.如权利要求1所述的训练方法,其特征在于,该第一路面特征及该第二路面特征分别为不同种类的路面材质、或分别为在不同天气、日夜或其组合的条件下具有不同特性的路面。
9.如权利要求1所述的训练方法,其特征在于,该第一路面特征及该第二路面特征分别为不同种类的标线。
10.如权利要求1所述的训练方法,其特征在于,该第一路面特征及该第二路面特征分别为不同种类的车道线。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107145971A TWI696144B (zh) | 2018-12-19 | 2018-12-19 | 影像生成器的訓練方法 |
TW107145971 | 2018-12-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340060A CN111340060A (zh) | 2020-06-26 |
CN111340060B true CN111340060B (zh) | 2023-03-24 |
Family
ID=71098542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811602343.XA Active CN111340060B (zh) | 2018-12-19 | 2018-12-26 | 图像生成器的训练方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10803355B2 (zh) |
JP (1) | JP6824339B2 (zh) |
CN (1) | CN111340060B (zh) |
TW (1) | TWI696144B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135302B (zh) * | 2019-04-30 | 2021-08-31 | 百度在线网络技术(北京)有限公司 | 训练车道线识别模型的方法、装置、设备和存储介质 |
CN114981836A (zh) * | 2020-01-23 | 2022-08-30 | 三星电子株式会社 | 电子设备和电子设备的控制方法 |
US11847771B2 (en) | 2020-05-01 | 2023-12-19 | Samsung Electronics Co., Ltd. | Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation |
CN113850179A (zh) * | 2020-10-27 | 2021-12-28 | 深圳市商汤科技有限公司 | 图像检测方法及相关模型的训练方法、装置、设备、介质 |
CN112837317A (zh) * | 2020-12-31 | 2021-05-25 | 无锡祥生医疗科技股份有限公司 | 基于乳腺超声图像增强的病灶分类方法、装置及存储介质 |
CN112949592B (zh) * | 2021-03-31 | 2022-07-22 | 云南大学 | 高光谱图像的分类方法、装置和电子设备 |
CN114022863B (zh) * | 2021-10-28 | 2022-10-11 | 广东工业大学 | 基于深度学习的车道线检测方法、系统、计算机及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
CN107679489A (zh) * | 2017-09-29 | 2018-02-09 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法、装置及计算设备 |
CN108446662A (zh) * | 2018-04-02 | 2018-08-24 | 电子科技大学 | 一种基于语义分割信息的行人检测方法 |
CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 图像增强方法、装置、电子设备及存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI334517B (en) | 2007-08-30 | 2010-12-11 | Ind Tech Res Inst | Method for predicting lane line and lane departure warning system using the same |
US8452086B2 (en) | 2009-07-10 | 2013-05-28 | Palo Alto Research Center Incorporated | System and user interface for machine-assisted human labeling of pixels in an image |
TWI434239B (zh) | 2011-08-26 | 2014-04-11 | Ind Tech Res Inst | 後方來車變換車道預警方法及其系統 |
EP2629243A1 (de) * | 2012-02-15 | 2013-08-21 | Delphi Technologies, Inc. | Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen |
TW201441849A (zh) * | 2013-04-30 | 2014-11-01 | Ibm | 自動決定圖像樣本群以進行分析之方法、系統及電腦程式產品 |
JP2016176769A (ja) | 2015-03-19 | 2016-10-06 | クラリオン株式会社 | 情報処理装置、及び、車両位置検出方法 |
US9996772B2 (en) | 2016-04-28 | 2018-06-12 | International Business Machines Corporation | Detection of objects in images using region-based convolutional neural networks |
US10336326B2 (en) | 2016-06-24 | 2019-07-02 | Ford Global Technologies, Llc | Lane detection systems and methods |
JP2018097807A (ja) * | 2016-12-16 | 2018-06-21 | 株式会社デンソーアイティーラボラトリ | 学習装置 |
CN106650814B (zh) * | 2016-12-27 | 2020-07-14 | 大连理工大学 | 一种基于车载单目视觉室外道路自适应分类器生成方法 |
US10546242B2 (en) * | 2017-03-03 | 2020-01-28 | General Electric Company | Image analysis neural network systems |
CN107123151A (zh) | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
CN107481188A (zh) * | 2017-06-23 | 2017-12-15 | 珠海经济特区远宏科技有限公司 | 一种图像超分辨率重构方法 |
CN107464210B (zh) | 2017-07-06 | 2020-02-21 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
-
2018
- 2018-12-19 TW TW107145971A patent/TWI696144B/zh active
- 2018-12-24 US US16/231,669 patent/US10803355B2/en active Active
- 2018-12-26 CN CN201811602343.XA patent/CN111340060B/zh active Active
-
2019
- 2019-07-19 JP JP2019134001A patent/JP6824339B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017101166A4 (en) * | 2017-08-25 | 2017-11-02 | Lai, Haodong MR | A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks |
CN107679489A (zh) * | 2017-09-29 | 2018-02-09 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法、装置及计算设备 |
CN108446662A (zh) * | 2018-04-02 | 2018-08-24 | 电子科技大学 | 一种基于语义分割信息的行人检测方法 |
CN108629747A (zh) * | 2018-04-25 | 2018-10-09 | 腾讯科技(深圳)有限公司 | 图像增强方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200202174A1 (en) | 2020-06-25 |
CN111340060A (zh) | 2020-06-26 |
JP2020102186A (ja) | 2020-07-02 |
JP6824339B2 (ja) | 2021-02-03 |
TWI696144B (zh) | 2020-06-11 |
TW202025079A (zh) | 2020-07-01 |
US10803355B2 (en) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340060B (zh) | 图像生成器的训练方法 | |
CN112347970B (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN108875740A (zh) | 一种应用于激光切割机的机器视觉切割方法 | |
CN103400368B (zh) | 基于图论和超像素的并行快速sar图像分割方法 | |
CN103440510A (zh) | 一种面部图像中特征点的定位方法 | |
CN105426825B (zh) | 一种基于航拍图像识别的电网地理接线图绘制方法 | |
CN112668648A (zh) | 基于对称融合网络的红外可见光融合识别方法 | |
CN110807485B (zh) | 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法 | |
Ma et al. | Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes | |
CN112329559A (zh) | 一种基于深度卷积神经网络的宅基地目标检测方法 | |
CN112906666A (zh) | 一种农业种植结构的遥感识别方法 | |
CN111383273B (zh) | 一种基于改进结构推理网络的高铁接触网零部件定位方法 | |
CN111461006A (zh) | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 | |
CN116933141B (zh) | 一种基于多核图学习的多光谱激光雷达点云分类方法 | |
CN114511627A (zh) | 一种目标果实定位分割方法及系统 | |
CN111339953B (zh) | 一种基于聚类分析的薇甘菊监测方法 | |
CN114022777A (zh) | 一种遥感影像地物要素的样本制作方法及装置 | |
CN102270343A (zh) | 一种基于Ising图模型的图像分割方法 | |
CN115841557B (zh) | 基于数字孪生技术的智能起重机操作环境构建方法 | |
CN103942779A (zh) | 一种基于图论和半监督学习相结合的图像分割方法 | |
CN116310128A (zh) | 基于实例分割与三维重建的动态环境单目多物体slam方法 | |
CN105205161A (zh) | 一种基于互联网图片的同时目标搜索与分割方法 | |
CN113159082B (zh) | 一种增量式学习目标检测网络模型构建及权重更新方法 | |
CN114111647A (zh) | 一种基于人工智能的绝缘子伞裙破损面积测量方法及测量系统 | |
CN113469133A (zh) | 一种基于深度学习的车道线检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |