CN117830762A - 模型训练方法、装置、电子设备及存储介质 - Google Patents
模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117830762A CN117830762A CN202311827274.3A CN202311827274A CN117830762A CN 117830762 A CN117830762 A CN 117830762A CN 202311827274 A CN202311827274 A CN 202311827274A CN 117830762 A CN117830762 A CN 117830762A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- picture
- image
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 239000000463 material Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 241001270131 Agaricus moelleri Species 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000011430 maximum method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种模型训练方法、装置、电子设备及存储介质。本公开的模型训练方法包括:获取训练图片;对训练图片进行处理,得到训练灰度图;基于训练图片和训练灰度图对初始模型进行训练,得到第一模型。
Description
技术领域
本公开涉及一种模型训练方法、装置、电子设备及存储介质。
背景技术
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。通过特定的机器学习算法以及训练样本可以构建并训练机器学习模型。
现有技术中,在对模型进行训练的过程中,通常需要人工对图片进行处理,使用处理后的图片作为训练样本训练模型。
然而,通过人工方式处理图片需要耗费较多的时间才能得到足够的训练样本,进而使得模型训练的成本较高且效率较低。
发明内容
本公开提供了一种模型训练方法、装置、电子设备及存储介质。
根据本公开的一个方面,提供一种模型训练方法,包括:
获取训练图片;
对所述训练图片进行处理,得到训练灰度图;
基于所述训练图片和训练灰度图对初始模型进行训练,得到第一模型。
根据本公开的至少一个实施方式的模型训练方法,所述基于所述训练图片和训练灰度图对初始模型进行训练,包括:
获取所述训练图片对应的训练提示文本;
基于所述训练图片、训练提示文本和训练灰度图对所述初始模型进行训练。
根据本公开的至少一个实施方式的模型训练方法,还包括:
获取控制图片和控制提示文本;
将所述控制图片和控制提示文本输入预先训练的图像生成模型,得到目标图片,
其中,所述第一模型用于控制所述预先训练的图像生成模型。
根据本公开的至少一个实施方式的模型训练方法,所述将所述控制图片输入预先训练的图像生成模型,包括:
判断所述控制图片是否是灰度图;
如果是,将所述控制图片输入所述预先训练的图像生成模型;
否则,获取所述控制图片对应的控制灰度图,并将所述控制灰度图输入所述预先训练的图像生成模型。
根据本公开的至少一个实施方式的模型训练方法,所述对所述训练图片进行处理,得到训练灰度图,包括:
获取所述训练图片对应的第一灰度图;
对所述第一灰度图进行量化,得到所述训练灰度图。
根据本公开的至少一个实施方式的模型训练方法,所述对所述第一灰度图进行量化,包括:
对所述第一灰度图进行分割,得到图像块;
分别对每个图像块进行量化。
根据本公开的至少一个实施方式的模型训练方法,所述对所述训练图片进行处理,包括:
对所述训练图片进行预处理,得到处理图片;
获取所述处理图片对应的训练灰度图。
根据本公开的再一个方面,提供一种模型训练装置,包括:
图片获取模块,用于获取训练图片;
图片处理模块,用于对所述训练图片进行处理,得到训练灰度图;
模型训练模块,用于基于所述训练图片和训练灰度图对初始模型进行训练,得到第一模型。
根据本公开的另一个方面,提供一种电子设备,包括:存储器,所述存储器存储执行指令;处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行本公开任一个实施方式的模型训练方法。
根据本公开的又一个方面,提供一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开任一个实施方式的模型训练方法。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1为本公开实施例1提供的模型训练方法的流程图一。
图2为图1所示的模型训练方法中图片处理方法的流程图一。
图3为图2所示的图片处理方法中量化方法的流程图。
图4为本公开实施例1提供的模型训练方法中训练图片的示意图。
图5为本公开实施例1提供的模型训练方法中训练灰度图的示意图。
图6为图1所示的模型训练方法中图片处理方法的流程二。
图7为图1所示的模型训练方法中训练初始模型方法的流程图。
图8为本公开实施例1提供的模型训练方法的流程图二。
图9为图8所示的模型训练方法中控制图片的示意图一。
图10为使用图9所示的控制图片时生成图片的示意图。
图11为图8所示的模型训练方法中控制图片的示意图二。
图12为使用图11所示的控制图片时生成图片的示意图。
图13为图8所示的模型训练方法中控制图片的示意图三。
图14为使用图13所示的控制图片时生成图片的示意图。
图15为图8所示的模型训练方法中图片生成方法的流程图。
图16为本公开实施例2提供的模型训练装置的结构示意图一。
图17为本公开实施例2提供的模型训练装置的结构示意图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明,否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此,除非另有说明,否则在不脱离本公开的技术构思的情况下,各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此,除非说明,否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外,在附图中,为了清楚和/或描述性的目的,可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时,可以以不同于所描述的顺序来执行具体的工艺顺序。例如,可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外,同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时,该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件,或者可以存在中间部件。然而,当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时,不存在中间部件。为此,术语“连接”可以指物理连接、电气连接等,并且具有或不具有中间部件。
本文使用的术语是为了描述具体实施例的目的,而不意图限制本申请的范围。如这里所使用的,除非上下文另外清楚地指出,否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外,当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时,说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组,但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是,如这里使用的,术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语,如此,它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
本公开的模型训练方法可应用于本公开的模型训练装置,该模型训练装置可被配置于服务器上。
下文结合图1至图15对本公开的模型训练方法进行详细说明。
实施例1:
图1为本公开的一个实施方式的模型训练方法的流程图。
参考图1,本实施方式的模型训练方法M100,包括:
步骤S110,获取训练图片。
步骤S120,对训练图片进行处理,得到训练灰度图。
步骤S130,基于训练图片和训练灰度图对初始模型进行训练,得到第一模型。
本公开提供的模型训练方法,通过训练图片及其训练灰度图对初始模型进行训练,得到第一模型。在模型训练过程中,直接使用训练灰度图作为训练样本即可,无需人工介入,且能够使第一模型更好的在图像处理过程中保留图片的灰度特征,解决了现有技术中通过人工方式处理图片需要耗费较多的时间才能得到足够的训练样本,进而使得模型训练的成本较高且效率较低的问题。
在本公开的一些实施方式中,通过步骤S110可以从开源数据集中获取训练图片,该图片可以按类别/颜色等分别获取。
在本公开的一些实施方式中,步骤S120可以直接将训练图片直接转化得到训练灰度图,该转化过程可以使用加权法、均值法、最大值法等;也可以首先将训练图片转为HSV(Hue,Saturation,Value)格式,然后取V通道作为灰度图。虽然灰度图能表示一定的明暗关系,即训练图片中某些区域越亮,灰度图对应区域就越白,反之训练图片中某些区域越暗,灰度图对应区域就越黑,但是训练图片的明暗关系的共性较少,使用直接转化得到的训练灰度图可能导致训练样本过于泛化,模型的训练难以拟合,如图2所示,该步骤S120也可以包括:步骤S1201,获取训练图片对应的第一灰度图;步骤S1202,对第一灰度图进行量化,得到训练灰度图。通过量化将第一灰度图的空间坐标幅度值离散化,即将第一灰度图的连续灰度值转换为0至255的灰度级的过程。通过步骤S1202进行量化使用的量化等级可以根据需要设置,如量化等级为2,则将使用两种灰度级表示第一灰度图;如量化等级为4,则将使用4种灰度级表示第一灰度图,以此类推;量化等级越多,图像层次越丰富,量化等级越少,图像等级浅丰富。其中,通过步骤S1202进行量化之前,还可以包括第一灰度图的缩放等处理过程,如将其缩放为能够被完整分割的大小等。
为减少信息丢失,同时增加信息的共性,从而使模型更容易收敛,量化等级可以为16。以量化等级为16为例,量化过程可以表示为np.uint8(np.floor(avg_pixel_value/16)*16)。
在本公开的一些实施方式中,通过步骤S1202进行量化的过程可以为遍历第一灰度图的所有像素点,判断每个像素点应该属于的量化等级,再将每个像素点的灰度转换为对应的量化等级。为了减少信息丢失,如图3所示,步骤S1202可以包括:步骤S12021,对第一灰度图进行分割,得到图像块;步骤S12022,分别对每个图像块进行量化。通过步骤S12021进行分割使用的分割规则可以根据需要设置,将第一灰度图分割为N*M个网格,N和M为正整数,可以相等也可以不等;N和M越大,保留的信息越多,也越泛化;N和M越小,保留的信息越少,共性越多。以1024*1024的图片为例,N和M取32可以既保留信息,又增加共性,此时步骤S12021可以具体为首先将第一灰度图处理成预设像素(如1024*1024)的第二灰度图,然后将第二灰度图切分为预设尺寸(如32*32)的图像块。
在本公开的一些实施方式中,通过步骤S12022分别对每个图像块进行量化时,可以根据每个图像块的像素进行量化。具体可以包括:首先获取每个图像块的块像素,该块像素可以为每个图像块的像素均值、中值等,然后根据每个块像素判断图像块应该属于的量化等级,最后将每个块像素的所有像素点的灰度转换为对应的量化等级。
以图4为训练图片为例,通过上述灰度转换、分割、量化过程,得到的训练灰度图可以如图5所示。
在本公开的一些实施方式中,如图6所示,通过步骤S120获取训练灰度图的过程还可以包括:步骤S1203,对训练图片进行预处理,得到处理图片;步骤S1204,获取处理图片对应的训练灰度图。其中,通过步骤S1203进行预处理的过程可以包括:图片缩放、裁剪、分辨率调整等处理的一种或多种;通过步骤S1204获取训练灰度图的过程与图2所示的相似,在此不再一一赘述。
在本公开的一些实施方式中,通过步骤S130对初始模型进行训练之前,还可以包括:对训练图片和/或训练灰度图进行缩放等处理过程,使之符合初始模型的需求,还能提高模型训练的效果。
本公开提供的模型训练方法,可以用于图生图,生成符合输入图明暗关系的图片。在本公开的一些实施方式中,第一模型可以限于灰度图的图生图,即以直接将灰度图输入第一模型,得到生成图;为了方便用户使用,还可以不限图片类型,用户输入原始图片时,首先判断原始图片是否是灰度图,如果是,直接将原始图片输入第一模型,否则,将原始图片转换为原始灰度图后输入第一模型。其中,将原始图片转换为原始灰度图的方式与步骤S120相似,在此不再一一赘述。
在本公开的一些实施方式中,通过步骤S130生成的第一模型,还可以作为文生图模型的控制;如第一模型为controlnet模型,文生图模型为扩散模型等。此时,如图7所示,步骤S130可以包括:步骤S1301,获取训练图片对应的训练提示文本;步骤S1302,基于训练图片、训练提示文本和训练灰度图对初始模型进行训练。其中,训练图片和训练提示文本可以由开源数据集如laion等选取图文对数据获取;通过步骤S1302对初始模型进行训练时,可以结合预先训练的图像生成模型进行训练。该方法可以控制产生高质量高分辨率的图像,能够用于广告设计等素材生成领域。
此时,如图8所示,本公开提供的模型训练方法,还可以包括:
步骤S140,获取控制图片和控制提示文本。
步骤S150,将控制图片和控制提示文本输入预先训练的图像生成模型,得到目标图片。
在本公开的一些实施方式中,步骤S150中第一模型用于控制预先训练的图像生成模型。通过步骤S140和步骤S150提供一种新的控制图片生成的方式,能够生成符合输入控制图片明暗关系的目标图片,可以用于风格二维码生成,隐藏字生成等场景上。
在本公开的一些实施方式中,如果第一模型限制输入图像的尺寸,在将控制图片输入之前,还可以对输入图片进行缩放等处理。
以控制提示文本为“a beautiful landscape,forest and lake”为例,控制图片如图9所示,通过步骤S150生成的目标图片可以如图10所示。以控制提示文本为“atiger.highly detailed”为例,控制图片如图11所示,通过步骤S150生成的目标图片可以如图12所示。以控制提示文本为“a beautiful landscape,mountains and waterfall”为例,控制图片如图13所示,通过步骤S150生成的目标图片可以如图14所示。
在本公开的一些实施方式中,如图15所示,步骤S150可以包括:步骤S1501,判断控制图片是否是灰度图;通过步骤S1501确定控制图片是灰度图时,执行步骤S1502;否则,执行步骤S1503;步骤S1502,将控制图片输入预先训练的图像生成模型;步骤S1503,获取控制图片对应的控制灰度图,并将控制灰度图输入预先训练的图像生成模型。其中,通过步骤S1503获取控制灰度图的方式与步骤S120相似,在此不再一一赘述。
在本公开的一些实施方式中,可以通过图像的通道数(灰度图是单通道)、位深度(灰度图位深度是8)、颜色分量值(灰度图中红、黄、蓝颜色分量值都相等)等方法判断是否是灰度图。
实施例2:
图16至图17示出了采用处理系统的硬件实现方式的模型训练装置示例图。
该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此,可以由相应模块执行上述流程图中的每个步骤或几个步骤,并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器,这取决于硬件的特定应用和总体设计约束。总线1700将包括一个或多个处理器1800、存储器1900和/或硬件模块的各种电路连接到一起。总线1700还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路1910连接。
总线1700可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条连接线表示,但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为:表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。本公开的优选实施方式的范围可以包括其他实现方式,其中可以不按所描述的顺序,例如可以根据所涉及的功能按基本同时方式或按相反顺序来执行功能,这应被本领域技术人员所理解。处理器可以用于执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,存储于计算机可读存储介质,例如存储器。在一些实施方式中,软件程序的部分或全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载后并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何合适方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
就本说明书而言,“可读存储介质”可以是任何包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置、及便携式只读存储器(CDROM)。另外,可读存储介质甚至可以是可打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在存储器中。
应当理解,本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适指令执行系统执行的软件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路、具有合适的组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成。程序可以存储于一种可读存储介质中。程序在执行时,包括实施方法的步骤之一或其组合。
此外,在本公开各个实施方式中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
如图16所示,根据本公开的模型训练装置1600,可以包括:
图片获取模块1610,用于获取训练图片。
图片处理模块1620,用于对训练图片进行处理,得到训练灰度图。
模型训练模块1630,用于基于训练图片和训练灰度图对初始模型进行训练,得到第一模型。
进一步地,本公开提供的模型训练装置中模型训练模块1630,可以包括:
文本获取子模块16301,用于获取训练图片对应的训练提示文本。
模型训练子模块16302,用于基于训练图片、训练提示文本和训练灰度图对初始模型进行训练。
进一步地,本公开提供的模型训练装置,还可以包括:
控制模块1640,用于获取控制图片和控制提示文本。
生成模块1650,用于将控制图片和控制提示文本输入预先训练的图像生成模型,得到目标图片。
其中,第一模型用于控制预先训练的图像生成模型。
在本公开的一些实施方式中,生成模块1650可以包括:
图片判断子模块16501,用于判断控制图片是否是灰度图。
如果通过图片判断子模块确定控制图片是灰度图,执行第一输入子模块16502;否则执行第二输入子模块16503。
第一输入子模块16502,用于将控制图片输入预先训练的图像生成模型。
第二输入子模块16503,用于获取控制图片对应的控制灰度图,并将控制灰度图输入预先训练的图像生成模型。
在本公开的一些实施方式中,图片处理模块1620可以包括:
灰度转换子模块16201,用于获取训练图片对应的第一灰度图。
灰度量化子模块16202,用于对第一灰度图进行量化,得到训练灰度图。
其中,灰度量化子模块16202,可以包括:
分割单元162021,用于对第一灰度图进行分割,得到图像块。
量化单元162022,用于分别对每个图像块进行量化。
在本公开的一些实施方式中,通过上述分割、量化的过程,能够增加共性的同时减少信息丢失,从而使模型更容易收敛。
在本公开的一些实施方式中,图片处理模块1620也可以包括:
预处理子模块16203,用于对训练图片进行预处理,得到处理图片。
图片处理子模块16204,用于获取处理图片对应的训练灰度图。
在本公开的一些实施方式中,通过上述模块/子模块/单元实现模型训练的过程,与实施例1提供的相似,在此不再一一赘述。图17为包括上述全部模块/子模块/单元时,模型训练装置的结构;模型训练装置仅包括上述部分模块/子模块/单元时,结构与图17所示的相似,在此不再一一赘述。
本公开提供的模型训练装置,通过训练图片及其训练灰度图对初始模型进行训练,得到第一模型。在模型训练过程中,直接使用训练灰度图作为训练样本即可,无需人工介入,且能够使第一模型更好的在图像处理过程中保留图片的灰度特征,解决了现有技术中通过人工方式处理图片需要耗费较多的时间才能得到足够的训练样本,进而使得模型训练的成本较高且效率较低的问题。
本公开还提供了一种电子设备,包括:存储器,存储器存储执行指令;以及处理器或其他硬件模块,处理器或其他硬件模块执行存储器存储的执行指令,使得处理器或其他硬件模块执行上述的模型训练方法。
本公开还提供了一种可读存储介质,可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现上述的模型训练方法。
在本说明书的描述中,参考术语“一个实施方式/实施例”、“一些实施方式/实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中,对上述术语的示意性表述不必是在相同的实施方式/实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式/实施例或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为提示文本或暗示相对重要性或者隐含指明所提示文本的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。
Claims (10)
1.一种模型训练方法,其特征在于,包括:
获取训练图片;
对所述训练图片进行处理,得到训练灰度图;以及
基于所述训练图片和训练灰度图对初始模型进行训练,得到第一模型。
2.根据权利要求1所述的模型训练方法,其特征在于,所述基于所述训练图片和训练灰度图对初始模型进行训练,包括:
获取所述训练图片对应的训练提示文本;以及
基于所述训练图片、训练提示文本和训练灰度图对所述初始模型进行训练。
3.根据权利要求2所述的模型训练方法,其特征在于,还包括:
获取控制图片和控制提示文本;以及
将所述控制图片和控制提示文本输入预先训练的图像生成模型,得到目标图片,
其中,所述第一模型用于控制所述预先训练的图像生成模型。
4.根据权利要求3所述的模型训练方法,其特征在于,所述将所述控制图片输入预先训练的图像生成模型,包括:
判断所述控制图片是否是灰度图;
如果是,将所述控制图片输入所述预先训练的图像生成模型;以及
否则,获取所述控制图片对应的控制灰度图,并将所述控制灰度图输入所述预先训练的图像生成模型。
5.根据权利要求1至4中任意一项所述的模型训练方法,其特征在于,所述对所述训练图片进行处理,得到训练灰度图,包括:
获取所述训练图片对应的第一灰度图;以及
对所述第一灰度图进行量化,得到所述训练灰度图。
6.根据权利要求5所述的模型训练方法,其特征在于,所述对所述第一灰度图进行量化,包括:
对所述第一灰度图进行分割,得到图像块;以及
分别对每个图像块进行量化。
7.根据权利要求1至4中任意一项所述的模型训练方法,其特征在于,所述对所述训练图片进行处理,包括:
对所述训练图片进行预处理,得到处理图片;以及
获取所述处理图片对应的训练灰度图。
8.一种模型训练装置,其特征在于,包括:
图片获取模块,用于获取训练图片;
图片处理模块,用于对所述训练图片进行处理,得到训练灰度图;
模型训练模块,用于基于所述训练图片和训练灰度图对初始模型进行训练,得到第一模型。
9.一种电子设备,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,实现权利要求1至7中任一项所述的模型训练方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时实现如权利要求1至7中任一项所述的模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311827274.3A CN117830762A (zh) | 2023-12-28 | 2023-12-28 | 模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311827274.3A CN117830762A (zh) | 2023-12-28 | 2023-12-28 | 模型训练方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117830762A true CN117830762A (zh) | 2024-04-05 |
Family
ID=90507249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311827274.3A Pending CN117830762A (zh) | 2023-12-28 | 2023-12-28 | 模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117830762A (zh) |
-
2023
- 2023-12-28 CN CN202311827274.3A patent/CN117830762A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6529202B2 (en) | Color adviser | |
CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
US11961203B2 (en) | Image processing device and operation method therefor | |
US20150332435A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US20050280869A1 (en) | Image correcting apparatus and method, and image correcting program, and look-up table creating apparatus and method, and look-up table creating program | |
DE102020007951A1 (de) | Einsetzen eines der Einfärbung dienenden neuronalen Netzwerkes zum Generieren von eingefärbten Bildern auf Grundlage interaktiver Farbkanten | |
US20100054584A1 (en) | Image-based backgrounds for images | |
US11288783B2 (en) | Method and system for image enhancement | |
CN111489322B (zh) | 给静态图片加天空滤镜的方法及装置 | |
CN103312963A (zh) | 图像处理设备和图像处理方法 | |
JP7353803B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR102192016B1 (ko) | 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치 | |
CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
CN116957917B (zh) | 一种基于近端策略优化的图像美化方法及装置 | |
CN103281537A (zh) | 一种图像动态范围压缩方法及装置 | |
CN111080722B (zh) | 一种基于显著性检测的颜色迁移方法及系统 | |
CN115588055A (zh) | 数字病理图像的色彩标准化方法及系统 | |
JP6174926B2 (ja) | 画像復号装置及びその制御方法 | |
Potashnikov et al. | The method of representing grayscale images in pseudo color using equal-contrast color space | |
CN111274145A (zh) | 关系结构图生成方法、装置、计算机设备及存储介质 | |
CN117830762A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN114299193B (zh) | 一种基于神经网络的黑白视频上色方法、系统、设备及存储介质 | |
CN116977190A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN112767508B (zh) | 针对呼吸门控图像的伪彩显示方法、系统、设备以及介质 | |
Zhou et al. | Saliency preserving decolorization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |