CN116563094A - 一种风格图像的生成方法和系统 - Google Patents

一种风格图像的生成方法和系统 Download PDF

Info

Publication number
CN116563094A
CN116563094A CN202310550699.8A CN202310550699A CN116563094A CN 116563094 A CN116563094 A CN 116563094A CN 202310550699 A CN202310550699 A CN 202310550699A CN 116563094 A CN116563094 A CN 116563094A
Authority
CN
China
Prior art keywords
style
image
image data
model
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310550699.8A
Other languages
English (en)
Inventor
于中阳
张萌飞
王亚菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinsaiyun Computing Technology Co ltd
Original Assignee
Shanghai Xinsaiyun Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinsaiyun Computing Technology Co ltd filed Critical Shanghai Xinsaiyun Computing Technology Co ltd
Priority to CN202310550699.8A priority Critical patent/CN116563094A/zh
Publication of CN116563094A publication Critical patent/CN116563094A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种风格图像的生成方法和系统,其中,风格图像的生成方法包括:获取用户上传的图像数据;根据所述图像数据的拍摄角度和拍摄质量,对所述图像数据进行预处理;根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据;使用AI风格生成算法训练得到多个风格模型;从所述多个风格模型中选择与选定目标处理风格对应的风格模型,将所述图像数据输入至所述风格模型,生成目标风格图像。本发明的技术方案能解决现有技术中AI模型生成图像的精度不高,难以生成正常的风格图像的问题的问题。

Description

一种风格图像的生成方法和系统
技术领域
本发明涉及图生图技术领域,尤其涉及一种风格图像的生成方法和系统。
背景技术
图生图技术,即利用现有的图片拓展生成其他属性的图片的技术,该技术能够大大扩展AI绘画的效率和质量。目前的图生图技术多基于AI模型,AI模型是图生图技术的核心,通过AI模型对数以万计的图像及绘画作品进行不断学习,现如今,已经达到只需输入清晰易懂的文字标签或图片,即可在很短的时间内得到一张同样效果不错的画面。对使用者没有任何绘画功底需求,甚至还能根据要求对画面风格进行精细的改变调整。
基于AI模型的图生图技术,一方面能够对图像进行分析与判断,即“学习”,另一方面能够对图像进行高效处理和还原,生成特定风格的图像,即“输出”。具体地,现有技术提供了一种图生图方法,能够根据输入图像的图像特征生成第一图像,然后使用AI模型结合用户输入的风格信息,提取得到风格特征;再根据随机噪声数据生成第一噪声图像,将该第一图像和第一噪声图像进行混合后,添加上述风格特征,最终得到具有上述风格特征的第二生成图像。
如上所述,在图生图技术中,选择图像和对图像进行预处理是AI模型的关键一步,而目前多数技术是直接将图像或者经过简单的预处理后的图像输入到AI模型中,图像的质量和角度姿态可能存在问题,会对最终的风格图像生成结果造成较大影响。特别是输入图片为像素不高或光照不均匀等问题图片,可能导致AI模型生成图像精度不高,进而难以生成正常的风格图像。
发明内容
本发明提供一种风格图像的生成方案,本发明在图像数据输入模型前,在图像数据的预处理步骤之后,增加对图片的二次处理模块,采用图像相似度算法与标准图片库中的标准图像进行匹配,筛选出与标准图库相似度匹配最高的的图像数据,再将其输入模型,从而减少图像对最终结果的影响,以提高最终生成图像的质量和精确度,解决现有技术中的AI模型生成图像的精度不高,难以生成正常的风格图像的问题。
为解决上述问题,根据本发明的第一方面,本发明提出了一种风格图像的生成方法,包括:
获取用户上传的图像数据;
根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理;
根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据;
使用AI风格生成算法训练得到多个风格模型;
获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型,将图像数据输入至风格模型,生成目标风格图像。
优选的,上述风格图像的生成方法中,根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理的步骤,包括:
按照图像数据的拍摄角度对用户上传的图像数据进行筛选,得到多个不同拍摄角度的图像数据;
按照图像数据的拍摄质量对图像数据进行图像拍摄质量矫正处理,得到预处理后的图像数据。
优选的,上述风格图像的生成方法中,根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
分别选取不同拍摄角度的图像数据,其中,不同拍摄角度中每一拍摄角度对应多张图像数据;
针对每一拍摄角度对应的多张图像数据,分别与标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配;
从多张图像数据中筛选得到拍摄角度相似度最高的图像数据。
优选的,上述风格图像的生成方法中,根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
使用预设特征提取算法,提取图像数据的多个特征向量关键点;
按照预设特征相似度匹配算法,对图像数据与标准图像的多个特征向量关键点分别进行特征相似度匹配;
提取多个特征向量关键点之间的向量距离最小的图像数据,作为相似度匹配最高的图像数据。
优选的,上述风格图像的生成方法中,根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
分别提取预处理的图像数据和标准图像的亮度、对比度和结构信息;
使用SSIM相似度算法,分别对图像数据与标准图像进行亮度、对比度和结构信息的相似度匹配;
筛选得到亮度、对比度和结构信息的相似度匹配最高的图像数据。
优选的,上述风格图像的生成方法中,使用AI风格生成算法训练得到多个风格模型的步骤,包括:
根据预先设置的多个目标处理风格,分别提炼得到多个目标处理风格中每一目标处理风格对应的风格提示词;
分别将每一目标处理风格对应的风格提示词输入至AI风格生成算法模型中进行训练;
根据训练结果对AI风格生成算法模型进行优化,直至生成对应目标处理风格的稳定图像,分别得到每一目标处理风格对应的风格模型;
存储每一目标处理风格对应的风格模型。
优选的,上述风格图像的生成方法中,获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型,将图像数据输入至风格模型,生成目标风格图像的步骤,包括:
从消息队列中获取选定目标处理风格;
选取与选定目标处理风格对应的风格模型,将风格模型调度至算法容器中;
将图像数据输入至算法容器中,使用风格模型生成图像数据对应的目标风格图像。
优选的,上述风格图像的生成方法中,使用风格模型生成图像数据对应的目标风格图像的步骤,包括:
将图像数据输入至风格模型;
风格模型根据选定目标处理风格确定输出图像的面部特征与目标动作的关联关系;
风格模型根据图像数据以及输出图像的面部特征和目标动作的关联关系,生成目标风格图像。
根据本发明的第二方面,本发明还提供了一种风格图像的生成系统,包括:
图像获取模块,用于获取用户上传的图像数据;
图像预处理模块,用于根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理;
相似度匹配模块,用于根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据;
模型训练模块,用于使用AI风格生成算法训练得到多个风格模型;
模型选择模块,用于获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型;
图像生成模块,用于将图像数据输入至风格模型,生成目标风格图像。
优选的,上述风格图像的生成系统中,相似度匹配模块包括:
图像选取子模块,用于分别选取不同拍摄角度的图像数据,其中,不同拍摄角度中每一拍摄角度对应多张图像数据;
相似度匹配子模块,用于针对每一拍摄角度对应的多张图像数据,分别与标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配;
图像筛选子模块,用于从多张图像数据中筛选得到拍摄角度相似度最高的图像数据。
根据本发明的第三方面,本发明还提供了一种风格图像的生成系统,包括:
存储器、处理器及存储在所述存储器上并在所述处理器上运行的风格图像的生成程序,所述风格图像的生成程序被所述处理器执行时实现上述任一项技术方案所述的风格图像生成方法的步骤。
综上,本发明提供的风格图像的生成方案,通过获取用户上传的图像数据,然后根据图像数据的拍摄角度和拍摄质量对图像数据进行预处理,在预处理后,根据图像相似度算法将该预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,这样通过对图像数据的二次处理就能够筛选得到相似度匹配最高的图像数据;使用AI风格生成算法训练得到多个风格模型,根据用户的选定目标处理风格,从该多个风格模型中选择与该选定目标处理风格对应的风格模型,将图像数据输入至风格模型中,就能够得到目标风格图像,从而减少初始输入的图像质量对最终生成结果的影响,以提高最终生成图像的质量和精确度。通过上述方法,能够解决现有技术中AI模型生成图像精度不高,难以生成正常的风格图像的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例提供的一种风格图像的生成方法的流程示意图;
图2是图1所示实施例提供的一种图像数据的预处理方法的流程示意图;
图3是图1所示实施例提供的第一种图像数据的特征相似度匹配方法的流程示意图;
图4是图1所示实施例提供的第二种图像数据的特征相似度匹配方法的流程示意图;
图5是图1所示实施例提供的第三种图像数据的特征相似度匹配方法的流程示意图;
图6是图1所示实施例提供的一种AI风格生成算法的训练方法的流程示意图;
图7是图1所示实施例提供的一种风格模型的选取和生成方法的流程示意图;
图8是图7所示实施例提供的一种目标风格图像的生成方法的流程示意图;
图9是本发明实施例提供的一种图像数据与标准图像的特征相似度匹配方法的流程示意图;
图10是本发明实施例提供的一种风格模型的训练的训练方法的流程示意图;
图11是本发明实施例提供的第一种风格图像的生成系统的结构示意图;
图12是图11所示实施例提供的一种图像处理模型的结构示意图;
图13是本发明实施例提供的第二种风格图像的生成系统的结构示意图;
图14是图13所示实施例提供的一种相似度匹配模块的结构示意图;
图15是本发明实施例提供的第三种风格图像的生成系统的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决的技术问题是:
在图生图技术中,选择图像和对图像进行预处理是AI模型的关键一步,而目前多数技术是直接将图像或者经过简单的预处理后的图像输入到AI模型中,图像的质量和角度姿态可能存在问题,会对最终的风格图像生成结果造成较大影响。特别是输入图片为像素不高或光照不均匀等问题图片,可能导致AI模型生成图像精度不高,进而难以生成正常的风格图像。
为了解决上述问题,本发明下述实施例提供了风格图像的生成方案,在图像数据输入机器学习模型前,在图像数据的预处理步骤之后,增加对图片的二次处理步骤,采用图像相似度算法与标准图片库中的标准图像进行匹配,筛选出与标准图库相似度匹配最高的的图像数据,再将其输入模型,从而减少图像对最终结果的影响,解决现有技术中的AI模型生成图像的精度不高,难以生成正常的风格图像的问题,达到了提高最终生成图像的质量和精确度的目的。
为实现上述目的,参见图1,图1为本发明实施例提供的一种风格图像的生成方法的流程示意图。如图1所示,该风格图像的生成方法,包括:
S110:获取用户上传的图像数据。在此步骤中需要响应用户的图像处理请求。在实际应用中,为了提高图像处理效率,能够提供相应的图像处理页面,该图像处理页面包括图像上传控件或者视频上传控件。通过检测该图像上传控件或者视频上传控件是否触发即可确定用户是否发起图像处理请求,并获取用户上传的图像或视频,以从用户上传的图像或视频中获取待处理的图像数据。该待处理图像数据包括图片形式或视频形式;例如视频形式的待处理图像数据,则该视频包括由目标任务执行的一组动作的视频,对肢体或头部进行多角度采样。动作指令能够包括但不仅限于为向左侧转动身体或头部,向右侧转动身体或头部以及保持身体/头部不动等。
S120:根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理。其中,拍摄角度包括正面、左侧和右侧三个角度,拍摄质量包括光照强弱和照片噪音等质量情况。该根据图像数据的拍摄角度和拍摄质量对图像数据的预处理包括图像删选/视频截取和图像校正等操作。具体地,对待处理的图像数据进行初步筛选,初步筛选:提取符合正面、左侧、右侧三个角度的图像。视频截取:按照时间状况或自定义的若干时间点截取选择一组图片,该图片至少包括正面、左侧和右侧三个角度。图像校正包括:对上述初步筛选和视频截取的图像激进行光照、亮度和背景的初步校正处理,该初步校正包括降噪、亮度增强或减弱等操作。通过根据图像数据的拍摄角度和拍摄质量对图像数据进行预处理,能够得到符合拍摄角度要求且具有高质量的图像。
S130:根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据。对上述预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,能够通过对初步处理的图像数据的二次校验,筛选得到最优图像。首先将上述得到的不同拍摄角度的图像数据进行输入,与标准图像库中的标准图像进行匹配,标准图像库包括正面、左侧和右侧多个不同角度的标准图像,该标准图像角度完整且照片清晰,通过进行特征相似度匹配,能够得到清晰且拍摄角度标准的图像,减少与标准图像库中数据的特征差异度。其中,上述特征相似度包括拍摄角度、动作规范和照片清晰度等特征。
S140:使用AI风格生成算法训练得到多个风格模型。这里选用的AI风格生成算法模型包括不限于Stabledifussion算法模型、Lora算法模型和Dream booth算法模型等;也能够是多个模型叠加训练。通过调整模型的不同参数,能够生成多个不同的风格模型。在得到上述多个风格模型后,将上述多个风格模型输入到模型风格库进行存储,当需要使用风格模型生成目标风格图像时,只需要从模型风格库中调取风格模型至消息队列即可。
S150:获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型,将图像数据输入至风格模型,生成目标风格图像。
在获取用户的选定目标处理风格时,需要从消息队列中调取与选定目标处理风格对应的风格模型,然后将上述经过筛选得到相似度匹配最高的图像数据输入至风格模型,就能够生成目标风格图像。
综上,本发明提供的风格图像的生成方法,通过获取用户上传的图像数据,然后根据图像数据的拍摄角度和拍摄质量对图像数据进行预处理,在预处理后,根据图像相似度算法将该预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,这样通过对图像数据的二次处理就能够筛选得到相似度匹配最高的图像数据;使用AI风格生成算法训练得到多个风格模型,根据用户的选定目标处理风格,从该多个风格模型中选择与该选定目标处理风格对应的风格模型,将图像数据输入至风格模型中,就能够得到目标风格图像,从而减少初始输入的图像质量对最终生成结果的影响,以提高最终生成图像的质量和精确度。通过上述方法,能够解决现有技术中AI模型生成图像精度不高,难以生成正常的风格图像的问题。
作为一种优选的实施例,如图2所示,上述风格图像的生成方法中,步骤S120:根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理的步骤,包括:
S121:按照图像数据的拍摄角度对用户上传的图像数据进行筛选,得到多个不同拍摄角度的图像数据。例如筛选得到正面、左侧和右侧三个拍摄角度的图像数据。针对视频形式的图像数据需要进行视频截取,得到不同拍摄角度的图片。
S122:按照图像数据的拍摄质量对图像数据进行图像拍摄质量矫正处理,得到预处理后的图像数据。
本发明实施例提供的技术方案中,该按照拍摄角度和拍摄质量对图像数据的预处理包括图像删选、视频截取和图像矫正等操作。该图像数据的预处理模块包含图像初筛单元、视频截取单元和图像校正单元。
具体地的图像筛选方法如下:对待处理的图像数据(单个人物图像和多角度的图像等)进行初步筛选,选取符合正面、左侧和右侧三个角度保留。另外,关于视频截取,具体包括以下步骤:按照时间窗口或自定义若干时间点截取以及采用算法等方法自动截取视频图像,从截取得到的多张图片中选出一组图片,该图片至少包括正面、左侧和右侧三个角度。关于图像质量的矫正,即图像校正步骤。图像校正单元需要对上述初筛的图片和视频截取的照片进行光照、亮度和背景进行初步矫正处理。初步矫正处理包括降噪、亮度增强或减弱等操作。通过按照拍摄角度对图像数据进行筛选以及按照图像数据的拍摄质量妒忌图像数据进行图像拍摄质量矫正处理,能够得到拍摄角度符合需求且高度清晰的图像数据。
另外,因为初始图片质量和角度姿态对生成结果有较大影响,特别是像素不高和光照不均匀等问题图片,可能导致无法生成正常的照片。不同的原始图像的选择对生成图像的影响较大,选择图像和对图像进行预处理是关键的一步。而目前多数技术是直接将图像或者经过简单的预处理后的图像输入到生成模型中,可能会导致图像的生成的精度不高的问题。本发明实施例在图片输入模型前,增加对图片的二次处理模块,采用图像相似度算法与标准图片库比对,挑选出与标准图库相似度最大的最优图片,再将其输入模型,减少图像对最终结果的影响。以提高最终生成图像的质量和精确度。
具体地,作为一种优选的实施例,如图3所示,上述风格图像的生成方法中,步骤S130:根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
S131:分别选取不同拍摄角度的图像数据,其中,不同拍摄角度中每一拍摄角度对应多张图像数据。对预处理得到的图像数据还需要进行二次校验,筛选得到最优图片。其中选取的不同拍摄角度的图像数据如图9所示,该待筛选图像包括:正面图n张、左侧90度图n张和右侧90度图n张等。
S132:针对每一拍摄角度对应的多张图像数据,分别与标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配。标准图像库中包括人为或集群选取的正面、左侧90度和右侧90度等不同角度的标准图像,该标准图像能够通过认为或机器挑选,要求是角度完整且照片清晰,能够快速准确提取出图像特征的图片。这样通过针对每一拍摄角度的图像数据,例如正面、左侧和右侧的待筛选图片,与标准图片进行拍摄角度的相似度匹配,就能够快速筛选得到角度完整且拍摄清晰的图像。
S133:从多张图像数据中筛选得到拍摄角度相似度最高的图像数据。
本发明实施例提供的技术方案,通过在上述预处理后的图像数据,选取不同拍摄角度(例如正面、左侧或右侧)的图像数据作为待筛选图像,针对每一拍摄角度对应的多张图像数据,分别与标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配,就能够得到上述拍摄角度相似度最高的图像数据,从而快速筛选得到角度完整且照片清晰的图像。
其中,关于图像相似度算法的选取,可以选用传统的特征点矩阵算法或者选取SSIM相似度算法。
具体地,作为一种优选的实施例,如图4所示,上述风格图像的生成方法中,步骤S130:根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
S134:使用预设特征提取算法,提取图像数据的多个特征向量关键点。这里的预设特征提取算法能够包括不限于CornerDetection算法,SIFT算法和Dlib算法中的一种或多种。
S135:按照预设特征相似度匹配算法,对图像数据与标准图像的多个特征向量关键点分别进行特征相似度匹配。上述预设特征相似度匹配算法包括传统的特征点矩阵法,具体地,获得图像数据的关键点位进行特征提取,得到多个特征向量关键点,将所提取的特征与标准图像进行余弦相似度计算,找出余弦相似度最低的图像即为最优图像。
S136:提取多个特征向量关键点之间的向量距离最小的图像数据,作为相似度匹配最高的图像数据。这里的向量距离能够通过余弦相似度计算得到,选取余弦相似度最低的图像数据,即上述多个特征向量关键点之间的向量距离最小的图像数据。因为上述向量距离反映了图像数据之间特征的相似程度,向量距离越小则相似程度越高,因此选用向量距离最小的图像数据就能够作为相似度匹配最高的图像数据,通过上述方法能够分别得到相似度匹配最高的正面、左侧90度和右侧90度的图像数据。
另外,上述图像相似度算法还能够选用SSIM相似度算法,SSIM相似度算法即结构相似度算法。其具体原理如下:输入两张图像,要求结构相似度的两张图像,其中一张是未经压缩的无失真图像(即groundtruth),另一张就是需要与无失真图像对比的图像。物体表面的亮度信息与照度和反射系数有关,且场景中的物体的结构与照度是独立的,反射系数与物体有关。可以通过分离照度对物体的影响来探索一张图像中的结构信息。这里,把与物体结构相关的亮度和对比度作为图像中结构信息的定义。
具体地,作为一种优选的实施例,如图5所示,上述风格图像的生成方法中,步骤S130:根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
S137:分别提取预处理的图像数据和标准图像的亮度、对比度和结构信息。
S138:使用SSIM相似度算法,分别对图像数据与标准图像进行亮度、对比度和结构信息的相似度匹配。
S139:筛选得到亮度、对比度和结构信息的相似度匹配最高的图像数据。
本发明实施例提供的技术方案,通过分别提取上述预处理的图像数据和标准图像的亮度、对比度和结构信息,然后使用SSIM相似度算法对图像数据和标准图像进行亮度、对比度和结构信息的相似度匹配,能够从亮度、对比度和结构三方面比较上述图像数据和标准图像的相似度,选取最小值对应的图像数据,即得到上述相似度匹配最高的图像数据。
另外,结合图10所示的AI模型的训练方法和流程可知,针对AI风格生成模型的训练,该AI风格生成模型能够选取单个AI模型,也能够对两个或多个模型进行迭加训练,通过调整不同的模型参数,生成多种不同的风格。
具体地,作为一种优选的实施例,如6所示,上述风格图像的生成方法中,步骤S140:使用AI风格生成算法训练得到多个风格模型的步骤,包括:
S141:根据预先设置的多个目标处理风格,分别提炼得到多个目标处理风格中每一目标处理风格对应的风格提示词。依据设置的生成图像不同风格,提炼得到每种目标处理风格对应的风格提示词prompt(其中,证件照prompt1、形象照prompt2、……promptn)。
S142:分别将每一目标处理风格对应的风格提示词输入至AI风格生成算法模型中进行训练。将上述每一目标处理风格对应的风格提示词分别输入到AI风格生成算法中进行训练。其中,AI风格生成算法模型包括不限于Lora模型、StableDiffusion模型和扩散模型等,也能够是两个或多个模型的叠加训练。通过调整AI风格生成算法模型的不同模型参数就能够得到若干种不同的风格。
S143:根据训练结果对AI风格生成算法模型进行优化,直至生成对应目标处理风格的稳定图像,分别得到每一目标处理风格对应的风格模型。
S144:存储每一目标处理风格对应的风格模型。
本发明实施例提供的技术方案,根据训练结果,例如对风格图像的标签进行验证,能够对AI风格生成算法模型进行模型参数的优化,随着模型损失函数的收敛,能够得到对应模板处理风格的稳定图像。参见图10,不同的风格模型包括证件照模型、形象照模型、国风模型和奇幻风模型等,对应的不同目标处理风格包括证件照、形象照、国风、奇幻风、公主风、宠物喵和宠物汪等。在得到每一种目标处理风格对应的风格模型后,将上述每一目标处理风格对应的风格模型输入到模型风格库中进行存储,就能够存储训练好的调整好模型参数的若干种风格模型。
另外,针对AIGC图像的生成,需要预先配置用于根据模型中包括的输入图像、输出图像中的面部和输出图像的关联关系,生成与目标输入图像和目标动作关联的目标输出图像。
具体地,作为一种优选的实施例,如图7所示,上述风格图像的生成方法中,步骤S150:获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型,将图像数据输入至风格模型,生成目标风格图像的步骤,包括:
S151:从消息队列中获取选定目标处理风格。在用户选定目标处理风格后,将对应的选定目标处理风格从模型风格库中调入消息队列,然后从消息队列中调度至相应的算法容器中进行处理。
S152:选取与选定目标处理风格对应的风格模型,将风格模型调度至算法容器中。通过选取与上述选定目标处理风格对应的风格模型,然后将风格模型调度至特定的算法容器中,能够实现算法容器对目标处理算法的独立运行,使得待处理图像的图像处理工程独立于其他算法容器,提高算法运行的效率和安全性。
S153:将图像数据输入至算法容器中,使用风格模型生成图像数据对应的目标风格图像。
本发明实施例提供的技术方案,通过获取选定目标处理风格,然后将与选定目标处理风格对应的风格模型和图像数据输入至算法容器,从而使用选定目标处理风格在算法容器中高效且安全地处理该图像数据,生成包含该选定目标处理风格的目标风格图像。
其中,能够根据风格模型中包括的输入图像、输出图像中的面部和输出图像之间的关联关系,生成与目标输入图像和目标动作相关联的目标输出图像,目标输出图像包括由目标人物执行目标动作的图像。具体地,作为一种优选的实施例,如图8所示,上述风格图像的生成方法中,步骤S153:使用风格模型生成图像数据对应的目标风格图像的步骤,包括:
S1531:将图像数据输入至风格模型。
S1532:风格模型根据选定目标处理风格确定输出图像的面部特征与目标动作的关联关系。
S1533:风格模型根据图像数据以及输出图像的面部特征和目标动作的关联关系,生成目标风格图像。
本发明实施例提供的技术方案,通过将图像数据输入至风格模型中,然后使用选定目标处理风格确定输出图像的面部特征与目标动作的关联关系,其具体的确定方法参见风格图像的生成训练部分,这样风格模型就能够根据上述面面部特征与目标动作的关联关系生成具有鲜明风格特征的目标风格图像。
另外,基于上述方法实施例的同一构思,本发明实施例还提供风格图像的生成系统,用于实现本发明的上述方法,由于该系统实施例解决问题的原理与方法相似,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
参见图11,图11为本发明实施例提供的第一种风格图像的生成系统的结构示意图。如图11所示,该风格图像的生成系统,包括:
图像处理模块210、训练模块220、生成模块230和存储模块240;其中,
图像处理模块210包括获取模块211、第一处理模块212和第二处理模块213;
训练模块220包括MQ(消息队列)221和AIPT系统222;
生成模块230包括MQ(消息队列)221和AIGC系统231;
存储模块240包括标准图像库241和模型库242。
其中,图片及视频获取模块310能够响应图像处理请求,获取待处理的图像数据,该图像数据能够是图片或者视频。第一处理模块212能够对图像进行删选/视频截取和图像矫正等处理。如图12所示,第一处理模块212包括图像初筛单元2121、视频帧截取单元2122和图像校正单元2123。第二处理模块213能够对上述第一处理模块212处理的图像数据进行二次处理,筛选得到最优图片,第二处理模块213包括匹配度判别单元2131,其筛选逻辑是将图像数据标准图像库中的标准图像进行特征相似度匹配,筛选正面、左侧和右侧等不同角度的标准图像,通过特征相似度匹配,能够得到角度完整且清晰的图像。
参见图13,图13为本发明实施例提供的一种风格图像的生成系统的结构示意图。如图13所示,该风格图像的生成系统,包括:
图像获取模块110,用于获取用户上传的图像数据。
图像预处理模块120,用于根据图像数据的拍摄角度和拍摄质量,对图像数据进行预处理。
相似度匹配模块130,用于根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据。
模型训练模块140,用于使用AI风格生成算法训练得到多个风格模型。
模型选择模块150,用于获取选定目标处理风格,从多个风格模型中选择与选定目标处理风格对应的风格模型。
图像生成模块160,用于将图像数据输入至风格模型,生成目标风格图像。
综上,本发明提供的风格图像的生成系统,通过图像获取模块110获取用户上传的图像数据,然后图像预处理模块120根据图像数据的拍摄角度和拍摄质量对图像数据进行预处理,在图像预处理后,相似度匹配模块130根据图像相似度算法将该预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,这样通过对图像数据的二次处理就能够筛选得到相似度匹配最高的图像数据;模型训练模块140使用AI风格生成算法训练得到多个风格模型,模型选择模块150根据用户的选定目标处理风格,从该多个风格模型中选择与该选定目标处理风格对应的风格模型,图像生成模块160将图像数据输入至风格模型中,就能够得到目标风格图像,从而减少初始输入的图像质量对最终生成结果的影响,以提高最终生成图像的质量和精确度。通过上述方法,能够解决现有技术中AI模型生成图像精度不高,难以生成正常的风格图像的问题。
其中,作为一种优选的实施例,如图14所示,上述风格图像的生成系统中,相似度匹配模块130包括:
图像选取子模块131,用于分别选取不同拍摄角度的图像数据,其中,不同拍摄角度中每一拍摄角度对应多张图像数据。
相似度匹配子模块132,用于针对每一拍摄角度对应的多张图像数据,分别与标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配。
图像筛选子模块133,用于从多张图像数据中筛选得到拍摄角度相似度最高的图像数据。
综上,本发明上述实施例提供的风格图像的生成系统,在图片输入模型前增加对图片的二次处理模块,采用图像相似度算法与标准图片库比对,挑选出与标准图库相似度最大的最优图片,再将其输入模型,减少图像对最终结果的影响。
另外,作为一种优选的实施例,如图15所示,本发明还提供了一种风格图像的生成系统,包括:
处理器1001、通信线路1002、通信模块1003和存储器1004及存储在所述存储器1004上并在所述处理器1001上运行的风格图像的生成程序,所述风格图像的生成程序被所述处理器1001执行时实现上述任一项实施例提供的风格图像生成方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种风格图像的生成方法,其特征在于,包括:
获取用户上传的图像数据;
根据所述图像数据的拍摄角度和拍摄质量,对所述图像数据进行预处理;
根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据;
使用AI风格生成算法训练得到多个风格模型;
获取选定目标处理风格,从所述多个风格模型中选择与所述选定目标处理风格对应的风格模型,将所述图像数据输入至所述风格模型,生成目标风格图像。
2.根据权利要求1所述的风格图像的生成方法,其特征在于,所述根据所述图像数据的拍摄角度和拍摄质量,对所述图像数据进行预处理的步骤,包括:
按照所述图像数据的拍摄角度对用户上传的图像数据进行筛选,得到多个不同拍摄角度的图像数据;
按照所述图像数据的拍摄质量对所述图像数据进行图像拍摄质量矫正处理,得到预处理后的图像数据。
3.根据权利要求1所述的风格图像的生成方法,其特征在于,所述根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
分别选取不同拍摄角度的图像数据,其中,所述不同拍摄角度中每一拍摄角度对应多张图像数据;
针对每一拍摄角度对应的多张图像数据,分别与所述标准图像库中同一拍摄角度的标准图像进行拍摄角度相似度匹配;
从所述多张图像数据中筛选得到拍摄角度相似度最高的图像数据。
4.根据权利要求1或3所述的风格图像的生成方法,其特征在于,所述根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
使用预设特征提取算法,提取所述图像数据的多个特征向量关键点;
按照预设特征相似度匹配算法,对所述图像数据与所述标准图像的多个特征向量关键点分别进行特征相似度匹配;
提取所述多个特征向量关键点之间的向量距离最小的图像数据,作为所述相似度匹配最高的图像数据。
5.根据权利要求1或3所述的风格图像的生成方法,其特征在于,所述根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据的步骤,包括:
分别提取预处理的图像数据和所述标准图像的亮度、对比度和结构信息;
使用SSIM相似度算法,分别对所述图像数据与所述标准图像进行亮度、对比度和结构信息的相似度匹配;
筛选得到所述亮度、对比度和结构信息的相似度匹配最高的图像数据。
6.根据权利要求1所述的风格图像的生成方法,其特征在于,所述使用AI风格生成算法训练得到多个风格模型的步骤,包括:
根据预先设置的多个目标处理风格,分别提炼得到所述多个目标处理风格中每一目标处理风格对应的风格提示词;
分别将每一目标处理风格对应的风格提示词输入至AI风格生成算法模型中进行训练;
根据训练结果对所述AI风格生成算法模型进行优化,直至生成对应目标处理风格的稳定图像,分别得到所述每一目标处理风格对应的风格模型;
存储所述每一目标处理风格对应的风格模型。
7.根据权利要求1所述的风格图像的生成方法,其特征在于,所述获取选定目标处理风格,从所述多个风格模型中选择与所述选定目标处理风格对应的风格模型,将所述图像数据输入至所述风格模型,生成目标风格图像的步骤,包括:
从消息队列中获取所述选定目标处理风格;
选取与所述选定目标处理风格对应的风格模型,将所述风格模型调度至算法容器中;
将所述图像数据输入至所述算法容器中,使用所述风格模型生成所述图像数据对应的目标风格图像。
8.根据权利要求7所述的风格图像的生成方法,其特征在于,所述使用所述风格模型生成所述图像数据对应的目标风格图像的步骤,包括:将所述图像数据输入至所述风格模型;所述风格模型根据选定目标处理风格确定输出图像的面部特征与目标动作的关联关系;所述风格模型根据所述图像数据以及所述输出图像的面部特征和目标动作的关联关系,生成所述目标风格图像。
9.一种风格图像的生成系统,其特征在于,包括:
图像获取模块,用于获取用户上传的图像数据;
图像预处理模块,用于根据所述图像数据的拍摄角度和拍摄质量,对所述图像数据进行预处理;
相似度匹配模块,用于根据图像相似度算法,对预处理的图像数据与标准图像库中的标准图像进行特征相似度匹配,筛选得到相似度匹配最高的图像数据;
模型训练模块,用于使用AI风格生成算法训练得到多个风格模型;
模型选择模块,用于获取选定目标处理风格,从所述多个风格模型中选择与所述选定目标处理风格对应的风格模型;
图像生成模块,用于将所述图像数据输入至所述风格模型,生成目标风格图像。
10.一种风格图像的生成系统,其特征在于,包括:
存储器、处理器及存储在所述存储器上并在所述处理器上运行的风格图像的生成程序,所述风格图像的生成程序被所述处理器执行时实现如权利要求1至8中任一项所述的风格图像生成方法的步骤。
CN202310550699.8A 2023-05-16 2023-05-16 一种风格图像的生成方法和系统 Pending CN116563094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310550699.8A CN116563094A (zh) 2023-05-16 2023-05-16 一种风格图像的生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310550699.8A CN116563094A (zh) 2023-05-16 2023-05-16 一种风格图像的生成方法和系统

Publications (1)

Publication Number Publication Date
CN116563094A true CN116563094A (zh) 2023-08-08

Family

ID=87494263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310550699.8A Pending CN116563094A (zh) 2023-05-16 2023-05-16 一种风格图像的生成方法和系统

Country Status (1)

Country Link
CN (1) CN116563094A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036203A (zh) * 2023-10-08 2023-11-10 杭州黑岩网络科技有限公司 一种智能绘图方法及系统
CN117315417A (zh) * 2023-09-04 2023-12-29 浙江大学 一种基于扩散模型的服装样式融合方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315417A (zh) * 2023-09-04 2023-12-29 浙江大学 一种基于扩散模型的服装样式融合方法和系统
CN117315417B (zh) * 2023-09-04 2024-05-14 浙江大学 一种基于扩散模型的服装样式融合方法和系统
CN117036203A (zh) * 2023-10-08 2023-11-10 杭州黑岩网络科技有限公司 一种智能绘图方法及系统
CN117036203B (zh) * 2023-10-08 2024-01-26 杭州黑岩网络科技有限公司 一种智能绘图方法及系统

Similar Documents

Publication Publication Date Title
US11482040B2 (en) Face anti-counterfeiting detection methods and systems, electronic devices, programs and media
EP3882808B1 (en) Face detection model training method and apparatus, and face key point detection method and apparatus
US11055521B2 (en) Real-time gesture recognition method and apparatus
Xiong et al. Learning to generate time-lapse videos using multi-stage dynamic generative adversarial networks
US11954904B2 (en) Real-time gesture recognition method and apparatus
US10936911B2 (en) Logo detection
US20200184059A1 (en) Face unlocking method and apparatus, and storage medium
CN108921782B (zh) 一种图像处理方法、装置及存储介质
CN116563094A (zh) 一种风格图像的生成方法和系统
EP3989104A1 (en) Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium
US10403001B2 (en) Producing three-dimensional representation based on images of an object
US10521264B2 (en) Data processing architecture for improved data flow
CN103971112B (zh) 图像特征提取方法及装置
CN111832745A (zh) 数据增广的方法、装置及电子设备
US20230041573A1 (en) Image processing method and apparatus, computer device and storage medium
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
US11238302B2 (en) Method and an apparatus for performing object illumination manipulation on an image
CN114663726A (zh) 目标类别检测模型的训练方法、目标检测方法及电子设备
US10108877B2 (en) System for capturing pupil and method thereof
KR20220169770A (ko) 홍채 인식용 이미지 생성 장치 및 방법
US11037015B2 (en) Identification of key points in multimedia data elements
JP2007025901A (ja) 画像処理装置、画像処理方法
WO2023137905A1 (zh) 图像处理方法、装置、电子设备以及存储介质
US20240169701A1 (en) Affordance-based reposing of an object in a scene
Souza et al. Towards high-resolution face pose synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination