CN117593417A - 一种智能图像识别与处理方法、装置及电子设备 - Google Patents
一种智能图像识别与处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117593417A CN117593417A CN202311400773.4A CN202311400773A CN117593417A CN 117593417 A CN117593417 A CN 117593417A CN 202311400773 A CN202311400773 A CN 202311400773A CN 117593417 A CN117593417 A CN 117593417A
- Authority
- CN
- China
- Prior art keywords
- image
- preset
- color
- type
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005457 optimization Methods 0.000 claims description 40
- 238000013441 quality evaluation Methods 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 5
- 230000006798 recombination Effects 0.000 claims description 5
- 238000010428 oil painting Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种智能图像识别与处理方法、装置及电子设备。属于计算机视觉技术领域,方法包括:获取待处理灰度图像;将待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素;将第一要素进行分类识别,得到第一要素的要素类型,第一要素为多个图像要素中任意一个;将第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像,预设要素库中存储有预设要素图像与要素类型的对应关系,第二要素为预设要素库内存储的多个预设图像要素中任意一个。从而实现对待处理灰度图像的精细化处理,大大提升了填充了色彩的目标彩色图像的观感。
Description
技术领域
本申请涉及计算机视觉的技术领域,具体涉及一种智能图像识别与处理方法、装置及电子设备。
背景技术
随着科技的发展,光学成像技术逐渐趋于成熟,由此,灰度照片也逐渐转变为色彩更加丰富的彩色照片。
为了保留原始灰度图像的痕迹,并且还要使原始灰度图像具有更丰富的色彩,灰度照片填色成为了其重要的一环。目前,在进行灰度填色之前,通常以整张照片作为人工智能模型的训练样本,然后利用训练完成的人工智能模型对灰度照片进行颜色填充,以此达到智能图像填充的目的,相较于人工填充来说大大降低了时间成本。
然而,在上述方案中由于是以整张照片作为训练样本,虽然整体色彩填充的准确度和统一性不错,但细节处理较差,因此亟需一种提高细节处理程度的智能图像识别和处理方法。
发明内容
针对传统方案中以整张照片作为人工智能模型的训练样本,从而导致人工智能模型对灰度图像转彩色图像的细节处理较差的问题,本申请提供一种智能图像识别与处理方法、装置及电子设备。
在本申请的第一方面提供了一种智能图像识别和处理方法,应用于服务器,方法包括:获取待处理灰度图像;将待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来;将第一要素进行分类识别,得到第一要素的要素类型,第一要素为多个图像要素中任意一个;将第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像,预设要素库中存储有预设要素图像与要素类型的对应关系,第二要素为预设要素库内存储的多个预设图像要素中任意一个。
通过采用上述技术方案,对于待处理灰度图像,首先将其输入至图像识别处理模型中,从而将待处理灰度图像中的图像要素提取出来,图像要素可以理解为具有显著特征的图像区域,例如人物画像中的眼睛区域、鼻子区域、嘴巴区域等。然后,对要素图像进行分类识别,从而确定每个要素图像的要素类型。 然后将每个要素图像的要素类型与预设要素库进行匹配,从而得到适合各个要素图像的第二要素,最后参考第二要素的颜色信息对要素图像进行色彩填充;从而实现对待处理灰度图像的精细化处理,大大提升了填充了色彩的目标彩色图像的观感。
可选的,将第一要素与预设要素分类库进行匹配,得到多个要素类型,其中,一个要素类型对应一个匹配度值,预设要素分类库包括图像要素与要素类型之间的对应关系;遍历多个要素类型的匹配度值;若目标要素类型的匹配度值为最大值,则将目标要素类型作为第一要素的要素类型。
通过采用上述技术方案,借助预设要素分类库,对第一要素进行精准的分类识别,从而确定其要素类型;然后计算不同要素类型的匹配度值,选择匹配度值最大的要素类型作为第一要素的要素类型,从而保证分类结果符合客观数据,避免主观误判,提高要素类型判定的正确率,为后续的颜色填充提供了正确的参考信息来源。
可选的,若目标要素类型的匹配度值为最大值,则将目标要素类型作为第一要素的要素类型,具体还包括:若目标要素类型的匹配度值小于预设匹配度阈值,则将第一要素进行要素拆分,得到多个子要素;将多个子要素与预设要素分类库进行匹配,得到多个子要素各自对应的要素类型;将多个要素类型进行要素重组,得到第一要素的要素类型。
通过采用上述技术方案,通过设置匹配度阈值,从而避免当整体要素匹配效果较差时,输出相关度较低的要素类型结果。当目标要素类型的匹配度值小于预设匹配度阈值时,通过将第一要素拆分为多个复杂度较低的子要素,再利用预设分类库中的大量的要素样本,从而支持拆分后多个子要素的有效匹配,最后将多个子要素各自对应的匹配结果进行要素重组,得到第一要素的要素类型,从而在第一要素的匹配效果不佳时提升要素类型的准确性。
可选的,基于第二要素的彩色信息对第一要素进行颜色填充,还包括:响应于用户对待处理灰度图像的图像风格选取操作,图像风格包括写实、立体、油画、印象主义以及表现主义;根据用户选取的图像风格,对第二要素进行色彩重构,生成第三要素;基于第三要素对第一要素进行颜色填充。
通过采用上述技术方案,通过设置图像风格选项,用户根据个人喜好选择喜欢的图像风格,此时服务器根据用户喜欢的图像风格对第二要素进行色彩重构,从而提升了用户体验。
可选的,构建第一要素的多个纹理特征与第二要素的多个纹理特征之间对应关系,其中一个第一要素的纹理特征对应一个第二要素的纹理特征;根据第一要素与第二要素的纹理特征对应关系,将第二要素的颜色信息填充至第一要素。
通过采用上述技术方案,由于第一要素与第二要素在纹理上存在一定差异,根据第一要素的多个纹理特征,在第二要素中寻找与第一要素的多个纹理特征对应的纹理特征,并将其构建为纹理特征对应关系,最后在进行颜色填充时,根据纹理特征对应关系将第二要素的颜色信息填充至第一要素,从而提升目标彩色图像的颜色均匀性和层次感,进而提升用户体验。
可选的,基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像之后,还包括:将目标彩色图像输入至图像质量评估模型中,得到目标彩色图像的质量评估分数,图像质量评估模型由彩色图像与质量评估分数训练而来;若质量评估分数小于预设质量评估分数阈值,则对目标彩色图像进行局部优化处理,得到目标优化图像。
通过采用上述技术方案,借助训练好的图像质量评估模型,对颜色填充的目标彩色图像进行质量评分,从而获得一个客观的质量检测结果。然后,设置质量评估分数阈值,从而针对存在明显质量问题的目标彩色图像进行进一步局部优化处理,避免直接输出质量较差的结果,进而提升了最终生成的目标彩色图像的图像质量。
可选的,对目标彩色图像进行局部优化处理,得到目标优化图像,具体为:提取目标彩色图像的多个待优化特征;将多个待优化特征与预设图像优化数据库进行匹配,得到多个优化规则,其中,一个待优化特征对应一个优化规则;采用多个待优化特征各自对应的优化规则,预设图像优化数据库中存储有待优化特征与优化规则之间的对应关系;对目标彩色图像进行优化处理,得到目标优化图像。
通过采用上述技术方案,针对于目标色彩图像中的多个待优化特征,将其与预设图像优化数据库进行匹配,得到多个待优化特征各自对应的优化规则,从而利用历史已有的处理经验来指导当前图像的优化,提升最终的目标优化图像的画面质量。
在本申请的第二方面提供了一种智能图像识别与处理装置,装置为服务器,服务器包括获取模块与处理模块,其中:
获取模块,用于获取待处理灰度图像;
处理模块,用于将待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来;将第一要素进行分类识别,得到第一要素的要素类型,第一要素为多个图像要素中任意一个;将第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像,预设要素库中存储有预设要素图像与要素类型的对应关系,第二要素为预设要素库内存储的多个预设图像要素中任意一个。
在本申请的第三方面提供了一种电子设备,包括处理器、存储器、用户接口以及网络接口,所述存储器用于存储指令,所述用户接口和所述网络接口均用于与其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如上述任意一项所述的方法。
在本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如上述任意一项所述的方法。
综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1.对于待处理灰度图像,首先将其输入至图像识别处理模型中,从而将待处理灰度图像中的图像要素提取出来,图像要素可以理解为具有显著特征的图像区域,例如人物画像中的眼睛区域、鼻子区域、嘴巴区域等。然后,对要素图像进行分类识别,从而确定每个要素图像的要素类型。 然后将每个要素图像的要素类型与预设要素库进行匹配,从而得到适合各个要素图像的第二要素,最后参考第二要素的颜色信息对要素图像进行色彩填充;从而实现对待处理灰度图像的精细化处理,大大提升了填充了色彩的目标彩色图像的观感。
2.通过设置匹配度阈值,从而避免当整体要素匹配效果较差时,输出相关度较低的要素类型结果。当目标要素类型的匹配度值小于预设匹配度阈值时,通过将第一要素拆分为多个复杂度较低的子要素,再利用预设分类数据库中的大量的要素样本,从而支持拆分后多个子要素的有效匹配,最后将多个子要素各自对应的匹配结果进行要素重组,得到第一要素的要素类型,从而在第一要素的匹配效果不佳时提升要素类型的准确性。
附图说明
图1是本申请实施例提供的一种智能图像识别和处理方法的流程示意图。
图2是本申请实施例提供的一种待处理灰度图像的要素分布图。
图3是本申请实施例提供的一种智能图像识别和处理装置的结构示意图。
图4是本申请实施例提供的一种电子设备的结构示意图。
附图标记说明:301、获取模块;302、处理模块;401、处理器;402、通信总线;403、用户接口;404、网络接口;405、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
随着光学成像技术的发展,灰度照片逐渐转变为色彩更加丰富的彩色照片。为了在给灰度图像上色的同时保留原始灰度效果,灰度图像的颜色填充成为一个关键技术。目前的颜色填充方法通常是先采集大量整张图像作为样本数据集,训练出人工智能模型,然后直接利用该模型对灰度图像进行颜色预测与填充。这种方法相比人工填色大大缩短了处理时间。
然而,上述基于整张图像训练的方法,虽然整体色彩填充的准确度和统一性不错,但对图像细节的处理效果较差。例如,对于一张人物肖像照,整体面的颜色填充结果可以基本正确,但对于眼睛、嘴巴等关键部位的细节处理效果则不尽如人意,无法达到专业美术设计的细节层次。
为了解决上述问题,本申请提供一种智能图像识别和处理方法,该方法应用于服务器,如图1所示,该方法包括步骤S101至步骤S104。
S101、获取待处理灰度图像。
在上述步骤中,服务器可以为智能手机、笔记本电脑、平板电脑以及后端分布式服务器集群等。由此,首先待处理灰度图像上传至服务器,服务器对图像进行识别,确定其中的灰度区域。其中。待处理灰度图像可以理解为图像画面整体色调为灰色的图像,此外,若图像由部分彩色区域与部分灰色区域组成,则该图像仍然属于本申请所指代的待处理灰度图像。
S102、将待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来。
在上述步骤中,图像识别处理模型可以理解为为了提取灰度图像中的多个图像要素而训练的模型,图像要素在本申请中代指图像中具有显著特征的图像区域,例如人物画像中的眼部区域,鼻子区域,嘴巴区域、耳朵区域、头发区域以及剩余皮肤区域。图像识别处理模型由样本灰度图像与样本灰度图像的图像要素构建的训练集训练而来。在具体实施过程中,将待处理灰度图像输入至图像识别模型中,图像识别处理模型自动将待处理灰度图像中的多个图像要素提取出来,以便于为每个图像要素进行对应的填色,增加细节化的处理。
举例来说,如图2所示,该图为待处理灰度图像的要素分布图像。该图中包括5个图像要素,分别为要素1、要素2、要素3、要素4以及要素5。
S103、将第一要素进行分类识别,得到第一要素的要素类型,第一要素为多个图像要素中任意一个。
在上述步骤中,由于图像识别处理模型仅将待处理灰度图像的多个图像要素提取出来,此时图像只是待处理灰度图像的一个图像区域,没有具体的含义。由此,分类识别可以理解为对每个图像要素进行标记,从而表明每个图像要素的特征。在后续灰度图像的处理中相较于用图像进行处理,采用标记处理能够大大提升图像处理效率。其中,以第一要素为例说明如何对第一要素进行分类识别,第一要素为待处理灰度图像的多个图像要素中任意一个;首先设置预设要素分类库,预设要素分类库中存储有大量的图像要素与要素类型之间的对应关系,并且一个图像要素可能对应多个要素类型,一个要素类型也可能对应多个图像要素。因此,利用预设要素分类库中存储的内容,将第一要素与预设要素分类库进行匹配,在匹配的过程中,设置有最低的匹配度值要求,当第一要素与某个要素类型对应的图像要素之间的匹配度值小于最低的匹配度值要求,则筛选掉该要素类型。最终得到满足最低的匹配度值要求的第一要素的多个要素类型。然后遍历多个要素类型的匹配度值,从多个要素类型的匹配度值中选取匹配度值最大的要素类型作为目标要素类型,即第一要素的要素类型。
在一种可能的实施方式中,若目标要素类型的匹配度值小于预设匹配度阈值,则说明第一要素与预设要素分类库匹配的效果较差,使得输出的要素类型结果与第一要素的相关性较低。因此,为了提升在第一要素的匹配效果不佳时要素类型的准确性,首先将第一要素进行要素拆分,得到多个子要素;例如,若第一要素为眼部区域,则多个子区域可以包括瞳孔、眼角膜、眼白以及眼皮等。然后将多个子要素与预设要素分类库进行匹配,从而得到多个子要素对应的要素类型,例如,以上述眼部区域为例,瞳孔为老年瞳孔、眼角膜为老年眼角膜、眼白为老年眼白以及眼皮为老年眼皮。最后将多个要素类型进行重组重组,得到第一要素的要素类型,即在上述例子中,最终确定该眼部区域为老人的眼部区域。由此,通过先拆分后重组的方式,提高了第一要素的要素类型判定的匹配准确率。另外,借助于预设数据库里存有的大量相关子要素样本,从而实现了子要素的准确匹配。由于重组后可以更准确地表征第一要素的属性,从而为后续精细着色提供正确的要素类型参考。
S104、将第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像,预设要素库中存储有预设要素图像与要素类型的对应关系,第二要素为预设要素库内存储的多个预设图像要素中任意一个。
在上述步骤中,通过设置预设要素库,从而得到第一要素的参考颜色,用于填充要素,预设要素库中存储有预设要素图像与要素类型之间的对应关系。将第一要素的要素类型与预设要素库进行匹配,若此时第一要素的要素类型与第二要素要素类型一致,则确定第二要素为第一要素的参考图像要素。第二要素为预设要素库中多个预设图像要素中任意一个。此时,基于第二要素的彩色信息对第一要素类型进行填色,从而得到最终的目标彩色图像。上述过程实现了对待处理灰度图像的精细化处理,大大提升了填充了色彩的目标彩色图像的观感。
在一种可能的实施方式中,在对第一要素进行颜色填充时,为了根据不同的用户需求进行个性化定制。设置有图像风格选项,用户可根据个人喜好选择喜欢的图像风格,服务器响应于用户对待处理灰度图像的图像风格选取操作,其中,图像风格包括写实、立体、油画、印象主义以及表现主义等图像风格。然后,根据根据用户选取的图像风格对目标彩色图像进行奢侈重构,得到符合用户喜好的图像风格的目标彩色图像,从而提升了用户体验。其中,色彩重构为现有技术,色彩重构方式可以采用风格迁移或图像渲染,在此不再过多赘述。
在一种可能的实施方式中,在基于第二要素的彩色信息对第一要素进行颜色填充时,由于第一要素与第二要素在纹理上存在一定差异,在进行色彩填充时,首先识别第一要素中的纹理,提取出其中的多个纹理特征,再识别第二要素的纹理,然后根据第一要素的多个纹理特征在第二要素中找到与第一要素的多个纹理特征对应的纹理特征,将第一要素的多个纹理特征与第二要素的多个纹理特征构建为对应关系,其中,第一要素的一个纹理特征对应第二要素的一个纹理特征。最后,根据第一要素与第二要素之间的纹理特征对应关系,将第二要素的颜色信息填充至第一要素,从而提升目标彩色图像的颜色均匀性和层次感,进而提升用户体验。
在一种可能的实施方式中,在得到目标彩色图像后,目标彩色图像的色彩可能出现断层或突兀的情况发生,导致图像质量较差。为了解决该问题,首先借助训练好的图像质量评估模型对目标彩色图像进行质量评分,。由于图像质量评估模型由大量的彩色图像和质量评估分数训练而来,因此将目标彩色图像输入至质量评估模型后,可得到目标彩色图像的质量评估分数。最后,设置有质量评估分数阈值,从而针对存在明显质量问题的目标彩色图像进行进一步局部优化处理,避免直接输出质量较差的结果,若此时目标彩色图像的质量评估分数小于预设质量评估分数阈值,则说明目标彩色图像的图像质量较差,需进行进一步局部优化。其过程具体为:先提取目标彩色图像的多个待优化特征,待优化特征可以理解为图像的问题区域,如过亮、过暗、存在噪声等。然后将提取出的各个待优化特征与预设图像优化数据库进行匹配,由于预设图像优化数据库中存储了待优化特征与其对应的优化规则之间的关联关系。匹配后,可以得到多个优化规则,其中,一个优化规则对应一个待优化特征。之后服务器通过查表查询每个待优化特征对应的优化规则的具体实施步骤,从而利用历史已有的处理经验来指导当前图像的优化,然后将这些优化规则同时用于目标彩色图像上,从而解决各个特征所反映的问题,例如,可使用去噪规则处理噪声特征,使用增强对比度的方法处理对比度不足的问题等。从而有针对性地优化图像的质量,输出更高质量的目标优化图像。
本申请还提供一种智能图像识别与处理装置,该装置为服务器,如图3所示,服务器包括获取模块301与处理模块302,其中:
获取模块301,用于获取待处理灰度图像;
处理模块302,用于将待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来;将第一要素进行分类识别,得到第一要素的要素类型,第一要素为多个图像要素中任意一个;将第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像,预设要素库中存储有预设要素图像与要素类型的对应关系,第二要素为预设要素库内存储的多个预设图像要素中任意一个。
在一种可能的实施方式中,将第一要素与预设要素分类库进行匹配,得到多个要素类型,其中,一个要素类型对应一个匹配度值,预设要素分类库包括图像要素与要素类型之间的对应关系;遍历多个要素类型的匹配度值;若目标要素类型的匹配度值为最大值,则将目标要素类型作为第一要素的要素类型。
在一种可能的实施方式中,若目标要素类型的匹配度值为最大值,则将目标要素类型作为第一要素的要素类型,具体还包括:若目标要素类型的匹配度值小于预设匹配度阈值,则将第一要素进行要素拆分,得到多个子要素;将多个子要素与预设要素分类库进行匹配,得到多个子要素各自对应的要素类型;将多个要素类型进行要素重组,得到第一要素的要素类型。
在一种可能的实施方式中,基于第二要素的彩色信息对第一要素进行颜色填充,还包括:响应于用户对待处理灰度图像的图像风格选取操作,图像风格包括写实、立体、油画、印象主义以及表现主义;根据用户选取的图像风格,对第二要素进行色彩重构,生成第三要素;基于第三要素对第一要素进行颜色填充。
在一种可能的实施方式中,构建第一要素的多个纹理特征与第二要素的多个纹理特征之间对应关系,其中一个第一要素的纹理特征对应一个第二要素的纹理特征;根据第一要素与第二要素的纹理特征对应关系,将第二要素的颜色信息填充至第一要素。
在一种可能的实施方式中,基于第二要素的彩色信息对第一要素进行颜色填充,得到目标彩色图像之后,还包括:将目标彩色图像输入至图像质量评估模型中,得到目标彩色图像的质量评估分数,图像质量评估模型由彩色图像与质量评估分数训练而来;若质量评估分数小于预设质量评估分数阈值,则对目标彩色图像进行局部优化处理,得到目标优化图像。
在一种可能的实施方式中,对目标彩色图像进行局部优化处理,得到目标优化图像,具体为:提取目标彩色图像的多个待优化特征;将多个待优化特征与预设图像优化数据库进行匹配,得到多个优化规则,其中,一个待优化特征对应一个优化规则;采用多个待优化特征各自对应的优化规则,预设图像优化数据库中存储有待优化特征与优化规则之间的对应关系;对目标彩色图像进行优化处理,得到目标优化图像。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请还公开一种电子设备。参照图4,图4是本申请实施例的公开的一种电子设备的结构示意图。该电子设备400可以包括:至少一个处理器401,至少一个网络接口404,用户接口403,存储器405,至少一个通信总线402。
其中,通信总线402用于实现这些组件之间的连接通信。
其中,用户接口403可以包括显示屏(Display)、摄像头(Camera),可选用户接口403还可以包括标准的有线接口、无线接口。
其中,网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器405内的指令、程序、代码集或指令集,以及调用存储在存储器405内的数据,执行服务器的各种功能和处理数据。可选的,处理器401可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器401可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器401中,单独通过一块芯片进行实现。
其中,存储器405可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器405包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。参照图4,作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及一种智能图像识别与处理方法的应用程序。
在图4所示的电子设备400中,用户接口403主要用于为用户提供输入的接口,获取用户输入的数据;而处理器401可以用于调用存储器405中存储一种智能图像识别与处理方法的应用程序,当由一个或多个处理器401执行时,使得电子设备400执行如上述实施例中一个或多个所述的方法。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.一种智能图像识别与处理方法,其特征在于,应用于服务器,所述方法包括:
获取待处理灰度图像;
将所述待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,所述图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来;
将第一要素进行分类识别,得到第一要素的要素类型,所述第一要素为多个所述图像要素中任意一个;
将所述第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于所述第二要素的彩色信息对所述第一要素进行颜色填充,得到目标彩色图像,所述预设要素库中存储有预设要素图像与要素类型的对应关系,所述第二要素为所述预设要素库内存储的多个预设图像要素中任意一个。
2.根据权利要求1所述的方法,其特征在于,所述将第一要素进行分类识别,得到第一要素的要素类型,具体为:
将所述第一要素与预设要素分类库进行匹配,得到多个要素类型,其中,一个要素类型对应一个匹配度值,所述预设要素分类库包括图像要素与要素类型之间的对应关系;
遍历多个所述要素类型的匹配度值;
若目标要素类型的匹配度值为最大值,则将所述目标要素类型作为所述第一要素的要素类型。
3.根据权利要求2所述的方法,其特征在于,所述若目标要素类型的匹配度值为最大值,则将所述目标要素类型作为所述第一要素的要素类型,具体还包括:
若所述目标要素类型的匹配度值小于预设匹配度阈值,则将所述第一要素进行要素拆分,得到多个子要素;
将多个子要素与预设要素分类库进行匹配,得到多个子要素各自对应的要素类型;
将多个所述要素类型进行要素重组,得到第一要素的要素类型。
4.根据权利要求1所述的方法,其特征在于,所述基于所述第二要素的彩色信息对所述第一要素进行颜色填充,还包括:
响应于用户对所述待处理灰度图像的图像风格选取操作,所述图像风格包括写实、立体、油画、印象主义以及表现主义;
根据所述用户选取的图像风格,对所述第二要素进行色彩重构,生成第三要素;
基于所述第三要素对所述第一要素进行颜色填充。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第二要素的彩色信息对所述第一要素进行颜色填充,具体包括:
构建所述第一要素的多个纹理特征与第二要素的多个纹理特征之间对应关系,其中一个所述第一要素的纹理特征对应一个所述第二要素的纹理特征;
根据所述第一要素与所述第二要素的纹理特征对应关系,将所述第二要素的颜色信息填充至所述第一要素。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第二要素的彩色信息对所述第一要素进行颜色填充,得到目标彩色图像之后,还包括:
将所述目标彩色图像输入至图像质量评估模型中,得到所述目标彩色图像的质量评估分数,所述图像质量评估模型由彩色图像与质量评估分数训练而来;
若所述质量评估分数小于预设质量评估分数阈值,则对所述目标彩色图像进行局部优化处理,得到目标优化图像。
7.根据权利要求6所述的方法,其特征在于,所述对所述目标彩色图像进行局部优化处理,得到目标优化图像,具体为:
提取所述目标彩色图像的多个待优化特征;
将多个所述待优化特征与预设图像优化数据库进行匹配,得到多个优化规则,其中,一个所述待优化特征对应一个所述优化规则,所述预设图像优化数据库中存储有待优化特征与优化规则之间的对应关系;
采用多个所述待优化特征各自对应的优化规则,对所述目标彩色图像进行优化处理,得到目标优化图像。
8.一种智能图像识别与处理装置,其特征在于,所述装置为服务器,所述服务器包括获取模块与处理模块,其中:
所述获取模块,用于获取待处理灰度图像;
所述处理模块,用于将所述待处理灰度图像输入至训练完成的图像识别处理模型中,得到多个图像要素,所述图像识别处理模型由样本灰度图像与样本灰度图像的图像要素训练而来;将第一要素进行分类识别,得到第一要素的要素类型,所述第一要素为多个所述图像要素中任意一个;将所述第一要素的要素类型与预设要素库匹配,若第一要素的要素类型与第二要素的要素类型一致,则基于所述第二要素的彩色信息对所述第一要素进行颜色填充,得到目标彩色图像,所述预设要素库中存储有预设要素图像与要素类型的对应关系,所述第二要素为所述预设要素库内存储的多个预设图像要素中任意一个。
9.一种电子设备,其特征在于,包括处理器、存储器、用户接口以及网络接口,所述存储器用于存储指令,所述用户接口和所述网络接口均用于与其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311400773.4A CN117593417A (zh) | 2023-10-26 | 2023-10-26 | 一种智能图像识别与处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311400773.4A CN117593417A (zh) | 2023-10-26 | 2023-10-26 | 一种智能图像识别与处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117593417A true CN117593417A (zh) | 2024-02-23 |
Family
ID=89908908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311400773.4A Pending CN117593417A (zh) | 2023-10-26 | 2023-10-26 | 一种智能图像识别与处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117593417A (zh) |
-
2023
- 2023-10-26 CN CN202311400773.4A patent/CN117593417A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7413400B2 (ja) | 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体 | |
KR102339915B1 (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
US10600171B2 (en) | Image-blending via alignment or photometric adjustments computed by a neural network | |
KR20190018483A (ko) | 인터넷에 기반하는 얼굴 미화 시스템 | |
CN111986202B (zh) | 青光眼辅助诊断装置、方法及存储介质 | |
WO2019142127A1 (en) | Method and system of creating multiple expression emoticons | |
CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN114972847A (zh) | 图像处理方法及装置 | |
CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
CN115130493A (zh) | 基于图像识别的面部形变推荐方法、装置、设备和介质 | |
CN111612732B (zh) | 图像质量评估方法、装置、计算机设备及存储介质 | |
CN110288663A (zh) | 图像处理方法、装置、移动终端及存储介质 | |
CN117593417A (zh) | 一种智能图像识别与处理方法、装置及电子设备 | |
JP7095849B1 (ja) | アイウェア仮想試着システム、アイウェア選定システム、アイウェア試着システムおよびアイウェア分類システム | |
CN110163049A (zh) | 一种人脸属性预测方法、装置及存储介质 | |
EP4040347A1 (en) | Device and method for learning data augmentation-based space analysis model | |
CN110944165B (zh) | 一种结合感知深度质量的立体图像视觉舒适度提升方法 | |
CN112907438A (zh) | 肖像生成方法、装置、电子设备及存储介质 | |
CN113610723A (zh) | 图像处理方法及相关装置 | |
CN116580445B (zh) | 一种大语言模型人脸特征分析方法、系统及电子设备 | |
CN112749614B (zh) | 一种多媒体内容的识别方法、装置、电子设备和存储介质 | |
CN110944166B (zh) | 一种立体图像视觉满意度的客观评价方法 | |
CN117011158A (zh) | 一种图像处理方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |