CN117196957B - 基于人工智能的图像分辨率转换方法及装置 - Google Patents
基于人工智能的图像分辨率转换方法及装置 Download PDFInfo
- Publication number
- CN117196957B CN117196957B CN202311451919.8A CN202311451919A CN117196957B CN 117196957 B CN117196957 B CN 117196957B CN 202311451919 A CN202311451919 A CN 202311451919A CN 117196957 B CN117196957 B CN 117196957B
- Authority
- CN
- China
- Prior art keywords
- parameter
- target
- video
- model
- target model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 31
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 29
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于人工智能的图像分辨率转换方法及装置,包括:获取训练视频对,将训练视频对输入至预先确定出的目标模型中,以对目标模型进行训练,得到训练至收敛的第一目标模型;其中,训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;确定第一目标模型中的至少一个目标模型参数,并基于所有目标模型参数,生成第二目标模型;将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果;其中,目标转换结果包括待转换视频对应的若干帧搞分辨率的输出图像。可见,实施本发明能够智能化将低分辨率图像转换为高分辨率图像,有利于提高图像的分辨率转换的效率及准确性。
Description
技术领域
本发明涉及智能检测技术领域,尤其涉及一种基于人工智能的图像分辨率转换方法及装置。
背景技术
随着科学技术的发展,显示设备的分辨率不断提高,从720p到1080p,再到超高分辨率(例如8K),随着屏幕尺寸越大以及像素越来越高,显示质量有了显著的提升。然而,在某些情况下,由于成本、硬件限制或其他因素,我们无法直接提供超高分辨的信号源,如大部分电脑,智能手机,非超高清电视节目(IPTV)等。但是,现有的提高视频中的图像分辨率的方法通常需要进行视频帧之间的配准,而现有的配准算法往往存在耗时长、效率低下的问题。可见,提供一种新的图像分辨率转换方法以提高输出高分辨率图像的方法显得尤为重要。
发明内容
本发明所要解决的技术问题在于,提供一种基于人工智能的图像分辨率转换方法及装置,能够智能化将低分辨率图像转换为高分辨率图像,有利于提高图像的分辨率转换的效率及智能性,以及有利于提高对图像的分辨率进行转换的准确性。
为了解决上述技术问题,本发明第一方面公开了一种基于人工智能的图像分辨率转换方法,所述方法包括:
获取训练视频对,将所述训练视频对输入至预先确定出的目标模型中,以对所述目标模型进行训练,得到训练至收敛的第一目标模型;其中,所述训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;
确定所述第一目标模型中的至少一个目标模型参数,并基于所有所述目标模型参数,生成第二目标模型;
将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果;其中,所述目标转换结果包括所述待转换视频对应的若干帧输出图像,每帧所述输出图像对应的分辨率高于所述待转换视频对应的分辨率。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
将所述待转换视频输入至所述第一目标模型,得到目标输出结果;
确定所述目标转换结果的第一参数以及确定所述目标输出结果的第二参数,其中,所述第一参数包括所述目标转换结果对应的分辨率参数,所述第二参数包括所述目标输出结果对应的分辨率参数;
判断所述第一参数与所述第二参数是否相匹配;
当判断出所述第一参数与所述第二参数不匹配时,分析所述第一参数与所述第二参数不匹配的目标原因,并基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型。
作为一种可选的实施方式,在本发明第一方面中,所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之前,所述方法还包括:
确定待转换视频,对所述待转换视频执行视频帧分解操作,得到输入图像集合,其中,所述输入图像集合包括若干张输入图像,所述输入图像集合包括所述待转换视频对应的每一帧图像;
所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果,包括:
对于所述输入图像集合中所包括的每张所述输入图像,将该输入图像输入至所述第二目标模型,以使所述第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像;
根据所有所述输入图像对应的输出图像,生成目标转换结果。
作为一种可选的实施方式,在本发明第一方面中,所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之后,所述方法还包括:
确定目标显示屏,按照预设的目标顺序,对所述目标转换结果中所包括的所有所述输出图像执行排列操作,得到输出图像顺序;
基于所述输出图像顺序,将所有所述输出图像输出至所述目标显示屏中,以使所述目标显示屏按照所述输出图像顺序显示所有所述输出图像。
作为一种可选的实施方式,在本发明第一方面中,所述判断所述第一参数与所述第二参数是否相匹配,包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断所述第一参数与所述第二参数是否相匹配;其中,所述对抗生成网络包括判别器;
其中,所述通过预先确定出的对抗生成网络,判断所述第一参数与所述第二参数是否相匹配,包括:
基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值;
当所述判别器判断出所述参数差异值大于等于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数不匹配;
当所述判别器判断出所述参数差异值小于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数匹配。
作为一种可选的实施方式,在本发明第一方面中,所述基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型,包括:
基于所述目标原因,确定所述第二目标模型中至少一个待调整参数;
对于每个所述待调整参数,根据所述目标原因,生成该待调整参数的参数更新值,并基于该待调整参数的参数更新值对该待调整参数执行更新操作,以更新该待调整参数,并将更新后的待调整参数确定为目标调整参数;
基于所有所述目标调整参数,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
获取所述目标显示屏所在区域的实时环境信息以及获取所述目标显示屏的显示屏工作状态,根据所述实时环境信息以及所述显示屏工作状态,生成所述目标显示屏的显示需求参数;
基于所述显示需求参数,生成所述目标显示屏的显示控制参数;其中,显示控制参数包括亮度显示参数、色彩显示参数、对比度显示参数中的一种或多种。
本发明第二方面公开了一种基于人工智能的图像分辨率转换装置,所述装置包括:
训练模块,用于获取训练视频对,将所述训练视频对输入至预先确定出的目标模型中,以对所述目标模型进行训练,得到训练至收敛的第一目标模型;其中,所述训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;
确定模块,用于确定所述第一目标模型中的至少一个目标模型参数;
生成模块,用于基于所有所述目标模型参数,生成第二目标模型;
转换模块,用于将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果;其中,所述目标转换结果包括所述待转换视频对应的若干帧输出图像,每帧所述输出图像对应的分辨率高于所述待转换视频对应的分辨率。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
输入模块,用于将所述待转换视频输入至所述第一目标模型,得到目标输出结果;
所述确定模块,还用于确定所述目标转换结果的第一参数以及确定所述目标输出结果的第二参数,其中,所述第一参数包括所述目标转换结果对应的分辨率参数,所述第二参数包括所述目标输出结果对应的分辨率参数;
判断模块,用于判断所述第一参数与所述第二参数是否相匹配;
分析模块,用于当所述判断模块判断出所述第一参数与所述第二参数不匹配时,分析所述第一参数与所述第二参数不匹配的目标原因;
更新模块,用于基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型。
作为一种可选的实施方式,在本发明第二方面中,所述确定模块,还用于在所述转换模块将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之前,确定待转换视频;
所述装置还包括:
分解模块,用于对所述待转换视频执行视频帧分解操作,得到输入图像集合,其中,所述输入图像集合包括若干张输入图像,所述输入图像集合包括所述待转换视频对应的每一帧图像;
所述输入模块将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果的具体方式包括:
对于所述输入图像集合中所包括的每张所述输入图像,将该输入图像输入至所述第二目标模型,以使所述第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像;
根据所有所述输入图像对应的输出图像,生成目标转换结果。
作为一种可选的实施方式,在本发明第二方面中,所述确定模块,还用于在所述转换模块待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之后,确定目标显示屏;
所述装置还包括:
排序模块,用于按照预设的目标顺序,对所述目标转换结果中所包括的所有所述输出图像执行排列操作,得到输出图像顺序;
显示模块,用于基于所述输出图像顺序,将所有所述输出图像输出至所述目标显示屏中,以使所述目标显示屏按照所述输出图像顺序显示所有所述输出图像。
作为一种可选的实施方式,在本发明第二方面中,所述判断模块判断所述第一参数与所述第二参数是否相匹配的具体方式包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断所述第一参数与所述第二参数是否相匹配;其中,所述对抗生成网络包括判别器;
其中,所述判断模块通过预先确定出的对抗生成网络,判断所述第一参数与所述第二参数是否相匹配的具体方式包括:
基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值;
当所述判别器判断出所述参数差异值大于等于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数不匹配;
当所述判别器判断出所述参数差异值小于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数匹配。
作为一种可选的实施方式,在本发明第二方面中,所述更新模块基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型的具体方式包括:
基于所述目标原因,确定所述第二目标模型中至少一个待调整参数;
对于每个所述待调整参数,根据所述目标原因,生成该待调整参数的参数更新值,并基于该待调整参数的参数更新值对该待调整参数执行更新操作,以更新该待调整参数,并将更新后的待调整参数确定为目标调整参数;
基于所有所述目标调整参数,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
获取模块,用于获取所述目标显示屏所在区域的实时环境信息以及获取所述目标显示屏的显示屏工作状态;
所述生成模块,还用于根据所述实时环境信息以及所述显示屏工作状态,生成所述目标显示屏的显示需求参数;基于所述显示需求参数,生成所述目标显示屏的显示控制参数;其中,显示控制参数包括亮度显示参数、色彩显示参数、对比度显示参数中的一种或多种。
本发明第三方面公开了另一种基于人工智能的图像分辨率转换装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于人工智能的图像分辨率转换方法。
本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于人工智能的图像分辨率转换方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,获取训练视频对,将训练视频对输入至预先确定出的目标模型中,以对目标模型进行训练,得到训练至收敛的第一目标模型;其中,训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;确定第一目标模型中的至少一个目标模型参数,并基于所有目标模型参数,生成第二目标模型;将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果;其中,目标转换结果包括待转换视频对应的若干帧搞分辨率的输出图像。可见,实施本发明能够智能化将低分辨率图像转换为高分辨率图像,有利于提高图像的分辨率转换的效率及智能性,以及有利于提高对图像的分辨率进行转换的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于人工智能的图像分辨率转换方法的流程示意图;
图2是本发明实施例公开的另一种基于人工智能的图像分辨率转换方法的流程示意图;
图3是本发明实施例公开的一种基于人工智能的图像分辨率转换装置的结构示意图;
图4是本发明实施例公开的另一种基于人工智能的图像分辨率转换装置的结构示意图;
图5是本发明实施例公开的又一种基于人工智能的图像分辨率转换装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于人工智能的图像分辨率转换方法及装置,能够智能化将低分辨率图像转换为高分辨率图像,有利于提高图像的分辨率转换的效率及智能性,以及有利于提高对图像的分辨率进行转换的准确性。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于人工智能的图像分辨率转换方法的流程示意图。其中,图1所描述的基于人工智能的图像分辨率转换方法可以应用于基于人工智能的图像分辨率转换装置中,也可以应用于基于人工智能的图像分辨率转换的本地服务器或云端服务器,本发明实施例不做限定。如图1所示,该基于人工智能的图像分辨率转换方法可以包括以下操作:
101、获取训练视频对,将训练视频对输入至预先确定出的目标模型中,以对目标模型进行训练,得到训练至收敛的第一目标模型。
本发明实施例中,训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息。
本发明实施例中,可选的,高分辨率的视频图像信息包括多张高分辨率的视频图像,其中,高分辨率视频图像对应的分辨率可以为2K、4K、8K中的一种或多种;低分辨率的视频图像信息包括多张低分辨率的视频图像,其中,低分辨率视频图像对应的分辨率可以为720P、1080P中的一种或多种。
本发明实施例中,可选的,目标模型可以为老师模型,第一目标模型可以为训练至收敛的老师模型。
本发明实施例中,进一步可选的,对训练视频对中所包括的所有视频图像信息执行数据增强处理操作,以得到更多的训练数据组;其中,可以通过旋转、缩放、裁剪等方式对原始数据进行处理,从而创造出更多的训练样本。
本发明实施例中,进一步可选的,在对目标模型进行训练的过程中可以引入注意力机制,通过引入注意力机制可以让模型在处理图像时,重点关注图像的重要区域,能够帮助模型更好地利用有限的训练数据和计算资源。
本发明实施例中,进一步可选的,通过引入多尺度多模态融合,对目标模型进行训练,举例来说,如果图像存在多种不同的尺度和模态,可以考虑使用多尺度多模态融合的方法,将不同尺度和模态的图像进行融合,以得到更好的超分辨率效果。
本发明实施例中,进一步可选的,对目标模型进行训练的方式可以包括使用自适应学习率调整策略、循环训练、迁移学习中的一种或多种,这样通过多种模型训练方法对目标模型执行对应的模型训练操作,能够提高模型的训练效率和训练效果。
本发明实施例中,可选的,训练视频对中包括若干个高分辨率视频以及若干个低分辨率视频,且训练视频对中所包括的高分辨率视频与低分辨率视频之间具有强关联性;对于某一低分辨率视频而言,该低分辨率视频是从高分辨率视频中通过预设的算法提取得到的。
102、确定第一目标模型中的至少一个目标模型参数,并基于所有目标模型参数,生成第二目标模型。
本发明实施例中,可选的,目标模型参数的数量可以为一个,也可以为多个,本发明实施例不做具体限定。
本发明实施例中,进一步可选的,目标模型参数可以为第一目标模型中已固定的模型参数;进一步的,已固定的模型为训练至收敛的第一目标模型。
本发明实施例中,可选的,基于所有目标模型参数,生成第一目标模型,包括:
基于所有目标模型参数,构建第二目标模型,其中,第二目标模型中所包括的模型参数与所有目标模型参数相匹配,第二目标模型可以为学生模型。
本发明实施例中,可选的,通过第二目标模型实现至少30帧/秒对待转换视频中的每一帧图像进行从低分辨率对高分辨率的分辨率转换操作。
本发明实施例中,进一步可选的,在对第二目标模型进行训练时,第二目标模型需要学习老师模型中的映射关系;进一步的,学生模型可以看作是一个特殊的深度神经网络,其中,学生模型的网络结构和老师模型类似,但是学生模型的参数需要通过反向传播算法来训练得到;其中,学生模型为第二目标模型,老师模型为第一目标模型。
本发明实施例中,可选的,第二目标模型包括残差网络(ResNet)、艾伦卷积网络(All-CNN)、导向滤波器网络(Guided Filtering Net)中的一种或多种。
本发明实施例中,可选的,可以通过自监督学习对第二目标模型执行构建操作,举例来说,获取大量的有标签的高分辨率图像,可以使用自监督学习的方式来训练模型。这种方式可以让模型通过比较同一图像的低分辨率和高质量版本,来学习如何将低分辨率图像转换为高分辨率图像。
103、将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果。
本发明实施例中,目标转换结果包括待转换视频对应的若干帧输出图像,每帧输出图像对应的分辨率高于待转换视频对应的分辨率。
本发明实施例中,可选的,通过老师模型和学生模型用于低分辨率照片转化为高分辨率照片,并将低分辨率照片作为输入,并输入至学生模型中,得到高分辨率图像;其中,老师模型为第一目标模型,学生模型为第二目标模型。
可见,实施图1所描述的基于人工智能的图像分辨率转换方法能够将获取到的训练视频对输入至预先确定出的目标模型中以对目标模型进行训练得到训练至收敛的第一目标模型,确定第一目标模型中的目标模型参数并基于所有目标模型参数生成第二目标模型,将待转换视频输入至第二目标模型以使第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果,能够通过深度学习技术将低分辨率的图像转换为高分辨率的图像,并且通过训练好的第一目标模型构建第二目标模型,有利于提高构建第二目标模型的精准性和可靠性,以及有利于提高构建第二目标模型的智能性及效率,从而有利于提高后续基于第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果的精准性和可靠性,以及有利于提高后续基于第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果的智能性和效率,进而有利于提高将低分辨率的图像转换为高分辨率的图像的精准性、智能性以及效率。
实施例二
请参阅图2,图2是本发明实施例公开的另一种基于人工智能的图像分辨率转换方法的流程示意图。其中,图2所描述的基于人工智能的图像分辨率转换方法可以应用于基于人工智能的图像分辨率转换装置中,也可以应用于基于人工智能的图像分辨率转换的本地服务器或云端服务器,本发明实施例不做限定。如图2所示,该基于人工智能的图像分辨率转换方法可以包括以下操作:
201、获取训练视频对,将训练视频对输入至预先确定出的目标模型中,以对目标模型进行训练,得到训练至收敛的第一目标模型。
202、确定第一目标模型中的至少一个目标模型参数,并基于所有目标模型参数,生成第二目标模型。
203、将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果。
本发明实施例中,针对步骤201-步骤203的详细描述,请参照实施例一中针对步骤101-步骤103的其它描述,本发明实施例不再赘述。
204、将待转换视频输入至第一目标模型,得到目标输出结果。
本发明实施例中,可选的,目标输出结果包括待转换视频经过第一目标模型后所输出的若干帧目标输出图像,每帧目标输出图像对应的分辨率高于待转换视频对应的分辨率。
205、确定目标转换结果的第一参数以及确定目标输出结果的第二参数。
本发明实施例中,第一参数包括目标转换结果对应的分辨率参数,第二参数包括目标输出结果对应的分辨率参数。
本发明实施例中,可选的,第一参数还可以包括目标转换结果对应的帧数量参数,第二参数还可以包括目标转换结果对应的帧数量参数。
206、判断第一参数与第二参数是否相匹配。
207、当判断出第一参数与第二参数不匹配时,分析第一参数与第二参数不匹配的目标原因,并基于目标原因,对第二目标模型执行模型参数更新操作,以更新第二目标模型。
本发明实施例中,进一步可选的,当判断出第一参数与第二参数相匹配时,可以结束本流程。
本发明实施例中,进一步可选的,在对第二目标模型执行模型参数更新操作,以更新第二目标模型之后,该方法还包括:确定更新后的第二目标模型对应的第二参数,并重新触发执行判断第一参数与第二参数是否相匹配的操作。
可见,实施图2所描述的基于人工智能的图像分辨率转换方法能够将待转换视频输入至第一目标模型得到目标输出结果,确定目标转换结果的第一参数以及目标输出结果的第二参数,判断第一参数与第二参数是否相匹配,若不匹配则分析第一参数与第二参数不匹配的目标原因,并基于目标原因对第二目标模型执行模型参数更新操作以更新第二目标模型,能够通过第一目标模型与第二目标模型对应的输出结果确定第一参数以及第二参数,有利于提高确定第一参数与第二参数之间的准确性和可靠性,并且通过判断第一参数与第二参数是否相匹配,有利于提高生成第二目标模型的精准性和可靠性,以及有利于提高生成第二目标模型的智能性和效率,进而有利于提高通过第二目标模型对待转换视频执行对应的分辨率转换操作的精准性和可靠性,以及利于提高通过第二目标模型对待转换视频执行对应的分辨率转换操作的智能性及效率。
在一个可选的实施例中,可选的,将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果之前,方法还包括:
确定待转换视频,对待转换视频执行视频帧分解操作,得到输入图像集合,其中,输入图像集合包括若干张输入图像,输入图像集合包括待转换视频对应的每一帧图像;
将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果,包括:
对于输入图像集合中所包括的每张输入图像,将该输入图像输入至第二目标模型,以使第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像;
根据所有输入图像对应的输出图像,生成目标转换结果。
在该可选的实施例中,可选的,对于输入图像集合中所包括的每张输入图像,将该输入图像输入至第二目标模型,以使第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像,包括:
对于输入图像集合中所包括的所有输入图像,获取每个输入图像的视频时序信息,并基于每个输入图像的视频时序信息对所有输入图像执行排序操作,得到输入图像序列;
将每个输入图像按照输入图像序列输入至第二目标模型,以使第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像。
在该可选的实施例中,进一步可选的,根据所有输入图像对应的输出图像,生成目标转换结果,该方法还包括:
基于目标转换结果中所包括的每个输出图像,以及输入图像序列,生成输出图像对应的目标输出视频。
在该可选的实施例中,可选的,根据所有输入图像对应的输出图像,生成目标转换结果,包括:
将所有输入图像对应的输出图像确定为目标转换结果。
在该可选的实施例中,可选的,待转换视频可以为通过720p摄像头所拍摄的视频,也可以为通过1080p的电视信号接收器所接收到的视频信号,本发明实施例不做具体限定。
可见,实施该可选的实施例能够将确定待转换视频并对待转换视频执行视频帧分解操作得到输入图像集合,并将输入图像集合中所包括的每张输入图像输入至第二目标模型,以使第二目标模型对每张输入图像执行分辨率转换操作,得到每个输入图像对应的输出图像,并基于所有输入图像对应的输出图像生成目标转换结果,能够通过先对待转换视频执行视频帧分解操作并将每一帧图像均输入至第二目标模型,能够针对性地对每一张输入图像均执行分辨率转换操作,有利于提高对每一张输入图像进行分辨率转换的精准性和可靠性,从而有利于提高得到每个输入图像对应的输出图像的精准性和可靠性,进而有利于提高根据所有输入图像对应的输出图像生成目标转换结果的精准性和可靠性,以及有利于提高将低分辨率的图像转换为高分辨率的图像的精准性和可靠性。
在另一个可选的实施例中,将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果之后,方法还包括:
确定目标显示屏,按照预设的目标顺序,对目标转换结果中所包括的所有输出图像执行排列操作,得到输出图像顺序;
基于输出图像顺序,将所有输出图像输出至目标显示屏中,以使目标显示屏按照输出图像顺序显示所有输出图像。
在该可选的实施例中,可选的,目标显示屏可以为OLED显示屏,也可以为其它能够用于显示图像的显示屏,还可以为计算机、笔记本电脑、平板电脑、智能手机对应的屏幕,本发明实施例不做具体限定。
在该可选的实施例中,可选的,预设的目标顺序包括待转换视频中所包括的每一帧图像的图像显示顺序;可选的,输出图像顺序包括目标转换结果中所包括的每个输出图像对应的输出图像顺序。
可见,实施该可选的实施例能够确定目标显示屏并按照预设的目标顺序,对目标转换结果中所包括的所有输出图像执行排列操作得到输出图像顺序,基于输出图像顺序,将所有输出图像输出至目标显示屏中以使目标显示屏按照输出图像顺序显示所有输出图像,能够基于目标顺序对所有输出图像进行排列得到输出图像顺序,有利于提高得到输出图像顺序的精准性和可靠性,以及有利于提高得到输出图像顺序的智能性和可靠性,从而能够实现将所有输出图像按照待转换视频对应的顺序将所有输出图像输出至目标显示屏中,能够使得所有输出图像均按照与待转换视频相匹配的顺序在目标显示屏中进行显示,有利于提高对分辨率转换后的图像执行显示操作的智能性和准确性,进而有利于提高用户通过目标显示屏查看待转换视频对应的输出图像的舒适度和体验感。
在又一个可选的实施例中,判断第一参数与第二参数是否相匹配,包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断第一参数与第二参数是否相匹配;其中,对抗生成网络包括判别器;
其中,通过预先确定出的对抗生成网络,判断第一参数与第二参数是否相匹配,包括:
基于目标损失函数计算第一参数与第二参数之间的参数差异值,通过判别器判断参数差异值是否大于等于预设的参数差异阈值;
当判别器判断出参数差异值大于等于预设的参数差异阈值时,确定第一参数与第二参数不匹配;
当判别器判断出参数差异值小于预设的参数差异阈值时,确定第一参数与第二参数匹配。
在该可选的实施例中,可选的,生成对抗网络包含一个生成模型和一个判别模型。其中,生成模型负责捕捉样本数据的分布,而判别模型一般情况下是一个二分类器,判别输入是真实数据还是生成的样本。这个模型的优化过程是一个“二元极小极大博弈”问题,训练时固定其中一方(判别网络或生成网络),更新另一个模型的参数,交替迭代,最终,生成模型能够估测出样本数据的分布;生成对抗网络的出现对无监督学习,图片生成的研究起到极大的促进作用。生成对抗网络已经从最初的图片生成,被拓展到计算机视觉的各个领域,如图像分割、视频预测、风格迁移等;举例来说,本发明实施例中,通过生成器生成输出图像,并通过判别器判断生成器所生成的输出图像是否满足条件,若不满足,则对调节第二目标模型的模型参数并更新第二目标模型,并重新触发成器生成输出图像,并通过判别器判断生成器所生成的输出图像是否满足条件的操作;这样能够使得生成器的性能得到极大的提升,也能够提高对模型进行训练的精准性和智能性以及通过模型生成输出图像的精准性和智能性。
在该可选的实施例中,可选的,基于目标损失函数计算第一参数与第二参数之间的参数差异值,通过判别器判断参数差异值是否大于等于预设的参数差异阈值之前,该方法还可以包括:
通过预设的目标损失函数,计算第一参数与第二参数之间的参数差异值;
其中,损失函数是用来衡量模型预测结果和真实结果之间的差距的。除了常用的均方误差(MSE)损失函数外,还可以考虑感知损失(Perceptual Loss)等更复杂的函数,以提升模型的预测效果。
在该可选的实施例中,可选的,第一参数与第二参数之间的参数差异值包括第一参数与第二参数之间的分辨率差异值。
可见,实施该可选的实施例能够通过预先确定出的对抗生成网络以及目标损失函数,判断第一参数与第二参数是否相匹配,其中,基于目标损失函数计算第一参数与第二参数之间的参数差异值,通过判别器判断参数差异值是否大于等于预设的参数差异阈值,若是则确定第一参数与第二参数不匹配,若否则确定第一参数与第二参数相匹配,能够通过所引入的对抗生成网络判断第一参数与第二参数是否相匹配,能够提高判断第一参数与第二参数是否相匹配的精准性和可靠性,以及有利于提高判断第一参数与第二参数是否相匹配的智能性及效率,进而有利于提高模型训练以及模型运用的精准性和智能性。
在又一个可选的实施例中,基于目标原因,对第二目标模型执行模型参数更新操作,以更新第二目标模型,包括:
基于目标原因,确定第二目标模型中至少一个待调整参数;
对于每个待调整参数,根据目标原因,生成该待调整参数的参数更新值,并基于该待调整参数的参数更新值对该待调整参数执行更新操作,以更新该待调整参数,并将更新后的待调整参数确定为目标调整参数;
基于所有目标调整参数,对第二目标模型执行模型参数更新操作,以更新第二目标模型。
在该可选的实施例中,可选的,目标原因包括分辨率不匹配原因、视频图像帧数不匹配原因、分辨率转换效率不匹配原因中的一种或多种。
在该可选的实施例中,可选的,待调整参数的数量可以为一个,也可以为多个,本发明实施例不做限定。
在该可选的实施例中,可选的,对于每个待调整参数,根据目标原因,生成该待调整参数的参数更新值,包括:
对于每个待调整参数,确定第一目标模型中与该待调整参数相匹配的目标调整参数,基于该待调整参数对应的目标调整参数以及目标原因,生成该待调整参数的参数更新值。
在该可选的实施例中,可选的,所有目标调整参数均为执行更新操作后的模型参数。
可见,实施该可选的实施例能够基于目标原因确定第二目标模型中的至少一个待调整参数,并生成每个待调整参数的参数更新值,基于该待调整参数的参数更新至对该待调整参数执行更新操作并得到更新后的目标调整参数,基于所有目标调整参数,对第二目标模型执行模型参数更新操作以更新第二目标模型,能够通过确定出的每个待调整参数针对性地生成每个待调整参数的参数更新值,有利于提高确定每个待调整参数的参数更新值的精准性和可靠性,以及有利于提高确定每个待调整参数的参数更新至的智能性和效率,从而有利于提高对第二目标模型进行更新的精准性、智能性以及效率,进而有利于提高后续通过第二目标模型对待转换视频执行对应的分辨率转换操作的精准性、智能性以及效率,还有利于提高用户通过第二目标模型执行对应的分辨率转换操作的舒适度和便捷性。
在又一个可选的实施例中,该方法还包括:
获取目标显示屏所在区域的实时环境信息以及获取目标显示屏的显示屏工作状态,根据实时环境信息以及显示屏工作状态,生成目标显示屏的显示需求参数;
基于显示需求参数,生成目标显示屏的显示控制参数;其中,显示控制参数包括亮度显示参数、色彩显示参数、对比度显示参数中的一种或多种。
在该可选的实施例中,可选的,根据实时环境信息以及显示屏工作状态,生成目标显示屏的显示需求参数,包括:
根据实时环境信息,生成目标显示屏所在区域的用户需求信息,基于用户信息以及显示屏工作状态,生成目标显示屏的显示需求参数。
在该可选的实施例中,进一步可选的,根据实时环境信息,生成目标显示屏所在区域的用户需求信息,包括:
获取目标显示屏所在区域的实时用户信息,其中,实时用户信息包括实时用户语音信息、实时用户动作信息、实时用户表情信息中的一种或多种;
根据目标显示屏所在区域的实时用户信息以及实施环境信息,生成目标显示屏所在区域的用户需求信息。
在该可选的实施例中,进一步可选的,基于显示需求参数,生成目标显示屏的显示控制参数之后,该方法还包括:通过预设的伽马校正电路,对显示控制参数进行校正,得到校正后的显示控制参数。这样能够提高生成显示控制参数的精准性和智能性,并且有利于提高用户查看执行分辨率转换操作之后的图像的便捷性和舒适度,其中,人的视觉系统对颜色的感知是非线性的,因此需要进行伽马校正来确保图像的颜色准确性,伽马校正电路可以校正显示器的伽马值,以确保颜色与源图像的色彩一致。
可见,实施该可选的实施例能够获取目标显示屏所在区域的实时环境信息以及获取目标显示屏的显示屏工作状态,根据实时环境信息以及显示屏工作状态生成目标显示屏的显示需求参数,基于显示需求参数生成目标县食品搞得显示控制参数,根据用户的需求和显示设备的工作状态,对OLED显示屏进行控制,例如,如果用户希望看到风光模式下的图像,控制系统就可以调整OLED显示屏的色彩和亮度等参数,使得图像呈现出风光的色彩和亮度。同时,控制系统也可以对AI处理单元和图像处理单元进行独立的控制和调节,使得它们可以更好地进行图像处理,有利于提高将执行分辨率转换后的图像输出至目标显示屏的精准性和智能性,以及有利于提高将执行分辨率转换后的图像输出至目标显示屏的智能性和效率,进而有利于提高用户在目标显示屏上查看执行分辨率转换后的图像的便捷性和舒适度。
实施例三
请参阅图3,图3是本发明实施例公开的一种基于人工智能的图像分辨率转换装置的结构示意图。如图3所示,该基于人工智能的图像分辨率转换装置可以包括:
训练模块301,用于获取训练视频对,将训练视频对输入至预先确定出的目标模型中,以对目标模型进行训练,得到训练至收敛的第一目标模型;其中,训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;
确定模块302,用于确定第一目标模型中的至少一个目标模型参数;
生成模块303,用于基于所有目标模型参数,生成第二目标模型;
转换模块304,用于将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果;其中,目标转换结果包括待转换视频对应的若干帧输出图像,每帧输出图像对应的分辨率高于待转换视频对应的分辨率。
可见,实施图3所描述的装置能够将获取到的训练视频对输入至预先确定出的目标模型中以对目标模型进行训练得到训练至收敛的第一目标模型,确定第一目标模型中的目标模型参数并基于所有目标模型参数生成第二目标模型,将待转换视频输入至第二目标模型以使第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果,能够通过深度学习技术将低分辨率的图像转换为高分辨率的图像,并且通过训练好的第一目标模型构建第二目标模型,有利于提高构建第二目标模型的精准性和可靠性,以及有利于提高构建第二目标模型的智能性及效率,从而有利于提高后续基于第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果的精准性和可靠性,以及有利于提高后续基于第二目标模型对待转换视频执行分辨率转换操作得到目标转换结果的智能性和效率,进而有利于提高将低分辨率的图像转换为高分辨率的图像的精准性、智能性以及效率。
在一个可选的实施例中,如图4所示,该装置还包括:
输入模块305,用于将待转换视频输入至第一目标模型,得到目标输出结果;
确定模块302,还用于确定目标转换结果的第一参数以及确定目标输出结果的第二参数,其中,第一参数包括目标转换结果对应的分辨率参数,第二参数包括目标输出结果对应的分辨率参数;
判断模块306,用于判断第一参数与第二参数是否相匹配;
分析模块307,用于当判断模块判断出第一参数与第二参数不匹配时,分析第一参数与第二参数不匹配的目标原因;
更新模块308,用于基于目标原因,对第二目标模型执行模型参数更新操作,以更新第二目标模型。
可见,实施图4所描述的装置能够将待转换视频输入至第一目标模型得到目标输出结果,确定目标转换结果的第一参数以及目标输出结果的第二参数,判断第一参数与第二参数是否相匹配,若不匹配则分析第一参数与第二参数不匹配的目标原因,并基于目标原因对第二目标模型执行模型参数更新操作以更新第二目标模型,能够通过第一目标模型与第二目标模型对应的输出结果确定第一参数以及第二参数,有利于提高确定第一参数与第二参数之间的准确性和可靠性,并且通过判断第一参数与第二参数是否相匹配,有利于提高生成第二目标模型的精准性和可靠性,以及有利于提高生成第二目标模型的智能性和效率,进而有利于提高通过第二目标模型对待转换视频执行对应的分辨率转换操作的精准性和可靠性,以及利于提高通过第二目标模型对待转换视频执行对应的分辨率转换操作的智能性及效率。
在另一个可选的实施例中,如图4所示,确定模块302,还用于在转换模块304将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果之前,确定待转换视频;
该装置还包括:
分解模块309,用于对待转换视频执行视频帧分解操作,得到输入图像集合,其中,输入图像集合包括若干张输入图像,输入图像集合包括待转换视频对应的每一帧图像;
输入模块305将待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果的具体方式包括:
对于输入图像集合中所包括的每张输入图像,将该输入图像输入至第二目标模型,以使第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像;
根据所有输入图像对应的输出图像,生成目标转换结果。
可见,实施图4所描述的装置能够将确定待转换视频并对待转换视频执行视频帧分解操作得到输入图像集合,并将输入图像集合中所包括的每张输入图像输入至第二目标模型,以使第二目标模型对每张输入图像执行分辨率转换操作,得到每个输入图像对应的输出图像,并基于所有输入图像对应的输出图像生成目标转换结果,能够通过先对待转换视频执行视频帧分解操作并将每一帧图像均输入至第二目标模型,能够针对性地对每一张输入图像均执行分辨率转换操作,有利于提高对每一张输入图像进行分辨率转换的精准性和可靠性,从而有利于提高得到每个输入图像对应的输出图像的精准性和可靠性,进而有利于提高根据所有输入图像对应的输出图像生成目标转换结果的精准性和可靠性,以及有利于提高将低分辨率的图像转换为高分辨率的图像的精准性和可靠性。
在又一个可选的实施例中,如图4所示,确定模块302,还用于在转换模块待转换视频输入至第二目标模型,以使第二目标模型对待转换视频执行分辨率转换操作,得到目标转换结果之后,确定目标显示屏;
该装置还包括:
排序模块310,用于按照预设的目标顺序,对目标转换结果中所包括的所有输出图像执行排列操作,得到输出图像顺序;
显示模块311,用于基于输出图像顺序,将所有输出图像输出至目标显示屏中,以使目标显示屏按照输出图像顺序显示所有输出图像。
可见,实施图4所描述的装置能够确定目标显示屏并按照预设的目标顺序,对目标转换结果中所包括的所有输出图像执行排列操作得到输出图像顺序,基于输出图像顺序,将所有输出图像输出至目标显示屏中以使目标显示屏按照输出图像顺序显示所有输出图像,能够基于目标顺序对所有输出图像进行排列得到输出图像顺序,有利于提高得到输出图像顺序的精准性和可靠性,以及有利于提高得到输出图像顺序的智能性和可靠性,从而能够实现将所有输出图像按照待转换视频对应的顺序将所有输出图像输出至目标显示屏中,能够使得所有输出图像均按照与待转换视频相匹配的顺序在目标显示屏中进行显示,有利于提高对分辨率转换后的图像执行显示操作的智能性和准确性,进而有利于提高用户通过目标显示屏查看待转换视频对应的输出图像的舒适度和体验感。
在又一个可选的实施例中,如图4所示,判断模块306判断第一参数与第二参数是否相匹配的具体方式包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断第一参数与第二参数是否相匹配;其中,对抗生成网络包括判别器;
其中,判断模块通过预先确定出的对抗生成网络,判断第一参数与第二参数是否相匹配的具体方式包括:
基于目标损失函数计算第一参数与第二参数之间的参数差异值,通过判别器判断参数差异值是否大于等于预设的参数差异阈值;
当判别器判断出参数差异值大于等于预设的参数差异阈值时,确定第一参数与第二参数不匹配;
当判别器判断出参数差异值小于预设的参数差异阈值时,确定第一参数与第二参数匹配。
可见,实施图4所描述的装置能够通过预先确定出的对抗生成网络以及目标损失函数,判断第一参数与第二参数是否相匹配,其中,基于目标损失函数计算第一参数与第二参数之间的参数差异值,通过判别器判断参数差异值是否大于等于预设的参数差异阈值,若是则确定第一参数与第二参数不匹配,若否则确定第一参数与第二参数相匹配,能够通过所引入的对抗生成网络判断第一参数与第二参数是否相匹配,能够提高判断第一参数与第二参数是否相匹配的精准性和可靠性,以及有利于提高判断第一参数与第二参数是否相匹配的智能性及效率,进而有利于提高模型训练以及模型运用的精准性和智能性。
在又一个可选的实施例中,如图4所示,更新模块308基于目标原因,对第二目标模型执行模型参数更新操作,以更新第二目标模型的具体方式包括:
基于目标原因,确定第二目标模型中至少一个待调整参数;
对于每个待调整参数,根据目标原因,生成该待调整参数的参数更新值,并基于该待调整参数的参数更新值对该待调整参数执行更新操作,以更新该待调整参数,并将更新后的待调整参数确定为目标调整参数;
基于所有目标调整参数,对第二目标模型执行模型参数更新操作,以更新第二目标模型。
可见,实施图4所描述的装置能够基于目标原因确定第二目标模型中的至少一个待调整参数,并生成每个待调整参数的参数更新值,基于该待调整参数的参数更新至对该待调整参数执行更新操作并得到更新后的目标调整参数,基于所有目标调整参数,对第二目标模型执行模型参数更新操作以更新第二目标模型,能够通过确定出的每个待调整参数针对性地生成每个待调整参数的参数更新值,有利于提高确定每个待调整参数的参数更新值的精准性和可靠性,以及有利于提高确定每个待调整参数的参数更新至的智能性和效率,从而有利于提高对第二目标模型进行更新的精准性、智能性以及效率,进而有利于提高后续通过第二目标模型对待转换视频执行对应的分辨率转换操作的精准性、智能性以及效率,还有利于提高用户通过第二目标模型执行对应的分辨率转换操作的舒适度和便捷性。
在又一个可选的实施例中,如图4所示,该装置还包括:
获取模块312,用于获取目标显示屏所在区域的实时环境信息以及获取目标显示屏的显示屏工作状态;
生成模块303,还用于根据实时环境信息以及显示屏工作状态,生成目标显示屏的显示需求参数;基于显示需求参数,生成目标显示屏的显示控制参数;其中,显示控制参数包括亮度显示参数、色彩显示参数、对比度显示参数中的一种或多种。
可见,实施图4所描述的装置能够获取目标显示屏所在区域的实时环境信息以及获取目标显示屏的显示屏工作状态,根据实时环境信息以及显示屏工作状态生成目标显示屏的显示需求参数,基于显示需求参数生成目标县食品搞得显示控制参数,根据用户的需求和显示设备的工作状态,对OLED显示屏进行控制,例如,如果用户希望看到风光模式下的图像,控制系统就可以调整OLED显示屏的色彩和亮度等参数,使得图像呈现出风光的色彩和亮度。同时,控制系统也可以对AI处理单元和图像处理单元进行独立的控制和调节,使得它们可以更好地进行图像处理,有利于提高将执行分辨率转换后的图像输出至目标显示屏的精准性和智能性,以及有利于提高将执行分辨率转换后的图像输出至目标显示屏的智能性和效率,进而有利于提高用户在目标显示屏上查看执行分辨率转换后的图像的便捷性和舒适度。
实施例四
请参阅图5,图5是本发明实施例公开的又一种基于人工智能的图像分辨率转换装置的结构示意图。如图5所示,该基于人工智能的图像分辨率转换装置可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
处理器402调用存储器401中存储的可执行程序代码,执行本发明实施例一或本发明实施例二所描述的基于人工智能的图像分辨率转换方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行本发明实施例一或本发明实施例二所描述的基于人工智能的图像分辨率转换方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的基于人工智能的图像分辨率转换方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于人工智能的图像分辨率转换方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (8)
1.一种基于人工智能的图像分辨率转换方法,其特征在于,所述方法包括:
获取训练视频对,将所述训练视频对输入至预先确定出的目标模型中,以对所述目标模型进行训练,得到训练至收敛的第一目标模型;其中,所述训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;
确定所述第一目标模型中的至少一个目标模型参数,并基于确定出的所述目标模型参数,生成第二目标模型;
将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果;其中,所述目标转换结果包括所述待转换视频对应的若干帧输出图像,每帧所述输出图像对应的分辨率高于所述待转换视频对应的分辨率;
将所述待转换视频输入至所述第一目标模型,得到目标输出结果;
确定所述目标转换结果的第一参数以及确定所述目标输出结果的第二参数,其中,所述第一参数包括所述目标转换结果对应的分辨率参数,所述第二参数包括所述目标输出结果对应的分辨率参数;
判断所述第一参数与所述第二参数是否相匹配;
当判断出所述第一参数与所述第二参数不匹配时,分析所述第一参数与所述第二参数不匹配的目标原因,并基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型;
所述判断所述第一参数与所述第二参数是否相匹配,包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断所述第一参数与所述第二参数是否相匹配;其中,所述对抗生成网络包括判别器;
其中,所述通过预先确定出的对抗生成网络,判断所述第一参数与所述第二参数是否相匹配,包括:
基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值;
当所述判别器判断出所述参数差异值大于等于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数不匹配;
当所述判别器判断出所述参数差异值小于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数匹配;
其中,所述基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值之前,所述方法还包括:
通过预设的目标损失函数,计算所述第一参数与所述第二参数之间的参数差异值;
其中,预设的所述目标损失函数包括均方误差损失函数以及感知损失函数。
2.根据权利要求1所述的基于人工智能的图像分辨率转换方法,其特征在于,所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之前,所述方法还包括:
确定待转换视频,对所述待转换视频执行视频帧分解操作,得到输入图像集合,其中,所述输入图像集合包括若干张输入图像,所述输入图像集合包括所述待转换视频对应的每一帧图像;
所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果,包括:
对于所述输入图像集合中所包括的每张所述输入图像,将该输入图像输入至所述第二目标模型,以使所述第二目标模型对该输入图像执行分辨率转换操作,得到该输入图像对应的输出图像;
根据所有所述输入图像对应的输出图像,生成目标转换结果。
3.根据权利要求1或2所述的基于人工智能的图像分辨率转换方法,其特征在于,所述将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果之后,所述方法还包括:
确定目标显示屏,按照预设的目标顺序,对所述目标转换结果中所包括的所有所述输出图像执行排列操作,得到输出图像顺序;
基于所述输出图像顺序,将所有所述输出图像输出至所述目标显示屏中,以使所述目标显示屏按照所述输出图像顺序显示所有所述输出图像。
4.根据权利要求1所述的基于人工智能的图像分辨率转换方法,其特征在于,所述基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型,包括:
基于所述目标原因,确定所述第二目标模型中至少一个待调整参数;
对于每个所述待调整参数,根据所述目标原因,生成该待调整参数的参数更新值,并基于该待调整参数的参数更新值对该待调整参数执行更新操作,以更新该待调整参数,并将更新后的待调整参数确定为目标调整参数;
基于所有所述目标调整参数,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型。
5.根据权利要求3所述的基于人工智能的图像分辨率转换方法,其特征在于,所述方法还包括:
获取所述目标显示屏所在区域的实时环境信息以及获取所述目标显示屏的显示屏工作状态,根据所述实时环境信息以及所述显示屏工作状态,生成所述目标显示屏的显示需求参数;
基于所述显示需求参数,生成所述目标显示屏的显示控制参数;其中,显示控制参数包括亮度显示参数、色彩显示参数、对比度显示参数中的一种或多种。
6.一种基于人工智能的图像分辨率转换装置,其特征在于,所述装置包括:
训练模块,用于获取训练视频对,将所述训练视频对输入至预先确定出的目标模型中,以对所述目标模型进行训练,得到训练至收敛的第一目标模型;其中,所述训练视频对包括高分辨率的视频图像信息以及低分辨率的视频图像信息;
确定模块,用于确定所述第一目标模型中的至少一个目标模型参数;
生成模块,用于基于确定出的所述目标模型参数,生成第二目标模型;
转换模块,用于将待转换视频输入至所述第二目标模型,以使所述第二目标模型对所述待转换视频执行分辨率转换操作,得到目标转换结果;其中,所述目标转换结果包括所述待转换视频对应的若干帧输出图像,每帧所述输出图像对应的分辨率高于所述待转换视频对应的分辨率;
输入模块,用于将所述待转换视频输入至所述第一目标模型,得到目标输出结果;
所述确定模块,还用于确定所述目标转换结果的第一参数以及确定所述目标输出结果的第二参数,其中,所述第一参数包括所述目标转换结果对应的分辨率参数,所述第二参数包括所述目标输出结果对应的分辨率参数;
判断模块,用于判断所述第一参数与所述第二参数是否相匹配;
分析模块,用于当所述判断模块判断出所述第一参数与所述第二参数不匹配时,分析所述第一参数与所述第二参数不匹配的目标原因;
更新模块,用于基于所述目标原因,对所述第二目标模型执行模型参数更新操作,以更新所述第二目标模型;
其中,所述判断模块判断所述第一参数与所述第二参数是否相匹配的具体方式包括:
通过预先确定出的对抗生成网络以及目标损失函数,判断所述第一参数与所述第二参数是否相匹配;其中,所述对抗生成网络包括判别器;
其中,所述判断模块通过预先确定出的对抗生成网络,判断所述第一参数与所述第二参数是否相匹配的具体方式包括:
基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值;
当所述判别器判断出所述参数差异值大于等于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数不匹配;
当所述判别器判断出所述参数差异值小于预设的所述参数差异阈值时,确定所述第一参数与所述第二参数匹配;
其中,所述基于所述目标损失函数计算所述第一参数与所述第二参数之间的参数差异值,通过所述判别器判断所述参数差异值是否大于等于预设的参数差异阈值之前,所述装置还用于:
通过预设的目标损失函数,计算所述第一参数与所述第二参数之间的参数差异值;
其中,预设的所述目标损失函数包括均方误差损失函数以及感知损失函数。
7.一种基于人工智能的图像分辨率转换装置,其特征在于,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-5任一项所述的基于人工智能的图像分辨率转换方法。
8.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-5任一项所述的基于人工智能的图像分辨率转换方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311451919.8A CN117196957B (zh) | 2023-11-03 | 2023-11-03 | 基于人工智能的图像分辨率转换方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311451919.8A CN117196957B (zh) | 2023-11-03 | 2023-11-03 | 基于人工智能的图像分辨率转换方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117196957A CN117196957A (zh) | 2023-12-08 |
CN117196957B true CN117196957B (zh) | 2024-03-22 |
Family
ID=88987248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311451919.8A Active CN117196957B (zh) | 2023-11-03 | 2023-11-03 | 基于人工智能的图像分辨率转换方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117196957B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110177229A (zh) * | 2019-04-24 | 2019-08-27 | 深圳大学 | 基于多任务对抗学习的视频转换方法、存储介质及终端 |
CN112381717A (zh) * | 2020-11-18 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、介质及设备 |
CN114298909A (zh) * | 2021-12-31 | 2022-04-08 | 江苏理工学院 | 一种超分辨网络模型及其应用 |
CN115272082A (zh) * | 2022-08-12 | 2022-11-01 | 中国工商银行股份有限公司 | 模型训练、视频质量提升方法、装置和计算机设备 |
CN115496657A (zh) * | 2022-09-16 | 2022-12-20 | 中南大学 | 低分辨率成像的病理切片数字化方法及系统 |
CN115829836A (zh) * | 2022-10-09 | 2023-03-21 | 中国电信股份有限公司 | 图像处理方法、装置、电子设备及模型训练方法 |
CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7167832B2 (ja) * | 2019-04-19 | 2022-11-09 | 日本電信電話株式会社 | 画像変換装置、画像変換モデル学習装置、方法、及びプログラム |
CN111182254B (zh) * | 2020-01-03 | 2022-06-24 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
-
2023
- 2023-11-03 CN CN202311451919.8A patent/CN117196957B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110177229A (zh) * | 2019-04-24 | 2019-08-27 | 深圳大学 | 基于多任务对抗学习的视频转换方法、存储介质及终端 |
CN112381717A (zh) * | 2020-11-18 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、介质及设备 |
CN114298909A (zh) * | 2021-12-31 | 2022-04-08 | 江苏理工学院 | 一种超分辨网络模型及其应用 |
CN115272082A (zh) * | 2022-08-12 | 2022-11-01 | 中国工商银行股份有限公司 | 模型训练、视频质量提升方法、装置和计算机设备 |
CN115496657A (zh) * | 2022-09-16 | 2022-12-20 | 中南大学 | 低分辨率成像的病理切片数字化方法及系统 |
CN115829836A (zh) * | 2022-10-09 | 2023-03-21 | 中国电信股份有限公司 | 图像处理方法、装置、电子设备及模型训练方法 |
CN115936985A (zh) * | 2022-12-01 | 2023-04-07 | 华中光电技术研究所(中国船舶集团有限公司第七一七研究所) | 一种基于高阶退化循环生成对抗网络的图像超分辨率重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117196957A (zh) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
EP3989111A1 (en) | Video classification method and apparatus, model training method and apparatus, device and storage medium | |
US10832069B2 (en) | Living body detection method, electronic device and computer readable medium | |
US20220230420A1 (en) | Artificial intelligence-based object detection method and apparatus, device, and storage medium | |
KR102385463B1 (ko) | 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체 | |
US10313746B2 (en) | Server, client and video processing method | |
US11704563B2 (en) | Classifying time series image data | |
US11367196B2 (en) | Image processing method, apparatus, and storage medium | |
CN110555334B (zh) | 人脸特征确定方法、装置、存储介质及电子设备 | |
WO2019136591A1 (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
CN113743607A (zh) | 异常检测模型的训练方法、异常检测方法及装置 | |
CN112883231B (zh) | 短视频流行度预测方法、系统、电子设备及存储介质 | |
CN111784624A (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
CN105979283A (zh) | 视频转码方法和装置 | |
CN110503002B (zh) | 一种人脸检测方法和存储介质 | |
WO2022148248A1 (zh) | 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品 | |
CN117196957B (zh) | 基于人工智能的图像分辨率转换方法及装置 | |
US20220319157A1 (en) | Temporal augmentation for training video reasoning system | |
CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
US20220327663A1 (en) | Video Super-Resolution using Deep Neural Networks | |
CN112734658A (zh) | 图像增强方法、装置及电子设备 | |
CN114220175A (zh) | 运动模式识别方法及其装置、设备、介质、产品 | |
CN113573043B (zh) | 视频噪点识别方法、存储介质及设备 | |
JP7175061B1 (ja) | プログラム、情報処理装置、及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |