CN113038055B - 图像处理方法、装置及电子设备 - Google Patents
图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN113038055B CN113038055B CN202110112410.5A CN202110112410A CN113038055B CN 113038055 B CN113038055 B CN 113038055B CN 202110112410 A CN202110112410 A CN 202110112410A CN 113038055 B CN113038055 B CN 113038055B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- target
- frame image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000004891 communication Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、装置及电子设备，属于通信技术领域。能够解决超分辨率技术得到的高分辨率图像较为模糊，不够清晰，图像质量较差的问题。该方法包括：根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。该方法可以应用于对视频文件中的图像处理的场景中。
Description
技术领域
本申请实施例涉及通信技术领域，尤其涉及一种图像处理方法、装置及电子设备。
背景技术
随着电子技术的发展，显示设备的分辨率也越来越高，普遍进入超清、蓝光的时代。而受限于拍摄图像或视频的设备硬件条件的限制，实际拍摄的图像很难达到超清或蓝光的显示要求，如此超分辨率技术应运而生。
超分辨率技术为一种将低分辨率的图像进行映射以得到高分辨率图像的技术，其常用超分算法包括差值法，稀疏表示法，简单卷积网络法(SRCNN)等。例如，电子设备可以将一帧低分辨率图像作为目标帧图像，并将该帧图像的前一帧图像作为参考帧图像，通过超分算法对参考帧图像和目标帧图像进行处理，得到目标帧图像的高分辨率图像。然而，由于通常选择的参考帧图像较为单一，且包含的补偿信息较少，因此使得目标帧图像的高分辨率图像中各个像素点的区分度不高，从而导致通过超分辨率技术得到的高分辨率图像较为模糊，不够清晰，图像质量较差。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决超分辨率技术得到的高分辨率图像较为模糊，不够清晰，图像质量较差的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。
第二方面，本申请实施例提供了一种图像处理装置，该装置包括：获取模块、确定模块和处理模块。获取模块，用于根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；确定模块，用于将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；处理模块，用于计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；处理模块，还用于采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。
第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，该处理器用于运行程序或指令，实现如第一方面的方法。
在本申请实施例中，电子设备根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；并将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；然后，电子设备计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；随后，采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。通过该方法，电子设备可以通过计算图像间的内容相似度，从而将内容相似度较高的图像确定为参考图像集，并根据该参考图像集计算补偿参数集，以及采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。相较于相关技术，避免了与目标帧图像内容相似度较低图像的干扰，从而使得图像的补偿效果更为明显，进而得到高分辨率图像更加清晰，提高所生成高分辨率图像的图像质。
附图说明
图1为本申请实施例提供的一种图像处理方法的示意图之一；
图2为本申请实施例提供的一种图像处理方法的示意图之二；
图3为本申请实施例提供的一种图像处理方法的示意图之三；
图4为本申请实施例提供的一种图像处理方法的示意图之四；
图5为本申请实施例提供的一种图像处理装置的结构示意图；
图6为本申请实施例提供的电子设备的硬件示意图之一；
图7为本申请实施例提供的电子设备的硬件示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
本申请实施例所提供的图像处理方法，应用于将低分辨率的视频文件生成高分辨率的视频文件的场景中。电子设备可以根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；并将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；然后，电子设备计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；随后，采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。通过该方法，电子设备可以通过计算图像间的内容相似度，从而将内容相似度较高的图像确定为参考图像集，并根据该参考图像集计算补偿参数集，以及采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。相较于相关技术，避免了与目标帧图像内容相似度较低图像的干扰，从而使得图像的补偿效果更为明显，进而得到高分辨率图像更加清晰，提高所生成高分辨率图像的图像质。
如图1所示，本申请实施例提供一种图像处理方法，该方法可以包括下述的步骤101至步骤104。
步骤101、电子设备根据目标视频文件中的目标帧图像，获取目标视频文件中的M帧图像。
其中，上述M为大于1的整数。
需要说明的是，本申请实施例中，超分辨率技术是一种将低分辨率的图像进行映射以得到高分辨率图像的技术。其核心算法称作超分算法，常用的超分算法包括差值算法，稀疏表示算法，简单卷积网络算法(SRCNN)等。而经过该超分算法处理得到的高分辨率图像称为超分图像。
可选的，本申请实施例中，上述目标视频文件为包括目标帧图像和M帧图像的视频文件。具体的，该目标帧图像和M帧图像均可以为该视频文件总的图像帧。其中，该M帧图像为该视频文件中位于该目标图像帧周围(该目标图像帧之前和该目标图像帧之后)的图像。
可选的，本申请实施例提供一种按照时序顺序确定目标图像帧周围的M帧图像的实施方式，其并不构成对本申请的具体限定。
可选的，本申请实施例中，上述步骤101，具体可以通过下述步骤101a实现。
步骤101a、电子设备以目标帧图像为中心，获取目标视频文件中，位于该目标帧图像之前的X帧图像和位于该目标帧图像之后的Y帧图像，得到M帧图像。
其中，M＝X+Y，X、Y均为正整数。
可选的，本申请实施例中电子设备可以以该目标帧图像的时序为中心(假设该目标帧图像的时序为t)，从位于该目标帧图像之前的X帧图像(即获取t之前的X帧图像，例如：t-1帧的图像，t-2帧的图像，……，t-X帧的图像)和位于该目标帧图像之后的Y帧图像(即获取t之后的Y帧图像，例如：t+1帧的图像，t+2帧的图像，……，t+Y帧的图像)，共得到M帧图像(即M＝X+Y)。
可选的，本申请实施例中，为取得更好的图像处理效果，上述X与Y的差值小于或等于2帧。
优选的，本申请实施例中，上述X和Y满足：X＝Y，或者|X-Y|＝1。
需要说明的是，在获取X帧图像和Y帧图像均可以按照距离目标帧图像的时间间隔的大小由低到高依次获取。即，先获取t-1帧的图像和t+1帧的图像，再获取t-2帧的图像和t+2帧的图像，……，然后获取t-X帧的图像和t+Y帧的图像。
可以理解的是，电子设备可以以目标帧图像为中心，按照时序方式将目标视频文件中位于该目标帧图像之前的X帧图像和位于该目标帧图像之后的Y帧图像，得到M帧图像。如此可以得到M帧图像，进而为后续步骤确定参考图像集提供基础，方便后续工作的进行。
步骤102、电子设备将M帧图像中与目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集。
可选的，上述M帧图像中每帧图像与目标帧图像之间内容的相似度：为该帧图像中K个区域的每个区域相似度加权后的和。
具体的，相似度可以按照下述公式计算：
其中，
Q表示一帧图像与目标帧图像的内容相似度；
K表示每一帧图像划分为K个区域(可以根据语义识别进行划分，具体可以参考下述步骤105和步骤106中的描述)；
Hj表示第j个区域的区域相似度；
ωj表示第j个区域的权重。
需要说明的是，本申请实施例中，ωj表示的第j个区域的权重具体可以参考下述步骤105中的具体描述；Hj表示的第j个区域的区域相似度及具体计算公式可以参考下述步骤106中的具体描述，此处不予赘述。
可选的，本申请实施例中，上述目标阈值为根据实际使用需求确定的一个预设值，具体可以参考经验参数以及得到超分图像的图像质量进一步确定。本申请实施例不作具体限定。
需要说明的是，本申请实施例中，电子设备可以将M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集。即，电子设备通过比较M帧图像中的每帧图像与目标帧图像的相似度，并将相似度不低于目标阈值的多帧图像，划归一个参考图像集，从而方便后续步骤从参考图像集中确定对目标帧图像进行处理的补偿参数。
此外，本申请实施例为例方便描述，下述实施例将参考图像集中的图像称之为参考帧图像，用于泛指该参考图像集中的任一帧图像。
步骤103、电子设备计算参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集。
可选的，本申请实施例中，上述补偿参数集包括每帧参考图像对应的补偿参数。具体的，上述每帧参考图像对应的补偿参数用于补偿该目标帧图像的像素参数。其中，该像素参数包括以下至少一项：像素点的偏移量、像素点的灰度值，像素点的色彩值(如：RGB值的补偿)。
可选的，本申请实施例中，电子设备可以将参考图像集中的所有参考帧图像计算得到光流图，并输入相应的神经网络处理以得到补偿参数集。该补偿参数集中的每帧参考图像的补偿参数用于表征目标帧图像相对于该帧参考图像相中各个像素点的差值关系和对应的映射关系。
需要说明的是，本申请实施例中，在参考图像与目标帧图像的相似度较高的情况下，得到的该帧图像的补偿参数对目标帧图像的补偿量(如，像素点的偏移量、像素点的灰度值变化量，像素点的色彩值变化量等)越大；在参考图像与目标帧图像的相似度较低的情况下，得到的该帧图像的补偿参数对目标帧图像的补偿量越小。
步骤104、电子设备采用补偿参数集对目标帧图像处理，得到目标帧图像的超分图像。
可选的，本申请实施例中，电子设备使用上述补偿参数集的数据对目标帧图像按照所确定的超分算法进行超分处理，得到目标帧图像的超分图像。
具体的，若采用差值算法，则电子设备可以根据补偿参数集确定对应的差值补偿量(即将像素点的偏移量、像素点的灰度值，像素点的色彩值等像素参数换算至每一个像素点的差值补偿量，该产值补偿量用于表示目标帧图像相对于参考图像集中各个像素点的差值补偿关系和对应关系)，然后根据该差值补偿量对目标帧图像进行差值处理，得到目标帧的超分图像。
具体的，若采用神经网络算法(如，简单卷积网络算法)，则电子设备可以将参考图像集和补偿参数集中的部分作为训练集进行训练，并使用另一部分参考图像集和补偿参数集作为测试集进行调参和测试(具体可以使用光流图等进行训练和测试)。然后，给电子设备已训练好的神经网络模型输入目标帧图像和补偿参数集，以得到目标帧的超分图像。
本申请实施例所提供的图像处理方法，电子设备可以根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；并将该M帧图像中与该目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；然后，电子设备计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；随后，采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。通过该方法，电子设备可以通过计算图像间的内容相似度，从而将内容相似度较高的图像确定为参考图像集，并根据该参考图像集计算补偿参数集，以及采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。相较于相关技术，避免了与目标帧图像内容相似度较低图像的干扰，从而使得图像的补偿效果更为明显，进而得到高分辨率图像更加清晰，提高所生成高分辨率图像的图像质。
可选的，本申请实施例中，电子设备可以根据M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，以及电子设备单位时间内所允许处理图像的最大数量(即，预设的最大参考帧数S)一起确定参考图像集。
可选的，本申请实施例中，电子设备可以兼顾电子设备的实际处理能力确定参考帧图像。从而使得确定的参考帧图像的数量较为合理，进而使得电子设备的处理速率较快，反应及时。
可选的，结合图1，如图2所示，上述步骤102具体可以通过下述步骤102a实现。
步骤102a、电子设备根据预设的最大参考帧数S，将M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集。
其中，上述最大参考帧数S电子设备单位时间内处理图像的最大数量，S为大于1的整数。
需要说明的是，本申请实施例，上述最大参考帧数S电子设备单位时间内所允许处理图像的最大数量，具体可以根据下述内容确定：该电子设备的硬件运算能力(即，终端算力)，每帧图像的分辨率，目标视频文件的帧率，超分算法等。具体可以参考相关技术，本申请实施例不作具体限定。
可选的，本申请实施例中，上述预设的最大参考帧数S为一个相对确定值。即，上述电子设备的硬件运算能力(即，终端算力)，每帧图像的分辨率和目标视频文件的帧率，在电子设备和目标视频文件确定的情况下均为确定值，而在超分算法确定时，该预设的最大参考帧数S为一个确定的预设值。
可以理解的是，电子设备可以兼顾电子设备的实际处理能力和满足条件的多帧图像(即M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像)确定参考帧图像。从而使得确定的参考帧图像的数量较为合理，进而使得电子设备的处理速率较快，反应更加及时。
可选的，本申请实施例中，电子设备兼顾电子设备的实际处理能力和满足条件的多帧图像(即M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像)确定参考帧图像的方式可以为下述方式中的一种(即步骤102a1和步骤102a2择一执行)。
可选的，上述步骤102a具体可以通过下述步骤102a1或步骤102a2实现，即，步骤102a1和步骤102a2择一执行。
步骤102a1、若最大参考帧数S大于或等于N，则电子设备将N帧图像确定为参考图像集。
其中，上述N帧图像为M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数，S为大于1的整数。
可选的，本申请实施例中，在最大参考帧数S大于或等于N的情况下，电子设备处理N帧图像的算力充足，并不影响电子设备的处理速度和反应速度，因此，将该N帧图像全部确定为参考图像集。
步骤102a2、若最大参考帧数S小于N，则电子设备将N帧图像中的前S帧图像确定为参考图像集。
其中，上述N帧图像为M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数，S为大于1的整数。
可选的，本申请实施例中，上述N帧图像中的前S帧图像为按照本申请预设的时序顺序的前S帧，具体可以参考上述步骤101a中关于该时序顺序的具体描述，此处不再赘述。
可选的，本申请实施例中，在最大参考帧数S小于N的情况下，电子设备处理N帧图像的算力不足，可能影响电子设备的处理速度和反应速度较慢，因此，为了兼顾电子设备的处理速度和反应速度，将N帧图像中的前S帧图像确定为参考图像集。
可以理解的是，为了兼顾电子设备的实际处理能力，在最大参考帧数S大于或等于N时，电子设备可以将N帧图像确定为参考图像集；在最大参考帧数S小于N时，电子设备将N帧图像中的前S帧图像确定为参考图像集。如此可以避免由于电子设备的算力不足导致的图像处理速度慢和反应速度较慢的问题，从而可以根据实际使用的电子设备和超分算法，自动确定参考图像集的数量，进而方便用户使用，提升用户的使用体验。
可选的，本申请实施例中，电子设备可以根据每帧图像的K个权重和K个区域相似度，确定与每帧图像对应的内容相似度。
可选的，结合图1，如图3所示，上述步骤102之前，本申请实施例所提供的图像处理方法还可以包括下述步骤105和步骤106。
步骤105、对于M帧图像中的每帧图像，电子设备获取一帧图像的K个权重。
其中，上述K个权重中的每个权重用于表示一帧图像中的一个语义内容占该一帧图像的全部语义内容的权重，K为大于1的整数。
可选的，本申请实施例中，上述K为一个预设值，用以统一每帧图像所划分的区域数量和目标帧图像的区域数量。具体可以根据实际使用需求确定。示例性的，K可以为目标帧图像中的语义内容对应的区域数量(即语义内容的数量)，K也可以为M帧图像中语义内容对应的区域数量(即语义内容的数量)的最大值。其中，在实际使用过程中，若有的图像语义内容对应的区域数量小于K时，则对不够的区域进行赋值(如，赋值1或其他预设值用以补位，使得该区域在后续计算过程中不影响权重和区域相似度的计算结果)。
可选的，电子设备可以每帧图像进行语义识别，从而确定K个语义内容，而K个权中用于标识每个语义内容占该帧图像全部语义内容的权重。其中，每个语义内容对应一个区域(即该语义内容在该帧图像中的区域)，一个区域对应一个权重(该区域的语义内容占该帧图像全部语义内容的权重)。
需要说明的是，本申请实施例中，上述语义内容的比值计算可以参考相关技术中的具体计算方式，本申请实施例找不作具体限定。
示例性的，假设在一个视频文件中，t帧图像为目标帧图像，t-1帧图像为参考帧图像。而该t-1帧图像包括：图像1(对应语义内容A)和文字1(对应语义内容B)。电子设备确定该语义内容A占该t-1帧图像全部语义内容(即语义内容A和语义内容B)的60％，该语义内容B占该t-1帧图像全部语义内容的40％。
步骤106、电子设备根据K个权重和K个区域相似度，确定与该一帧图像对应的内容相似度。
其中，上述K个权重和该K个区域相似度一一对应，每个区域相似度为该一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度，该第一区域和该第二区域为相同语义内容对应的区域。
可选的，本申请实施例中，上述第一区域和第二区域的语义内容相同或相近。即，第一区域语义内容和第二区域的语义内容的相同度超过某一阈值(如90％)时，电子设备就可以计算一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度。
需要说明的是，本申请实施例中，电子设备在分别对K个区域相似度的中的一个区域相似度的的具体方式可以参考下述步骤108中的具体描述，此处不予赘述。
可选的，本申请实施例中，对于参考图像集中的每帧图像，电子设备可以重复执行多次步骤106，以得到每一帧图像对应的内容相似度。
可选的，本申请实施例中，电子设备可以按照上述步骤102中的公式，确定与该一帧图像对应的内容相似度。
示例性的，假设在一个视频文件中，t帧图像为目标帧图像，t-1帧图像为参考帧图像。而该t-1帧图像包括：图像1(对应语义内容A)和文字1(对应语义内容B)。电子设备确定该语义内容A占该t-1帧图像全部语义内容的60％(即，ω1＝60％)，该语义内容B占该t-1帧图像全部语义内容的40％(即，ω2＝40％)。若t-1帧图像中的图像1与t帧图像中的图像1的区域相似度为90％(即H1＝90％，具体可以采用下述步骤108中的交叉熵的计算方式计算)，而t-1帧图像中的图像1与t帧图像中的文字1的区域相似度为80％(即H2＝80％)，则该t-1帧图像与该t帧图像的相似度可以通过下述公式求得Q＝H1*ω1+H1*ω1＝90％*60％+80％*40％＝86％，即t-1帧图像与该t帧图像的相似度86％。
可以理解的是，电子设备可以根据K个权重和K个区域相似度，确定与该一帧图像对应的内容相似度。即，通过计算一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度确定一帧图像对应的内容相似度。从而为后续步骤中基于内容相似度的判断提供了基础，翻遍后续步骤的顺利执行。
可选的，本申请实施例中，电子设备可以通过计算任一参考帧图像的第一区域和目标帧图像的第二区域中语义内容的交叉熵，作为一个区域相似度。即，对于K个区域相似度中的每个区域相似度，电子设备可以计算该一帧图像中的第一区域的第一语义内容和该目标帧图像中的第二区域的第二语义内容之间的交叉熵，得到一个区域相似度。
可选的，结合图3，如图4所示，在上述步骤106之前，本申请实施例所提供的图像处理方法还包括下述步骤107和步骤108。
步骤107、对于K个区域相似度中的每个区域相似度，电子设备获取该一帧图像中的第一区域的第一语义内容和该目标帧图像中的第二区域的第二语义内容。
可选的，本申请实施例中，在计算第一语义内容与该第二语义内容之间的交叉熵之前，电子设备可以分别获取该第一语义内容和第二语义内容。具体的一种方式为电子设备每获取一帧图像，同时也获取该帧图像中的第一区域和与该帧图像对应的目标帧图像中的第二区域；另一种方式为电子设备在确定目标帧图像之后，直接获取目标帧图像中的第二区域，然后再依次获取每个参考帧图像中的第一区域进行比较计算。具体可以根据实际使用需求进行确定，本申请实施例不作具体限定。
步骤108、电子设备计算该第一语义内容与该第二语义内容之间的交叉熵，得到一个区域相似度。
可选的，本申请实施例中，电子设备可以通过计算第一语义内容与该第二语义内容之间的交叉熵，用以表征该区域的相似度。其中，该第一区域和该第二区域为相同语义内容对应的区域。具体的，本申请可以适用离散变量型的交叉熵计算公式。具体可以参考相关技术中的计算公式。
具体的，本申请可以通过计算交叉熵以得到区域相似度，具体可以按照下述公式计算：
其中，
H(p,q)表示一帧图像的第一语义内容与目标帧图像的第二语义内容的交叉熵；
p(x)表示一帧图像的第一语义内容的概率；
q(x)表示目标帧图像的第二语义内容的概率。
需要说明的是，本申请实施例中，若上述超分算法为机器学习算法，则在实际计算交叉熵的过程中，可以将交叉熵作为损失函数来处理，其好处是可以避免在梯度下降时能均方误差损失函数学习速率降低的问题，从而使得学习速率可以被输出的误差(即交叉熵)所控制。
可以理解的是，电子设备可以通过计算任一参考帧图像的第一区域和目标帧图像的第二区域中语义内容的交叉熵，作为一个区域相似度。进而计算该参考帧图像与该目标帧图像的内容相似度。从而方便电子设备以此作为判断和执行的依据，进而方便用户使用，提升用户的使用体验。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的装置。
如图5所示，本申请实施例提供一种图像处理装置500。该图像处理装置500可以包括获取模块501、确定模块502和处理模块503。获取模块501，可以用于根据目标视频文件中的目标帧图像，获取目标视频文件中的M帧图像，M为大于1的整数。确定模块502，可以用于将该M帧图像中与该目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集。处理模块503，可以用于计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集。处理模块503，还可以用于采用所述补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。
可选的，本申请实施例中，确定模块502，具体可以用于根据预设的最大参考帧数S，将M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集，S为大于1的整数。确定模块502，具体还可以用于若最大参考帧数S大于或等于N，则将N帧图像确定为参考图像集，该N帧图像为M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数。若最大参考帧数S小于N，则将该N帧图像中的前S帧图像确定为参考图像集。其中，该最大参考帧数S电子设备单位时间内处理图像的最大数量。
可选的，本申请实施例中，获取模块501，还可以用于在确定参考图像集之前，对于M帧图像中的每帧图像，获取一帧图像的K个权重，该K个权重中的每个权重用于表示该一帧图像中的一个语义内容占该一帧图像的全部语义内容的权重，K为大于1的整数。确定模块502，还可以用于根据K个权重和K个区域相似度，确定与一帧图像对应的内容相似度，该K个权重和该K个区域相似度一一对应，每个区域相似度为该一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度，该第一区域和该第二区域为相同语义内容对应的区域。
可选的，本申请实施例中，获取模块501，还可以用于在根据K个权重和K个区域相似度，确定与一帧图像对应的内容相似度之前，对于该K个区域相似度中的每个区域相似度，获取该一帧图像中的第一区域的第一语义内容和该目标帧图像中的该第二区域的第二语义内容。处理模块503，还可以用于计算该第一语义内容与该第二语义内容之间的交叉熵，得到一个区域相似度。
可选的，本申请实施例中，获取模块501，具体可以用于以目标帧图像为中心，获取该目标视频文件中，位于该目标帧图像之前的X帧图像和位于该目标帧图像之后的Y帧图像，得到M帧图像。其中，M＝X+Y，X、Y均为正整数。
本申请实施例中的图像处理装置可以是电子设备中执行图像处理方法的功能实体和/或功能模块，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图4的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。
本申请实施例提供一种图像处理装置，该图像处理装置根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；并将该M帧图像中与该目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；然后，该图像处理装置计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；随后，采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。通过该方法，该图像处理装置可以通过计算图像间的内容相似度，从而将内容相似度较高的图像确定为参考图像集，并根据该参考图像集计算补偿参数集，以及采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。相较于相关技术，避免了与目标帧图像内容相似度较低图像的干扰，从而使得图像的补偿效果更为明显，进而得到高分辨率图像更加清晰，提高所生成高分辨率图像的图像质。
可选的，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备2000包括但不限于：射频单元2001、网络模块2002、音频输出单元2003、输入单元2004、传感器2005、显示单元2006、用户输入单元2007、接口单元2008、存储器2009、以及处理器2010等部件。
其中，输入单元2004可以包括图形处理器20041和麦克风20042，显示单元2006可以包括显示面板20061，用户输入单元2007可以包括触控面板20071以及其他输入设备20072，存储器2009可用于存储软件程序(如，操作系统、至少一个功能所需的应用程序)以及各种数据。
本领域技术人员可以理解，电子设备2000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器2010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器2010，可以用于根据目标视频文件中的目标帧图像，获取目标视频文件中的M帧图像，M为大于1的整数。处理器2010，可以用于将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集。处理器2010，可以用于计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集。处理器2010，还可以用于采用所述补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。
本申请实施例提供一种电子设备，电子设备根据目标视频文件中的目标帧图像，获取该目标视频文件中的M帧图像，M为大于1的整数；并将该M帧图像中与该目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；然后，电子设备计算该参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；随后，采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。通过该方法，电子设备可以通过计算图像间的内容相似度，从而将内容相似度较高的图像确定为参考图像集，并根据该参考图像集计算补偿参数集，以及采用该补偿参数集对该目标帧图像处理，得到该目标帧图像的超分图像。相较于相关技术，避免了与目标帧图像内容相似度较低图像的干扰，从而使得图像的补偿效果更为明显，进而得到高分辨率图像更加清晰，提高所生成高分辨率图像的图像质。
可选的，本申请实施例中，处理器2010，具体可以用于根据预设的最大参考帧数S，将M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集，S为大于1的整数。其中，该最大参考帧数S电子设备单位时间内所允许处理图像的最大数量。处理器2010，还具体可以用于若最大参考帧数S大于或等于N，则将N帧图像确定为参考图像集，该N帧图像为M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数。若最大参考帧数S小于N，则将该N帧图像中的前S帧图像确定为参考图像集。
可以理解的是，电子设备可以兼顾电子设备的实际处理能力和满足条件的多帧图像(即M帧图像中与目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像)确定参考帧图像。从而使得确定的参考帧图像的数量较为合理，进而使得电子设备的处理速率较快，反应更加及时。而为了兼顾电子设备的实际处理能力，在最大参考帧数S大于或等于N时，电子设备可以将N帧图像确定为参考图像集；在最大参考帧数S小于N时，电子设备将N帧图像中的前S帧图像确定为参考图像集。如此可以避免由于电子设备的算力不足导致的图像处理速度慢和反应速度较慢的问题，从而可以根据实际使用的电子设备和超分算法，自动确定参考图像集的数量，进而方便用户使用，提升用户的使用体验。
可选的，本申请实施例中，处理器2010，还可以用于在确定参考图像集之前，对于M帧图像中的每帧图像，获取一帧图像的K个权重，该K个权重中的每个权重用于表示该一帧图像中的一个语义内容占该一帧图像的全部语义内容的权重，K为大于1的整数。处理器2010，还可以用于根据K个权重和K个区域相似度，确定与一帧图像对应的内容相似度，该K个权重和该K个区域相似度一一对应，每个区域相似度为该一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度，该第一区域和该第二区域为相同语义内容对应的区域。
可以理解的是，电子设备可以根据K个权重和K个区域相似度，确定与该一帧图像对应的内容相似度。即，通过计算一帧图像中的第一区域的语义内容和该目标帧图像中的第二区域的语义内容之间的相似度确定一帧图像对应的内容相似度。从而为后续步骤中基于内容相似度的判断提供了基础，翻遍后续步骤的顺利执行。
可选的，本申请实施例中，处理器2010，还可以用于在根据K个权重和K个区域相似度，确定与一帧图像对应的内容相似度之前，对于该K个区域相似度中的每个区域相似度，获取该一帧图像中的第一区域的第一语义内容和该目标帧图像中的该第二区域的第二语义内容。处理器2010，还可以用于计算该第一语义内容与该第二语义内容之间的交叉熵，得到一个区域相似度。
可以理解的是，电子设备可以通过计算任一参考帧图像的第一区域和目标帧图像的第二区域中语义内容的交叉熵，作为一个区域相似度。进而计算该参考帧图像与该目标帧图像的内容相似度。从而方便电子设备以此作为判断和执行的依据，进而方便用户使用，提升用户的使用体验。
可选的，本申请实施例中，处理器2010，具体可以用于以目标帧图像为中心，获取该目标视频文件中，位于该目标帧图像之前的X帧图像和位于该目标帧图像之后的Y帧图像，得到M帧图像。其中，M＝X+Y，X、Y均为正整数。
可以理解的是，电子设备可以以目标帧图像为中心，按照时序方式将目标视频文件中位于该目标帧图像之前的X帧图像和位于该目标帧图像之后的Y帧图像，得到M帧图像。如此可以得到M帧图像，进而为后续步骤确定参考图像集提供基础，方便后续工作的进行。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
本申请实施例还提供一种可读存储介质，该可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，该处理器为上述实施例中的电子设备中的处理器。该可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
根据目标视频文件中的目标帧图像，获取所述目标视频文件中的M帧图像，M为大于1的整数；
对于所述M帧图像中的每帧图像，获取一帧图像的K个权重，所述K个权重中的每个权重用于表示所述一帧图像中的一个语义内容占所述一帧图像的全部语义内容的权重，K为大于1的整数；
根据所述K个权重和K个区域相似度，确定与所述一帧图像对应的内容相似度，所述K个权重和所述K个区域相似度一一对应，每个区域相似度为所述一帧图像中的第一区域的语义内容和所述目标帧图像中的第二区域的语义内容之间的相似度，所述第一区域和所述第二区域为相同语义内容对应的区域；
将所述M帧图像中与所述目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；
计算所述参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；
采用所述补偿参数集对所述目标帧图像处理，得到所述目标帧图像的超分图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集，包括：
根据预设的最大参考帧数S，将所述M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集，S为大于1的整数；
若所述最大参考帧数S大于或等于N，则将N帧图像确定为所述参考图像集，所述N帧图像为所述M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数；或者，
若所述最大参考帧数S小于N，则将所述N帧图像中的前S帧图像确定为所述参考图像集；
其中，所述最大参考帧数S为电子设备单位时间内处理图像的最大数量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述K个权重和K个区域相似度，确定与所述一帧图像对应的内容相似度之前，所述方法还包括：
对于所述K个区域相似度中的每个区域相似度，获取所述一帧图像中的第一区域的第一语义内容和所述目标帧图像中的所述第二区域的第二语义内容；
计算所述第一语义内容与所述第二语义内容之间的交叉熵，得到一个区域相似度。
4.根据权利要求1所述的方法，其特征在于，所述根据目标视频文件中的目标帧图像，获取所述目标视频文件中的M帧图像，包括：
以所述目标帧图像为中心，获取所述目标视频文件中，位于所述目标帧图像之前的X帧图像和位于所述目标帧图像之后的Y帧图像，得到所述M帧图像；
其中，M＝X+Y，X、Y均为正整数。
5.一种图像处理装置，其特征在于，所述装置包括：获取模块、确定模块和处理模块；
所述获取模块，用于根据目标视频文件中的目标帧图像，获取所述目标视频文件中的M帧图像，M为大于1的整数；
所述获取模块，还用于对于所述M帧图像中的每帧图像，获取一帧图像的K个权重，所述K个权重中的每个权重用于表示所述一帧图像中的一个语义内容占所述一帧图像的全部语义内容的权重，K为大于1的整数；
所述确定模块，用于根据所述K个权重和K个区域相似度，确定与所述一帧图像对应的内容相似度，所述K个权重和所述K个区域相似度一一对应，每个区域相似度为所述一帧图像中的第一区域的语义内容和所述目标帧图像中的第二区域的语义内容之间的相似度，所述第一区域和所述第二区域为相同语义内容对应的区域；
所述确定模块，还用于将所述M帧图像中与所述目标帧图像的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集；
所述处理模块，用于计算所述参考图像集中每帧参考图像对应的补偿参数，得到补偿参数集；
所述处理模块，还用于采用所述补偿参数集对所述目标帧图像处理，得到所述目标帧图像的超分图像。
6.根据权利要求5所述的装置，其特征在于，所述确定模块，具体用于根据预设的最大参考帧数S，将所述M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的多帧图像，确定为参考图像集，S为大于1的整数；
所述确定模块，具体还用于若所述最大参考帧数S大于或等于N，则将N帧图像确定为所述参考图像集，所述N帧图像为所述M帧图像中与所述目标帧图像之间的内容相似度大于或等于目标阈值的全部图像，N为小于或等于M的整数；或者，若所述最大参考帧数S小于N，则将所述N帧图像中的前S帧图像确定为所述参考图像集；
其中，所述最大参考帧数S电子设备单位时间内处理图像的最大数量。
7.根据权利要求5所述的装置，其特征在于，所述获取模块，还用于在根据所述K个权重和K个区域相似度，确定与所述一帧图像对应的内容相似度之前，对于所述K个区域相似度中的每个区域相似度，获取所述一帧图像中的第一区域的第一语义内容和所述目标帧图像中的所述第二区域的第二语义内容；
所述处理模块，还用于计算所述第一语义内容与所述第二语义内容之间的交叉熵，得到一个区域相似度。
8.根据权利要求5所述的装置，其特征在于，所述获取模块，具体用于以所述目标帧图像为中心，获取所述目标视频文件中，位于所述目标帧图像之前的X帧图像和位于所述目标帧图像之后的Y帧图像，得到所述M帧图像；
其中，M＝X+Y，X、Y均为正整数。
9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至4中的任一项所述的图像处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至4中的任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112410.5A CN113038055B (zh) | 2021-01-27 | 2021-01-27 | 图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110112410.5A CN113038055B (zh) | 2021-01-27 | 2021-01-27 | 图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113038055A CN113038055A (zh) | 2021-06-25 |
| CN113038055B true CN113038055B (zh) | 2023-06-23 |
Family
ID=76459457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110112410.5A Active CN113038055B (zh) | 2021-01-27 | 2021-01-27 | 图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113038055B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661701A (zh) * | 2022-10-09 | 2023-01-31 | 中国科学院半导体研究所 | 实时图像处理方法、装置、电子设备及可读存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN109413334A (zh) * | 2018-12-13 | 2019-03-01 | 浙江舜宇光学有限公司 | 拍摄方法和拍摄装置 |
| CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
| CN110570356A (zh) * | 2019-09-18 | 2019-12-13 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN111047516A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111580765A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 |
| CN111583112A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 视频超分辨率的方法、系统、装置和存储介质 |
| CN111598092A (zh) * | 2020-05-25 | 2020-08-28 | 北京达佳互联信息技术有限公司 | 图像中目标区域的确定方法、目标识别方法及装置 |
| CN111598776A (zh) * | 2020-04-29 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN111614905A (zh) * | 2020-05-29 | 2020-09-01 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN112037129A (zh) * | 2020-08-26 | 2020-12-04 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
| CN112102163A (zh) * | 2020-08-07 | 2020-12-18 | 南京航空航天大学 | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102881000B (zh) * | 2012-09-07 | 2016-05-18 | 华为技术有限公司 | 一种视频图像的超分辨率方法、装置和设备 |
| JP6332951B2 (ja) * | 2013-11-29 | 2018-05-30 | キヤノン株式会社 | 画像処理装置および画像処理方法、およびプログラム |
-
2021
- 2021-01-27 CN CN202110112410.5A patent/CN113038055B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118431A (zh) * | 2018-09-05 | 2019-01-01 | 武汉大学 | 一种基于多记忆及混合损失的视频超分辨率重建方法 |
| CN109413334A (zh) * | 2018-12-13 | 2019-03-01 | 浙江舜宇光学有限公司 | 拍摄方法和拍摄装置 |
| CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
| CN110570356A (zh) * | 2019-09-18 | 2019-12-13 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
| CN111047516A (zh) * | 2020-03-12 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN111580765A (zh) * | 2020-04-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备 |
| CN111583112A (zh) * | 2020-04-29 | 2020-08-25 | 华南理工大学 | 视频超分辨率的方法、系统、装置和存储介质 |
| CN111598776A (zh) * | 2020-04-29 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与电子设备 |
| CN111598092A (zh) * | 2020-05-25 | 2020-08-28 | 北京达佳互联信息技术有限公司 | 图像中目标区域的确定方法、目标识别方法及装置 |
| CN111614905A (zh) * | 2020-05-29 | 2020-09-01 | 维沃移动通信有限公司 | 图像处理方法、图像处理装置和电子设备 |
| CN112102163A (zh) * | 2020-08-07 | 2020-12-18 | 南京航空航天大学 | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 |
| CN112037129A (zh) * | 2020-08-26 | 2020-12-04 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时空特征和神经网络的视频超分辨率算法;李玲慧等;《北京邮电大学学报》(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113038055A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950723B (zh) | 神经网络模型训练方法、图像处理方法、装置及终端设备 | |
| US11042978B2 (en) | Method and apparatus for performing damage segmentation on vehicle damage image | |
| CN108230346B (zh) | 用于分割图像语义特征的方法和装置、电子设备 | |
| CN108416744B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112215171B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| Huang et al. | A new hardware-efficient algorithm and reconfigurable architecture for image contrast enhancement | |
| US20220004849A1 (en) | Image processing neural networks with dynamic filter activation | |
| CN113126862B (zh) | 截屏方法、装置、电子设备以及可读存储介质 | |
| CN112269522A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN112084959A (zh) | 一种人群图像处理方法及装置 | |
| CN115222845A (zh) | 样式字体图片生成方法、装置、电子设备和介质 | |
| CN113038055B (zh) | 图像处理方法、装置及电子设备 | |
| CN110413840B (zh) | 一种构造对视频确定标签的神经网络及其训练的方法 | |
| CN113838134B (zh) | 图像关键点检测方法、装置、终端和存储介质 | |
| CN115188000A (zh) | 基于ocr的文本识别方法、装置、存储介质及电子设备 | |
| CN113721876A (zh) | 投屏处理方法及相关设备 | |
| CN112734658A (zh) | 图像增强方法、装置及电子设备 | |
| CN112511890A (zh) | 视频图像处理方法、装置及电子设备 | |
| CN116884004A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
| CN116596748A (zh) | 图像风格化处理方法、装置、设备、存储介质和程序产品 | |
| CN116311290A (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN112150486B (zh) | 图像处理方法及装置 | |
| CN116823700A (zh) | 一种图像质量的确定方法和装置 | |
| CN109741250B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
| CN114116079A (zh) | 文字显示方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |