CN113992618B - 超分辨率图像处理方法、系统、电子设备及存储介质 - Google Patents

超分辨率图像处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113992618B
CN113992618B CN202111225351.9A CN202111225351A CN113992618B CN 113992618 B CN113992618 B CN 113992618B CN 202111225351 A CN202111225351 A CN 202111225351A CN 113992618 B CN113992618 B CN 113992618B
Authority
CN
China
Prior art keywords
image
super
resolution
processed
uploading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111225351.9A
Other languages
English (en)
Other versions
CN113992618A (zh
Inventor
苏安炀
刘星
赵晨旭
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Minglue Technology Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202111225351.9A priority Critical patent/CN113992618B/zh
Publication of CN113992618A publication Critical patent/CN113992618A/zh
Application granted granted Critical
Publication of CN113992618B publication Critical patent/CN113992618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提出一种超分辨率图像处理方法、系统、电子设备及存储介质，其方法技术方案包括终端图像上传步骤，在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将待处理图像上传至一云端服务；图像风格检测步骤，云端服务基于神经网络分类技术对待处理图像进行一风格检测，并根据风格检测的结果调用对应的超分辨率网络；图像超分处理步骤，使用对应的超分辨率网络对待处理图像进行超分辨率处理，得到一高分辨率图像；图像接收处理步骤，将高分辨率图像输出至即时通讯应用中，并基于一用户指令对高分辨率图像进行再操作，再操作包括将高分辨率图像保存至聊天界面中。本申请解决了现有方法缺少对聊天交流环境下的超分辨应用的集成的问题。

Description

超分辨率图像处理方法、系统、电子设备及存储介质
技术领域
本发明属于图像处理技术领域，尤其涉及一种嵌入即时通讯应用的超分辨率图像处理方法、系统、电子设备及存储介质。
背景技术
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。
现有技术缺少对聊天交流环境下的超分辨应用的集成，而聊天交流环境下对超分辨率技术的需求较高。
发明内容
本申请实施例提供了一种超分辨率图像处理方法、系统、电子设备及存储介质，以至少解决现有方法缺少对聊天交流环境下的超分辨应用的集成的问题。
第一方面，本申请实施例提供了一种超分辨率图像处理方法，包括：终端图像上传步骤，在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将所述待处理图像上传至一云端服务；图像风格检测步骤，所述云端服务基于神经网络分类技术对所述待处理图像进行一风格检测，并根据所述风格检测的结果调用对应的超分辨率网络；图像超分处理步骤，使用对应的所述超分辨率网络对所述待处理图像进行超分辨率处理，得到一高分辨率图像；图像接收处理步骤，将所述高分辨率图像输出至所述即时通讯应用中，并基于一用户指令对所述高分辨率图像进行再操作，所述再操作包括将所述高分辨率图像保存至所述聊天界面中。
在其中一些实施例中，所述终端图像上传步骤进一步包括：在所述聊天界面中调用一控件，使用所述控件选取所述聊天界面中的所述待处理图像，并基于对所述控件的跳转指令，跳转至所述即时通讯应用的图像上传界面中进行上传。
在其中一些实施例中，所述终端图像上传步骤进一步包括：在所述聊天界面中对所述待处理图像进行长按操作，并进一步基于所述长按操作触发显示一选项按钮，基于对所述选项按钮的执行指令将所述待处理图像上传至所述云端服务。
在其中一些实施例中，所述图像风格检测步骤进一步包括：根据所述待处理图像的内容将所述待处理图像进行所述风格检测，所述待处理图像的风格包括文字或人像。
在其中一些实施例中，所述图像超分处理步骤进一步包括：当所述待处理图像的边长超过一预设阈值时，将所述待处理图像裁剪成若干部分，以使得所述待处理图像的每个部分的边长符合所述预设阈值的要求，对所述待处理图像的每个部分依次进行超分辨率处理后再进行拼接。
所述图像接收处理步骤进一步包括：所述再操作进一步包括将所述高分辨率图像保存至所述控件中。
第二方面，本申请实施例提供了一种超分辨率图像处理系统，适用于上述一种超分辨率图像处理方法，包括：终端图像上传模块，在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将所述待处理图像上传至一云端服务；图像风格检测模块，所述云端服务基于神经网络分类技术对所述待处理图像进行一风格检测，并根据所述风格检测的结果调用对应的超分辨率网络；图像超分处理模块，使用对应的所述超分辨率网络对所述待处理图像进行超分辨率处理，得到一高分辨率图像；图像接收处理模块，将所述高分辨率图像输出至所述即时通讯应用中，并基于一用户指令对所述高分辨率图像进行再操作，所述再操作包括将所述高分辨率图像保存至所述聊天界面中。
在其中一些实施例中，所述终端图像上传模块进一步包括：在所述聊天界面中调用一控件，使用所述控件选取所述聊天界面中的所述待处理图像，并基于对所述控件的跳转指令，跳转至所述即时通讯应用的图像上传界面中进行上传。
在其中一些实施例中，所述终端图像上传模块进一步包括：在所述聊天界面中对所述待处理图像进行长按操作，并进一步基于所述长按操作触发显示一选项按钮，基于对所述选项按钮的执行指令将所述待处理图像上传至所述云端服务。
在其中一些实施例中，所述图像风格检测模块进一步包括：根据所述待处理图像的内容将所述待处理图像进行所述风格检测，所述待处理图像的风格包括文字或人像。
在其中一些实施例中，所述图像超分处理模块进一步包括：当所述待处理图像的边长超过一预设阈值时，将所述待处理图像裁剪成若干部分，以使得所述待处理图像的每个部分的边长符合所述预设阈值的要求，对所述待处理图像的每个部分依次进行超分辨率处理后再进行拼接。
在其中一些实施例中，所述图像接收处理模块进一步包括：所述再操作进一步包括将所述高分辨率图像保存至所述控件中。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种超分辨率图像处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种超分辨率图像处理方法。
本申请可应用于深度学习技术领域。相比于相关技术，本申请提出了一种在聊天界面中进行图片超分辨率的方法，具有以下优点：
1.本申请将图像超分技术集成在聊天界面中，能够有效减少使用者对聊天过程中图片进行处理的步骤，同时本本申请生成的超分辨率图片将保存在使用者的聊天侧边工具及云端，能够提升使用者在聊天中的体验；
2.本申请在超分过程中对图片类型进行划分，针对性的根据图片类型选用不同的超分网络，以获得更好的处理效果；
3.通过侧边栏或长按上传等方式，能够进一步提升用户操作的便利程度；
4.通过设置对待检测图像的适应性裁剪步骤，进一步提升本申请技术方案的可用性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的超分辨率图像处理方法流程图；
图2为本发明的超分辨率图像处理系统的框架图；
图3为本发明的电子设备的框架图；
以上图中：
1、终端图像上传模块；2、图像风格检测模块；3、图像超分处理模块；4、图像接收处理模块；60、总线；61、处理器；62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的超分辨率图像处理方法流程图，请参见图1，本发明超分辨率图像处理方法包括如下步骤：
S1：在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将待处理图像上传至一云端服务。
可选的，在聊天界面中调用一控件，使用控件选取聊天界面中的待处理图像，并基于对控件的跳转指令，跳转至即时通讯应用的图像上传界面中进行上传。在具体实施中，控件为侧边栏工具。
可选的，在聊天界面中对待处理图像进行长按操作，并进一步基于长按操作触发显示一选项按钮，基于对选项按钮的执行指令将待处理图像上传至云端服务。
在具体实施中，本申请具体实施例中的即时通讯应用包括但不限于微信、企业微信等主流即时通讯应用。
在具体实施中，用户直接调用聊天框中的侧边栏工具，在工具中选择图像超分图片，进入图片上传界面，之后在图片上传界面选择用户聊天中期望上传的图像，该过程支持多选。
在具体实施中，用户在浏览与客户沟通的图片时，可以长按聊天图片，在弹出的选项中上传到云端的图像超分工具中。
在具体实施中，在终端中对图片进行分辨率与图片尺寸的筛选，当图片的最小一边的分辨率大于1024时，将提示用户无法使用超分模块。可选的，可以由用户定义超分的倍率，可为2、3、4倍三种规格。
在具体实施中，首次上传时，弹窗提醒签署用户协议；其他情况下，默认直接上传到云端GPU服务器。
S2：云端服务基于神经网络分类技术对待处理图像进行一风格检测，并根据风格检测的结果调用对应的超分辨率网络。
可选的，根据待处理图像的内容将待处理图像进行风格检测，待处理图像的风格包括文字或人像。
在具体实施中，对上传的图片进行神经网络分类网络处理，目的是针对不同的图片风格进行定制化的超分辨率；在本申请中，包括对几种常见的类别进行针对性的识别：文字、证件、人物与人像、风景及其他。用户上传的图片将被输入分类网络之中，并返回以上各类别的置信度，置信度最高的就认为是该图片的所属类别。
在具体实施中，针对图片风格调用对应的超分辨率网络：本申请实施例中定制了三种超分辨率网络进行超分，分别为文字与证件的超分网络、人物与人像的超分网络、其他类别超分网络，这些超分网络将根据图片所属类别进行调用，以覆盖更全面的使用场景，符合聊天场景的常见图片类型。
在具体实施中，对上传的图片进行神经网络分类网络处理时，不同风格类型的图片由常见的分类神经网络(ResNet18)获取得到。不同风格类型的图片超分辨率网络结构完全一致，但权重参数存在明显差异。具体的，使用相同的超分辨率网络结构、使用不同的图片数据集进行训练，从而获得不同的网络权重。
通用的超分辨率网络权重一般是由多样性的数据集训练获得，针对某一类具体的数据集性能相对较低，适合于日常生活拍摄的超分流程。本申请实施例中使用场景为聊天侧边栏，使用超分的场景更多得出现在文档、证件照等图片风格，因此通过对这些图片的分类，调用专门训练好的超分辨率网络，可提升具体图片风格的超分效果。
S3：使用对应的超分辨率网络对待处理图像进行超分辨率处理，得到一高分辨率图像。
可选的，当待处理图像的边长超过一预设阈值时，将待处理图像裁剪成若干部分，以使得待处理图像的每个部分的边长符合预设阈值的要求，对待处理图像的每个部分依次进行超分辨率处理后再进行拼接。
在具体实施中，在调用对应的超分辨率网络结构后，推理将在云端GPU服务器上进行。将用户上传的图片输入超分辨率网络，网络将返回一张分辨率更高的图片。本申请实施例所提供的超分辨率网络结构最大输入分辨率为512*512，当输入图片的其中一边分辨率大于512时，将图片进行裁剪成多段，依次输入至超分辨率网络结构，并将输出的图片依次拼接。
S4：将高分辨率图像输出至即时通讯应用中，并基于一用户指令对高分辨率图像进行再操作，再操作包括将高分辨率图像保存至聊天界面中。
可选的，再操作进一步包括将高分辨率图像保存至控件中。
在具体实施中，用户对超分后的图片进行人工核对后，本申请实施例提供的再操作包括：1、将超分后的图片保存到侧边栏工具中；2、用户可以选择将超分后的图片下载到本地，进行其他操作；3、用户觉得超分后的效果较差，可以修改超分辨率倍数，在云服务端进行再次超分处理。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种超分辨率图像处理系统，适用于上述的一种超分辨率图像处理方法。如以下所使用的，术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图2为根据本发明的超分辨率图像处理系统的框架图，请参见图2，包括：
终端图像上传模块1：在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将待处理图像上传至一云端服务。
可选的，在聊天界面中调用一控件，使用控件选取聊天界面中的待处理图像，并基于对控件的跳转指令，跳转至即时通讯应用的图像上传界面中进行上传。在具体实施中，控件为侧边栏工具。
可选的，在聊天界面中对待处理图像进行长按操作，并进一步基于长按操作触发显示一选项按钮，基于对选项按钮的执行指令将待处理图像上传至云端服务。
在具体实施中，本申请具体实施例中的即时通讯应用包括但不限于微信、企业微信等主流即时通讯应用。
在具体实施中，用户直接调用聊天框中的侧边栏工具，在工具中选择图像超分图片，进入图片上传界面，之后在图片上传界面选择用户聊天中期望上传的图像，该过程支持多选。
在具体实施中，用户在浏览与客户沟通的图片时，可以长按聊天图片，在弹出的选项中上传到云端的图像超分工具中。
在具体实施中，在终端中对图片进行分辨率与图片尺寸的筛选，当图片的最小一边的分辨率大于1024时，将提示用户无法使用超分模块。可选的，可以由用户定义超分的倍率，可为2、3、4倍三种规格。
在具体实施中，首次上传时，弹窗提醒签署用户协议；其他情况下，默认直接上传到云端GPU服务器。
图像风格检测模块2：云端服务基于神经网络分类技术对待处理图像进行一风格检测，并根据风格检测的结果调用对应的超分辨率网络。
可选的，根据待处理图像的内容将待处理图像进行风格检测，待处理图像的风格包括文字或人像。
在具体实施中，对上传的图片进行神经网络分类网络处理，目的是针对不同的图片风格进行定制化的超分辨率；在本申请中，包括对几种常见的类别进行针对性的识别：文字、证件、人物与人像、风景及其他。用户上传的图片将被输入分类网络之中，并返回以上各类别的置信度，置信度最高的就认为是该图片的所属类别。
在具体实施中，针对图片风格调用对应的超分辨率网络：本申请实施例中定制了三种超分辨率网络进行超分，分别为文字与证件的超分网络、人物与人像的超分网络、其他类别超分网络，这些超分网络将根据图片所属类别进行调用，以覆盖更全面的使用场景，符合聊天场景的常见图片类型。
图像超分处理模块3：使用对应的超分辨率网络对待处理图像进行超分辨率处理，得到一高分辨率图像。
可选的，当待处理图像的边长超过一预设阈值时，将待处理图像裁剪成若干部分，以使得待处理图像的每个部分的边长符合预设阈值的要求，对待处理图像的每个部分依次进行超分辨率处理后再进行拼接。
在具体实施中，在调用对应的超分辨率网络结构后，推理将在云端GPU服务器上进行。将用户上传的图片输入超分辨率网络，网络将返回一张分辨率更高的图片。本申请实施例所提供的超分辨率网络结构最大输入分辨率为512*512，当输入图片的其中一边的分辨率大于512时，将图片进行裁剪成多段，依次输入超分辨率网络结构，并将输出的图片依次拼接。
图像接收处理模块4：将高分辨率图像输出至即时通讯应用中，并基于一用户指令对高分辨率图像进行再操作，再操作包括将高分辨率图像保存至聊天界面中。
可选的，再操作进一步包括将高分辨率图像保存至控件中。
在具体实施中，用户对超分后的图片进行人工核对后，本申请实施例提供的再操作包括：1、将超分后的图片保存到侧边栏工具中；2、用户可以选择将超分后的图片下载到本地，进行其他操作；3、用户觉得超分后的效果较差，可以修改超分辨率倍数，在云服务端进行再次超分处理。
另外，结合图1描述的一种超分辨率图像处理方法可以由电子设备来实现。图3为本发明的电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种超分辨率图像处理方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图3所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种超分辨率图像处理方法。
另外，结合上述实施例中的一种超分辨率图像处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种超分辨率图像处理方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种超分辨率图像处理方法，其特征在于，包括：
终端图像上传步骤，在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将所述待处理图像上传至一云端服务；
图像风格检测步骤，所述云端服务基于神经网络分类技术对所述待处理图像进行一风格检测，并根据所述风格检测的结果调用对应的超分辨率网络；所述超分辨率网络定制了三种所述超分辨率网络进行超分，分别为文字与证件的超分网格、人物与人像的超分网格、其他类别超分网格，所述超分网格将根据图片所属类别进行调用；
图像超分处理步骤，使用对应的所述超分辨率网络对所述待处理图像进行超分辨率处理，得到一高分辨率图像；
图像接收处理步骤，将所述高分辨率图像输出至所述即时通讯应用中，并基于一用户指令对所述高分辨率图像进行再操作，所述再操作包括将所述高分辨率图像保存至所述聊天界面中；
其中，所述终端图像上传步骤进一步包括：
在所述聊天界面中调用一控件，使用所述控件选取所述聊天界面中的所述待处理图像，并基于对所述控件的跳转指令，跳转至所述即时通讯应用的图像上传界面中进行上传；或
在所述聊天界面中对所述待处理图像进行长按操作，并进一步基于所述长按操作触发显示一选项按钮，基于对所述选项按钮的执行指令将所述待处理图像上传至所述云端服务；其中，所述控件为侧边栏工具。
2.根据权利要求1所述的超分辨率图像处理方法，其特征在于，所述图像风格检测步骤进一步包括：
根据所述待处理图像的内容将所述待处理图像进行所述风格检测，所述待处理图像的风格包括文字或人像。
3.根据权利要求1所述的超分辨率图像处理方法，其特征在于，所述图像超分处理步骤进一步包括：
当所述待处理图像的边长超过一预设阈值时，将所述待处理图像裁剪成若干部分，以使得所述待处理图像的每个部分的边长符合所述预设阈值的要求，对所述待处理图像的每个部分依次进行超分辨率处理后再进行拼接。
4.根据权利要求1所述的超分辨率图像处理方法，其特征在于，所述图像接收处理步骤进一步包括：
所述再操作进一步包括将所述高分辨率图像保存至所述控件中。
5.一种超分辨率图像处理系统，其特征在于，包括：
终端图像上传模块，在一终端的即时通讯应用的聊天界面中，选取一待处理图像，并将所述待处理图像上传至一云端服务；
图像风格检测模块，所述云端服务基于神经网络分类技术对所述待处理图像进行一风格检测，并根据所述风格检测的结果调用对应的超分辨率网络；所述超分辨率网络定制了三种所述超分辨率网络进行超分，分别为文字与证件的超分网格、人物与人像的超分网格、其他类别超分网格，所述超分网格将根据图片所属类别进行调用；
图像超分处理模块，使用对应的所述超分辨率网络对所述待处理图像进行超分辨率处理，得到一高分辨率图像；
图像接收处理模块，将所述高分辨率图像输出至所述即时通讯应用中，并基于一用户指令对所述高分辨率图像进行再操作，所述再操作包括将所述高分辨率图像保存至所述聊天界面中；
其中，所述终端图像上传模块进一步包括：
在所述聊天界面中调用一控件，使用所述控件选取所述聊天界面中的所述待处理图像，并基于对所述控件的跳转指令，跳转至所述即时通讯应用的图像上传界面中进行上传；或；在所述聊天界面中对所述待处理图像进行长按操作，并进一步基于所述长按操作触发显示一选项按钮，基于对所述选项按钮的执行指令将所述待处理图像上传至所述云端服务；其中，所述控件为侧边栏工具。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的超分辨率图像处理方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的超分辨率图像处理方法。
CN202111225351.9A 2021-10-21 2021-10-21 超分辨率图像处理方法、系统、电子设备及存储介质 Active CN113992618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111225351.9A CN113992618B (zh) 2021-10-21 2021-10-21 超分辨率图像处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111225351.9A CN113992618B (zh) 2021-10-21 2021-10-21 超分辨率图像处理方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113992618A CN113992618A (zh) 2022-01-28
CN113992618B true CN113992618B (zh) 2023-09-15

Family

ID=79739831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111225351.9A Active CN113992618B (zh) 2021-10-21 2021-10-21 超分辨率图像处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113992618B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110223230A (zh) * 2019-05-30 2019-09-10 华南理工大学 一种多前端深度图像超分辨率系统及其数据处理方法
CN113222813A (zh) * 2021-04-19 2021-08-06 西安电子科技大学 图像超分辨率重建方法、装置、电子设备及存储介质
CN113421189A (zh) * 2021-06-21 2021-09-21 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180011539A (ko) * 2016-07-25 2018-02-02 삼성전자주식회사 영상의 처리를 위한 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110223230A (zh) * 2019-05-30 2019-09-10 华南理工大学 一种多前端深度图像超分辨率系统及其数据处理方法
CN113222813A (zh) * 2021-04-19 2021-08-06 西安电子科技大学 图像超分辨率重建方法、装置、电子设备及存储介质
CN113421189A (zh) * 2021-06-21 2021-09-21 Oppo广东移动通信有限公司 图像超分辨率处理方法和装置、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微信公众号图文系统的设计与实现;董陈晨;《中国优秀硕士论文电子期刊网》;全文 *

Also Published As

Publication number Publication date
CN113992618A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN106911943B (zh) 一种视频展示方法、装置及存储介质
CN108986029B (zh) 文字图像超分辨率重建方法、系统、终端设备及存储介质
KR101638725B1 (ko) 애플리케이션의 문자를 조절하는 방법, 장치, 단말기, 프로그램 및 기록매체
CN110781923A (zh) 特征提取方法及装置
CN110930467A (zh) 图像处理方法、电子设备及可读存储介质
CN104967786A (zh) 图像选择方法及装置
CN111373436A (zh) 图像处理方法、终端设备及存储介质
EP2997715B1 (en) Transmitting information based on reading speed
CN110727810A (zh) 图像处理方法、装置、电子设备及存储介质
CN113992618B (zh) 超分辨率图像处理方法、系统、电子设备及存储介质
CN110378479B (zh) 基于深度学习的图片输入方法、装置及终端设备
CN111049735B (zh) 群组头像显示方法、装置、设备及存储介质
CN111045576B (zh) 显示控制方法、显示控制装置、终端设备和电子设备
CN111626922A (zh) 图片生成方法、装置、电子设备及计算机可读存储介质
CN113569703B (zh) 真实分割点判断方法、系统、存储介质及电子设备
CN113741878B (zh) 基于GraphQL的接口构建方法、系统、电子设备及存储介质
CN115797267A (zh) 图像质量评估方法、系统、电子设备和存储介质
CN113836955A (zh) 一种扫描枪输出配置方法、系统、电子设备及存储介质
CN112507235A (zh) 一种混排物料推荐方法、系统、电子设备及存储介质
CN105469433B (zh) 一种图片压缩方法及其设备
CN114020187A (zh) 字体图标的显示方法、装置及电子设备
CN108921802B (zh) 一种图像处理方法及装置
CN109784226B (zh) 人脸抓拍方法及相关装置
CN113742525A (zh) 自监督视频哈希学习方法、系统、电子设备及存储介质
CN109495772B (zh) 一种视频质量的排序方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230920

Address after: Room 401, 4th Floor, Building J, Yunmi City, No. 19 Ningshuang Road, Yuhuatai District, Nanjing City, Jiangsu Province, 210000

Patentee after: Nanjing Minglue Technology Co.,Ltd.

Address before: 100089 a1002, 10th floor, building 1, yard 1, Zhongguancun East Road, Haidian District, Beijing

Patentee before: MININGLAMP SOFTWARE SYSTEMS Co.,Ltd.

TR01 Transfer of patent right