CN111445392B - 图像处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法及装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN111445392B
CN111445392B CN202010198676.1A CN202010198676A CN111445392B CN 111445392 B CN111445392 B CN 111445392B CN 202010198676 A CN202010198676 A CN 202010198676A CN 111445392 B CN111445392 B CN 111445392B
Authority
CN
China
Prior art keywords
image
convolution
image block
frequency domain
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010198676.1A
Other languages
English (en)
Other versions
CN111445392A (zh
Inventor
李兴龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010198676.1A priority Critical patent/CN111445392B/zh
Publication of CN111445392A publication Critical patent/CN111445392A/zh
Application granted granted Critical
Publication of CN111445392B publication Critical patent/CN111445392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该图像处理方法包括：获取待处理图像，对待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个图像块均包含待处理图像的全局信息；对各图像块执行第二卷积处理过程，得到与各图像块对应的频域特征；对各频域特征执行第三卷积处理过程，得到与各图像块对应的第一空域特征；对各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征；利用第一空域特征和第二空域特征生成与待处理图像对应的处理后的图像。本公开可以增强图像的质量。

Description

图像处理方法及装置、计算机可读存储介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。
背景技术
超分辨率重建(Super Resolution，SR)是一种通过硬件或软件的方式来提升图像或视频分辨率的技术，其在图像处理技术领域中具有较高的研究价值且应用广泛。
目前，在利用超分辨率重建的方案中，图像的高低频信息较难区分，可能出现图像处理效果差的问题，这限制了的超分辨率重建技术的发展。
发明内容
本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于图像的高低频信息较难区分而导致图像处理效果差的问题。
根据本公开的第一方面，提供了一种图像处理方法，包括：获取待处理图像，对待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个图像块均包含待处理图像的全局信息；对各图像块执行第二卷积处理过程，得到与各图像块对应的频域特征；对各频域特征执行第三卷积处理过程，得到与各图像块对应的第一空域特征；对各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征；利用第一空域特征和第二空域特征生成与待处理图像对应的处理后的图像。
根据本公开的第二方面，提供了一种图像处理装置，包括：图像块生成模块，用于获取待处理图像，对待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个图像块均包含待处理图像的全局信息；频域特征提取模块，用于对各图像块执行第二卷积处理过程，得到与各图像块对应的频域特征；空域特征转换模块，用于对各频域特征执行第三卷积处理过程，得到与各图像块对应的第一空域特征；空域特征提取模块，用于对各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征；图像生成模块，用于利用第一空域特征和第二空域特征生成与待处理图像对应的处理后的图像。
根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
在本公开的一些实施例所提供的技术方案中，利用神经网络的卷积过程对待处理图像进行空域和频域的处理，并将结果融合，生成处理后的图像。一方面，通过空域的处理过程以及频域的处理过程，可以较好的实现图像的分析，区分高低频信息，得到质量增强的图像，显著提升超分辨率重建技术的表现性能；另一方面，本方案整体架构基于神经网络来实现，学习能力强，能应用于各种复杂的图像处理场景；再一方面，本方案首先利用卷积过程得到包含全局信息的图像块，再对图像块进行处理，由此，可以降低网络的带宽和复杂度，使处理过程更加优化；又一方面，本公开的方案不仅可以应用于提升分辨率的场景，还可以应用于去噪、去模糊、修复画面等各种图像处理领域。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本公开实施例的电子设备的结构示意图；
图3示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图；
图4示出了根据本公开的示例性实施方式的在提取图像块时采用卷积核的参数示意图；
图5示出了根据本公开以40×40的待处理图像为例生成多个图像块的示意图；
图6示出了根据本公开的示例性实施方式的图像块提取操作的结果示意图；
图7示出了利用神经网络实现本公开图像处理方法的网络架构图；
图8示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”等仅是为了区分的目的，不应作为本公开内容的限制。
超分辨率重建是一种有效提升图像或视频分辨率的技术。一方面，本公开可以利用基于CNN(Convolutional Neural Networks，卷积神经网络)的SR算法；另一方面，本公开还可以采用非CNN的SR算法，又可被称为传统SR算法。
相比于基于CNN的SR算法，传统SR算法学习能力较低，非线性映射能力弱，无法扩展应用场景。
而基于CNN的SR算法，虽然得到了较好的应用，然而，在图像的处理过程中，高低频信息难以区分，可能出现图像处理效果差的问题。
鉴于此，需要一种新的图像处理方案。
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。
在本公开一个示例性实施方式中，可以仅由电子设备10实现本公开的图像处理过程。其中，该电子设备10可以是手机，然而，还可以是平板、个人计算机、服务器等电子设备。
在这种情况下，电子设备10可以获取存储于电子设备10存储器中的待处理图像，对待处理图像执行第一卷积处理过程，生成多个图像块。其中，每个图像块均包含待处理图像的全局信息。
接下来，电子设备10可以对各图像块执行第二卷积处理过程，得到各图像块对应的频域特征，并对各频域特征执行第三卷积处理过程，得到各图像块对应的第一空域特征。
另外，电子设备10还可以对各图像块执行第四卷积处理过程，得到各图像块对应的第二空域特征。
随后，将第一空域特征和第二空域特征融合，进而生成处理后的图像。其中，处理后的图像可以是相对于待处理图像，图像质量增强后的图像。例如，分辨率得到了提升、去除了噪声、修复了纹理等。
待处理图像可以是电子设备10的摄像模组拍摄出的图像，也可以是来自其他设备的图像。具体的，电子设备10可以接收电子设备11、电子设备12、电子设备13、电子设备14中的一个或多个发送的图像，本公开对电子设备11、电子设备12、电子设备13、电子设备14的设备类型不做限制，例如，电子设备11可以为服务器、电子设备12可以为平板、电子设备13可以为手机、电子设备14可以为个人计算机。
虽然下面的描述中，以例如手机的电子设备为例对本公开的图像处理过程进行说明，然而，应当理解的是，本公开的图像处理过程还可以由服务器执行。在这种情况下，服务器可以获取由一个或多个终端电子设备发送的图片和/或视频，并采用类似于上述的处理过程，实现图像质量增强。
本公开示例性实施方式的图像处理方案的应用场景包括但不限于以下四种：
应用场景一，优化拍照、预览和录像模式下多倍率变焦功能，可以允许进行高倍率的变焦，使拍摄结果更清晰。
应用场景二，增强视频通话、视频会议等场景中视频的质量，提升通话体验。
应用场景三，优化投屏效果，使图像细节更加丰富，可以较好地解决投屏后块效应严重的问题。
应用场景四，优化图片和/或视频的质量，可用于分辨率提升、去除噪声、去模糊、图像修复等各个方面，另外，在老视频、老照片修复方面，本公开的方案也能取得较好的效果。
图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。
具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804、磁传感器2805、加速度传感器2806、距离传感器2807、接近光传感器2808、指纹传感器2809、温度传感器2810、触摸传感器2811、环境光传感器2812及骨传导传感器2813等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。
USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。
移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。
电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。
内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。
电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。
扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。
针对电子设备200包括的传感器，深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定电子设备200的运动姿态。气压传感器2804用于测量气压。磁传感器2805包括霍尔传感器。电子设备200可以利用磁传感器2805检测翻盖皮套的开合。加速度传感器2806可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器2807用于测量距离。接近光传感器2808可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器2809用于采集指纹。温度传感器2810用于检测温度。触摸传感器2811可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器2812用于感知环境光亮度。骨传导传感器2813可以获取振动信号。
按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3，该图像处理方法可以包括以下步骤：
S30.获取待处理图像，对待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个图像块均包含待处理图像的全局信息。
在本公开的示例性实施方式中，待处理图像可以是需要进行质量增强的图像，例如，可以是分辨率低的图像、存在噪声的图像、模糊的图像等。
一方面，可以由用户从相册中选择一张图像作为待处理图像；另一方面，电子设备可以对图像进行分析以确定出待处理图像，例如，通过计算图像的质量分数，如果质量分数小于分数阈值，则可以将该图像作为待处理图像；再一方面，在预定场景下，将获取的图像作为待处理图像。例如，在拍摄预览的场景下，电子设备可以响应拍摄预览的操作，将当前获取的图像作为待处理图像。类似地，也可以配置为在投屏、视频通话等场景下，将图像确定为待处理图像。本公开对待处理图像的来源、确定方式等均不作限制。
在获取到待处理图像后，可以对待处理图像执行第一卷积处理过程，得到多个图像块，这些图像块中的每一个均包含待处理图像的全局信息。其中，全局信息指的是每一个图像块所含的信息与待处理图像本身一致，而并非物理上将图像切分了多个图像块。
根据本公开的一些实施例，可以利用第一卷积层对待处理图像执行卷积处理过程，得到多个图像块。具体的，在获知接下来的频域转换操作(即下述第二卷积处理过程)的图像输入大小为m×m的情况下，第一卷积层可以包括m2个大小为m×m且步长为m的卷积核，另外，卷积对应的填充被设置为0。
参考图4，示例性示出了第一卷积层中各卷积核的权重参数。需要说明的是，在权重参数设定的情况下，在对本公开神经网络进行训练及应用的阶段，第一卷积层中各卷积核的权重参数固定不变，也就是说，在训练阶段，将第一卷积层的权重更新参数设置为零。
应当理解的是，图4中参数的具体数值仅是示例性的描述，还可以存在其他形式，本公开对此不做限制。
图5示例性示出了执行图像分块的过程。参考图5，以40×40的待处理图像为例，采用82个大小为8×8且步长为8的卷积核，得到了64个大小为5×5的图像块。
图6给出了执行图像分块的一个实施例，在待处理图像执行例如上述的图像块提取卷积操作后，可以得到多个图像块。从图6中可以明显看出，这些图像块中的每一个反应出的信息与整个待处理图像一致。
通过上述提取图像块的过程，在随后对图像块进行卷积时，相当于提升了网络的感受野。以8×8的卷积核为例，如果随后对图像块进行3×3的卷积操作，映射到原图(待处理图像)，感受野相当于是24×24。另外，提取图像块的方式还有助于减低整个网络的带宽和复杂度。
此外，需要说明的是，基于上述提取图像块的构思，可以从待处理图像中提取任意大小的图像块，不限于上述的m×m，还可以是任意的m×n图像块。
S32.对各图像块执行第二卷积处理过程，得到与各图像块对应的频域特征。
在从待处理图像中提取多个图像块后，可以对各图像块进行进一步的卷积处理过程，得到各图像块对应的频域特征。
在确定频域特征的过程中，可以采用例如RDN、EDSR、RCAN等残差网络结构。针对提取频域特征的具体过程，可以采用例如DCT(Discrete Cosine Transform，离散余弦变换)、DWT(Discrete Wavelet Transform，离散小波变换)等手段，来提取频域特征。
根据本公开的一些实施例，首先，可以利用第二卷积层对各图像块执行卷积处理，得到与各图像块对应的第一中间频域特征。
具体的，可以计算DCT的变换核的值，并将DCT的变换核的值作为第二卷积层中卷积核的参数，由此，利用第二卷积层对各图像块执行卷积处理。
针对计算DCT的变换核的值的过程，将DCT的变换核记为r(x,y,u,v)，可以利用公式1计算出r(x,y,u,v)：
其中，D(u,v)为变换后的DCT系数，可以采用例如傅里叶变换工具计算出。f(x,y)为图像块的像素信息，经过步骤S30的过程，图像块的像素信息是已知的。由此，可以计算出r(x,y,u,v)。
以图像块大小为8×8为例，一个图像块可以变换为64×1×1的张量，也就是说，上述f(x,y)是一个64×1×1的张量。在这种情况下，利用计算出的r(x,y,u,v)构建一个64×1×1的卷积核，与图像块进行卷积操作后，可以得到与该图像块对应的第一中间频域特征。
在遍历所有图像块均执行上述操作后，可以得到与各图像块对应的第一中间频域特征。
接下来，对各第一中间频域特征进行特征提取，应当理解的是，此处的特征提取相当于执行频域学习，具体可以通过一个或多个级联的卷积层实现，本公开对这些卷积层的权重参数不做限制。对各第一中间频域特征进行特征提取后，可以得到各第一中间频域特征对应的第二中间频域特征；
随后，基于残差网络，将各第一中间频域特征与对应的第二中间频域特征结合，以得到各图像块对应的频域特征。
在上述示例性说明中，采用一个卷积层(即第二卷积层)实现第一中间频域特征的提取。此外，针对确定各图像块对应的频域特征的过程，还可以采用一子网络来实现。
具体的，可以预先构建一目标子网络，该目标子网络例如包括三个卷积层，该目标子网络的输入为图像块且输出为该图像块对应的中间频域特征。可以预先利用训练集对该目标子网络进行训练，得到训练后的目标子网络。
在对待处理图像的处理过程中，可以将待处理图像的各图像块输入该目标子网络，得到与各图像块对应的第三中间频域特征。接下来，对第三中间频域特征进行特征提取，得到与各第三中间频域特征对应的第四中间频域特征。其中，特征提取的过程也可以采用多个卷积层实现。随后。分别将各第三中间频域特征与对应的第四中间频域特征结合，得到与各图像块对应的频域特征。
S34.对各频域特征执行第三卷积处理过程，得到与各图像块对应的第一空域特征。
在确定出各图像块对应的频域特征后，可以采用逆向离散余弦变换(DCT的逆变换，简称IDCT)来实现将频域特征转换为各图像块的第一空域特征。
具体的，可以利用第三卷积层对各频域特征执行卷积处理过程，得到各图像块的第一空域特征。与步骤S32中DCT变换类似地，针对确定第三卷积层中卷积核的参数的过程，可以计算出IDCT的变换核的值，并将IDCT的变换核的值作为第三卷积层中卷积核的参数。
也就是说，在本公开的示例性实施方式中，步骤S32中的DCT变换以及步骤S34中的IDCT变换均可以利用一个卷积层来实现。
S36.对各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征。
电子设备还可以对步骤S30确定出的各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征。在确定第二空域特征的过程中，可以采用例如RDN、EDSR、RCAN等残差网络结构。
根据本公开的一些实施例，首先，可以对各图像块执行卷积处理过程，该卷积过程可以借助于一个或多个级联的卷积层实现，本公开对此处卷积层的数量以及各卷积层中的参数不做限制。由此，可以得到各图像块对应的中间空域特征。
接下来，可以将各图像块的特征(未经过任何处理的原始特征)与中间空域特征结合，得到各图像块的第二空域特征。
S38.利用第一空域特征和第二空域特征生成与待处理图像对应的处理后的图像。
在基于上述步骤得到各图像块的第一空域特征和第二空域特征后，可以利用第一空域特征和第二空域特征生成处理后的图像。
首先，可以将第一空域特征与第二空域特征进行融合，得到融合结果。
根据本公开的一些实施例，可以采用自适应加权融合的方式来实现二者的融合。
具体的，利用第一融合卷积层对第一空域特征执行卷积处理过程，得到第一结果；利用第二融合卷积层对第二空域特征执行卷积处理过程，得到第二结果。再将第一结果与第二结果相加，得到最终的融合结果。
其中，如果将第一融合卷积层的参数记为λD，将第二融合卷积层的参数记为λP，将第一空域特征记为RD，将第二空域特征记为RP，则可以将融合结果R表示为公式2：
R＝λDRD+λPRP (公式2)
根据本公开的另一些实施例，可以采用平均融合的方式来实现二者的融合。具体的，可以将第一空域特征与第二空域特征取平均，将平均的结果作为融合结果。
在确定出每一个图像块的第一空域特征与第二空域特征的融合结果后，接下来，可以利用亚像素卷积层对该融合结果进行处理，生成处理后的图像。也就是说，可以利用亚像素卷积层实现将多个图像块整合成一个图像，作为待处理图像对应的处理后的图像。
下面将参考图7的网络架构对本公开示例性实施方式的图像处理过程进行说明。
假设待处理图像700的大小为Sw×Sh，其中，Sw为待处理图像的宽，Sh为待处理图像的宽。
利用第一卷积层71对待处理图像700执行卷积处理过程，以从待处理图像700提取多个图像块。具体的，在第二卷积层72的图像输入大小为8×8的情况下，如步骤S30中说明的，第一卷积层71利用82个大小为8×8且步长为8的卷积核进行图像块的提取，提取后，得到64个大小为的图像块，也就是说，得到/>的图像张量。
相比于一些神经网络中利用池化层等方式，本公开提取图像块的方案，能够在有效降低图像分辨率的同时，不丢失图像细节信息，即，每个图像块均包含待处理图像700的全局信息。
一方面，第一卷积层71输出的多个图像块可以被输入至第二卷积层72，执行DCT转换过程，得到与各图像块对应的第一中间频域特征。各第一中间频域特征会进一步被多个卷积层进行处理，得到第二中间频域特征。接下来，基于残差网络，将第一中间频域特征与第二中间频域特征相加，得到各图像块对应的频域特征。
随后，利用第三卷积层73对各图像块对应的频域特征执行IDCT变换，得到与各图像块对应的第一空域特征。
另一方面，第一卷积层71输出的多个图像块可以被输入至由一个或多个级联的卷积层组成的空域特征提取网络，得到与各图像块对应的中间空域特征。接下来，基于残差网络，将各图像块的原始特征与中间空域特征相加，得到各图像块对应的第二空域特征。
在分别确定出第一空域特征和第二空域特征后，可以将二者融合，并将融合的结果输入亚像素卷积层74，即可将的图像张量转换为一个大小为Sw×Sh的图像701，图像701即是与待处理图像700对应的处理后的图像。
通过上述的说明，可以看出，本公开示例性实施方式的网络是一个端到端的网络。在训练和应用时，仅需给网络输入一个图像，网络就可自行处理，得到与输入的图像对应的高质量图像。
针对如图7所示的本公开的网络的训练过程，在一个实施例中，可以对网络整体进行统一训练。在另一个实施例中，也可以对频域的处理与空域的处理进行单独的训练，并在训练收敛后进行组合。本公开对此不做限制。
需要说明的是，参考图7，在本公开的示例性方案中，在训练及应用过程中，第一卷积层71、第二卷积层72和第三卷积层73的权重参数不会发生变化。也就是说，在训练及应用阶段，将第一卷积层71、第二卷积层72和第三卷积层73的权重更新参数设置为零。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中还提供了一种图像处理装置。
图8示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图8，根据本公开的示例性实施方式的图像处理装置8可以包括图像块生成模块81、频域特征提取模块83、空域特征转换模块85、空域特征提取模块87和图像生成模块89。
具体的，图像块生成模块81可以用于获取待处理图像，对待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个图像块均包含待处理图像的全局信息；频域特征提取模块83可以用于对各图像块执行第二卷积处理过程，得到与各图像块对应的频域特征；空域特征转换模块85可以用于对各频域特征执行第三卷积处理过程，得到与各图像块对应的第一空域特征；空域特征提取模块87可以用于对各图像块执行第四卷积处理过程，得到与各图像块对应的第二空域特征；图像生成模块89用于利用第一空域特征和第二空域特征生成与待处理图像对应的处理后的图像。
基于本公开示例性实施方式的图像处理装置，一方面，通过空域的处理过程以及频域的处理过程，可以较好的实现图像的分析，区分高低频信息，得到质量增强的图像，显著提升超分辨率重建技术的表现性能；另一方面，本方案整体架构基于神经网络来实现，学习能力强，能应用于各种复杂的图像处理场景；再一方面，本方案首先利用卷积过程得到包含全局信息的图像块，再对图像块进行处理，由此，可以降低网络的带宽和复杂度，使处理过程更加优化；又一方面，本公开的方案不仅可以应用于提升分辨率的场景，还可以应用于去噪、去模糊、修复画面等各种图像处理领域。
根据本公开的示例性实施例，第二卷积处理过程的图像输入大小为m×m。在这种情况下，图像块生成模块81可以被配置为执行：利用第一卷积层对待处理图像执行卷积处理过程，得到多个图像块；第一卷积层包括m2个大小为m×m且步长为m的卷积核；其中，在训练阶段，将第一卷积层的权重更新参数设置为零。
根据本公开的示例性实施例，频域特征提取模块83可以被配置为执行：利用第二卷积层对各图像块执行卷积处理过程，得到与各图像块对应的第一中间频域特征；对各第一中间频域特征进行特征提取，得到与各第一中间频域特征对应的第二中间频域特征；分别将各第一中间频域特征与对应的第二中间频域特征结合，得到与各图像块对应的频域特征。
根据本公开的示例性实施例，频域特征提取模块83利用第二卷积层对各图像块执行卷积处理过程得到与各图像块对应的第一中间频域特征的过程可以被配置为执行：计算正向离散余弦变换的变换核的值；将正向离散余弦变换的变换核的值作为第二卷积层中卷积核的参数；利用第二卷积层对各图像块执行卷积处理过程，得到与各图像块对应的第一中间频域特征。
根据本公开的示例性实施例，频域特征提取模块83计算正向离散余弦变换的变换核的值的过程可以被配置为执行：确定图像块的图像信息；计算变换后的离散余弦变换系数；利用图像块的图像信息和变换后的离散余弦变换系数，计算正向离散余弦变换的变换核的值。
根据本公开的示例性实施例，频域特征提取模块83还可以被配置为执行：预先构建包括多个卷积层的目标子网络，目标子网络的输入为图像块且输出为该图像块对应的中间频域特征；利用训练集对目标子网络进行训练，得到训练后的目标子网络；将待处理图像的各图像块输入目标子网络，得到与各图像块对应的第三中间频域特征；对各第三中间频域特征进行特征提取，得到与各第三中间频域特征对应的第四中间频域特征；分别将各第三中间频域特征与对应的第四中间频域特征结合，得到与各图像块对应的频域特征。
根据本公开的示例性实施例，空域特征转换模块85可以被配置为执行：利用第三卷积层对各频域特征执行卷积处理过程，得到与各图像块对应的第一空域特征；其中，确定第三卷积层中卷积核的参数的过程包括：计算逆向离散余弦变换的变换核的值；将逆向离散余弦变换的变换核的值作为第三卷积层中卷积核的参数。
根据本公开的示例性实施例，空域特征提取模块87可以被配置为执行：对各图像块执行卷积处理过程，得到与各图像块对应的中间空域特征；分别将各图像块的特征与对应的中间空域特征结合，得到与各图像块对应的第二空域特征。
根据本公开的示例性实施例，图像生成模块89可以被配置为执行：将第一空域特征与第二空域特征进行融合，得到融合结果；利用亚像素卷积层对融合结果进行处理，生成与待处理图像对应的处理后的图像。
根据本公开的示例性实施例，图像生成模块89将第一空域特征与第二空域特征进行融合得到融合结果的过程可以被配置为执行：利用第一融合卷积层对第一空域特征执行卷积处理过程，得到第一结果；利用第二融合卷积层对第二空域特征执行卷积处理过程，得到第二结果；将第一结果与第二结果相加，得到融合结果。
由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像，对所述待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个所述图像块均包含所述待处理图像的全局信息；
对各所述图像块执行第二卷积处理过程，得到与各所述图像块对应的频域特征；
对各所述频域特征执行第三卷积处理过程，得到与各所述图像块对应的第一空域特征；
对各所述图像块执行第四卷积处理过程，得到与各所述图像块对应的第二空域特征；
利用所述第一空域特征和所述第二空域特征生成与所述待处理图像对应的处理后的图像；
其中，对各所述图像块执行第二卷积处理过程，得到与各所述图像块对应的频域特征，包括：
预先构建包括多个卷积层的目标子网络，所述目标子网络的输入为图像块且输出为该所述图像块对应的中间频域特征，利用训练集对所述目标子网络进行训练，得到训练后的目标子网络，将所述待处理图像的各所述图像块输入所述目标子网络，得到与各所述图像块对应的第三中间频域特征，对各所述第三中间频域特征进行特征提取，得到与各所述第三中间频域特征对应的第四中间频域特征，分别将各所述第三中间频域特征与对应的第四中间频域特征结合，得到与各所述图像块对应的频域特征。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第二卷积处理过程的图像输入大小为m×m；其中，对所述待处理图像执行第一卷积处理过程，得到多个图像块，包括：
利用第一卷积层对待处理图像执行卷积处理过程，得到多个图像块；所述第一卷积层包括m2个大小为m×m且步长为m的卷积核；
其中，在训练阶段，将所述第一卷积层的权重更新参数设置为零。
3.根据权利要求1所述的图像处理方法，其特征在于，对各所述频域特征执行第三卷积处理过程，得到与各所述图像块对应的第一空域特征，包括：
利用第三卷积层对各所述频域特征执行卷积处理过程，得到与各所述图像块对应的第一空域特征；
其中，确定所述第三卷积层中卷积核的参数的过程包括：
计算逆向离散余弦变换的变换核的值；
将所述逆向离散余弦变换的变换核的值作为所述第三卷积层中卷积核的参数。
4.根据权利要求1所述的图像处理方法，其特征在于，对各所述图像块执行第四卷积处理过程，得到与各所述图像块对应的第二空域特征，包括：
对各所述图像块执行卷积处理过程，得到与各所述图像块对应的中间空域特征；
分别将各所述图像块的特征与对应的中间空域特征结合，得到与各所述图像块对应的第二空域特征。
5.根据权利要求1所述的图像处理方法，其特征在于，利用所述第一空域特征和所述第二空域特征生成与所述待处理图像对应的处理后的图像包括：
将所述第一空域特征与所述第二空域特征进行融合，得到融合结果；
利用亚像素卷积层对所述融合结果进行处理，生成与所述待处理图像对应的处理后的图像。
6.根据权利要求4所述的图像处理方法，其特征在于，将所述第一空域特征与所述第二空域特征进行融合，得到融合结果，包括：
利用第一融合卷积层对所述第一空域特征执行卷积处理过程，得到第一结果；
利用第二融合卷积层对所述第二空域特征执行卷积处理过程，得到第二结果；
将所述第一结果与所述第二结果相加，得到所述融合结果。
7.一种图像处理装置，其特征在于，包括：
图像块生成模块，用于获取待处理图像，对所述待处理图像执行第一卷积处理过程，得到多个图像块；其中，每个所述图像块均包含所述待处理图像的全局信息；
频域特征提取模块，用于对各所述图像块执行第二卷积处理过程，得到与各所述图像块对应的频域特征；
空域特征转换模块，用于对各所述频域特征执行第三卷积处理过程，得到与各所述图像块对应的第一空域特征；
空域特征提取模块，用于对各所述图像块执行第四卷积处理过程，得到与各所述图像块对应的第二空域特征；
图像生成模块，用于利用所述第一空域特征和所述第二空域特征生成与所述待处理图像对应的处理后的图像；
其中，频域特征提取模块被配置为执行：预先构建包括多个卷积层的目标子网络，所述目标子网络的输入为图像块且输出为该所述图像块对应的中间频域特征，利用训练集对所述目标子网络进行训练，得到训练后的目标子网络，将所述待处理图像的各所述图像块输入所述目标子网络，得到与各所述图像块对应的第三中间频域特征，对各所述第三中间频域特征进行特征提取，得到与各所述第三中间频域特征对应的第四中间频域特征，分别将各所述第三中间频域特征与对应的第四中间频域特征结合，得到与各所述图像块对应的频域特征。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法。
9.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至6中任一项所述的图像处理方法。
CN202010198676.1A 2020-03-20 2020-03-20 图像处理方法及装置、计算机可读存储介质和电子设备 Active CN111445392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198676.1A CN111445392B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198676.1A CN111445392B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、计算机可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111445392A CN111445392A (zh) 2020-07-24
CN111445392B true CN111445392B (zh) 2023-09-15

Family

ID=71653384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198676.1A Active CN111445392B (zh) 2020-03-20 2020-03-20 图像处理方法及装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111445392B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN114913565B (zh) * 2021-01-28 2023-11-17 腾讯科技（深圳）有限公司 人脸图像检测方法、模型训练方法、装置及存储介质
CN113177451B (zh) * 2021-04-21 2024-01-12 北京百度网讯科技有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN113096019B (zh) * 2021-04-28 2023-04-18 中国第一汽车股份有限公司 图像重建方法、装置、图像处理设备及存储介质
CN113643210B (zh) * 2021-08-26 2024-09-03 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN113837310B (zh) * 2021-09-30 2023-05-23 四川新网银行股份有限公司 多尺度融合的证件翻拍识别方法、装置、电子设备和介质
CN114359100A (zh) * 2021-12-31 2022-04-15 Oppo广东移动通信有限公司 图像色彩增强方法、装置、存储介质与电子设备
CN115205120A (zh) * 2022-07-26 2022-10-18 中国电信股份有限公司 图像处理方法、图像处理装置、介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN108846440A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN109584142A (zh) * 2018-12-05 2019-04-05 网易传媒科技（北京）有限公司 图像增强系统和方法、训练方法、介质以及电子设备
CN109961397A (zh) * 2018-04-12 2019-07-02 华为技术有限公司 图像重建方法及设备
CN110163803A (zh) * 2019-05-24 2019-08-23 厦门大学 一种基于卷积神经网络的图像超分辨率重建方法及系统
CN110706154A (zh) * 2019-08-28 2020-01-17 西北大学 一种基于层次化残差神经网络的图像超分辨率方法
CN110782395A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 图像处理方法及装置、电子设备和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259997A (zh) * 2018-04-02 2018-07-06 腾讯科技（深圳）有限公司 图像相关处理方法及装置、智能终端、服务器、存储介质
CN109961397A (zh) * 2018-04-12 2019-07-02 华为技术有限公司 图像重建方法及设备
CN108846440A (zh) * 2018-06-20 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法及装置、计算机可读介质和电子设备
CN109584142A (zh) * 2018-12-05 2019-04-05 网易传媒科技（北京）有限公司 图像增强系统和方法、训练方法、介质以及电子设备
CN110163803A (zh) * 2019-05-24 2019-08-23 厦门大学 一种基于卷积神经网络的图像超分辨率重建方法及系统
CN110706154A (zh) * 2019-08-28 2020-01-17 西北大学 一种基于层次化残差神经网络的图像超分辨率方法
CN110782395A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 图像处理方法及装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111445392A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN111445392B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111784614B (zh) 图像去噪方法及装置、存储介质和电子设备
CN111641828B (zh) 视频处理方法及装置、存储介质和电子设备
CN111696039B (zh) 图像处理方法及装置、存储介质和电子设备
CN111161176B (zh) 图像处理方法及装置、存储介质和电子设备
CN112954251B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN111741303B (zh) 深度视频处理方法、装置、存储介质与电子设备
CN113920010A (zh) 图像帧的超分辨率实现方法和装置
CN113096022B (zh) 图像虚化处理方法、装置、存储介质与电子设备
CN111107357B (zh) 一种图像处理的方法、装置、系统及存储介质
CN112037157B (zh) 数据处理方法及装置、计算机可读介质及电子设备
CN116055894B (zh) 基于神经网络的图像去频闪方法和装置
CN113379624B (zh) 图像生成方法、图像生成模型的训练方法、装置及设备
CN113409209B (zh) 图像去模糊方法、装置、电子设备与存储介质
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
CN111626931A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111696037B (zh) 深度图像处理方法及装置、存储介质和电子设备
CN115908221B (zh) 图像处理方法、电子设备及存储介质
CN111626929B (zh) 深度图像的生成方法及装置、计算机可读介质和电子设备
CN117974519B (zh) 一种图像处理方法及相关设备
CN110062226A (zh) 一种视频编码方法、视频解码方法、装置及系统
CN112258498B (zh) 图像故障的检测方法及装置、存储介质和电子设备
CN116051435B (zh) 图像融合方法和电子设备
CN110062225B (zh) 一种图片滤波的方法及装置
CN114612841A (zh) 视频处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant