CN113096021A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113096021A CN113096021A CN201911341097.1A CN201911341097A CN113096021A CN 113096021 A CN113096021 A CN 113096021A CN 201911341097 A CN201911341097 A CN 201911341097A CN 113096021 A CN113096021 A CN 113096021A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- processed
- training
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 248
- 230000009466 transformation Effects 0.000 claims abstract description 156
- 239000011159 matrix material Substances 0.000 claims abstract description 110
- 238000005070 sampling Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims description 123
- 230000015654 memory Effects 0.000 claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 235000019557 luminance Nutrition 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理方法、装置、设备及存储介质，所述方法包括：获取待处理图像和卷积处理模型，所述卷积处理模型是从服务器获取的已训练好的模型，对所述待处理图像进行下采样处理，得到下采样图像，根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，所述目标图像的动态范围高于所述待处理图像的动态范围。通过本申请，在终端实现了根据低动态范围图像生成高动态范围图像，节省了获取高动态范围图像的时间，确保了数据的安全性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展，超高清视频技术取得蓬勃发展，图像采集和观看设备都增加了高动态范围(HDR，High-Dynamic Range)图像的支持。HDR图像相比于传统的标准动态范围(SDR，Standard-Dynamic Range)图像，保留了图像最亮和最暗之间亮度的细节，更能准确的描述亮度差异，以一种更接近人眼所能感知的方式呈现光与影，从而为观众提供更高质量的观看体验。
现有生成HDR图像的方法主要有以下三种：第一种是拍摄多张不同曝光度的图像合并成一个HDR图像，存在无法对现有的SDR图像进行处理的缺陷；第二种是对已有的SDR图像进行变换处理得到多张不同曝光度的图像，再合并成一个HDR图像，仅适用于特定场景(如夜间灯光、建筑阴影等)下的图像；第三种是通过深度学习训练得到的神经网络进行处理，得到HDR图像，该种方法需要将图像上传到服务器进行处理，不仅耗时，而且存在数据安全的问题。
发明内容
有鉴于此，本申请实施例提供了一种图像处理方法、装置、设备及存储介质。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
获取待处理图像和卷积处理模型，所述卷积处理模型是从服务器获取的已训练好的模型；
对所述待处理图像进行下采样处理，得到下采样图像；
根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合；
根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，所述目标图像的动态范围高于所述待处理图像的动态范围。
本申请实施例提供一种图像处理方法，包括：
获取训练数据，其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像；
对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像；
基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型；
发送所述训练好的卷积处理模型至终端。
本申请实施例提供一种图像处理装置，包括：
第一获取模块，用于获取待处理图像和卷积处理模型，所述卷积处理模型是从服务器获取的已训练好的模型；
第一下采样模块，用于对所述待处理图像进行下采样处理，得到下采样图像；
处理模块，用于根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合；
生成模块，用于根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，所述目标图像的动态范围高于所述待处理图像的动态范围。
本申请实施例提供一种图像处理装置，包括：
第二获取模块，用于获取训练数据，其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像；
第二下采样模块，用于对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像；
训练模块，用于基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型；
发送模块，用于发送所述训练好的卷积处理模型至终端。
本申请实施例提供一种图像处理设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的方法。
本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的方法。
本申请提供了一种图像处理方法、装置、设备及存储介质，其中所述方法包括：获取待处理图像，对所述待处理图像进行下采样处理，得到下采样图像，从服务器获取的已训练好的卷积处理模型，根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，然后根据所述待处理图像和所述第一变换矩阵集合，生成高动态范围的目标图像，通过将高分辨率的待处理图像进行下采样处理后再在终端上进行变换、生成等处理，无需上传低动态范围的待处理图像至服务器即可在终端上根据低动态范围图像生成高动态范围图像，节省了获取高动态范围图像的时间，确保了数据的安全性。
附图说明
图1为本申请实施例提供的图像处理方法的网络架构示意图；
图2为本申请实施例提供的图像处理设备100的组成结构示意图；
图3为本申请实施例提供的图像处理方法的一种实现流程示意图；
图4为本申请实施例提供的图像处理方法的另一种实现流程示意图；
图5为本申请实施例提供的图像处理方法的又一种实现流程示意图；
图6为本申请实施例提供的图像处理方法的再一种实现流程示意图；
图7为本申请实施例提供的图像处理方法的再一种实现流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
为了更好地理解本申请实施例，首先对相关技术中的获取高动态范围图像的方法及存在的缺点进行说明。
目前随着互联网技术的发展，超高清视频技术取得蓬勃发展，图像采集和观看设备都增加了高动态范围(HDR)的支持。图像的“动态范围”，是指一个图像中最亮处和最暗处之间的比值。人类眼睛所能感知的最暗和最亮物体之间的差异范围(动态范围)通常为1012，而传统设备最多只能支持103的亮度动态范围。HDR技术将动态范围扩展到105，允许以一种更接近人眼所能感知的方式呈现光与影。在HDR技术之前，使用的是SDR(标准动态范围，也有文档称LDR，以下统一使用SDR)技术，SDR图像将高范围的亮度映射到低范围的亮度区间内，损失了很多图像细节，使得图像最亮和最暗的部分模糊不清。因此从SDR图像生成HDR图片的技术就应运而生。目前获取HDR图像的方法有以下几种：
第一种是在图像拍摄的时候就拍摄数张曝光度不同的图像。例如在拍摄时，拍下以下三张图像：曝光不足的图像、正确曝光的图像和曝光过度的图像。其中，正确曝光的图像是相机将根据其估计的照明拍摄的常规图像；曝光不足的图像比正确曝光的图像更暗，目标是捕捉非常明亮的图像部分；曝光过度的图像比正确曝光的图像更亮，目标是拍摄非常黑暗的图像部分。将拍摄得到的三张图像通过对齐、合并等计算步骤，合成一张HDR图像。
基于多张图像合成的HDR技术需要在图像拍摄的时候就预设好HDR模式，进行多次曝光，采集到不同曝光度下同一场景的多张图像，然后对这些图像进行合成，生成一张包含更多亮度细节的图像。这种方式仅限于在采集图像的时候预设好进行多次曝光才能够实现HDR图像的生成，无法对已有的SDR图像进行处理生成HDR图像。
第二种是对已有的SDR图像，经过计算的方式，对图像进行亮度的变换，缩放亮度范围，或者通过滤波对图像的照度和反射光进行分离，分别进行亮度的变换，达到既补充了亮度细节又去除过程中不该产生的伪影的效果。或者将已有的SDR图像，通过计算生成多张曝光度不同的图像后，再采用第一种方法合成HDR图像。
基于图像计算的方式对SDR图像进行处理，由于SDR图像被压缩掉的亮度信息是丢失的图像信息，单纯对图像的像素亮度进行计算和拉伸等运算进行调整，是无法真正还原丢失掉的亮度信息的。此种生成HDR图像的方法，仅对特定场景或光照条件下(例如夜间灯光下、建筑物阴影等)拍摄的图像能够生成效果较好的HDR图像，无法适应于任意环境下的SDR图像。
第三种是针对已有的图像使用训练好的深度学习的神经网络进行处理，补充亮度细节。基于深度学习的HDR生成，此种方式通过进行大量数据的训练，对于输入的大批量的SDR图片和HDR图片训练出合适的处理模型之后，将SDR图片输入训练好的处理模型，计算得出HDR图片，此种方式能够在大量数据训练的基础上，使得输出的HDR图像与接收到的SDR图像的目标图像差异较小，得到效果较好的HDR图片。
但基于深度学习的神经网络进行处理生成HDR图像的方式，需要在较强运算能力的服务器上进行运算，无法应用在普通的移动终端。用户在进行HDR图像生成时，需要将SDR图像上传到服务器端进行处理，操作复杂、耗时，且上传SDR图像至服务器端，影响用户的数据安全。
基于以上问题，在本申请实施例中提供了一种图像处理方法，终端获取待处理图像，对其进行下采样处理得到下采样图像；从服务器获取的已训练好的卷积处理模型，根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，然后根据所述待处理图像和所述第一变换矩阵集合，生成高动态范围的目标图像，通过将高分辨率的待处理图像进行下采样处理后再在终端上进行变换、生成等处理，无需上传低动态范围的待处理图像至服务器即可在终端上根据低动态范围图像生成高动态范围图像，节省了获取高动态范围图像的时间，确保了数据的安全性。
下面说明实现本申请实施例的装置的示例性应用，本申请实施例提供的装置可以实施为终端设备。下面，将说明装置实施为终端设备时涵盖终端设备的示例性应用。
参见图1，图1为本申请实施例提供的图像处理方法的网络架构示意图，如图1所示，在该网络架构中至少包括图像处理设备100、服务器200和网络300。为实现支撑一个示例性应用，图像处理设备100通过网络300连接服务器200，网络300可以是局域网或者广域网。
当用户通过图像处理设备100需要根据低动态范围的SDR图像生成高动态范围的HDR图像时，先获取低动态范围的待处理图像，通过网络300向服务器200发送请求信息，该请求信息用于请求获取卷积处理模型。服务器200根据获取的请求信息，确定并发送响应信息至图像处理设备100，该响应信息中包括有在服务器上训练好的卷积处理模型。图像处理设备100根据接收到的卷积处理模型和获取的待处理图像，生成对应于所述待处理图像的高动态范围图像，以使用户得到具备更多亮度和细节信息的图像。
本申请实施例提供的装置可以实施为硬件或者软硬件结合的方式，下面说明本申请实施例提供的装置的各种示例性实施。
根据图2示出的图像处理设备100的示例性结构，可以预见图像处理设备100的其他的示例性结构，因此这里所描述的结构不应视为限制，例如可以省略下文所描述的部分组件，或者，增设下文所未记载的组件以适应某些应用的特殊需求。
图2所示的图像处理设备100包括：至少一个处理器110、存储器140、至少一个网络接口120和用户接口130。图像处理设备100中的每个组件通过总线系统150耦合在一起。可理解，总线系统150用于实现这些组件之间的连接通信。总线系统150除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统150。
用户接口130可以包括显示器、键盘、鼠标、触感板和触摸屏等。
存储器140可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器140旨在包括任意适合类型的存储器。
本申请实施例中的存储器140能够存储数据以支持图像处理设备100的操作。这些数据的示例包括：用于在图像处理设备100上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
作为本申请实施例提供的方法采用软件实施的示例，本申请实施例所提供的方法可以直接体现为由处理器110执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器140，处理器110读取存储器140中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器110以及连接到总线150的其他组件)完成本申请实施例提供的方法。
作为示例，处理器110可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
将结合本申请实施例提供的终端的示例性应用和实施，说明本申请实施例提供的图像处理方法。
参见图3，图3为本申请实施例提供的图像处理方法的一种实现流程示意图，应用于图1所示的网络架构中的图像处理设备，具体可以为终端，所述终端至少包括显示屏，可以在显示屏上输出目标图像，将结合图3示出的步骤进行说明。
步骤S301，获取待处理图像和卷积处理模型。
其中，所述卷积处理模型是从服务器获取的已训练好的模型。
当用户需要生成一个HDR的目标图像时，先获取预生成HDR目标图像对应的SDR图像，将该SDR图像确定为待处理图像。实际应用中，该待处理图像可以为用户采用终端的摄像头实时拍摄得到的图像，也可以之前拍摄的、保存在终端的图像，还可以为终端从其他终端接收的图像，本实施例对待处理图像的来源不做具体限定。终端获取到待处理图像后，无需上传至服务器，确保了数据的安全性。
终端获取卷积处理模型，先在自身的存储器中查找，是否已存储有此前获取的卷积处理模型，当没有存储时，从服务器获取卷积处理模型。其中，所述卷积处理模型为服务器使用同一张图片的不同曝光程度的图像进行深度学习训练得到的模型。通过服务器完成卷积处理模型的训练操作，终端从服务器接收后直接使用即可，使得在处理能力低的终端侧生成HDR图像成为可能。
终端可以先获取SDR图像，在需要生成HDR图像时，再从服务器获取卷积处理模型，也可以先获取卷积处理模型，再获取SDR图像，本实施例对其获取的先后顺序不做限定。终端在获取到卷积处理模型后，同时保存该卷积处理模型，当用户下一次再生成HDR图像时，无需再重复的从服务器接收卷积处理模型，减少了传输数据，缩短了再次生成HDR图像的时间。
步骤S302，对所述待处理图像进行下采样处理，得到下采样图像。
由于终端的处理能力及处理速度均不及服务器，为了在终端侧生成HDR的目标图像，终端在获取到待处理图像后，先对高分辨率的待处理图像进行下采样处理，得到低分辨率的下采样图像。
具体的，先确定待处理图像的分辨率，根据分辨率的大小和预设分辨率大小，确定下采样系数，其中，预设分辨率大小即为预得到的下采样图像的分辨率，然后根据下采样系数对待处理图像进行下采样处理，得到下采样图像。
在具体的实施过程中，预设分辨率的大小可以由用户预先定义，一般的，可以将预设分辨率定义为256×256。经过下采样处理后得到一个分辨率为256×256的低分辨率图像，采用低分辨率图像可以减少在终端上进行的运算量，从而加快终端上生成HDR图像的速度。
步骤S303，根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合。
由于卷积处理模型为服务器根据同一张图像的不同曝光程度图像进行深度学习训练得到的模型，因此具备不同曝光程度的特征信息。根据卷积处理模型对下采样图像进行变换处理，得到一系列对下采样图像进行曝光转换的第一变换矩阵。
其中，第一变换矩阵集合中的每个第一变换矩阵代表一个图像的曝光程度，第一变换矩阵中的元素代表下采样图像上的对应位置的像素的变换系数。
步骤S304，根据所述待处理图像和所述第一变换矩阵集合，生成目标图像。
其中，所述目标图像的动态范围高于所述待处理图像的动态范围。
这里，分别对上步处理得到的第一变换矩阵集合中的第一变换矩阵进行进一步处理，得到多个大小与待处理图像分辨率大小相等的第二变换矩阵，根据多个第二变换矩阵每个元素分别对待处理图像的对应像素进行变换处理，生成待处理图像对应的HDR图像，确定其为目标图像。
本申请实施例中提供的图像处理方法中，终端获取待处理图像，对所述待处理图像进行下采样处理，得到下采样图像，从服务器获取的已训练好的卷积处理模型，根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，然后根据所述待处理图像和所述第一变换矩阵集合，生成高动态范围的目标图像，通过将高分辨率的待处理图像进行下采样处理后再在终端上进行变换、生成等处理，无需上传低动态范围的待处理图像至服务器即可在终端上根据低动态范围图像生成高动态范围图像，节省了获取高动态范围图像的时间，确保了数据的安全性。
在一些实施例中，图3所示的步骤S304“根据所述待处理图像和所述第一变换矩阵集合，生成目标图像”可以通过下述的步骤S3041至步骤S3043实现，以下结合各个步骤进行说明。
步骤S3041，对所述待处理图像进行灰度处理，生成包含边缘亮度信息的灰度图。
由于第一变换矩阵是根据低分辨率的下采样图像处理得到的，第一变换矩阵的大小与下采样图像分辨率大小相同，小于待处理图像的分辨率大小。为了得到与待处理图像相同分辨率的目标图像，需要对第一变换矩阵进行上采样处理。通过待处理图像引导上采样处理，使得上采样处理后得到的第二变换矩阵的大小等于目标图像分辨率的大小。
由于HDR图像是为了获得更多的亮度细节，不涉及颜色特征信息，即进行上采样时，颜色特征信息为不必要的特征信息。基于此，在对待处理图像进行变换之前，先对其进行灰度处理，生成包含边缘亮度信息的灰度图，去除了待处理图像中不必要的特征信息。根据去除不必要特征信息后的灰度图引导上采样处理，提高了终端的处理速度。
步骤S3042，根据所述灰度图和所述第一变换矩阵集合，生成第二变换矩阵集合。
其中，所述第二变换矩阵集合中的各个第二变换矩阵的大小与待处理图像的大小相同。
在保留了边缘亮度信息的灰度图的引导下，对第一变换矩阵集合中不同曝光程度的第一变换矩阵分别进行上采样，得到多个与灰度图分辨率大小相等的第二变换矩阵，由多个第二变换矩阵确定第二变换矩阵集合。
根据灰度图和第一变换矩阵集合生成第二变换矩阵集合的一种具体实现方式是：先根据所述第一变换矩阵集合中的各个第一变换矩阵和所述灰度图，确定各个第一变换矩阵对应的插值信息，然后根据各个插值信息对所述各个第一变换矩阵进行插值处理，生成各个第二变换矩阵，从而得到第二变换矩阵集合。
步骤S3043，根据所述第二变换矩阵集合对所述待处理图像进行变换处理，生成目标图像。
第二变换矩阵集合中的第二变换矩阵的元素代表待处理图像上对应位置的像素的变换系数。根据第二变换矩阵集合与待处理图像进行变换处理，得到不同曝光度的中间图像，然后将这些不同曝光度的中间图像进行合并，得到目标图像。
本实施例根据待处理图像进行灰度处理后得到的灰度图引导第一变换矩阵集合生成矩阵大小与待处理图像的大小相同的第二变换矩阵集合，加快了终端的生成目标图像的处理速度。
在一些实施例中，上述的步骤S3043“根据所述第二变换矩阵集合对所述待处理图像进行变换处理，生成目标图像”可以通过下述的步骤S30431至步骤S30432实现，以下结合各个步骤进行说明。
步骤S30431，根据所述第二变换矩阵集合中的各个第二变换矩阵分别对所述待处理图像的每个像素进行逐一变换处理，对应得到各个中间图像。
第二变换矩阵集合中的第二变换矩阵的元素代表待处理图像上对应位置的像素的变换系数，根据各个第二变换矩阵对应位置的变换系数，对待处理图像的每个像素进行逐一变换处理，得到各个第二变换矩阵对应的各个不同曝光程度的中间图像。
步骤S30432，对所述各个中间图像进行融合处理，生成目标图像。
在多个不同曝光程度的中间图像中，选取曝光程度高的图像的弱光部分及曝光程度低的图像的强光部分，将其进行合成，得到目标图像。
具体的，先获取各个中间图像的曝光系数，然后基于各个中间图像的曝光系数，从各个中间图像中确定第一目标中间图像和第二目标中间图像，该第一目标中间图像的曝光系数大于第一曝光阈值，第二目标中间图像的曝光系数小于第二曝光阈值。其中，第一曝光阈值大于或等于第二曝光阈值，确定的第一目标中间图像为曝光程度高的图像，提高了待处理图像的整体亮度，第二目标中间图像为曝光程度低的图像，降低了待处理图像的整体亮度。
得到不同曝光程度的第一目标中间图像和第二目标中间图像后，从所述第一目标中间图像中确定第一图像区域，从所述第二目标中间图像中确定第二图像区域，所述第一图像区域的亮度小于第一亮度阈值，第二图像区域的亮度大于第二亮度阈值。其中，第一亮度阈值小于或等于第二亮度阈值，确定的第一图像区域对应待处理图像中亮度较暗的区域，第二图像区域对应待处理图像中亮度较亮的区域。
最后将所述第一图像区域和所述第二图像区域进行合并，得到目标图像。根据亮度提高了的第一目标中间图像中的弱光区域，与亮度降低了的第二目标中间图像的强光区域，合并得到目标图像。
当第一中间目标图像、第二中间目标图像为多个时，先根据曝光系数确定合并权重，然后再合并为一个目标图像。若第一图像区域与第二图像区域的合并区域小于待处理图像，表明存在亮度处于第一亮度阈值和第二亮度阈值的第三中间目标图像。生成目标图像时无需对该第三中间目标图像的图像区域进行处理，但在合并时，需要将该区域也进行合并，从而得到一个完成的目标图像。
本实施例根据第二变换矩阵集合对待处理图像进行变换处理，得到多个不同曝光程度的中间图像，选取曝光程度较高的中间图像中的弱光区域与曝光程度较低的中间图像中的强光区域进行合成，得到一个目标图像，从而实现了在终端上根据低动态范围图像生成高动态范围图像。
在一些实施例中，图3所示的步骤S303“根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的矩阵集合”可以通过下述的步骤S3031至步骤S3032实现，以下结合各个步骤进行说明。
步骤S3031，提取所述下采样图像的局部特征信息和全局特征信息。
步骤S3032，将所述局部特征信息和全局特征信息输入至所述卷积处理模型，得到表征曝光程度的第一变换矩阵集合。
本实施例中，可以采用现有的特征提取方法提取下采样图像的局部特征信息和全局特征信息，将提取的信息作为输入数据输入至卷积处理模型，确定第一变换矩阵集合。由于卷积处理模型是由多个不同曝光程度的训练数据训练得到的，因此，输入提取信息后，可以得到不同曝光程度的多个第一变换矩阵。再由这些第一变换矩阵得到表征曝光程度的第一变换矩阵集合，从而可以得到待处理图像对应的下采样图像的不同曝光程度的多个图像，计算简单，可以在低处理能力的终端上进行，使得在终端上生成HDR图像成为可能。
参见图4，图4为本申请实施例提供的图像处理方法的另一种实现流程示意图，应用于图1所示的网络架构中的服务器，将结合图4示出的步骤进行说明。
步骤S401，获取训练数据。
其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像。
步骤S402，对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像。
将高分辨率的训练图像进行下采样处理，得到低分辨率的训练图像，然后将低分辨率的训练图像作为输入数据，进行训练，减少了训练数据量，提高了训练速度。
步骤S403，基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型。
通过在服务器使用同一张图像在不同曝光程度下的图像进行深度学习，训练得到卷积处理模型。
本实施例中，训练时使用的损失函数是在下采样前的高分辨率训练图像下进行的损失计算，当损失达到预期的范围内时，确定卷积处理模型训练完成。此时，根据训练好的卷积处理模型得到的预测图像与实际的HDR图像的差异较小，满足用户要求。
步骤S404，发送所述训练好的卷积处理模型至终端。
这里，服务器可在接收到获取卷积处理模型的请求消息后发送卷积处理模型，也可以在与终端成功连接后就将训练好的卷积处理模型发送至终端。
本申请实施例中提供的图像处理方法中，服务器获取训练数据，对训练数据中的参考图像和各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像，然后基于参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型，将训练好的卷积处理模型发送至终端，以在终端生成HDR的目标图像。通过在处理能力强的服务器上训练卷积处理模型，训练完成后将训练好的卷积处理模型发送至终端，从而使得在处理能力低的终端上生成HDR的目标图像成为可能，服务器无需接收终端发送的低动态范围图像，确保了数据的安全性。
在一些实施例中，图4所示的步骤S403“基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型”可以通过下述的步骤S4031至步骤S4033实现，以下结合各个步骤进行说明。
步骤S4031，分别提取所述参考图像和各个第一训练图像的局部特征信息和全局特征信息。
这里，可以采用现有的特征提取方法对不同曝光程度的训练图像进行部分特征和全局特征提取，得到参考图像和各个第一训练图像的局部特征信息和全局特征信息。
步骤S4032，将所述参考图像和各个第一训练图像的局部特征信息和全局特征信息输入到预设的卷积处理模型，得到预测图像。
将上步提取到的局部特征信息和全局特征信息作为训练的输入数据，输入至预设的卷积处理模型进行训练，得到的输出数据即为预测图像。
步骤S4033，利用所述预测图像和所述目标参考图像对卷积处理模型的参数进行调整，得到训练好的卷积处理模型。
将预测图像与参考图像对应的真实的目标参考图像进行损失估计，当损失过大，超过预设的损失范围时，对卷积处理模型进行调整，再次将局部特征信息和全局特征信息作为输入数据获取新的预测图像，直到损失在预设范围时结束训练，从而得到训练好的卷积处理模型。
本实施例通过在处理能力强的服务器端进行训练，减少了终端生成HDR图像时的计算数据量，相比在终端进行训练，提高了训练速度，从而加快了终端生成HDR图像的处理速度。
基于上述的实施例，本申请实施例再提供一种图像处理方法，应用于图1所示的网络架构，图5为本申请实施例提供的图像处理方法的又一种实现流程示意图，如图5所示，所述方法包括：
步骤S501，服务器获取训练数据。
其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像。
步骤S502，服务器对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像。
将高分辨率的训练图像进行下采样处理，得到低分辨率的训练图像，然后将低分辨率的训练图像作为输入数据，进行训练，减少了训练数据量，提高了训练速度。
步骤S503，服务器分别提取所述参考图像和各个第一训练图像的局部特征信息和全局特征信息。
步骤S504，服务器将所述参考图像和各个第一训练图像的局部特征信息和全局特征信息输入到预设的卷积处理模型，得到预测图像。
将下采样图像的局部特征信息和全局特征信息作为训练的输入数据，输入至预设的卷积处理模型进行训练，得到的输出数据即为预测图像。
步骤S505，服务器利用所述预测图像和所述目标参考图像对卷积处理模型的参数进行调整，得到训练好的卷积处理模型。
服务端进行深度学习训练的目标为将同一图像在不同曝光程度下的图像的亮度变换模型化，根据预测图像与真实的目标参考图像之间的像素差值进行损失估计，通过训练得到像素差值在可以接受范围内的卷积处理模型。
步骤S506，终端获取待处理图像。
其中，该待处理图像为预生成HDR的目标图像对应的SDR图像。终端获取到待处理图像后，无需上传至服务器，确保了数据的安全性。
步骤S507，终端对所述待处理图像进行下采样处理，得到下采样图像。
为了在低处理能力的终端上生成HDR的目标图像，终端在获取到待处理图像后，先对高分辨率的待处理图像进行下采样处理，得到低分辨率的下采样图像，以减少终端计算数据量。
步骤S508，终端获取卷积处理模型。
这里，所述卷积处理模型是从服务器获取的已训练好的模型。
步骤S509，终端提取所述下采样图像的局部特征信息和全局特征信息。
本实施例中，可以采用现有的特征提取方法提取下采样图像的局部特征信息和全局特征信息，此处不再赘述。
步骤S510，终端将所述局部特征信息和全局特征信息输入至所述卷积处理模型，得到表征曝光程度的第一变换矩阵集合。
由于卷积处理模型是由多个不同曝光程度的训练数据训练得到的，因此，将提取的信息作为输入数据输入至卷积处理模型后，可以得到不同曝光程度的多个第一变换矩阵。
步骤S511，终端对所述待处理图像进行灰度处理，生成包含边缘亮度信息的灰度图。
在对待处理图像进行变换之前，先对其进行灰度处理，生成包含边缘亮度信息的灰度图，去除了待处理图像中不必要的特征信息。根据去除不必要特征信息后的灰度图引导上采样处理，提高了终端的处理速度。
步骤S512，终端根据所述第一变换矩阵集合中的各个第一变换矩阵和所述灰度图，确定各个第一变换矩阵对应的插值信息。
本实施例中，采用插值进行上采样，具体的，将灰度图作为引导图确定符合待处理图像特征的具体插值，根据确定的插值对各个第一变换矩阵进行插值上采样。
步骤S513，终端根据各个插值信息对所述各个第一变换矩阵进行插值处理，生成各个第二变换矩阵，得到第二变换矩阵集合。
其中，所述第二变换矩阵集合中的各个第二变换矩阵的大小与待处理图像的大小相同。
步骤S514，终端根据所述第二变换矩阵集合中的各个第二变换矩阵分别对所述待处理图像的每个像素进行逐一变换处理，对应得到各个中间图像。
第二变换矩阵集合中的第二变换矩阵的元素代表待处理图像上对应位置的像素的变换系数，根据各个第二变换矩阵对应位置的变换系数，对待处理图像的每个像素进行逐一变换处理，得到各个第二变换矩阵对应的各个不同曝光程度的中间图像。
步骤S515，终端获取各个中间图像的曝光系数。
步骤S516，终端基于各个中间图像的曝光系数，从各个中间图像中确定第一目标中间图像和第二目标中间图像。
其中，第一目标中间图像的曝光系数大于第一曝光阈值，第二目标中间图像的曝光系数小于第二曝光阈值，第一曝光阈值大于或等于第二曝光阈值。
确定的第一目标中间图像为曝光程度高的图像，提高了待处理图像的整体亮度，第二目标中间图像为曝光程度低的图像，降低了待处理图像的整体亮度。
步骤S517，终端从所述第一目标中间图像中确定第一图像区域，从所述第二目标中间图像中确定第二图像区域。
其中，所述第一图像区域的亮度小于第一亮度阈值，第二图像区域的亮度大于第二亮度阈值，第一亮度阈值小于或等于第二亮度阈值。
确定的第一图像区域对应待处理图像中亮度较暗的区域，第二图像区域对应待处理图像中亮度较亮的区域。
步骤S518，终端将所述第一图像区域和所述第二图像区域进行合并，得到目标图像。
其中，所述目标图像的动态范围高于所述待处理图像的动态范围。
根据亮度提高了的第一目标中间图像中的弱光区域，与亮度降低了的第二目标中间图像的强光区域，合并得到动态范围高于待处理图像的目标图像。
本申请实施例提供的图像处理方法，在服务器上根据训练数据训练卷积处理模型，将训练好的卷积处理模型发送至终端，终端获取待处理图像后，对其进行下采样处理得到下采样图像，根据获取的卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，然后根据所述待处理图像和所述第一变换矩阵集合，生成高动态范围的目标图像，通过将高分辨率的待处理图像进行下采样处理后再在终端上进行变换、生成等处理，无需上传低动态范围的待处理图像至服务器即可在终端上根据低动态范围图像生成高动态范围图像，节省了获取高动态范围图像的时间，确保了数据的安全性。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种图像处理方法，图6为本申请实施例提供的图像处理方法的再一种实现流程示意图，如图6所示，所述方法包括：
步骤S601，终端第一获取模块获取用户输入的待处理图像。例如，用户输入的待处理图像为分辨率为1080p的高分辨率图像。
步骤S602，下采样模块将待处理图像进行下采样处理，得到低分辨率的下采样图像。通过对1080p的高分辨率待处理图像进行下采样，得到480p的低分辨率下采样图像。
步骤S603，第一提取特征模块对低分辨率的下采样图像进行卷积处理，提取特征值。
步骤S604，第一变换矩阵模块根据提取的特征值和从服务器获取的不同曝光率下的卷积处理模型进行计算，获得第一变换矩阵集合。
通过将低分辨率的下采样图像的全局特征信息和局部特征信息作为输入数据，输入至从服务器获取的已训练好的卷积处理模型，获得与低分辨率图像具有相同分辨率的不同曝光程度的图像的第一变换矩阵集合{A}，每个第一变换矩阵对应一个曝光系数。
步骤S605，灰度处理模块根据待处理图像生成保留边缘信息的灰度图。
步骤S606，第二变换矩阵模块根据灰度图和第一变换矩阵集合进行变换处理，得到一系列与待处理图像分辨率大小相等的第二变换矩阵，即第二变换矩阵集合。
将待处理图像的边缘亮度信息通过灰度图记录下来，引导对第一变换矩阵集合{A}进行上采样处理，得到与待处理图像具有相同分辨率大小的第二变换矩阵集合{A’}。
步骤S607，处理模块使用第二变换矩阵集合与待处理图像进行逐像素处理，得到待处理图像相对应的一系列的多张不同曝光度的图像。
结合待处理图片以及不同曝光程度对应的第二变换矩阵集合{A’}，计算得出对应待处理图像的多个不同曝光程度的图像。
步骤S608，合成模块通过对多张不同曝光度的图像进行合成，得到高动态范围图片。
对多个不同曝光程度的图像进行合并，例如去重、去噪、亮度选取等处理，得到与待处理图像分辨率相等(即1080p)的高动态范围图像。
本实施例提供的图像处理方法，是基于深度学习的HDR图片生成方法，首先对高分辨率的待处理图像进行下采样处理，使得后续的图像运算大部分基于低分辨率图像，获取服务器针对不同曝光程度的图像进行训练得到能够预测单张图像不同曝光系数的卷积处理模型，从而结合下采样图片，获得不同曝光图像的各个第一变换矩阵，然后对各个第一变换矩阵进行由待处理图像的边缘亮度信息引导的上采样处理，得到可以应用到待处理图像上的各个第二变换矩阵，以生成多个不同曝光的图像，再将生成的多个不同曝光的图像进行合成运算，从而达到获得图像上不同光照亮度细节的目的，生成一个高动态范围图像，使得在运算处理能力有限的终端(如智能手机、平板电脑等)上实现了低动态范围图像的亮度恢复处理，相比于传统的生成HDR图像方法，降低了运算复杂度。
本申请实施例提供一种图像处理方法，图7为本申请实施例提供的图像处理方法的再一种实现流程示意图，如图7所示，所述方法包括：
步骤S701，服务器第二获取模块获取训练数据。
训练数据中包括的SDR图像中具有同一个图像在不同曝光程度下的多张图像。
步骤S702，第二提取特征模块将SDR图像下采样后图像进行多次卷积处理，提取全局特征信息和局部特征信息。
步骤S703，训练模块将提取的全局特征信息和局部特征信息输入训练模型进行训练，得到预测图片，使用训练数据中包括的真实目标图像进行损失估计，在损失小于预设值时结束训练，得到训练好的卷积处理模型。
步骤S704，发送模块将训练好的卷积处理模型下发至终端。
下面继续说明本申请实施例提供的图像处理装置80的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器140的图像处理装置80中的软件模块可以包括：
第一获取模块81，用于获取待处理图像和卷积处理模型。
这里，所述卷积处理模型是从服务器获取的已训练好的模型。
第一下采样模块82，用于对所述待处理图像进行下采样处理，得到下采样图像。
处理模块83，用于根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合。
生成模块84，用于根据所述待处理图像和所述第一变换矩阵集合，生成目标图像。
其中，所述目标图像的动态范围高于所述待处理图像的动态范围。
在一些实施例中，所述处理模块83，进一步包括：
第一提取子模块，用于提取所述下采样图像的局部特征信息和全局特征信息。
第一输入子模块，用于将所述局部特征信息和全局特征信息输入至所述卷积处理模型，得到表征曝光程度的第一变换矩阵集合。
在一些实施例中，所述生成模块84，进一步包括：
灰度处理子模块，用于对所述待处理图像进行灰度处理，生成包含边缘亮度信息的灰度图。
生成子模块，用于根据所述灰度图和所述第一变换矩阵集合，生成第二变换矩阵集合。
其中，所述第二变换矩阵集合中的各个第二变换矩阵的大小与待处理图像的大小相同。
变换子模块，用于根据所述第二变换矩阵集合对所述待处理图像进行变换处理，生成目标图像。
在一些实施例中，所述生成子模块，进一步包括：
确定单元，用于根据所述第一变换矩阵集合中的各个第一变换矩阵和所述灰度图，确定各个第一变换矩阵对应的插值信息。
插值单元，用于根据各个插值信息对所述各个第一变换矩阵进行插值处理，生成各个第二变换矩阵，得到第二变换矩阵集合。
在一些实施例中，所述变换子模块，进一步包括：
变换单元，用于根据所述第二变换矩阵集合中的各个第二变换矩阵分别对所述待处理图像的每个像素进行逐一变换处理，对应得到各个中间图像。
融合单元，用于对所述各个中间图像进行融合处理，生成目标图像。
在一些实施例中，所述融合单元，进一步包括：
获取子单元，用于获取各个中间图像的曝光系数。
第一确定子单元，用于基于各个中间图像的曝光系数，从各个中间图像中确定第一目标中间图像和第二目标中间图像。
其中，第一目标中间图像的曝光系数大于第一曝光阈值，第二目标中间图像的曝光系数小于第二曝光阈值。
第二确定子单元，用于从所述第一目标中间图像中确定第一图像区域，从所述第二目标中间图像中确定第二图像区域。
其中，所述第一图像区域的亮度小于第一亮度阈值，第二图像区域的亮度大于第二亮度阈值。
合并子单元，用于将所述第一图像区域和所述第二图像区域进行合并，得到目标图像。
本申请实施例再提供一种图像处理装置，所述图像处理装置至少包括：
第二获取模块，用于获取训练数据。
其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像。
第二下采样模块，用于对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像。
训练模块，用于基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型。
发送模块，用于发送所述训练好的卷积处理模型至终端。
在一些实施例中，所述训练模块，进一步包括：
第二提取子模块，用于提取分别提取所述参考图像和各个第一训练图像的局部特征信息和全局特征信息。
第二输入子模块，用于将所述参考图像和各个第一训练图像的局部特征信息和全局特征信息输入到预设的卷积处理模型，得到预测图像。
调整子模块，用于利用所述预测图像和所述目标参考图像对卷积处理模型的参数进行调整，得到训练好的卷积处理模型。
本申请实施例提供一种存储有可执行指令的存储介质，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3、图4和图5示出的方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像和卷积处理模型，所述卷积处理模型是从服务器获取的已训练好的模型；
对所述待处理图像进行下采样处理，得到下采样图像；
根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合；
根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，所述目标图像的动态范围高于所述待处理图像的动态范围。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，包括：
对所述待处理图像进行灰度处理，生成包含边缘亮度信息的灰度图；
根据所述灰度图和所述第一变换矩阵集合，生成第二变换矩阵集合，其中所述第二变换矩阵集合中的各个第二变换矩阵的大小与待处理图像的大小相同；
根据所述第二变换矩阵集合对所述待处理图像进行变换处理，生成目标图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述灰度图和所述第一变换矩阵集合，生成第二变换矩阵集合，包括：
根据所述第一变换矩阵集合中的各个第一变换矩阵和所述灰度图，确定各个第一变换矩阵对应的插值信息；
根据各个插值信息对所述各个第一变换矩阵进行插值处理，生成各个第二变换矩阵，得到第二变换矩阵集合。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第二变换矩阵集合对所述待处理图像进行变换处理，生成目标图像，包括：
根据所述第二变换矩阵集合中的各个第二变换矩阵分别对所述待处理图像的每个像素进行逐一变换处理，对应得到各个中间图像；
对所述各个中间图像进行融合处理，生成目标图像。
5.根据权利要求4中所述的方法，其特征在于，所述对所述各个中间图像进行融合处理，生成目标图像，包括：
获取各个中间图像的曝光系数；
基于各个中间图像的曝光系数，从各个中间图像中确定第一目标中间图像和第二目标中间图像，其中，第一目标中间图像的曝光系数大于第一曝光阈值，第二目标中间图像的曝光系数小于第二曝光阈值；
从所述第一目标中间图像中确定第一图像区域，从所述第二目标中间图像中确定第二图像区域，其中，所述第一图像区域的亮度小于第一亮度阈值，第二图像区域的亮度大于第二亮度阈值；
将所述第一图像区域和所述第二图像区域进行合并，得到目标图像。
6.根据权利要求1所述的方法，其特征在于，所述根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合，包括：
提取所述下采样图像的局部特征信息和全局特征信息；
将所述局部特征信息和全局特征信息输入至所述卷积处理模型，得到表征曝光程度的第一变换矩阵集合。
7.一种图像处理方法，其特征在于，包括：
获取训练数据，其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像；
对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像；
基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型；
发送所述训练好的卷积处理模型至终端。
8.根据权利要求7中所述的方法，其特征在于，所述基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型，包括：
分别提取所述参考图像和各个第一训练图像的局部特征信息和全局特征信息；
将所述参考图像和各个第一训练图像的局部特征信息和全局特征信息输入到预设的卷积处理模型，得到预测图像；
利用所述预测图像和所述目标参考图像对卷积处理模型的参数进行调整，得到训练好的卷积处理模型。
9.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取待处理图像和卷积处理模型，所述卷积处理模型是从服务器获取的已训练好的模型；
第一下采样模块，用于对所述待处理图像进行下采样处理，得到下采样图像；
处理模块，用于根据所述卷积处理模型对所述下采样图像进行处理，得到表征曝光程度的第一变换矩阵集合；
生成模块，用于根据所述待处理图像和所述第一变换矩阵集合，生成目标图像，所述目标图像的动态范围高于所述待处理图像的动态范围。
10.一种图像处理装置，其特征在于，包括：
第二获取模块，用于获取训练数据，其中，所述训练数据中至少包括参考图像、与所述参考图像具有不同曝光系数的第一训练图像集合和目标参考图像，所述目标参考图像为与所述参考图像相对应的高动态范围图像；
第二下采样模块，用于对所述参考图像和第一训练图像集合中的各个第一训练图像进行下采样处理，得到相应的参考下采样图像和各个第一下采样图像；
训练模块，用于基于所述参考图像、各个第一训练图像和目标参考图像对预设的卷积处理模型进行训练，得到训练好的卷积处理模型；
发送模块，用于发送所述训练好的卷积处理模型至终端。
11.一种图像处理设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至6或7至8任一项所述的方法。
12.一种存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至6或7至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911341097.1A CN113096021A (zh) | 2019-12-23 | 2019-12-23 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911341097.1A CN113096021A (zh) | 2019-12-23 | 2019-12-23 | 一种图像处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113096021A true CN113096021A (zh) | 2021-07-09 |
Family
ID=76663144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911341097.1A Pending CN113096021A (zh) | 2019-12-23 | 2019-12-23 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096021A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706429A (zh) * | 2021-07-30 | 2021-11-26 | 上海智砹芯半导体科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114494384A (zh) * | 2021-12-27 | 2022-05-13 | 北京吉威空间信息股份有限公司 | 建筑物阴影分析方法、装置、设备及存储介质 |
| WO2023010750A1 (zh) * | 2021-08-02 | 2023-02-09 | 中国科学院深圳先进技术研究院 | 一种图像颜色映射方法、装置、终端设备及存储介质 |
| WO2023039863A1 (zh) * | 2021-09-17 | 2023-03-23 | 京东方科技集团股份有限公司 | 图像处理模型训练方法、高动态范围图像生成方法 |
| WO2024051657A1 (zh) * | 2022-09-06 | 2024-03-14 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
-
2019
- 2019-12-23 CN CN201911341097.1A patent/CN113096021A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113706429A (zh) * | 2021-07-30 | 2021-11-26 | 上海智砹芯半导体科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN113706429B (zh) * | 2021-07-30 | 2023-08-04 | 爱芯元智半导体(上海)有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| WO2023010750A1 (zh) * | 2021-08-02 | 2023-02-09 | 中国科学院深圳先进技术研究院 | 一种图像颜色映射方法、装置、终端设备及存储介质 |
| WO2023039863A1 (zh) * | 2021-09-17 | 2023-03-23 | 京东方科技集团股份有限公司 | 图像处理模型训练方法、高动态范围图像生成方法 |
| CN114494384A (zh) * | 2021-12-27 | 2022-05-13 | 北京吉威空间信息股份有限公司 | 建筑物阴影分析方法、装置、设备及存储介质 |
| CN114494384B (zh) * | 2021-12-27 | 2023-01-13 | 北京吉威空间信息股份有限公司 | 建筑物阴影分析方法、装置、设备及存储介质 |
| WO2024051657A1 (zh) * | 2022-09-06 | 2024-03-14 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354785B2 (en) | Image processing method and device, storage medium and electronic device | |
| CN113096021A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| US8594464B2 (en) | Adaptive super resolution for video enhancement | |
| EP4198875A1 (en) | Image fusion method, and training method and apparatus for image fusion model | |
| CN111028137B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US20150350513A1 (en) | Constant Bracket High Dynamic Range (cHDR) Operations | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN105578068A (zh) | 一种高动态范围图像的生成方法、装置及移动终端 | |
| CN102341825A (zh) | 图像的多模式色调映射 | |
| CN111669514A (zh) | 高动态范围成像方法和装置 | |
| EP4089625A1 (en) | Method and apparatus for generating super night scene image, and electronic device and storage medium | |
| CN110889809B9 (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN113706414A (zh) | 视频优化模型的训练方法和电子设备 | |
| US11977319B2 (en) | Saliency based capture or image processing | |
| WO2021213336A1 (zh) | 一种画质增强装置及相关方法 | |
| CN112153240B (zh) | 一种调整图像画质方法、装置及可读存储介质 | |
| CN115883761A (zh) | 时间视频增强方法 | |
| US11948273B2 (en) | Image processing method, storage medium, image processing apparatus, trained model producing method, learning method, learning apparatus, and image processing system | |
| CN114581355A (zh) | 一种重建hdr图像的方法、终端及电子设备 | |
| CN114691069A (zh) | 图像显示调整的方法和装置、电子设备 | |
| WO2023045627A1 (zh) | 图像超分方法、装置、设备及存储介质 | |
| CN115118974A (zh) | 视频生成方法、装置、系统、电子设备以及可读存储介质 | |
| CN114240792A (zh) | 图像曝光融合方法、装置及存储介质 | |
| US20210365729A1 (en) | Traiing method for video stabilization and image processing device using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |