CN112396558B - 图像处理方法、装置及计算机可读存储介质 - Google Patents

图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112396558B
CN112396558B CN201910753276.XA CN201910753276A CN112396558B CN 112396558 B CN112396558 B CN 112396558B CN 201910753276 A CN201910753276 A CN 201910753276A CN 112396558 B CN112396558 B CN 112396558B
Authority
CN
China
Prior art keywords
image
quality
ith
data
enhancement model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910753276.XA
Other languages
English (en)
Other versions
CN112396558A (zh
Inventor
张宇鹏
李道静
小田卷诚
伊红
刘丽艳
贾焕
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910753276.XA priority Critical patent/CN112396558B/zh
Priority to PCT/JP2020/030707 priority patent/WO2021029423A2/en
Priority to JP2022509143A priority patent/JP7264310B2/ja
Priority to US17/629,954 priority patent/US12039698B2/en
Publication of CN112396558A publication Critical patent/CN112396558A/zh
Application granted granted Critical
Publication of CN112396558B publication Critical patent/CN112396558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种图像处理方法、装置及计算机可读存储介质，属于图像处理技术领域。图像处理方法包括：获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。本发明能够提高图像的图像质量。

Description

图像处理方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域，特别是指一种图像处理方法、装置及计算机可读存储介质。
背景技术
全景相机拍摄的全景图像通常具有180度或者更高视场角，然而，相对高质量相机(比如数码单反相机)拍摄的平面图像，全景图像在锐度，分辨率和色相差等方面都比较差。
发明内容
本发明要解决的技术问题是提供一种图像处理方法、装置及计算机可读存储介质，能够提高图像的质量。
为解决上述技术问题，本发明的实施例提供技术方案如下：
本发明的实施例提供一种图像处理方法，包括：
获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
可选地，所述第一图像为等距柱状投影图或透视图，所述第二图像为等距柱状投影图或透视图。
可选地，所述获取多组训练数据包括：
将全景相机固定在第一位置，利用所述全景相机拍摄得到全景图像，将所述全景图像转换为透视图；
将平面相机固定在第二位置，所述平面相机与所述全景相机的非平行点对齐，旋转所述平面相机拍摄得到多张平面图像，利用所述多组平面图像得到与所述透视图对应的高质量图像，所述高质量图像的图像质量优于所述透视图的图像质量且所述高质量图像的拍摄内容包含所述透视图的全部拍摄内容；
确定与所述透视图中的第一区域对应的所述高质量图像中的第二区域，所述第一区域和所述第二区域的位置匹配；
利用所述第一区域和所述第二区域得到N组图像，每组图像包括一所述第一图像和一所述第二图像，N为大于1的整数。
可选地，所述利用所述第一区域和所述第二区域得到N组图像包括：
将所述第二区域分为N个第二部分，相邻第二部分之间不重叠；
将所述第一区域分为N个第一部分，相邻第一部分之间存在重叠区域；
从所述N个第二部分中选择第i个第二部分，从所述N个第一部分中选择与所述第i个第二部分匹配的第i个第一部分，所述第i个第一部分的拍摄内容包含所述第i个第二部分的拍摄内容，且所述第i个第一部分的尺寸大于所述第i个第二部分的尺寸，i为大于等于1小于等于N的整数；
对所述第i个第二部分和所述第i个第一部分进行像素匹配，利用所述第i个第一部分得到第i个第三部分，所述第i个第三部分与所述第i个第二部分的尺寸相同；
计算所述第i个第三部分和所述第i个第二部分的匹配精度，在计算出的匹配精度大于预设阈值时，将所述第i个第三部分作为所述第一图像，所述第i个第二部分作为所述第二图像；
在计算出的匹配精度不大于预设阈值时，利用模式匹配从所述第i个第一部分中得到与所述第i个第二部分匹配的第i个第四部分，所述第i个第四部分与所述第i个第二部分的尺寸相同，将所述第i个第四部分作为所述第一图像，所述第i个第二部分作为所述第二图像。
可选地，输入所述图像增强模型的图像的数据包括以下至少一种：图像的语义信息和图像的位置信息。
可选地，还包括确定图像的位置信息的步骤，所述确定图像的位置信息的步骤包括：
计算图像的质量得分，确定所述质量得分对应的区域标识，将所述区域标识作为所述位置信息。
可选地，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
可选地，所述图像增强模型采用以下任一种：卷积神经网络，生成对抗网络。
本发明实施例还提供了一种图像处理装置，包括：
获取模块，用于获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建模块，用于构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
图像处理模块，用于将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
本发明的实施例具有以下有益效果：
上述方案中，获取多组训练数据，多组训练数据包括低质量图像的数据和高质量图像的数据，利用多组训练数据对图像增强模型进行训练，可以得到能够提高图像质量的图像增强模型，之后将待处理的图像的数据输入图像增强模型，即可得到更高质量的图像的数据，从而可以实现提高图像的图像质量。
附图说明
图1为本发明实施例图像处理方法的流程示意图；
图2为本发明实施例获取多组训练数据的流程示意图；
图3为本发明实施例图像处理装置的结构示意图；
图4为本发明实施例图像处理的电子设备的结构框图；
图5为本发明具体实施例图像处理方法的流程示意图；
图6为本发明实施例利用全景相机和高质量相机拍摄得到的图像的示意图；
图7为本发明实施例匹配的第一区域和第二区域的示意图；
图8为本发明实施例匹配的第一图像和第二图像的示意图；
图9为本发明实施例步骤1的匹配结果示意图；
图10为本发明实施例匹配的第一区域和第二区域的示意图以及匹配的第一图像和第二图像的示意图；
图11A为本发明实施例采用像素匹配方法得到的一组小图像块的示意图；
图11B为本发明实施例采用模式匹配方法得到的一组小图像块的示意图；
图12为本发明实施例得到的多组小图像块的示意图；
图13-图14为本发明实施例对低质量图像进行图像增强后的示意图；
图15为利用不同方式对低质量图像进行增强处理的比对示意图；
图16为本发明实施例将等距柱状投影图分割成不同的区域的示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
全景相机拍摄的全景图像通常具有180度或者更高视场角，然而，相对高质量相机(比如数码单反相机)拍摄的平面图像，全景图像在锐度，分辨率和色相差等方面都比较差。
图像增强和超分(SR)可以用来提升全景图像的质量。图像增强包含图像锐化，去噪，去模糊，对比度增强以及色相差校正；图像超分则通过提高图像分辨率来提高图像质量，但传统图像增强和超分方法对全景图像质量提升的作用有限。
为了解决上述问题，本发明的实施例提供一种图像处理方法、装置及计算机可读存储介质，能够提高图像的质量。
实施例一
本发明的实施例提供一种图像处理方法，如图1所示，包括：
步骤101：获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
其中，第一图像和第二图像可以均为等距柱状投影图；或者第一图像和第二图像均为透视图；或者第一图像是等距柱状投影图，第二图像是透视图；或者第二图像是等距柱状投影图，第一图像是透视图。当然，第一图像和第二图像并不局限为等距柱状投影图和透视图，还可以为其他类型的图像。
为了获取训练数据，可以预先利用不同成像质量的相机对同一拍摄内容进行拍摄，比如利用成像质量较好的相机对内容A进行拍摄，获得高质量图像，再利用成像质量较差的相机对内容A进行拍摄，获得低质量图像，之后对高质量图像和低质量图像进行匹配，得到第一图像和第二图像。
衡量图像质量的参数包括分辨率、信噪比和色相差，第二图像的图像质量优于第一图像的图像质量可以是以下至少一种：第二图像的分辨率大于第一图像的分辨率，第二图像的信噪比高于第一图像的信噪比，第二图像的色相差低于第一图像的色相差。
一具体示例中，成像质量较好的相机可以采用平面相机比如单反相机，成像质量较差的相机可以采用全景相机，如图2所示，获取多组训练数据的过程包括以下步骤：
步骤1011：将全景相机固定在第一位置，利用全景相机拍摄得到全景图像，将全景图像转换为透视图；将平面相机固定在第二位置，平面相机与全景相机的非平行点对齐，旋转平面相机拍摄得到多张平面图像，利用多组平面图像得到与透视图对应的高质量图像，高质量图像的图像质量优于透视图的图像质量且高质量图像的拍摄内容包含透视图的全部拍摄内容；
步骤1012：确定与透视图中的第一区域对应的高质量图像中的第二区域，第一区域和第二区域的位置匹配；
步骤1013：利用第一区域和第二区域得到N组图像，每组图像包括一第一图像和一第二图像，N为大于1的整数。
在利用第一区域和第二区域得到N组图像时，可以将第一区域分为N个第一部分，相邻第一部分之间存在重叠区域；从N个第二部分中选择第i个第二部分，从N个第一部分中选择与第i个第二部分匹配的第i个第一部分，第i个第一部分的拍摄内容包含第i个第二部分的拍摄内容，且第i个第一部分的尺寸大于第i个第二部分的尺寸，i为大于等于1小于等于N的整数；对第i个第二部分和第i个第一部分进行像素匹配，利用第i个第一部分得到第i个第三部分，第i个第三部分与第i个第二部分的尺寸相同；计算第i个第三部分和第i个第二部分的匹配精度，在计算出的匹配精度大于预设阈值时，将第i个第三部分作为第一图像，第i个第二部分作为第二图像；在计算出的匹配精度不大于预设阈值时，利用模式匹配从第i个第一部分中得到与第i个第二部分匹配的第i个第四部分，第i个第四部分与第i个第二部分的尺寸相同，将第i个第四部分作为第一图像，第i个第二部分作为第二图像。
其中，可以根据实际需要设置预设阈值的取值范围，具体地，可以采用PSNR(PeakSignal-to-Noise Ratio，峰值信噪比)来计算阈值，用第一图像和第二图像相同位置的第i个部分，计算两者的PSNR_ori，再计算匹配后的PSNR值，如果匹配后的值小于PSNR_ori，则认为不满足阈值要求。
步骤102：构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
其中，图像增强模型可以采用卷积神经网络或生成对抗网络。图像增强模型包含成千上万的参数，将低质量图像输入到图像增强模型可以生成增强图像，而高质量图像作为参考图像被用来计算损失函数，损失函数值不断更新直到生成的增强图像和参考图像间的差距最小。
为了提高图像增强模型的性能，输入图像增强模型的数据可以包括图像的语义信息和图像的位置信息等信息。
步骤103：将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
其中，第三图像和第四图像可以均为等距柱状投影图；或者第三图像和第四图像均为透视图；或者第三图像是等距柱状投影图，第四图像是透视图；或者第四图像是等距柱状投影图，第三图像是透视图。当然，第三图像和第四图像并不局限为等距柱状投影图和透视图，还可以为其他类型的图像。
在通过一个成像质量较差的相机拍摄得到第三图像后，将第三图像的数据输入图像增强模型，即可通过图像增强模型输出增强后的图像的数据，根据增强后的图像的数据可以生成第四图像，第四图像的图像质量优于第三图像的图像质量，从而能够实现图像质量的提升。
衡量图像质量的参数包括分辨率、信噪比和色相差，第四图像的图像质量优于第三图像的图像质量可以是以下至少一种：第四图像的分辨率大于第三图像的分辨率，第四图像的信噪比高于第三图像的信噪比，第四图像的色相差低于第三图像的色相差。
本实施例中，获取多组训练数据，多组训练数据包括低质量图像的数据和高质量图像的数据，利用多组训练数据对图像增强模型进行训练，可以得到能够提高图像质量的图像增强模型，之后将待处理的图像的数据输入图像增强模型，即可得到更高质量的图像的数据，从而可以实现提高图像的图像质量。
实施例二
本发明实施例还提供了一种图像处理装置，如图3所示，包括：
获取模块21，用于获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
其中，第一图像和第二图像可以均为等距柱状投影图；或者第一图像和第二图像均为透视图；或者第一图像是等距柱状投影图，第二图像是透视图；或者第二图像是等距柱状投影图，第一图像是透视图。当然，第一图像和第二图像并不局限为等距柱状投影图和透视图，还可以为其他类型的图像。
为了获取训练数据，可以预先利用不同成像质量的相机对同一拍摄内容进行拍摄，比如利用成像质量较好的相机对内容A进行拍摄，获得高质量图像，再利用成像质量较差的相机对内容A进行拍摄，获得低质量图像，之后对高质量图像和低质量图像进行匹配，得到第一图像和第二图像。
衡量图像质量的参数包括分辨率、信噪比和色相差，第二图像的图像质量优于第一图像的图像质量可以是以下至少一种：第二图像的分辨率大于第一图像的分辨率，第二图像的信噪比高于第一图像的信噪比，第二图像的色相差低于第一图像的色相差。
构建模块22，用于构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
其中，图像增强模型可以采用卷积神经网络或生成对抗网络。图像增强模型包含成千上万的参数，将低质量图像输入到图像增强模型可以生成增强图像，而高质量图像作为参考图像被用来计算损失函数，损失函数值不断更新直到生成的增强图像和参考图像间的差距最小。
为了提高图像增强模型的性能，输入图像增强模型的数据可以包括图像的语义信息和图像的位置信息等信息。
图像处理模块23，用于将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
其中，第三图像和第四图像可以均为等距柱状投影图；或者第三图像和第四图像均为透视图；或者第三图像是等距柱状投影图，第四图像是透视图；或者第四图像是等距柱状投影图，第三图像是透视图。当然，第三图像和第四图像并不局限为等距柱状投影图和透视图，还可以为其他类型的图像。
在通过一个成像质量较差的相机拍摄得到第三图像后，将第三图像的数据输入图像增强模型，即可通过图像增强模型输出增强后的图像的数据，根据增强后的图像的数据可以生成第四图像，第四图像的图像质量优于第三图像的图像质量，从而能够实现图像质量的提升。
衡量图像质量的参数包括分辨率、信噪比和色相差，第四图像的图像质量优于第三图像的图像质量可以是以下至少一种：第四图像的分辨率大于第三图像的分辨率，第四图像的信噪比高于第三图像的信噪比，第四图像的色相差低于第三图像的色相差。
本实施例中，获取多组训练数据，多组训练数据包括低质量图像的数据和高质量图像的数据，利用多组训练数据对图像增强模型进行训练，可以得到能够提高图像质量的图像增强模型，之后将待处理的图像的数据输入图像增强模型，即可得到更高质量的图像的数据，从而可以实现提高图像的图像质量。
实施例三
本发明实施例还提供了一种图像处理的电子设备30，如图4所示，包括：
处理器32；和
存储器34，在所述存储器34中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器32执行以下步骤：
获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
进一步地，如图4所示，图像处理的电子设备30还包括网络接口31、输入设备33、硬盘35、和显示设备36。
上述各个接口和设备之间可以通过总线架构互连。总线架构可以包括任意数量的互联的总线和桥。具体由处理器32代表的一个或者多个中央处理器(CPU)，以及由存储器34代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
所述网络接口31，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，例如多组训练数据，并可以保存在硬盘35中。
所述输入设备33，可以接收操作人员输入的各种指令，并发送给处理器32以供执行。所述输入设备33可以包括键盘或者点击设备(例如，鼠标、轨迹球(trackball)、触感板或者触摸屏等)。
所述显示设备36，可以将处理器32执行指令获得的结果进行显示。
所述存储器34，用于存储操作系统运行所必须的程序和数据，以及处理器32计算过程中的中间结果等数据。
可以理解，本发明实施例中的存储器34可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器34旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器34存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统341和应用程序342。
其中，操作系统341，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序342，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序342中。
上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以是应用程序342中存储的程序或指令时，获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
进一步地，上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以是应用程序342中存储的程序或指令时，将全景相机固定在第一位置，利用所述全景相机拍摄得到全景图像，将所述全景图像转换为透视图；将平面相机固定在第二位置，所述平面相机与所述全景相机的非平行点对齐，旋转所述平面相机拍摄得到多张平面图像，利用所述多组平面图像得到与所述透视图对应的高质量图像，所述高质量图像的图像质量优于所述透视图的图像质量且所述高质量图像的拍摄内容包含所述透视图的全部拍摄内容；确定与所述透视图中的第一区域对应的所述高质量图像中的第二区域，所述第一区域和所述第二区域的位置匹配；利用所述第一区域和所述第二区域得到N组图像，每组图像包括一所述第一图像和一所述第二图像，N为大于1的整数。
进一步地，上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以是应用程序342中存储的程序或指令时，将所述第二区域分为N个第二部分，相邻第二部分之间不重叠；将所述第一区域分为N个第一部分，相邻第一部分之间存在重叠区域；从所述N个第二部分中选择第i个第二部分，从所述N个第一部分中选择与所述第i个第二部分匹配的第i个第一部分，所述第i个第一部分的拍摄内容包含所述第i个第二部分的拍摄内容，且所述第i个第一部分的尺寸大于所述第i个第二部分的尺寸，i为大于等于1小于等于N的整数；对所述第i个第二部分和所述第i个第一部分进行像素匹配，利用所述第i个第一部分得到第i个第三部分，所述第i个第三部分与所述第i个第二部分的尺寸相同；计算所述第i个第三部分和所述第i个第二部分的匹配精度，在计算出的匹配精度大于预设阈值时，将所述第i个第三部分作为所述第一图像，所述第i个第二部分作为所述第二图像；在计算出的匹配精度不大于预设阈值时，利用模式匹配从所述第i个第一部分中得到与所述第i个第二部分匹配的第i个第四部分，所述第i个第四部分与所述第i个第二部分的尺寸相同，将所述第i个第四部分作为所述第一图像，所述第i个第二部分作为所述第二图像。
进一步地，输入所述图像增强模型的图像的数据包括以下至少一种：图像的语义信息和图像的位置信息。
进一步地，上述处理器32，当调用并执行所述存储器34中所存储的应用程序和数据，具体的，可以是应用程序342中存储的程序或指令时，计算图像的质量得分，确定所述质量得分对应的区域标识，将所述区域标识作为所述位置信息。
本发明上述实施例揭示的方法可以应用于处理器32中，或者由处理器32实现。处理器32可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器32中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器32可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器34，处理器32读取存储器34中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本实施例中，获取多组训练数据，多组训练数据包括低质量图像的数据和高质量图像的数据，利用多组训练数据对图像增强模型进行训练，可以得到能够提高图像质量的图像增强模型，之后将待处理的图像的数据输入图像增强模型，即可得到更高质量的图像的数据，从而可以实现提高图像的图像质量。
实施例四
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行以下步骤：
获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量。
实施例五
本实施例中，通过全景相机获取低质量图像，通过高质量相机比如单反相机获取高质量图像。如图5所示，本实施例的图像处理方法具体包括以下步骤：
步骤501：将全景相机固定在第一位置，利用全景相机拍摄得到全景图像；将高质量相机固定在第二位置，高质量相机与全景相机的非平行点对齐，旋转高质量相机拍摄得到多张平面图像；
其中，平面图像的图像质量优于全景图像的图像质量，多张平面图像的拍摄内容之和需要涵盖全景图像的拍摄内容。
一具体示例中，如图6所示，其中1为全景相机拍摄得到的全景图像，2为通过围绕NPP(非平行点)旋转高质量相机3来拍摄对应于全景相机不同视点的高质量图像。具体地，高质量相机3可从左转到右，从上转到下来拍摄不同角度的高质量图像2。
步骤502：将全景图像转换为透视图，利用多组平面图像得到与透视图对应的高质量图像，高质量图像的图像质量优于透视图的图像质量且高质量图像的拍摄内容包含透视图的全部拍摄内容；
具体地，如图7所示，可以将全景图像(等距柱状投影图4)转换为透视图5，其中透视图5对应等距柱状投影图4中虚线框内的部分，透视图5为低质量图像。利用高质量相机拍摄得到的多组平面图像可以得到高质量图像6，高质量图像6的拍摄内容与透视图5相同，但图像质量明显优于透视图5。
步骤503：确定与透视图中的第一区域对应的高质量图像中的第二区域，第一区域和第二区域的位置匹配，利用第一区域和第二区域得到N组图像，每组图像包括一第一图像和一第二图像，N为大于1的整数；
在进行增强图像模型的训练时，需要获取多组训练数据，增强图像模型的目标为利用低质量图像输出高质量图像，因此，增强图像模型的训练数据需要包括多组相互匹配的第一图像和第二图像，第一图像取自低质量图像，第二图像取自高质量图像，且第一图像和第二图像的拍摄内容相同。
首先需要将透视图中的第一区域与高质量图像中的第二区域匹配，第一区域和第二区域对应同一拍摄内容，之后将第一区域划分为多个图像块，将第二区域同样划分为多个图像块，将第一区域中的图像块与第二区域中的图像块进行匹配，输出匹配的一对图像块作为第一图像和第二图像。
一具体示例中，如图7所示，第一区域可以如图像7所示，第二区域可以如图像8所示。如图8所示为匹配的一对图像块，左半部分是原始的带畸变的低质量图像即第一图像，右半部分是与第一图像匹配的高质量图像即第二图像。
为了得到高精度的匹配结果，获取第一图像以及与第一图像匹配的第二图像包括2个步骤：步骤1，获得高质量图像以及匹配好的畸变校正后的低质量图像(透视图)，其中，畸变校正后的低质量图像是从原始带有畸变的低质量全景图像中提取的；步骤2，利用块匹配从畸变校正后的低质量图像(透视图)和高质量图像中提取小的图像块。其中，在步骤1后可以获得匹配的第一区域和第二区域，在步骤2后可以获得匹配的小图像块，也即获得第一图像以及与第一图像匹配的第二图像。
对于原始的带畸变的低质量图像和高质量图像，当获得特征匹配以及找到对应的视角后，就可以获取位置匹配的第一区域和第二区域。图9所示为步骤1的匹配结果，上面两张图像为低质量的等距柱状投影图(左)和高质量图像(右)，下面两张图为匹配好的第一区域和第二区域，其中，第一区域是由带畸变的全景图提取出来再进行畸变校正得到的。
图10中上面两张图像为位置匹配的第一区域和第二区域，下面两张图像为匹配的第一图像和第二图像，其中，第一图像取自第一区域，第二图像取自第二区域，第一区域和第一图像都是由带畸变图像转换而来的。相比于上面的两张图，下面的两张图具有更小的视野，由于视野越大，图像失真越严重，因此大图的畸变程度要比小图更严重，为了提高匹配的精度，本实施例在获取位置匹配的第一区域和第二区域后，将第一区域和第二区域分别分割成多个小图像块来作为第一图像和第二图像，能够使畸变图像转换为透视图产生的误差更小。
在利用第一区域和第二区域获取第一图像和第二图像时，可以将高质量图像的第二区域分为N个小图像块，每块之间没有重叠，这里N可以是任意正整数，具体地，N可以等于9。同理，与第二区域匹配的第一区域也同样需要分成N个小图像块，每块间有较大重叠区域。对于每一个高质量的小图像块，匹配对应的低质量小图像块，输出高质量的小图像块作为第二图像，匹配的低质量小图像块作为与第二图像匹配的第一图像。整个匹配过程包含：计算转换矩阵M，用它得到匹配好的畸变校正后的图像，最后得到匹配好的低高质量大图。
在进行第一图像和第二图像的匹配时，首先从高质量图像的第一区域任意选择一小图像块，然后在低质量图像相应的位置上也取出一小图像块，但是低质量的小图像块比高质量的小图像块要大几个像素，对这两个小图像块做像素匹配，可以得到两个大小一样的匹配的小图像块。之后判断这一组小图像块的匹配精度，如果匹配精度满足要求(比如大于预设阈值)，则输出该对小图像块。如果匹配精度不满足要求，则用模式匹配算法重新匹配，输出匹配的一组小图像块。首先选择像素匹配的原因是它的匹配效果优于模式匹配，但是如果图像特征分布不均匀，像素匹配后会出现扭曲的现象，而模式匹配不会出现这种情况，因此如果像素匹配不合适的话改用模式匹配。
图11A所示为采用像素匹配方法得到的一组小图像块，图11B所示为采用模式匹配方法得到的一组小图像块。如果特征点分布不均匀，像素匹配结果会出现扭曲现象，模式匹配结果有可能会出现错位现象，尽管模式匹配的效果比不上像素匹配，但是因为它对后续的处理影响不大，因此可以选择模式匹配作为像素匹配精度达不到要求时的候补方案。
通过本步骤可以得到多组小图像块，如图12所示，每一个虚线框内为一组小图像块，虚线框内左边为高质量图像块即第二图像，虚线框内右边为低质量图像块即第一图像。
步骤504：利用N组图像对增强图像模型进行训练；
增强图像模型具体可以采用神经网络，增强图像模型是一个从低质量图像块到高质量图像块的映射模型，此模型包含成千上万的参数。低质量图像即上述第一图像输入到增强图像模型中生成增强图像，而高质量图像即第二图像是真实的参考图像，被用来计算损失函数，损失函数值不断更新直到增强图像模型生成的图像和参考图像间的差距最小。
为了利用图像增强模型实现图像超分，获取的训练数据需满足第二图像的分辨率大于第一图像的分辨率，这样增强图像模型学习一个从低分辨率图像块到高分辨率图像块的映射模型，低分辨率图像即第一图像输入到增强图像模型中生成超分图像，而高分辨率图像即第二图像是真实的参考图像，被用来计算损失函数，损失函数值不断更新直到生成图像和参考图像间的差距最小。
步骤505：利用增强图像模型和低质量图像生成高质量图像。
在训练好图像增强模型后，可以将待处理的低质量图像的数据输入增强图像模型，输出高质量图像的数据，利用高质量图像的数据生成高质量图像。
图13中左边为待处理的低质量的等距柱状投影图(室内拍摄得到)，右边为利用本实施例的方案增强后的图像，可以看出，图像质量得以提升。
图14中左边为待处理的低质量的等距柱状投影图(户外拍摄得到)，右边为利用本实施例的方案增强后的图像，可以看出，图像质量得以提升。
图15中左边为利用锐化滤波器对低质量图像进行处理的结果，右边为利用本实施例的方案对低质量图像进行处理的结果，可以看出，相比利用锐化滤波器提升图像质量，本实施例的方案能够更好地提升图像质量。
为了更好地提升图像质量，在对增强图像模型进行训练时，输入的图像数据可以包括图像的位置信息。具体地，可以将小图像对在全景图像中所对应的视场角作为位置信息，并利用one-hot矢量来定义它们，然后链接到增强图像模型的生成器(G)和判别器(D)里。
如图16所示，可以根据图像质量的不同把等距柱状投影图分割成不同的区域，图16中显示了3个区域，带有相同数字的区域具有相同的图像质量，等距柱状下面的小图像块标有它们所对应的角度。
可以通过计算小图像块的质量得分来确定某个小图像对属于哪个区域，比如计算小图像块的PSNR和/或SSIM(structural similarity index，结构相似性)作为小图像块的质量得分，如果质量得分大于等于第一阈值，则确定小图像对属于区域1，具有最佳图像质量；如果质量得分大于等于第二阈值但小于第一阈值，则确定小图像对属于区域2，具有较次的图像质量；如果质量得分大于等于第三阈值但小于第二阈值，则确定小图像对属于区域3，具有最差图像质量，将小图像块对应的区域标记作为小图像块的位置信息。
为了进一步提升图像质量，在对增强图像模型进行训练时，输入的图像数据除包括图像的位置信息之外，还可以包括图像的语音信息，比如，可以根据不同语义信息将等距柱状投影图分成不同的区域，例如天空，树和草等，在训练增强图像模型时，将小图像块对应的语义信息也输入增强图像模型中。
通过本实施例的技术方案，可以将全景图像的图像质量提升到相当于单反相机拍摄的平面图像的图像质量。
本实施例中，第一图像采用等距柱状投影图，第二图像采用透视图，但本发明的技术方案并不局限于第一图像采用等距柱状投影图，第二图像采用透视图，还可以是第一图像采用采用透视图，第二图像等距柱状投影图，这种情况下，需要将高质量相机拍摄得到的高质量图像转换为等距柱状投影图，作为第二图像的来源。
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量；
所述获取多组训练数据包括：
将全景相机固定在第一位置，利用所述全景相机拍摄得到全景图像，将所述全景图像转换为透视图；
将平面相机固定在第二位置，所述平面相机与所述全景相机的非平行点对齐，旋转所述平面相机拍摄得到多张平面图像，利用所述多张平面图像得到与所述透视图对应的高质量图像，所述高质量图像的图像质量优于所述透视图的图像质量且所述高质量图像的拍摄内容包含所述透视图的全部拍摄内容；
确定与所述透视图中的第一区域对应的所述高质量图像中的第二区域，所述第一区域和所述第二区域的位置匹配；
利用所述第一区域和所述第二区域得到N组图像，每组图像包括一所述第一图像和一所述第二图像，N为大于1的整数；
用于训练所述图像增强模型的每组训练数据还包括所述第一图像和所述第二图像的位置信息，所述位置信息为所述第一图像和所述第二图像在所述全景图像中所对应的视场角。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像为等距柱状投影图或透视图，所述第二图像为等距柱状投影图或透视图。
3.根据权利要求1所述的图像处理方法，其特征在于，所述利用所述第一区域和所述第二区域得到N组图像包括：
将所述第二区域分为N个第二部分，相邻第二部分之间不重叠；
将所述第一区域分为N个第一部分，相邻第一部分之间存在重叠区域；
从所述N个第二部分中选择第i个第二部分，从所述N个第一部分中选择与所述第i个第二部分匹配的第i个第一部分，所述第i个第一部分的拍摄内容包含所述第i个第二部分的拍摄内容，且所述第i个第一部分的尺寸大于所述第i个第二部分的尺寸，i为大于等于1小于等于N的整数；
对所述第i个第二部分和所述第i个第一部分进行像素匹配，利用所述第i个第一部分得到第i个第三部分，所述第i个第三部分与所述第i个第二部分的尺寸相同；
计算所述第i个第三部分和所述第i个第二部分的匹配精度，在计算出的匹配精度大于预设阈值时，将所述第i个第三部分作为所述第一图像，所述第i个第二部分作为所述第二图像；
在计算出的匹配精度不大于预设阈值时，利用模式匹配从所述第i个第一部分中得到与所述第i个第二部分匹配的第i个第四部分，所述第i个第四部分与所述第i个第二部分的尺寸相同，将所述第i个第四部分作为所述第一图像，所述第i个第二部分作为所述第二图像。
4.根据权利要求1所述的图像处理方法，其特征在于，输入所述图像增强模型的图像的数据包括以下至少一种：图像的语义信息和图像的位置信息。
5.根据权利要求4所述的图像处理方法，其特征在于，还包括确定图像的位置信息的步骤，所述确定图像的位置信息的步骤包括：
计算图像的质量得分，确定所述质量得分对应的区域标识，将所述区域标识作为所述位置信息。
6.根据权利要求1所述的图像处理方法，其特征在于，所述第二图像的图像质量优于所述第一图像的图像质量包括以下至少一种：
所述第二图像的分辨率大于所述第一图像的分辨率；
所述第二图像的信噪比高于所述第一图像的信噪比；
所述第二图像的色相差低于所述第一图像的色相差。
7.根据权利要求1所述的图像处理方法，其特征在于，所述图像增强模型采用以下任一种：卷积神经网络，生成对抗网络。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取多组训练数据，每组训练数据包括第一图像的数据和第二图像的数据，所述第二图像的图像质量优于所述第一图像的图像质量，且所述第一图像的拍摄内容与所述第二图像的拍摄内容相同；
构建模块，用于构建图像增强模型，将所述第一图像的数据作为所述图像增强模型的输入，利用所述多组训练数据对所述图像增强模型进行训练，直至所述图像增强模型的输出与所述第二图像的数据的差异特征值最小；
图像处理模块，用于将待处理的第三图像的数据输入所述图像增强模型，输出图像增强后的第四图像的数据，所述第四图像的图像质量优于所述第三图像的图像质量；
所述获取模块具体用于将全景相机固定在第一位置，利用所述全景相机拍摄得到全景图像，将所述全景图像转换为透视图；将平面相机固定在第二位置，所述平面相机与所述全景相机的非平行点对齐，旋转所述平面相机拍摄得到多张平面图像，利用所述多张平面图像得到与所述透视图对应的高质量图像，所述高质量图像的图像质量优于所述透视图的图像质量且所述高质量图像的拍摄内容包含所述透视图的全部拍摄内容；确定与所述透视图中的第一区域对应的所述高质量图像中的第二区域，所述第一区域和所述第二区域的位置匹配；利用所述第一区域和所述第二区域得到N组图像，每组图像包括一所述第一图像和一所述第二图像，N为大于1的整数；
用于训练所述图像增强模型的每组训练数据还包括所述第一图像和所述第二图像的位置信息，所述位置信息为所述第一图像和所述第二图像在所述全景图像中所对应的视场角。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
CN201910753276.XA 2019-08-15 2019-08-15 图像处理方法、装置及计算机可读存储介质 Active CN112396558B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910753276.XA CN112396558B (zh) 2019-08-15 2019-08-15 图像处理方法、装置及计算机可读存储介质
PCT/JP2020/030707 WO2021029423A2 (en) 2019-08-15 2020-08-12 Image processing method and apparatus and non-transitory computer-readable medium
JP2022509143A JP7264310B2 (ja) 2019-08-15 2020-08-12 画像処理方法、機器、非一時的コンピュータ可読媒体
US17/629,954 US12039698B2 (en) 2019-08-15 2020-08-12 Image enhancement model training data generation for panoramic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753276.XA CN112396558B (zh) 2019-08-15 2019-08-15 图像处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112396558A CN112396558A (zh) 2021-02-23
CN112396558B true CN112396558B (zh) 2024-07-23

Family

ID=72292597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753276.XA Active CN112396558B (zh) 2019-08-15 2019-08-15 图像处理方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US12039698B2 (zh)
JP (1) JP7264310B2 (zh)
CN (1) CN112396558B (zh)
WO (1) WO2021029423A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706425B (zh) * 2021-06-02 2024-06-04 上海深至信息科技有限公司 一种图像增强系统及便携式多普勒成像仪
US20230025347A1 (en) * 2021-07-19 2023-01-26 Mediatek Inc. Graphics fusion technology scene detection and resolution controller
CN114584675B (zh) * 2022-05-06 2022-08-02 中国科学院深圳先进技术研究院 一种自适应视频增强方法和装置
CN115639605B (zh) * 2022-10-28 2024-05-28 中国地质大学（武汉） 基于深度学习的高分辨率断层的自动识别方法和装置
CN115527050A (zh) * 2022-11-29 2022-12-27 南方科技大学 图像特征匹配方法、计算机设备和可读存储介质
CN117408926B (zh) * 2023-11-02 2024-09-20 沐曦科技(成都)有限公司 一种输出图像参数可调的图像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399600A (zh) * 2018-02-23 2018-08-14 清华-伯克利深圳学院筹备办公室 一种全景成像系统及方法
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4964054B2 (ja) * 2007-07-31 2012-06-27 三洋電機株式会社 ディジタルカメラ
JP5127787B2 (ja) * 2009-07-30 2013-01-23 富士フイルム株式会社 複眼撮影装置及びその制御方法
JP5624370B2 (ja) * 2010-06-04 2014-11-12 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検出装置及び移動体検出方法
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
JP7020434B2 (ja) * 2017-02-20 2022-02-16 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6957197B2 (ja) * 2017-05-17 2021-11-02 キヤノン株式会社 画像処理装置および画像処理方法
CN108513672A (zh) 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
KR102028469B1 (ko) * 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
JP7238887B2 (ja) * 2018-03-29 2023-03-14 ソニーグループ株式会社 情報処理装置、プログラム、及び、情報処理システム
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
WO2019240257A1 (ja) * 2018-06-15 2019-12-19 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
CN108900766A (zh) * 2018-06-15 2018-11-27 北京华捷艾米科技有限公司 一种全景图像自动增强装置和方法、以及应用该装置的全景相机
CN108876745B (zh) * 2018-06-27 2020-09-01 厦门美图之家科技有限公司 图像处理方法及装置
CN112822973A (zh) * 2018-10-10 2021-05-18 佳能株式会社 医学图像处理装置、医学图像处理方法和程序
US11265446B2 (en) * 2018-10-18 2022-03-01 Sony Corporation Frame handling for ML-based upscaling
JP2020129276A (ja) * 2019-02-08 2020-08-27 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN111667398B (zh) * 2019-03-07 2023-08-01 株式会社理光 图像处理方法、装置和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399600A (zh) * 2018-02-23 2018-08-14 清华-伯克利深圳学院筹备办公室 一种全景成像系统及方法
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质

Also Published As

Publication number Publication date
JP7264310B2 (ja) 2023-04-25
US12039698B2 (en) 2024-07-16
US20220253981A1 (en) 2022-08-11
JP2022544665A (ja) 2022-10-20
CN112396558A (zh) 2021-02-23
WO2021029423A2 (en) 2021-02-18
WO2021029423A4 (en) 2021-05-20
WO2021029423A3 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112396558B (zh) 图像处理方法、装置及计算机可读存储介质
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US10395341B2 (en) Panoramic image generation method and apparatus for user terminal
CN101540046B (zh) 基于图像特征的全景图拼接方法和装置
CN109389555B (zh) 一种全景图像拼接方法及装置
CN107945112B (zh) 一种全景图像拼接方法及装置
CN112261387B (zh) 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
WO2012068902A1 (zh) 提高文本图像清晰度的方法及系统
CN109035134B (zh) 全景图像拼接方法、装置、电子设备及存储介质
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN109948420B (zh) 人脸比对方法、装置及终端设备
CN111815517A (zh) 一种基于球机抓拍图片的自适应全景拼接方法
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
CN109690611B (zh) 一种图像校正方法及装置
CN110855957A (zh) 图像处理方法及装置、存储介质和电子设备
CN109166075A (zh) 一种针对小重合区域图像拼接方法
CN112215906A (zh) 图像处理方法、装置和电子设备
CN113628259A (zh) 图像的配准处理方法及装置
CN113298187A (zh) 图像处理方法及装置、计算机可读存储介质
CN111062984B (zh) 视频图像区域面积的测量方法、装置、设备及存储介质
JP4583670B2 (ja) 画像歪み補正装置及び方法
CN116416701A (zh) 一种巡检方法、巡检装置、电子设备及存储介质
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
JP7318698B2 (ja) 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体
CN112862907B (zh) 显微图像校正方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant