CN116029931A - 基于智能云的图像增强系统、生成增强图像的方法 - Google Patents

基于智能云的图像增强系统、生成增强图像的方法 Download PDF

Info

Publication number
CN116029931A
CN116029931A CN202310033994.6A CN202310033994A CN116029931A CN 116029931 A CN116029931 A CN 116029931A CN 202310033994 A CN202310033994 A CN 202310033994A CN 116029931 A CN116029931 A CN 116029931A
Authority
CN
China
Prior art keywords
image
images
image enhancement
enhancement system
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310033994.6A
Other languages
English (en)
Inventor
徐奕宁
段宇波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Co ltd
Original Assignee
Black Sesame Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Co ltd filed Critical Black Sesame Intelligent Technology Co ltd
Publication of CN116029931A publication Critical patent/CN116029931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于智能云的图像增强系统和生成增强图像的方法，以提高经由电子设备捕获的图像的质量和美观性。基于智能云的图像增强系统包括云数据库，其包含在世界各地不同地点和不同环境设置下拍摄的高质量照片的集合。来自存储在云数据库中的照片(使用具有更好摄影能力的相机拍摄的照片)的信息用于改善新照片无法捕获的细节。该系统不仅依赖于机器学习模型，还利用与从电子设备的硬件(例如相机设置、GPS和电话传感器)收集的与新图像相关联的数据，从而获得更可靠的信息。

Description

基于智能云的图像增强系统、生成增强图像的方法
技术领域
本发明涉及用于提供高质量图像的系统和方法。更具体地，本发明涉及通过使用由高质量图像组成的云数据库来改善图像的美观性。
背景技术
传统上，在对图像进行处理以提高其质量或美观性方面做了大量工作。一种常用的增强是超分辨率，这是一种放大和改善图像细节的过程。在这个领域有许多现有的建议方法，包括传统方法或深度学习方法。无论这些方法是基于单帧输入还是多帧输入，可以增强的信息量都受到输入帧内可用细节量的限制。
有一些使用GANs的深度学习模型声称引入了额外的细节，但它们面临着不切实际和非自然的人工制品的风险。提出的另一种深度学习方法是基于样本的超分辨率，与我们提出的系统更密切相关，包括将相关纹理从高分辨率参考图像转移到查询图像。
目前，图像处理应用程序中的增强功能包括通过修复去除对象，这是指填补照片中缺失的部分。执行修复的一些常见技术包括传统方法和深度学习方法。对于传统方法，使用来自未丢失的其他图像部分的像素信息，因此，其性能可能不稳定，特别是当间隙内的细节在结构上不重复时，而对于深度学习，类似于超分辨率，主要缺点是引入不现实细节的风险。
除了改进和添加照片中的细节外，提高照片美学价值的另一种方法是改进照片构图。一种常用的操作是裁剪以去除多余的内容，并修改纵横比，从而改善构图。
为了确定要裁剪的区域，使用了不同的方法：注意力驱动方法、审美驱动方法和数据驱动方法。仅仅依靠裁剪，不足以改变照片中元素的相对比例和位置。因此，也有论文提出自动重新定位图像并将这些元素移向其相应的最佳位置。使用这些后处理方法的一个主要缺点是，要处理的信息量仅限于照片中可用的内容。
最后，另一个有用的应用是全景摄影，这是一种捕获比相机所能捕获的视野更大的图像的技术。由于视野更广，因此生成的照片更像人眼所习惯看到的，因此具有更好的美学价值。产生这种图像的最常见方法是从静止位置以不同角度拍摄一系列照片，并将它们拼接在一起。
然而，这些结果仍取决于这一系列照片的质量。换句话说，这些技术只能用于任何给定的输入。如果一些输入图像的质量很差，例如图像之间的亮度不一致或重叠区域不足，则结果将不令人满意。此外，最终视野被限制在拍摄这些照片时所覆盖的角度，因此，如果用户更喜欢更宽的视野，除了重新拍摄照片外，没有其他方法。
许多现有技术专注于通过更好的照片构图来提高图像质量。Ligang Liu的一篇题为“优化照片构图”的研究论文揭示了优化图像美学的方法。基于对图像的空间结构和图像中的突出区域和突出线的分布的分析，将美学得分分配给图像。此外，使用裁剪技术来改变图像中显著区域的相对位置，并修改图像的构图美学。与所公开的方法相关联的缺点是仅使用图像内的像素信息，因此，不会将额外的细节引入到增强图像中。
转让给三星电子有限公司的美国专利申请20150363922涉及一种用于增加图像分辨率的装置和方法。本发明包括捕获图像的多个帧，控制单元用于从多个帧中确定参考帧，迭代地确定多个帧的每一个到参考帧的偏移，直到达到统一缩放(unity scaling)，并且确定用于插入在参考帧的像素之间的像素值。尽管现有技术提供了高分辨率图像，但它仅依赖于传统的图像变换方法，而没有结合使用云数据库来将点击的图像与多个高质量图像进行比较，并利用与点击的图像相关联的硬件数据，例如时间、温度和位置信息。这限制了最终图像中的增强量。
转让给微软技术许可有限公司的另一美国专利7889948和转让给Monument PeakVentures Llc的美国申请20070237421涉及用另一图像替换第一数字图像中的面部的方法。本发明提供了对渲染图像进行评估以识别各种图像要沿其融合的最佳接缝。结果是通过用经校正的源区域替换目标区域来扭曲输入图像并将经校正的源区域融合(blending)到数字图像中而构建的马赛克图像。
另一个转让给推特股份有限公司的美国申请20180075581涉及使用多个数据集处理视觉数据的机器学习技术。现有技术中公开的一种方法，用于训练算法以处理接收到的低分辨率视觉数据的至少一部分，以使用训练数据集和参考数据集估计低分辨率视觉数据的高分辨率版本。虽然，本发明通过引入参考数据集克服了上述现有技术的缺点，但它仅关注于提高图像的分辨率，从而在许多其他方面有所欠缺。此外，参考数据集仅是包括有限数量的图像的小集合，并且可能不能根据用户需求提供增强的质量。
因此，需要一种基于智能云的图像增强系统，该系统通过利用存储在云数据库中的大量图像来提高新图像的质量和美观性。基于智能云的图像增强系统不仅依赖于传统的机器学习技术，而且还利用与用于捕获图像的电子设备相关联的硬件数据。
现在很明显，现有技术中开发了许多方法和系统，这些方法和系统适用于各种目的。此外，即使这些发明可能适合于它们所针对的特定目的，相应地，它们也不适合于如上所述的本发明的目的。因此，持续需要一种基于智能云的图像增强系统，该系统使用软件和硬件工具来提高图像的质量和美观性。
发明内容
随着移动行业硬件技术和人工智能的进步，对照片的质量和美观性的要求水平不断提高。硬件和软件工具两者各有利弊。因此，本发明公开了一种集成了硬件和软件工具优点的基于智能云的图像增强系统。所提出的框架通过使用包含高质量图像的数据库来提供自动照片增强，以克服受硬件状态限制而获得的图像的低质量。
本发明的主要目的是提供一个云数据库，该数据库包含使用不同类型的相机模型在世界各地的不同位置和不同环境设置下拍摄的高质量照片的集合。图像增强系统的其他组件包括特征提取模块、推荐器模型和图像增强模型。系统的所有上述组件一起工作以增强经由电子设备捕获的查询图像的质量。
当打开电子设备的相机应用程序时，将触发整个工作流程，用户将相机放置在拍照位置，以拍摄照片。点击图像时的位置、温度和时间等信息通过安装在相机中的硬件收集，并与捕获的图像一起发送到云数据库。与照片一起，图像信息数据将被发送到云数据库以搜索类似内容的图像。
在搜索过程中，多个进程同时运行。特征提取模型，如地点分类、位置投影和环境条件分类，将用于从图像及其相应信息中提取特征，以与数据库中的特征进行比较，以进行相似性度量。拍摄照片后，将激活增强过程。根据增强的目的，然后将拍摄的照片传递给相应的模型，以参考从数据库检索到的类似外观的照片来提高其质量。然后将生成的增强照片发送回用户。
在所提出的系统中，存储在云数据库中的照片是使用具有更好摄影能力的相机拍摄的，以便于提取新点击的照片无法捕获的细节。另一方面，用户有时希望从照片中删除不想要的对象。但是在对象移除之后，需要额外的信息来填充缺失的部分。本发明可以利用来自云数据库的数据来获取此类信息。
通过该系统可以解决的另一个可能的限制是周围环境造成的限制。例如，当以某个角度拍摄时，照片的美学价值可能更高，但可能无法实现，因为摄影师需要站在水中。这可以使用所提出的系统来实现，因为可以使用在不同但邻近的位置拍摄的图像集合来实现新图像的三维(3D)重建。然后，所拍摄的照片可以以用户期望的角度投影。
除此之外，相机可以捕获的场景范围也有限制。通过使用现有成熟的照片拼接技术和大量在不同角度拍摄的类似场景的照片，基于智能云的图像增强系统将仅通过一张当前照片自动创建全景图。
本发明的另一个目的是，不同于通过纯粹使用机器学习模型(其仅具有来自所捕获图像的信息)来增强图像，该系统利用来自数据库的多张照片来添加场景的实际细节，并进一步增强图像。当提取信息以决定要从数据库检索相似图像时，系统不仅依赖于机器学习模型来解释来自图像的信息。此外，它还利用了从相机设置、全球定位系统(GPS)和电话传感器等硬件收集的数据，从而获得了更可靠的信息。
本发明的另一个目的是，所提出的系统直接输出增强图像，因此，对用户的摄影体验要求最少。
本发明的其他目的和方面将从以下详细描述中变得明显，结合附图，附图举例示出了根据本发明实施例的特征。
为了实现上述和相关目的，本发明可以以附图中所示的形式实施，然而，需要注意的是，附图仅是说明性的，并且可以在所附权利要求的范围内对所示和描述的具体结构进行改变。
尽管以上根据各种示例性实施例和实现方式描述了本发明，但应理解，在一个或多个单独实施例中描述的各种特征、方面和功能不限于其适用于描述它们的特定实施例，无论这些实施例是否被描述，以及这些特征是否被呈现为所描述实施例的一部分。因此，本发明的广度和范围不应受到任何上述示例性实施例的限制。
在某些情况下，“一个或多个”、“至少”、“但不限于”或其他类似短语等拓宽词语和短语的出现不应理解为在可能不存在此类拓宽短语的情况下，有意或需要使用较窄的情况。
附图说明
结合附图，从以下描述和所附权利要求中，本发明的目的和特征将变得更加明显。理解这些附图仅描绘了本发明的典型实施例，因此不应被视为限制其范围，将通过使用附图以附加的具体性和细节来描述和解释本发明，其中：
图1示出了根据本发明的图像增强系统。
图2示出了根据本发明的图像增强系统的结构。
图3示出了根据本发明的图像增强系统的特征提取模块。
图4示出了根据本发明的图像增强系统的图像增强模块。
图5示出了根据本发明的用于生成基于智能云的增强图像的方法。
图6示出了根据本发明的用于生成基于智能云的增强图像的方法。
图7示出了根据本发明的电子设备的框图。
具体实施方式
相机作为记录视觉数据的设备，历史悠久。由于技术的进步，如今可用的诸如智能手机、平板电脑和数码相机等电子设备能够捕获超分辨率图像和视频。自动聚焦功能、图像质量校正功能等是用户可以使用的一些选项，以提高所捕获的图像的质量。
由于最近配备相机的移动设备(例如智能手机、平板电脑、智能眼镜等)的激增，个人在其日常生活中生成了大量图像。随着图像处理领域中硬件和软件技术的进步，对所捕获的图像的质量和美观性的要求水平不断提高。本发明公开了一种基于智能云的图像增强系统，其借助图像处理行业中的硬件和人工智能工具产生高质量图像。
图1示出了基于智能云的图像增强系统。所提出的基于智能云的图像增强系统100的主要元件是云数据库102，其包含使用不同类型的相机模型在世界各地的不同位置和不同环境设置下拍摄的照片的集合。对于云数据库102的初始设置，可以从一些在线资源获得照片。为了确保照片的质量，他们需要经历由摄影专家或通过现有图像质量和美学评估方法进行的数据清洗过程。换句话说，每张照片都根据其质量和美学价值进行评级。
得分低于预定阈值的照片将从云数据库102中删除。对于通过诸如Facebook和Instagram等社交媒体收集的照片，另一种直接方法是基于其收到的点赞数来确定其是否具有高美学价值。如果可用，相应照片的EXIF数据也会被存储。它提供有关拍摄照片时的日期、时间、地点等信息。
另一种方法是利用大多数智能手机中安装的云存储。换句话说，使用这些设备拍摄的照片会自动同步到存储器，并且在用户的许可下，可以用作云数据库102的一部分。类似地，它们也需要经历数据选择过程。这些照片的EXIF数据很可能是可用的。
一旦系统上线，使用该平台拍摄的照片也可以持续收集。换句话说，每当照片被发送到系统用于增强时，如果它满足质量和美学条件，它也可以作为云数据库102的一部分被存储。类似地，现有的图像质量和美学评估方法可以用于自动评估照片的质量或美学质量。
云数据库102的最后一个实际考虑是关于其存储大小。完美地重建3D空间需要大量照片，如果所有原始质量的照片都保存在云数据库102中，则需要不切实际的存储大小。因此，为每张照片存储的细节量被压缩。一种方法是采用视觉特征编码策略的思想。这种想法的可行性是基于这样的假设，即局部区域的照片中的特征是相似的，并且可以在这些图像中共享。因此，可以存储每个区域和该区域内的每张照片的特征包。这减少了每张照片所需的存储空间，并提高了可扩展性。
此外，基于智能云的图像增强系统100包括特征提取模块104，其包括一些特征提取模型。简单的感知度量(诸如均方误差、峰值信噪比或结构相似性指数)不适用于本发明，因为其不测量两个相同图像之间的相似性。相反，该系统将图像映射到特征，其中特征之间的距离直接对应于图像相似性。在主要实施例中，特征提取模块104内的提取模型是位置投影模型。
位置信息是从捕获图像中提取的特征之一。它是有用的，尤其是当涉及旅游景点的照片时，因为推荐器模型(稍后描述)将能够显著缩限到具有地理位置接近场景的照片。因此，位置投影模型的目的是获得关于拍摄照片的地理位置的特征。最简单的方法是从相机的GPS信息中提取纬度和经度坐标，并将其嵌入到该特征中。然而，在考虑图像的相似性时，还有一些其他重要因素需要考虑，诸如海拔，因为从高处与从低处拍摄相同对象的照片仍然存在显著差异。
在替代实施例中，也可以利用其他特征提取模型。其他特征提取模型可以包括对象检测模型，其对图像中出现的感兴趣对象进行精确定位并分类。此功能很重要，因为它提供了有关照片上下文的信息。这也有助于理解照片的焦点是什么，这是确保照片构图良好的关键因素。
另一个需要考虑的重要因素是拍摄照片的条件。环境条件模型的目的是根据照片中显示的信息提取关于周围环境条件的信息。有关的一些因素是光线和天气。这是因为相同场景但拍摄环境条件不同的图像可能不适合集成在一起。因此，根据用例，重要的是使用在类似条件下拍摄的照片作为输入照片的参考。
相机上还将安装额外的传感器，以提供温度、雾度和湿度等数据。结合从硬件收集的信息，该模型能够更好地识别用户当前所经历的环境条件。
对推荐器模块106进行训练，使得对于接收到的每个新查询，将基于由上述特征提取模块104提取的图像特征从云数据库102返回最接近的图像。说明图像之间的相似性的因素包括但不限于拍摄照片的地理位置、周围条件和图像中检测到的对象。推荐器模块106的目标是推荐若干相似的图像作为参考，以提高新照片的质量和美学价值。
只有相似度分数超过特定阈值的图像才会被考虑，以确保得到的增强照片的质量。即使在云数据库102中不存在相同内容的单个图像，原始照片的质量也将至少保持并且不会由于错误建议的图像而劣化。需要考虑的另一点是，在确定图像之间的相似性时，每个特征的权重可能根据用例而不同。
利用来自在前一步骤中获得的图像的信息，引入图像增强模块108以增加拍摄的照片的价值。不使用超分辨率，而是利用去模糊或去噪模型，其中可以利用具有相同内容但分辨率和质量更好的照片，以增强给定照片的细节。例如，在每个旅游景点，使用各种类型的相机拍摄许多照片。云数据库102将包含这些地点的高质量照片(例如，使用数码单反相机拍摄的照片)。当使用具有较低摄影能力的智能手机相机拍摄同一场景的新照片时，模型则可以使用前述高质量照片中的高频细节来增强新照片中的相同对象。
首先对齐照片，然后合并。用于合并不同频率(即，来自当前照片的低频和来自云数据库102的高质量照片的高频)的细节的示例方法是使用拉普拉斯金字塔融合(blending)。与现有的超分辨率和去模糊深度学习模型不同，这些额外的细节是现实的。相似性度量应该更多地考虑位置信息和检测到的对象，因为它只需要高频信息。诸如时间和温度的特征的影响不大，因为它们主要影响图像的低频信息。
在一张照片中，有时会有不想要的对象，出于美学原因，人们想要移除这些对象。一个常见的用例是在旅游景点拍摄的肖像，其中人们希望从背景中移除人群。然而，在从图像中移除对象之后，需要用视觉上看似真实的背景来填充所创建的间隙。因此，通过收集同一场景的对齐照片，可以从背景中找到缺失的实际信息，并使用它来替换间隙。
与仅使用来自未破坏图像区域的信息的现有模型不同，本发明中公开的方法利用了来自其他图像的那些区域的额外的真实细节，因此导致了更无缝的重建。对于本用例中的相似性度量，环境条件特征的作用与位置信息一样重要，因为参考图像应该具有相似的上下文。在同一图像中混合白天和黑夜或夏天和冬天是不合理的。
影响照片美学价值的一个因素是照片的构图。有一些方法可以将场景中的各种元素排列在框架内，从而产生更具吸引力的照片。然而，用户可能不知道最佳拍摄角度。此外，由于周围环境的限制，某些角度可能无法达到。本申请利用可能在不同但邻近的位置拍摄的图像集合，并且可以构建该区域的3D虚拟空间。
简单地说，这些图像有一些共同感兴趣的对象，但是从不同的角度观看的。根据这组图像构建3D虚拟空间。发现最佳视角和距离使得图像中感兴趣的对象仍然存在，但是被重新投影以改善照片构图。有时，相机镜头(尤其是智能手机)可能不够广，无法捕获整个场景。用户不需要在不同角度拍摄场景的多个镜头，数据库将由为图像提供更好的视角的多张照片组成。
图2示出了图像增强系统的结构。当打开相机应用程序时，将触发整个工作流程，并且用户将电子设备的相机放置在拍照位置，以拍摄照片。电子设备可以是智能手机、平板电脑、数码相机或任何其他安装有相机的设备。在主要实施例中，所使用的设备是智能手机。拍摄的照片和电子设备的硬件数据102b由图像数据库102a收集。
图像数据库102a包含使用不同类型的相机模型在世界各地的不同位置和不同环境设置下拍摄的照片的集合。对于图像数据库102a的初始设置，可以从一些在线资源获得照片。该数据库还可以从社交网站或各种电子设备的云存储中获取照片。硬件数据包括诸如位置、温度和时间等信息。硬件包括配置在电子设备内的多个传感器。传感器的一些示例包括GPS、环境传感器、指南针传感器、气压计传感器和光传感器。
已知在特征提取模块104内配置的多个机器学习模型和特征提取模型从所捕获的图像中提取特征。这些特征提取模型将利用从用于捕获图像的电子设备的硬件提取的信息。诸如地点分类、位置投影和环境条件分类的特征提取模型将用于从图像及其相应信息中提取特征。
位置信息是有用的，尤其是当涉及旅游景点的照片时，因为推荐器模型(稍后描述)能够显著缩限到具有地理位置接近场景的照片。因此，该模型的目的是获取有关拍摄照片的地理位置的特征。
另一个模型，即对象检测模型检测并分类图像中出现的感兴趣对象。此功能很重要，因为它提供了有关照片上下文的信息。这也有助于理解照片的焦点是什么，这是确保照片构图良好的关键因素。
另一个需要考虑的重要因素是照片的拍摄条件。环境条件模型的目的是根据照片中显示的信息提取关于周围环境条件的信息。有关的一些因素是光线和天气。这是因为相同场景但拍摄环境条件不同的图像可能不适合集成在一起。
然后，特征提取模型将提取的特征与存储在图像数据库102a中的图像集合的特征进行比较。基于比较，特征提取模型对图像集合进行分组，例如，可以基于捕获照片的位置对照片进行分组。
相同位置的这些图像可以用于构建虚拟3D空间。对于每个新传入的照片，通过将其检测到的关键点和描述符与来自其他图像的关键点和描述符进行比较来找到匹配点。因此，为了避免重复计算，所计算的关键点和描述符信息也可以与新的图像数据库102a图像一起存储。
类似地，对于3D空间，可以不需要每次有新照片时重建3D空间。相反，可以在先前构建的3D空间内确定新照片的对应位置。以此方式，可以在图像数据库102a中查找其他相关照片时加快搜索过程。因此，不仅收集由在数据库内运行的机器学习模型提取的特征110，还收集与电子设备的硬件相对应的新特征112。
对推荐器模块106进行训练，使得对于接收到的每个新查询，将从图像数据库102a返回最接近的图像。说明图像之间的相似性的因素包括但不限于拍摄照片的地理位置、周围条件和图像中检测到的对象。推荐器模块106的目标是推荐若干类似的图像114作为参考，以提高新照片的质量和美学价值。具有超过特定阈值的相似性得分的图像将被考虑，以确保得到的增强照片的质量。
图像增强模块108接收推荐器模块106推荐的一些图像。这些图像114在先前提取的特征方面类似于捕获的图像。在接收到推荐图像114之后，激活增强处理。根据增强的目的，将所拍摄的照片传递到相应的模型，以参考从图像数据库102a检索的类似外观的照片来提高其质量。增强可以包括图像的去模糊或去噪、图像的透视变换、找到图像的更好视角或从图像中移除不想要的对象中的一个或多个。然后将得到的增强照片116发送回用户。
图3示出了图像增强系统的特征提取模块。本发明的特征提取模块104包括两个部件，即提取器118和比较器120。在搜索过程之后并发地执行若干过程，以从查询图像中提取特征。如果没有良好的参考照片，无论增强模型的性能如何，由系统提供的最终增强图像都可能是低质量的。
简单的感知度量(如均方误差、峰值信噪比或结构相似性指数)不适用于该系统，因为其没有测量两个相同图像之间的相似性。相反，图像被映射到特征，其中特征之间的距离直接对应于图像相似性。一些示例性的有用的特征提取模型例如是位置投影、对象检测和环境条件分类。
提取器118的作用是从捕获的图像中提取大量特征。这些特征是在与已用于捕获图像的电子设备相关联的硬件的帮助下捕获的。电子设备可以是平板电脑、智能手机或数码相机。与电子设备相关联的硬件包括存储图像信息的多个传感器。传感器的示例包括光传感器、环境传感器、气压计传感器和指南针传感器。
位置信息是由提取器118提取的特征之一，它是有用的，特别是当涉及旅游景点的照片时，因为推荐器模块将能够显著缩限到具有地理位置接近的场景的照片。因此，该模块的目的是获取关于拍摄照片的地理位置的特征。最简单的方法是从相机的GPS信息中提取纬度和经度坐标，并将其嵌入到该特征中。
在对象检测模型下，目标是对图像中出现的感兴趣对象进行精确定位和分类。此功能很重要，因为它提供了有关照片上下文的信息。它也有助于了解照片的焦点是什么，这是确保照片构图良好的关键因素。简而言之，推荐器模块必须考虑到这些信息，并找到具有相似背景和焦点的照片。
另一个需要考虑的重要因素是拍摄照片的条件。该模块104的目的是根据照片中显示的信息提取关于周围环境条件的信息。有关的一些因素是光线和天气。这是因为相同场景但拍摄环境条件不同的图像可能不适合集成在一起。
因此，根据用例，重要的是使用在类似条件下拍摄的照片作为输入照片的参考。特征提取模块的比较器将该信息用于将捕获图像的特征与存储在数据库中的图像的特征进行比较。
图4示出了图像增强系统的图像增强模块。利用从系统的推荐器模块获得的图像的信息，图像增强模块108为拍摄的照片增加价值。图像增强模块108的一些作用包括细节增强、修复、透视变换和广角视图，这些由配置在图像增强模块108内的专用单元执行。
细节增强单元122负责对捕获的图像进行去模糊和去噪。可以使用内容相同但分辨率和质量更好的照片，以增强给定照片的细节。例如，在每个旅游景点，使用各种类型的相机拍摄许多照片。数据库将包含这些地点的高质量照片(例如使用数码单反相机拍摄的照片)。当使用具有较低摄影能力的智能手机相机拍摄同一场景的新照片时，模型104则可以使用前述高质量照片中的高频细节来增强新照片中的相同对象。
首先由细节增强单元122对齐照片，然后合并照片。合并不同频率(即，来自当前照片的低频和来自高质量数据库照片的高频)的细节的示例方法是使用拉普拉斯金字塔融合(blending)。与现有的超分辨率和去模糊深度学习模型不同，这些额外的细节是现实的。相似性度量应该更多地考虑位置信息和检测到的对象，因为它只需要高频信息。诸如时间和温度的特征的影响不大，因为它们主要影响图像的低频信息。
在一张照片中，有时会有一些不想要的对象，出于美学原因，人们会想要移除这些对象。一个常见的用例是在旅游景点拍摄的肖像，人们希望从背景中移除人群。然而，在从图像中移除对象之后，需要用视觉上看似真实的背景填充这些区域。修复单元124负责去除不想要的对象并填充间隙。因此，通过收集同一场景的对齐照片，可以使用背景中缺失的实际信息来替换间隙。
与仅使用来自未破坏图像区域的信息的现有模型不同，本发明中公开的方法利用了来自其他图像的那些区域的额外的真实细节，因此导致了更无缝的重建。对于本用例中的相似性度量，环境条件特征的作用与位置信息一样重要，因为参考图像应该具有相似的上下文。在同一图像中混合白天和黑夜或夏天和冬天是不合理的。
影响照片美学价值的一个因素是照片的构图。有一些方法可以将场景中的各种元素排列在框架内，从而生成更具吸引力的照片。然而，用户可能不知道最佳拍摄角度。此外，由于周围环境的限制，某些角度可能无法达到。透视变换单元126利用可能在不同但邻近位置拍摄的图像集合，并且可以构建该区域的3D虚拟空间。
有时，相机镜头(尤其是智能手机)可能不够广，无法捕获整个场景。再次，使用图像数据库来利用重建的3D空间。3D图像被投影到2D中，使得用户捕获的原始场景成为焦点中心，并从投影中裁剪额外的侧视图。该功能由全景生成单元128执行。换句话说，用户不需要在不同角度拍摄场景的多张照片，可以使用上述重建图像来补偿该信息。用户不再仅限于在一系列照片中捕获的视图，并且可以灵活地选择要包含的视野范围，因为来自数据库的图像广泛覆盖了该场景。
图5示出了生成基于智能云的增强图像的方法。如图5所示，流程图200a示出了一种方法，该方法包括以下内容。
步骤204：从电子设备接收图像。
步骤206：将图像存储在数据库中。
步骤208：特征提取模块从图像中提取一个或多个特征。
在步骤206中，图像连同与由电子设备的硬件捕获的图像相关的一些信息一起被发送到云数据库并存储在该数据库中。数据库已经存储了从多个源获得的多个图像。一旦图像被存储在数据库中，特征提取模块就从图像中提取多个特征。在步骤208中，诸如位置分类和对象检测的特征提取模型在特征提取模块内配置的提取器的帮助下执行特征提取。
步骤210：基于一个或多个特征，将图像与存储在云数据库中的多个图像进行比较。在步骤210中，将提取的特征与存储在云数据库中的多个图像的特征进行比较，这是由配置在特征提取模块内的比较器完成的。
步骤212：基于相似度分数从多个图像推荐一个或多个图像。
在步骤212中，在比较器生成的比较结果的基础上，推荐器模块基于相似度得分推荐一个或多个图像。
步骤214：基于推荐接收一个或多个图像。
在步骤214中，推荐的图像被发送到图像增强模块。
步骤216：将一个或多个图像的至少一部分与图像合并，以通过图像增强模块获得增强图像。
最后，在步骤216中，图像增强模块将推荐的一个或多个图像的至少一部分与图像合并，以获得增强图像。
图6示出了生成处理图像的方法。如图6所示，流程图200b示出了一种方法，该方法包括步骤202和步骤216。具体地，步骤202包括如下内容。
步骤204：从电子设备接收图像。
步骤206：将图像存储在数据库中。
步骤208：特征提取模块从图像中提取一个或多个特征。
在步骤206中，图像连同与由电子设备的硬件捕获的图像相关的一些信息一起被发送到云数据库并存储在数据库中。数据库已经存储了从多个源获得的多个图像。一旦图像被存储在数据库中，特征提取模块就从图像中提取多个特征。在步骤208中，诸如位置分类和对象检测的特征提取模型在特征提取模块内配置的提取器的帮助下执行特征提取。
步骤210：基于一个或多个特征，将图像与存储在云数据库中的多个图像进行比较。
在步骤210中，将提取的特征与存储在云数据库中的多个图像的特征进行比较，这是由配置在特征提取模块内的比较器完成的。
步骤212：基于相似度分数从多个图像推荐一个或多个图像。
在步骤212中，基于由比较器生成的比较结果，推荐器模块基于相似性得分推荐一个或多个图像。
步骤214：基于推荐接收一个或多个图像。
在步骤214中，推荐的图像被发送到图像增强模块。
图像增强模块包括多个组件，用于通过将一个或多个图像的至少一部分与步骤216所示的图像合并来增强图像质量，步骤216还包括如下所列的多个步骤。
步骤218：将一个或多个图像的多个属性与图像对齐之后合并,以生成对齐图像。
在步骤218中，图像增强模块的细节增强单元将来自一个或多个图像的细节与捕获的图像对齐并合并，并生成对齐图像。细节包括高频和光强度。
步骤220：利用多个图像修复对齐图像，以生成修复图像。
图像增强模块的修复单元从对齐图像中移除一个或多个不想要的对象，并填充利用推荐图像创建的间隙，以生成修复图像。
步骤222：将修复图像变换一定角度，以生成变换图像。
在步骤222中，找到修复图像的合适视角，以生成变换图像。
步骤224：生成变换图像的宽视野，以生成增强图像。
最后，在步骤224中，图像增强模块的全景生成单元覆盖变换图像的更宽视野，以生成处理图像。
图7示出了根据本发明的电子设备的框图。
参照图7，电子设备700包括处理组件710，其进一步包括一个或多个处理器，以及由存储器720所代表的存储器资源，用于存储可由处理组件710的执行的指令，例如应用程序。存储器720中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件710被配置为执行指令，以执行上述生成增强图像的方法。
电子设备700还可以包括一个电源组件被配置为执行电子设备700的电源管理，一个有线或无线网络接口被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口。电子设备700可以操作基于存储在存储器1420的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备700的处理器执行时，使得上述电子设备700能够执行上述生成增强图像的方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
虽然以上已经描述了本发明的各种实施例，但应当理解，它们仅通过示例而非限制的方式呈现。类似地，该图可以描绘本发明的示例性架构或其他配置，这是为了帮助理解可以包括在本发明中的特征和功能。本发明不限于所示的示例性架构或配置，但是可以使用各种替代架构和配置来实现期望的特征。
尽管以上根据各种示例性实施例和实现方式描述了本发明，但应理解，在一个或多个单独实施例中描述的各种特征、方面和功能不限于其适用于描述它们的特定实施例，无论这些实施例是否被描述，以及这些特征是否被呈现为所描述实施例的一部分。因此，本发明的广度和范围不应受到任何上述示例性实施例的限制。
在某些情况下，“一个或多个”、“至少”、“但不限于”或其他类似短语等拓宽词语和短语的出现不应理解为在可能不存在此类拓宽短语的情况下，有意或需要使用较窄的情况。

Claims (18)

1.一种基于智能云的图像增强系统，用于图像增强，其特征在于，所述图像增强系统包括：
云数据库，用于从电子设备接收图像；
特征提取模块，包括：
提取器，用于从所述图像中提取一个或多个特征；以及
比较器，用于基于所述一个或多个特征，将所述图像与存储在所述云数据库中的多个图像进行比较；
推荐器模块，用于基于与所述图像的相似性得分，从所述多个图像中推荐一个或多个图像；以及
图像增强模块，用于从所述推荐器模块接收所述一个或多个图像，以及将所述一个或多个图像的至少一部分与所述图像合并，以获得增强图像。
2.根据权利要求1所述的图像增强系统，其特征在于，所述电子设备是智能手机、笔记本电脑、数码相机或平板电脑中的任一个。
3.根据权利要求1所述的图像增强系统，其特征在于，所述图像的所述一个或多个特征是从所述电子设备的一个或多个传感器获得的。
4.根据权利要求3所述的图像增强系统，其特征在于，所述一个或多个传感器包括全球定位系统GPS传感器、环境传感器、光传感器、指南针传感器和气压计传感器中的至少一个。
5.根据权利要求1所述的图像增强系统，其特征在于，所述特征提取模块基于所述图像的GPS位置将所述多个图像分组为一组或多组图像。
6.根据权利要求5所述的图像增强系统，其特征在于，所述特征提取模块创建所述一组或多组图像的三维虚拟空间。
7.根据权利要求1所述的图像增强系统，其特征在于，所述相似性得分基于分配给所述一个或多个特征的权重。
8.根据权利要求1所述的图像增强系统，其特征在于，所述图像增强模块进一步对所述图像进行去模糊和去噪处理，以生成所述增强图像。
9.根据权利要求1所述的图像增强系统，其特征在于，所述图像增强模块包括图像对齐单元，用于将所述一个或多个图像的多个属性与所述图像对齐之后合并，以生成对齐图像。
10.根据权利要求9所述的图像增强系统，其特征在于，所述多个属性基于高频和光强度。
11.根据权利要求9所述的图像增强系统，其特征在于，所述图像增强模块还包括修复单元，用于用所述多个图像修复所述对齐图像，以生成修复图像。
12.根据权利要求11所述的图像增强系统，其特征在于，所述图像增强模块还包括透视变换单元，用于将所述修复图像变换一定角度，以生成变换图像。
13.根据权利要求12所述的图像增强系统，其特征在于，所述图像增强模块还包括全景生成单元，用于生成所述变换图像的宽视野，以生成增强图像。
14.一种基于智能云的图像增强系统，用于增强图像，其特征在于，所述图像增强系统包括：
云数据库，用于从电子设备接收图像；
特征提取模块，包括：
提取器，用于从所述图像中提取一个或多个特征；以及
比较器，用于基于所述一个或多个特征，将所述图像与存储在所述云数据库中的多个图像进行比较；
推荐器模块，用于基于与所述图像的相似性得分，从所述多个图像中推荐一个或多个图像；以及
图像增强模块，用于从所述推荐器模块接收所述一个或多个图像，其中所述图像增强模块包括：
图像对齐单元，用于将所述一个或多个图像的多个属性与所述图像对齐之后合并以生成对齐图像，其中，所述多个属性基于高频和光强度；
修复单元，用于利用所述多个图像修复所述对齐图像，以生成修复图像；
透视变换单元，用于将所述修复图像变换一定角度，以生成变换图像；以及
全景生成单元，用于生成所述变换图像的宽视野，以生成增强图像。
15.一种生成增强图像的方法，其特征在于，包括：
从电子设备接收图像；
将所述图像存储在云数据库中；
通过特征提取模块从所述图像中提取一个或多个特征；
基于所述一个或多个特征，将所述图像与存储在所述云数据库中的多个图像进行比较；
基于与所述图像的相似性得分，从所述多个图像中推荐一个或多个图像；
基于推荐接收所述一个或多个图像；以及
将所述一个或多个图像的至少一部分与所述图像合并，以获得增强图像。
16.一种生成增强图像的方法，其特征在于，包括：
从电子设备接收图像；
将所述图像存储在云数据库中；
通过特征提取模块从所述图像中提取一个或多个特征；
基于所述一个或多个特征，将所述图像与存储在所述云数据库中的多个图像进行比较；
基于与所述图像的相似性得分，从所述多个图像中推荐一个或多个图像；
基于推荐接收所述一个或多个图像；
将所述一个或多个图像的多个属性与所述图像对齐之后合并，以生成对齐图像，其中，所述多个属性基于高频和光强度；
利用所述多个图像修复所述对齐图像，以生成修复图像；
将所述修复图像变换一定角度，以生成变换图像；以及
生成所述变换图像的宽视野，以生成增强图像。
17.一种计算机可读存储介质，其特征在于，包括计算机程序逻辑，用于使计算机系统中的至少一个处理器能够经由软件平台生成基于智能云的增强图像，所述计算机程序逻辑包括如权利要求15或16所述的方法。
18.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行如权利要求15或16所述的方法。
CN202310033994.6A 2022-01-12 2023-01-10 基于智能云的图像增强系统、生成增强图像的方法 Pending CN116029931A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/574,327 2022-01-12
US17/574,327 US20230222635A1 (en) 2022-01-12 2022-01-12 Cloud based intelligent image enhancement system

Publications (1)

Publication Number Publication Date
CN116029931A true CN116029931A (zh) 2023-04-28

Family

ID=86073955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310033994.6A Pending CN116029931A (zh) 2022-01-12 2023-01-10 基于智能云的图像增强系统、生成增强图像的方法

Country Status (2)

Country Link
US (1) US20230222635A1 (zh)
CN (1) CN116029931A (zh)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181534A1 (en) * 2006-12-18 2008-07-31 Masanori Toyoda Image processing method, image processing apparatus, image reading apparatus, image forming apparatus and recording medium
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
US8781175B2 (en) * 2007-05-07 2014-07-15 The Penn State Research Foundation On-site composition and aesthetics feedback through exemplars for photographers
US8619148B1 (en) * 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
US8660342B2 (en) * 2012-01-24 2014-02-25 Telefonica, S.A. Method to assess aesthetic quality of photographs
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9208548B1 (en) * 2013-05-06 2015-12-08 Amazon Technologies, Inc. Automatic image enhancement
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
CN105684038B (zh) * 2013-10-28 2019-06-11 谷歌有限责任公司 用于替换图像的部分的图像缓存
JP6613697B2 (ja) * 2015-08-06 2019-12-04 株式会社リコー 画像処理装置、プログラムおよび記録媒体
US10484601B2 (en) * 2015-08-31 2019-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10290085B2 (en) * 2016-12-14 2019-05-14 Adobe Inc. Image hole filling that accounts for global structure and local texture
KR102287043B1 (ko) * 2017-05-22 2021-08-06 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법
US10699453B2 (en) * 2017-08-17 2020-06-30 Adobe Inc. Digital media environment for style-aware patching in a digital image
JP2019114956A (ja) * 2017-12-25 2019-07-11 キヤノン株式会社 画像処理装置、撮像システム、移動体
US11270415B2 (en) * 2019-08-22 2022-03-08 Adobe Inc. Image inpainting with geometric and photometric transformations
CN112712470B (zh) * 2019-10-25 2024-09-06 华为技术有限公司 一种图像增强方法及装置
US11741618B2 (en) * 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device
US11689814B1 (en) * 2021-12-02 2023-06-27 Centre For Intelligent Multidimensaional Data Analysis Limited System and a method for processing an image

Also Published As

Publication number Publication date
US20230222635A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
EP2328125B1 (en) Image splicing method and device
Kopf et al. Deep photo: Model-based photograph enhancement and viewing
US8401316B2 (en) Method and apparatus for block-based compression of light-field images
WO2016155377A1 (zh) 图片展示方法和装置
CN101689292B (zh) Banana多媒体数字信号编解码器
US10839496B2 (en) Multiple exposure method, terminal, system, and computer readable storage medium
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
Zhang et al. Personal photograph enhancement using internet photo collections
CN107430498B (zh) 扩展照片的视场
US10354399B2 (en) Multi-view back-projection to a light-field
Griffiths et al. OutCast: Outdoor Single‐image Relighting with Cast Shadows
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN110278366A (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
Chang et al. Panoramic human structure maintenance based on invariant features of video frames
US20080111814A1 (en) Geometric tagging
Assa et al. Diorama construction from a single image
CN116029931A (zh) 基于智能云的图像增强系统、生成增强图像的方法
US10282633B2 (en) Cross-asset media analysis and processing
US20220321774A1 (en) Method for assisting the acquisition of media content at a scene
TWI628626B (zh) Multiple image source processing methods
Heindl et al. Capturing photorealistic and printable 3d models using low-cost hardware
CN112804451B (zh) 利用多个摄像头进行拍照的方法和系统以及移动装置
CN109348132B (zh) 全景拍摄方法及装置
JP4920457B2 (ja) 画像処理装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination