CN107408294A - 交叉水平的图像混合 - Google Patents

交叉水平的图像混合 Download PDF

Info

Publication number
CN107408294A
CN107408294A CN201580054772.6A CN201580054772A CN107408294A CN 107408294 A CN107408294 A CN 107408294A CN 201580054772 A CN201580054772 A CN 201580054772A CN 107408294 A CN107408294 A CN 107408294A
Authority
CN
China
Prior art keywords
image
level
detail
sampling
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580054772.6A
Other languages
English (en)
Other versions
CN107408294B (zh
Inventor
刘玎玎
T·D·巴克莱
B·K·梅塔
W·希克勒
K·穆克蒂纽塔拉帕蒂
K·考萨姆荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107408294A publication Critical patent/CN107408294A/zh
Application granted granted Critical
Publication of CN107408294B publication Critical patent/CN107408294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

提供了用于图像混合和/或促进图像过渡的一个或多个技术和/或系统。在一个示例中,地图界面通过可视化来显示地图信息、例如城镇。具有第一细节水平和第一图像类型的第一图像(例如,城镇的卫星图像)可以通过可视化被显示。当放大该城镇时,具有第二细节水平和第二图像类型的第二图像(例如,城镇的航拍图像)可以通过可视化被显示。取代于仅将可视化从显示第一图像过渡到显示第二图像(在放大过程中),这可能会提供视觉上突然的过渡,具有在第一图像与第二图像之间的中间细节水平的一个或多个中间混合图像可以被生成并且在第一图像与第二图像的过渡期间被显示。

Description

交叉水平的图像混合
背景技术
许多应用和/或网站通过地图界面来提供信息。例如,跑步网站可以通过跑步地图可视化来显示跑步路线;移动地图应用可以在道路地可视化图中显示行驶方向等等。这样的应用和/或网站可以允许用户放大地图可视化、缩小地图可视化和/或旋转地图可视化的视角。
发明内容
提供发明内容以便以简化形式介绍所选择的概念,这在下面的详细描述中将进一步描述。本发明内容无意确定所要求保护的主题的关键因素或基本特征,也无意用于限制所要求保护的主题的范围。
除了其他之外,本文提供了用于图像混合和/或促进图像过渡的一个或多个系统和/或技术。在图像混合的示例中,可以生成具有第一图像类型和第一细节水平的第一图像与具有第二图像类型和第二细节水平的第二图像之间的中间混合图像。中间混合图像可以具有第一细节水平与第二细节水平之间的中间细节水平。在生成中间混合图像的示例中,可以对第一图像执行结构转换以生成新图像。可以下采样(downsample)第二图像以生成下采样图像,下采样图像具有与新图像的尺寸相对应的下采样尺寸。可以计算新图像与下采样图像之间的色差。色差可以被上采样(upsample)以生成上采样色差。可以使用插值权重和上采样色差来混合梯度图像以生成中间混合图像。可以在第一图像的显示与第二图像的显示之间的过渡期间,通过可视化来显示中间混合图像。
在促进图像过渡的示例中,可以对具有第二图像类型和第二细节水平的第二图像进行子采样(subsample)以生成子采样图像。子采样图像可以具有与具有第一图像类型和第一细节水平的第一图像相对应的子采样尺寸。可以确定子采样图像与第一图像之间的色彩距离度量。可以确定子采样图像与第一图像之间的结构相似性度量。可以基于色彩距离度量和结构相似性度量来生成过渡混合度量。可以基于过渡混合度量来排序图像集合,以生成从显示第一图像与显示第二图像之间的平滑过渡到突然过渡的经排序的图像集合。
为了实现前述和相关目的,以下描述和附图阐述了某些说明性方面和实现。这些仅仅是可以采用的一个或多个方面的各种方式中的一些。本公开的其它方面、优点和新颖特征将从以下结合附图考虑的详细描述中变得清楚。
附图说明
图1是示出图像混合的示例性方法的流程图。
图2是示出其中第一中间混合图像被生成的用于图像混合的示例性系统的部件框图。
图3示出了生成中间混合图像集合的示例。
图4A是示出其中卫星图像被显示的用于图像混合的示例性系统的部件框图。
图4B是示出其中第一中间混合图像被显示的用于图像混合的示例性系统的部件框图。
图4C是示出其中一个或多个附加的中间混合图像被显示的用于图像混合的示例性系统的部件框图。
图4D是示出其中航拍图像被显示的用于图像混合的示例性系统的部件框图。
图5是示出促进图像过渡的示例性方法的流程图。
图6是示出用于促进图像过渡的示例性系统的部件框图。
图7是示例性计算机可读介质的图示,其中被配置成体现本文中所阐述的一个或多个供应的处理器可执行指令可以被包括。
图8示出了其中本文中所阐述的一个或多个供应可以被实现的示例性计算环境。
具体实施方式
现在参考附图描述所要求保护的主题,其中通常使用相同的附图标记来指代相同的元件。在下文描述中,出于解释的目的,阐述了许多具体细节以提供对所要求保护的主题的理解。然而,显然可以在没有这些具体细节的情况下实践所要求保护的主题。在其他情况下,结构和装置以框图形式被示出,以便于促进描述所要求保护的主题。
本文提供了用于图像混合和/或促进图像过渡的一个或多个技术和/或系统。用户可能期望放大和/或缩小地图而避免突然的视觉过渡,该突然的视觉过渡可能发生在从第一类型的图像导出的第一地图缩放水平(例如卫星图像)和从第二类型的图像导出的第二地图缩放水平(例如航拍图像)过渡时(例如,用户可能将从卫星图像得到的美国地图的卫星视图,放大到从航拍图像得到的鸟瞰图)。然而,许多客户端设备和/或地图提供者可能缺乏处理能力、存储和/或带宽来提供从第一地图缩放水平到第二地图缩放水平的平滑视觉过渡,原因在于被访问、获取和/或用于过渡的不同类型的图像数据源和不同类型的图像。因此,如本文所提供的,具有在第一图像(例如,卫星图像)的第一细节水平与第二图像的第二细节水平(例如,航拍图像)的中间细节水平的一个或多个中间混合图像可以被生成以用于在第一图像的显示和第二图像的显示之间的过渡期间显示。因为一个或多个中间混合图像被生成用于在过渡期间显示,所以可以提供视觉平滑的过渡。
通过图1的示例性方法100来示出图像混合的实施例。在102,该方法开始。地图界面可以通过可视化显示地图信息(例如,移动地图应用可以通过城市的地图可视化来显示行驶方向)。地图界面可以利用各种类型的图像来填充地图可视化,诸如用于相对缩小的城市视图的卫星图像和用于相对放大的城市视图的航拍图像。地图界面可以允许用户放大和/或缩小可视化。在一个示例中,当放大时,可视化可以从使用卫星图像的城市视图过渡到使用航拍图像显示城市的视图。如本文所提供的,一个或多个中间混合图像可以在从卫星图像到航拍图像的过渡期间(例如,从卫星图像到航拍图像以用于放大,从航拍图像到卫星图像以用于缩小,和/或在任何两种类型的图像之间过渡时)被生成和/或显示,以为用户提供相对平滑的视觉过渡。
在104,可以生成具有第一图像类型和第一细节水平的第一图像(例如,卫星图像)与具有第二图像类型和第二细节水平的第二图像(例如,航拍图像)之间的中间混合图像。中间混合图像可以具有第一细节水平与第二细节水平之间的中间细节水平。在一个示例中,第一图像可以对应于针对第一图像类型的高于高细节阈值的分辨率(例如,在到航拍图像的一个细节水平过渡之前的最高分辨率卫星图像)。在一个示例中,第二图像可以对应于针对第二图像类型的低于低细节阈值的分辨率(例如,在从卫星图像的一个细节水平过渡之后的最低分辨率航拍图像)。
在生成的示例中,在106,对第一图像执行结构转换以生成新图像。新图像可以被生成,并且来自第一图像(诸如卫星图像)的结构可以被转换成在第一图像的第一细节水平的新图像(例如,使得新图像具有与第一图像相似的分辨率)。在一个示例中,结构可以对应于色差(例如,与不同色彩的红色相关的信息)。在108,第二图像可以被下采样以生成下采样图像,下采样图像具有与新图像的尺寸对应的下采样尺寸。在一个示例中,可以对第二图像执行连续的精细到粗糙的下采样(例如,直到下采样图像的下采样尺寸与新图像的尺寸相对应,例如大约256个像素乘以大约256个像素),以生成下采样图像。在一个示例中,可以基于连续的精细到粗糙的下采样来构建高斯金字塔。高斯金字塔可以被利用来生成下采样图像。
在110,新图像与下采样图像之间的色差(例如,Landsat(地球资源卫星)或卫星色彩水平差异)可以被计算。在112,色差可以被上采样以生成上采样色差。在上采样的示例中,基于第一细节水平的数目(例如,卫星的细节水平的数目)和/或第二细节水平的数目(例如,航拍的细节水平的数目)来计算插值权重。在114,梯度图像可以使用插值权重和/或上采样色差而被混合,以生成中间混合图像。在一个示例中,可以基于梯度图像的梯度值来确定混合量度量(例如,指示基于新图像和下采样图像之间的差异(诸如色差)的量而执行的混合量)。以这种方式,可以基于混合量度量(例如,第一图像和第二图像之间的混合量)来混合梯度图像。在另一示例中,可以基于高斯金字塔内的梯度图像的金字塔水平来确定混合量度量。在混合的示例中,可以确定相对于x轴的水平偏导数。水平偏导数可以指示沿着x轴的像素之间的水平色差。可以确定相对于y轴的垂直偏导数。垂直偏导数可以指示沿着y轴的像素之间的垂直色差。可以基于水平偏导数和/或垂直偏导数来混合梯度图像。
以这种方式,可以基于混合梯度图像来生成中间混合图像。中间混合图像可以覆盖一个如下占地面积量,该占地面积量对应于由第二图像覆盖的占地面积量。在一个示例中,可以生成在第一细节水平与第二细节水平之间的中间混合图像集合,其中中间混合图像集合覆盖一个如下占地面积量,该占地面积量是由对应的第二图像集合(例如,航拍图集合)覆盖的占地面积量。在116,可以在第一图像的显示与第二图像的显示之间的过渡期间,通过可视化来显示中间混合图像(和/或中间混合图像集合中的其他中间混合图像)。与从第一图像到第二图像的直接过渡可能发生的突然变化相比,在过渡期间显示中间混合图像可以提供相对平滑的视觉过渡。在118,该方法结束。
图2示出了用于图像混合的系统200的示例。系统200包括图像混合部件206。图像混合部件206可以被配置为生成中间混合图像214,该中间混合图像214具有在第一图像(诸如海滩城镇的卫星图像202)的第一细节水平与第二图像(诸如海滩城镇的航拍图像204)的第二细节水平之间的中间细节水平。例如,图像混合部件206可以对卫星图像202执行结构转换,以生成在第一细节水平的新图像208。图像混合部件206可以下采样航拍图像204以生成下采样图像210,下采样图像210具有与新图像208的尺寸相对应的下采样尺寸。图像混合部件206可以计算新图像208与下采样图像210之间的色差。色差可以被上采样以生成上采样色差。图像混合部件206可以使用插值权重和/或上采样色差来混合梯度图像212,以生成中间混合图像214。以这种方式,中间混合图像214可以在卫星图像202的显示与航拍图像204的显示之间的过渡(例如,放大/缩小)期间被显示。
图3示出了生成中间混合图像集合312的示例300。例如,图像混合部件206可以生成如图2所示的第一中间混合图像214、第二中间混合图像316、第三中间混合图像318、第四中间混合图像320和/或用于包含在中间混合图像集合312内的其它混合图像。图像混合部件206可以基于与新图像306和/或从卫星图像202和/或航拍图像204导出的下采样图像308相关联的插值权重和/或上采样色差来混合梯度图像310。以这种方式,在中间混合图像集合312内的一个或多个中间混合图像可以在卫星图像202的显示与航拍图像204的显示之间的过渡期间被显示。
图4A至图4D示出了系统401的示例,该系统401包括用于图像混合和促进图像过渡的图像可视化部件402。图4A示出了显示卫星图像202的示例400。图像可视化部件402可以与通过客户端设备显示的地图界面406相关联。地图界面406可以显示海滩城镇的地图可视化。例如,地图界面406可以提交对海滩城镇的第一缩放水平的请求404。图像可视化部件402可以从地图界面406接收请求404。图像可视化部件402可以确定卫星图像202对应于第一缩放水平。因此,图像可视化部件402可以将卫星图像202提供给地图界面406,以通过地图可视化来显示。
图4B示出了显示第一中间混合图像214的示例420。图像可视化部件402可以接收对海滩城镇的第二缩放水平的第二请求422。图像可视化部件402可以确定第二缩放水平对应于航拍图像204。图像可视化部件402可以确定:因为卫星图像202和航拍图像204具有不同的视觉特征、图像类型和/或数据源,从卫星图像202的显示到航拍图像204的显示的地图可视化的直接过渡可能会导致地图可视化的用户的突然视觉地图体验。因此,图像可视化部件402可以向地图界面406提供第一中间混合图像214,以便基于第一中间混合图像214具有卫星图像202的第一细节水平与航拍图像204的第二细节水平之间的中间细节水平而通过地图可视化来显示。图4C示出了显示一个或多个附加的中间混合图像442的示例440。例如,图像可视化部件402可以确定一个或多个附加中间混合图像442、诸如第二中间混合图像316具有卫星图像202的第一细节水平与航拍图像204的第二细节水平之间的中间细节水平。因此,图像可视化部件402可以将一个或多个附加的中间混合图像442提供给地图界面406,以通过地图可视化显示。
图4D示出了显示航拍图像204的示例450。图像可视化部件402可以确定航拍图像204对应于与第二请求422相关联的第二缩放水平。因此,图像可视化部件402可以将航拍图像202提供给地图界面406,以用于基于在卫星图像202的显示之后和在航拍图像202的显示之前被显示的中间图像的阈值数目,通过地图可视化进行显示,如图4B和4C所示。
通过图1的示例性方法500来图示促进图像过渡的实施例。在502,该方法开始。在一个示例中,图像集合可以对应于具有第一图像(例如,卫星图像)的第一细节水平与第二图像的第二细节水平(例如,航拍图像)之间的中间细节水平的中间混合图像。在从第一图像的显示到第二图像的显示的可视化过渡期间,可以通过可视化来显示一个或多个中间混合图像。该图像集合可以从平滑过渡到突然过渡而被排序,从而可以从该图像集中选择一个或多个中间混合图像,以便提供从第一图像到第二图像的相对平滑的视觉过渡。
在对图像集合进行排序的示例中,具有第二图像类型和第二细节水平的第二图像可以在504被子采样以生成子采样图像。子采样图像可以具有子采样尺寸,该子采样尺寸与具有第一图像类型和第一细节水平的第一图像的尺寸相对应。在506,可以确定子采样图像与第一图像之间的色彩距离度量(例如,子采样图像和第一图像的DC分量(例如,傅立叶变换)之间的距离,该距离可以对应于归一化的色彩距离)。在508,可以确定子采样图像与第一图像之间的结构相似性度量(例如,子采样图像和第一图像的DC分量之间的结构相似性,该结构相似性可能对应于纹理差异)。
在510,可以基于色彩距离度量和/或结构相似性度量(例如,可以从色彩距离度量中减去结构相似性度量)来生成过渡混合度量。过渡混合度量越大,子采样图像与第一图像之间的不相似性越大。过渡混合度量可以指示在第一图像的第一细节水平与第二图像的第二水平之间要混合多少细节水平。
在512,可以基于过渡混合度量对图像集合进行排序,以建立在显示第一图像与显示第二图像之间的从平滑过渡到突然过渡的经排序的图像集合。在一个示例中,可以基于异常值(outlier)的用户阈值来定义过渡异常值阈值。可以基于过渡异常值阈值对该图像集合进行排序。经排序的图像集合可以被表示为四叉树键值(quadkey)的排序阵列,其中一个四叉树键值对应于经排序的图像集合内的一个图像。以这种方式,经排序的图像集合可以包括基于过渡平滑度而被排序的中间混合图像,这可以帮助用户有效地识别中间混合图像的潜在问题。在514,该方法结束。
图6示出了用于促进图像过渡的系统600的示例。系统600包括图像混合分析部件602。图像混合分析部件602可以标识要被排序和/或混合的图像集合612。在一个示例中,图像集合612可以对应于中间混合图像。图像混合分析部件602可以子采样具有第二图像类型和第二细节水平的第二图像(例如,航拍图像),以创建具有与第一图像(例如,卫星图像)的尺寸相对应的子采样尺寸的子采样图像,第一图像具有第一图像类型和第一细节水平。图像混合分析部件602可以确定子采样图像与第一图像之间的色彩距离度量606。图像混合分析部件602可以确定子采样图像与第一图像之间的结构相似性度量606。图像混合分析部件602可以基于色彩距离度量606和结构相似性度量606来生成过渡混合度量608。图像混合分析部件602可以基于过渡混合度量608和/或过渡异常值阈值610对图像集合612进行排序以创建经排序的图像集合614。经排序的图像集合614可以从在显示第一图像和显示第二图像之间的平滑过渡到突然过渡而被排序。图像可视化部件402可以被配置为在第一图像的显示与第二图像的显示之间显示来自经排序的图像集合614的一个或多个中间混合图像(例如,具有高于过渡平滑度阈值的排序顺序的中间混合图像)。
根据本公开的一个方面,提供了一种用于图像混合的方法。该方法包括生成具有第一图像类型和第一细节水平的第一图像和具有第二图像类型和第二细节水平的第二图像之间的中间混合图像。中间混合图像可以在第一细节水平和第二细节水平之间具有的中间细节水平。该生成包括对第一图像执行结构转换以生成新图像。可以下采样第二图像以生成下采样图像,下采样图像具有与新图像的尺寸相对应的下采样尺寸。可以计算新图像与下采样图像之间的色差。色差可以被上采样以生成上采样色差。可以使用插值权重和上采样色差来混合梯度图像以生成中间混合图像。在第一图像的显示与第二图像的显示之间的过渡期间,可以通过可视化来显示中间混合图像。
根据本公开的一个方面,提供了一种用于促进图像过渡的方法。该方法包括对具有第二图像类型和第二细节水平的第二图像进行子采样以生成子采样图像。子采样图像可以具有与具有第一图像类型和第一细节水平的第一图像的尺寸相对应的子采样尺寸。可以确定子采样图像与第一图像之间的色彩距离度量。可以确定子采样图像与第一图像之间的结构相似性度量。可以基于色彩距离度量和结构相似性度量来生成过渡混合度量。可以基于过渡混合度量来排序图像集合,以生成从显示第一图像与显示第二图像之间的平滑过渡到突然过渡的经排序的图像集合。
根据本公开的一个方面,提供了一种用于图像混合的系统。该系统包括:图像混合部件,被配置为生成具有第一图像类型和第一细节水平的第一图像与具有第二图像类型和第二细节水平的第二图像之间的中间混合图像。中间混合图像可以具有第一细节水平与第二细节水平之间的中间细节水平。图像混合部件可以被配置为对第一图像执行结构转换以生成新图像。图像混合部件可以被配置为下采样第二图像以生成下采样图像,下采样图像具有与新图像的尺寸相对应的下采样尺寸。图像混合部件可以被配置为计算新图像与下采样图像之间的色差。图像混合部件可以被配置为上采样色差以生成上采样色差。图像混合部件可以被配置为使用插值权重和上采样色差来混合梯度图像以生成中间混合图像。该系统包括图像可视化部件,被配置为在第一图像的显示与第二图像的显示之间的过渡期间,通过可视化来显示中间混合图像。
根据本公开的一个方面,提供了一种用于图像混合的装置。可以通过图像混合装置生成具有第一图像类型和第一细节水平的第一图像与具有第二图像类型和第二细节水平的第二图像之间的中间混合图像。中间混合图像可以具有第一细节水平与第二级细节之间的中间细节水平。该生成包括对第一图像执行结构转换以生成新图像。可以通过用于图像混合的装置来下采样第二图像以生成下采样图像,下采样图像具有与新图像的尺寸相对应的下采样尺寸。可以通过图像混合的装置来计算新图像与下采样图像之间的色差。可以通过用于图像混合的装置来上采样色差以生成上采样色差。可以通过用于图像混合的装置来使用插值权重和上采样色差混合梯度图像,以生成中间混合图像。可以通过用于图像混合的装置在第一图像的显示和第二图像的显示之间的过渡期间通过可视化来显示中间混合图像。
根据本公开的一个方面,提供了一种用于促进图像过渡的装置。具有第二图像类型和第二细节水平的第二图像可以通过用于促进图像过渡的装置进行子采样以生成子采样图像。子采样图像可以具有与具有第一图像类型和第一细节水平的第一图像相对应的子采样尺寸。子采样图像与第一图像之间的色彩距离度量可以由用于促进图像过渡的装置来确定。子采样图像与第一图像之间的结构相似性度量可以由用于促进图像过渡的装置来确定。用于促进图像过渡的装置可以基于色彩距离度量和结构相似性度量来生成过渡混合度量。可以通过用于促进图像过渡的装置,基于过渡混合度量来排序图像集合,以生成从显示第一图像与显示第二图像之间的平滑过渡到突然过渡的经排序的图像集合。
另一个实施例涉及计算机可读介质,该计算机可读介质包括被配置为实现本文所给出的一个或多个技术的处理器可执行指令。图7示出了计算机可读介质或计算机可读设备的示例性实施例。其中实现方式700包括诸如CD-R,DVD-R,闪存驱动器,硬盘驱动器等的计算机可读介质708,在计算机可读介质708上编码有计算机可读数据706。诸如包括至少零或一中的至少一个的二进制数据的计算机可读数据706进而包括计算机指令704的集合,计算机指令704被配置为根据本文阐述的一个或多个原理而操作。在一些实施例中,处理器可执行的计算机指令704被配置为执行方法702,诸如图1中的示例性方法100中的至少一些和/或图5中的示例性方法500的至少一些。在一些实施例中,处理器可执行指令704被配置为实现系统,诸如图2的示例性系统200中的至少一些、图4A至图4D的示例性系统401中的至少一些和/或图6的示例性系统600中的至少一些。本领域技术人员能想到许多这样的计算机可读介质,其被配置为根据本文给出的技术而操作。
虽然本主题已经以特定于结构特征和/或方法动作的语言进行了描述,但是应当理解,在所附权利要求书中定义的主题不必受限于上述具体特征或动作。相反,上述具体特征和动作被公开作为实现至少一些权利要求的示例形式。
如本申请中所使用的,术语“部件”、“模块”、“系统”、“接口”和/或其他术语一般旨在指代计算机相关的实体,计算机相关的实体是硬件、硬件和软件的组合、软件、或执行中的软件中的任一项。例如,部件可以是但不被限于在处理器上运行的过程、处理器、对象、可执行文件、执行的线程、程序、和/或计算机。通过说明的方式,在控制器上运行的应用和控制器两者可以是部件。一个或多个部件可以驻留于执行的进行和/或线程内,并且部件可以被本地化在一个计算机上和/或在两个或更多计算机之间被分配。
此外,所要求保护的主题可以被实现为方法、装置或使用标准编程和/或工程技术来生成软件、固件、硬件、或前述任何组合的制造物品,以用于控制计算机实现所公开的主题。本文使用的术语“制造物品”旨在涵盖能够由任何计算机可读设备、载体或介质访问的计算机程序。当然,可以对该配置做出许多修改而不脱离所要求保护的主题的范围或精神。
图8和以下讨论提供了适当计算环境的简要的一般性的描述,以实施本文阐述的一个或多个供应的实施例。图8的操作环境仅是合适的操作环境的一个示例,并非旨在提出对操作环境的使用或功能的范围的任何限制。示例计算设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备(如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费电子产品、微型计算机、大型计算机、包括任何前述系统或设备的分布式计算环境,等等。
虽然并非必须,实施例在由一个或多个计算设备执行的“计算机可读指令”的一般上下文中被描述。计算机可读指令可以经由计算机可读介质(在下文讨论)来分布。计算机可读指令可以被实现为程序模块,如函数、对象、应用程序编程接口(API)、数据结构等,这些程序模块执行特定任务或实现特定抽象数据类型。通常,计算机可读指令的功能可以根据期望而在各种环境中被组合或分发。
图8图示了包括计算设备812的系统800的示例,该计算设备812被配置为实施本文提供的一个或多个实施例。在一个配置中,计算设备812包括至少一个处理单元816和存储器818。取决于计算设备的类型和确切的配置,存储器818可以是易失的(例如,RAM)、非易失性的(诸如举例而言,ROM、闪存等)或两者的某种组合。该配置在图8中由虚线814示出。
在其他实施例中,设备812可以包括附加特征和/或功能。例如,设备812还可以包括附加存储装置(例如,可移动和/或不可移动的),包括但不限于磁存储、光存储等。这样的附加存储装置在图8中由存储装置820示出。在一个实施例中,用于实现本文提供的一个或多个实施例的计算机可读指令可以处于存储装置820中。存储装置820还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以被加载在存储器818中以用于例如由处理单元816执行。
本文使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以任何方法或技术中实现的易失的和非易失的、可移动的和不可移动的介质,用于储存诸如计算机可读指令或其他数据之类的信息。存储器818和存储装置820是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备,或可以被用来存储所需信息且可以由设备812访问的任何其它介质。然而,计算机可读介质不包括传播信号。相反,计算机可读介质排除传播信号。任何这样的计算机存储介质可以是设备812的一部分。
设备812还可以包括允许设备812与其他设备通信的(多个)通信连接826。(多个)通信连接826可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射机/接收机、红外线端口、USB连接或者将计算设备812连接到其他计算设备的其他接口。(多个)通信连接826可以包括有线连接或无线连接。(多个)通信连接826可以发送和/或接收通信介质。
术语“计算机可读介质”可以包括通信介质。通信介质通常将计算机可读指令或其他数据体现在诸如载波或其他传输机制之类的“调制数据信号”中,并且包括任何信息传递介质。术语“调制数据信号”可以包括这样的信号,该信号的一个或多个特性被设置或以这样的方式被改变以便将信息编码在该信号中。
设备812可以包括(多个)输入设备824,诸如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或其他输入设备。诸如一个或多个显示器、扬声器、打印机和/或任何其他输出设备之类的(多个)输出设备822也可以被包括在设备812中。(多个)输入设备824和(多个)输出设备822可以经由有线连接、无线连接或他们的任何组合而被连接到设备812。在一个实施例中,来自另一计算设备的输入设备或输出设备可以被用作用于计算设备812的(多个)输入设备824或(多个)输出设备822。
计算设备812的部件可以由诸如总线之类的各种互连而连接。这样的互连可以包括外部组件互连(PCI)(诸如PCI Express)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等。在另一实施例中,计算设备812的部件可以由网络互连。例如,存储器818可以包括位于由网络互连的不同物理位置中的多个物理存储器单元。
本领域技术人员将认识到,被用来存储计算机可读指令的存储设备可以跨网络被分布。例如,经由网络828可访问的计算设备830可以存储计算机可读指令以实施本文提供的一个或多个实施例。计算设备812可以访问计算设备830并且下载计算机可读指令中的部分或全部以用于执行。可替代地,计算设备812可以根据需要下载一个或多个计算机可读指令,或者一些指令可以在计算设备812处被执行并且一些在计算设备830处被执行。
本文提供了各种操作的实施例。在一个实施例中,一个或多个所描述的操作可以包括被存储在一个或多个计算机可读介质上的计算机可读指令,这些计算机可读指令如果被计算设备执行,则使得计算设备执行所描述的操作。一些或所有操作被描述的顺序不应被理解为暗指这些操作需要依赖于顺序。具有本说明书中的益处的本领域技术人员将理解可替代的顺序。此外,将理解,并非所有操作均在本文提供的每个实施例中都有必要被给出。此外,将理解,在一些实施例中,并非所有操作都是必要。
此外,除非另有特指,“第一”、“第二”和/或之类的并不旨在暗示时间方面、空间方面、顺序等。相反,这些术语仅仅用作特征、元件、项目等的标识符、名称等。例如,第一对象和第二对象主体对应于对象A和对象B,或两个不同的对象、或两个相同的对象,或同一对象。
此外,本文使用的“示例性”意为用作一个示例、实例、说明等,且不必是有利的。如本文使用的,“或”旨在意为包含性“或”而不是排他性“或”。此外,本申请中使用的“一”和“一个”通常被理解为意指“一个或多个”,除非另有特指或从上下文中清楚地得到其是单数形式。此外,A和B中的至少一个和/或类似表达通常意指A或B或者A和B两者。此外,在“包括”、“具有”、“有”、“带有”和/或其变体在具体实施方式或权利要求中使用的范围内,这样的术语旨在是包含性的,以与术语“包括”类似的方式。
此外,尽管本公开已经关于一个或多个实施方式来图示和描述,但是基于对本说明书和附图的阅读和理解,本领域技术人员将做出等同的改变和修改。本公开包括所有这样的修改和变化,并且仅由以下权利要求的范围所限制。特别关于由以上描述的部件(例如,元件、资源等)执行的各种功能,除非另有所指,用来描述这些部件的术语旨在对应于执行所描述部件的特定功能的任何部件(例如,功能上等同),即使在结构上并不等同于公开的结构。此外,虽然本公开的特定特征可以已经关于多个实施方式中的仅一个被公开,如果针对任何给定的或特定的应用而言可能是期望的以及有利的话,这样的特征可以与其他实施方式中的一个或多个其他特征结合。

Claims (10)

1.一种用于图像混合的方法,包括:
生成具有第一图像类型和第一细节水平的第一图像与具有第二图像类型和第二细节水平的第二图像之间的中间混合图像,所述中间混合图像具有所述第一细节水平与所述第二细节水平之间的中间细节水平,所述生成包括:
对所述第一图像执行结构转换以生成新图像;
下采样所述第二图像以生成下采样图像,所述下采样图像具有与所述新图像的尺寸相对应的下采样尺寸;
计算所述新图像与所述下采样图像之间的色差;
上采样所述色差以生成上采样色差;以及
使用插值权重和所述上采样色差来混合梯度图像以生成所述中间混合图像;以及
在所述第一图像的显示与所述第二图像的显示之间的过渡期间,通过可视化来显示所述中间混合图像。
2.根据权利要求1所述的方法,所述第一图像包括卫星图像,并且所述第二图像包括航拍图像。
3.根据权利要求1所述的方法,所述执行结构转换包括:
生成所述新图像;以及
将结构从卫星图像转换成处于所述第一细节水平的所述新图像。
4.根据权利要求1所述的方法,包括:
生成在所述第一细节水平与所述第二细节水平之间的中间混合图像集合;以及
在所述第一图像的显示与所述第二图像的显示之间的所述过渡期间,通过所述可视化来显示所述中间混合图像集合。
5.根据权利要求1所述的方法,所述下采样所述第二图像包括:
对所述第二图像执行连续的精细到粗糙的下采样,以生成所述下采样图像。
6.根据权利要求5所述的方法,所述下采样所述第二图像包括:
基于所述连续的精细到粗糙的下采样来构建高斯金字塔;以及
利用所述高斯金字塔来生成所述下采样图像。
7.根据权利要求1所述的方法,所述混合梯度图像包括:
基于所述梯度图像的梯度值来确定混合量度量;以及
基于所述混合量度量来混合所述梯度图像。
8.根据权利要求1所述的方法,所述混合梯度图像包括:
基于对所述第二图像执行的连续的精细到粗糙的下采样,构建高斯金字塔;以及
基于所述高斯金字塔内的所述梯度图像的金字塔水平来确定混合量度量。
9.根据权利要求1所述的方法,所述中间混合图像覆盖一个占地面积量,所述占地面积量对应于由所述第一图像覆盖的第一占地面积量。
10.一种用于图像混合的系统,包括:
图像混合部件,被配置为:
生成具有第一图像类型和第一细节水平的第一图像与具有第二图像类型和第二细节水平的第二图像之间的中间混合图像,所述中间混合图像具有所述第一细节水平与所述第二细节水平之间的中间细节水平,包括:
对所述第一图像执行结构转换以生成新图像;
下采样所述第二图像以生成下采样图像,所述下采样图像具有与所述新图像的尺寸相对应的下采样尺寸;
计算所述新图像与所述下采样图像之间的色差;
上采样所述色差以生成上采样色差;以及
使用插值权重和所述上采样色差来混合梯度图像以生成所述中间混合图像;以及
图像可视化部件,被配置为:
在所述第一图像的显示与所述第二图像的显示之间的过渡期间,通过可视化来显示所述中间混合图像。
CN201580054772.6A 2014-10-08 2015-10-06 交叉水平的图像混合 Active CN107408294B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/509,519 US9734599B2 (en) 2014-10-08 2014-10-08 Cross-level image blending
US14/509,519 2014-10-08
PCT/US2015/054101 WO2016057434A1 (en) 2014-10-08 2015-10-06 Cross-level image blending

Publications (2)

Publication Number Publication Date
CN107408294A true CN107408294A (zh) 2017-11-28
CN107408294B CN107408294B (zh) 2020-11-13

Family

ID=54360537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054772.6A Active CN107408294B (zh) 2014-10-08 2015-10-06 交叉水平的图像混合

Country Status (4)

Country Link
US (1) US9734599B2 (zh)
EP (1) EP3204917A1 (zh)
CN (1) CN107408294B (zh)
WO (1) WO2016057434A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597107A (zh) * 2023-07-14 2023-08-15 广东绘宇智能勘测科技有限公司 一种数字乡村信息化建模方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049435B2 (en) * 2014-07-31 2018-08-14 Adobe Systems Incorporated Controlling smoothness of a transmission between images
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images
CN108090869B (zh) * 2017-11-27 2021-07-09 中国空间技术研究院 一种基于面阵cmos光学相机的星上超分辨率重建方法
US10803633B2 (en) * 2018-02-06 2020-10-13 General Electric Company Systems and methods for follow-up functional imaging
US11164293B2 (en) * 2019-01-30 2021-11-02 National Cheng Kung University Adaptive enhancement method for image contrast based on level of detail
EP4195677A1 (en) * 2021-12-08 2023-06-14 Nokia Technologies Oy Displayed image transition
CN114245028B (zh) * 2021-12-14 2024-02-06 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551904A (zh) * 2009-05-19 2009-10-07 清华大学 基于混合梯度场和混合边界条件的图像合成方法和装置
US20110243438A1 (en) * 2010-04-05 2011-10-06 Microsoft Corporation Generation of multi-resolution image pyramids
CN102867298A (zh) * 2012-09-11 2013-01-09 浙江大学 一种基于人眼视觉特性的遥感图像拼接方法
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187754A (en) * 1991-04-30 1993-02-16 General Electric Company Forming, with the aid of an overview image, a composite image from a mosaic of images
US6469710B1 (en) 1998-09-25 2002-10-22 Microsoft Corporation Inverse texture mapping using weighted pyramid blending
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US7991226B2 (en) 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
US8189959B2 (en) * 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
US8340423B1 (en) * 2009-09-29 2012-12-25 Google Inc. Enhancing digital image mosaics using region-statistics
US8379972B1 (en) 2009-12-01 2013-02-19 Adobe Systems Incorporated Color decontamination for image compositing
US8547389B2 (en) * 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
US8665266B2 (en) 2010-06-23 2014-03-04 The United States Of America, As Represented By The Secretary Of The Navy Global visualization process terrain database builder
US8374428B2 (en) 2010-12-05 2013-02-12 Microsoft Corporation Color balancing for partially overlapping images
TWI482121B (zh) 2011-04-28 2015-04-21 Univ Nat Central The method of correcting the color of the image
US9661299B2 (en) 2011-06-30 2017-05-23 Thomson Licensing Outlier detection for colour mapping
US8625890B1 (en) * 2011-10-17 2014-01-07 Google Inc. Stylizing geographic features in photographic images based on image content
US20130321400A1 (en) 2012-06-05 2013-12-05 Apple Inc. 3D Map Views for 3D Maps
US9105129B2 (en) 2012-06-05 2015-08-11 Google Inc. Level of detail transitions for geometric objects in a graphics application
US9396391B2 (en) * 2014-06-17 2016-07-19 Digitalglobe, Inc. Automated geospatial image mosaic generation with multiple zoom level support

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551904A (zh) * 2009-05-19 2009-10-07 清华大学 基于混合梯度场和混合边界条件的图像合成方法和装置
US20110243438A1 (en) * 2010-04-05 2011-10-06 Microsoft Corporation Generation of multi-resolution image pyramids
CN102867298A (zh) * 2012-09-11 2013-01-09 浙江大学 一种基于人眼视觉特性的遥感图像拼接方法
CN103279939A (zh) * 2013-04-27 2013-09-04 北京工业大学 一种图像拼接处理系统
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHARLES HAN等: ""Optimizing Continuity in Multiscale Imagery"", 《ACM TRANSACTIONS ON GRAPHICS》 *
KAIMING HE等: ""Guided Image Filtering"", 《PUBLISHED IN: IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
SHUTAO LI等: ""Image Fusion With Guided Filtering"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597107A (zh) * 2023-07-14 2023-08-15 广东绘宇智能勘测科技有限公司 一种数字乡村信息化建模方法及系统
CN116597107B (zh) * 2023-07-14 2023-12-19 广东绘宇智能勘测科技有限公司 一种数字乡村信息化建模方法及系统

Also Published As

Publication number Publication date
CN107408294B (zh) 2020-11-13
EP3204917A1 (en) 2017-08-16
US20160104301A1 (en) 2016-04-14
US9734599B2 (en) 2017-08-15
WO2016057434A1 (en) 2016-04-14

Similar Documents

Publication Publication Date Title
CN107408294A (zh) 交叉水平的图像混合
US20210224953A1 (en) System and method for deep learning image super resolution
US20190228508A1 (en) Digital Image Fill
US20180357245A1 (en) Animated Seek Preview for Panoramic Videos
US20200013205A1 (en) Colorizing Vector Graphic Objects
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
CN104995657A (zh) 用于调整图像大小的系统和方法
US20170213394A1 (en) Environmentally mapped virtualization mechanism
US20220277502A1 (en) Apparatus and method for editing data and program
CN111080655A (zh) 图像分割及其模型训练方法、装置、介质及电子设备
CN106997613A (zh) 根据2d图像的3d模型生成
CN104360847A (zh) 一种用于处理图像的方法与设备
CN112312161A (zh) 用于生成视频的方法、装置、电子设备及可读存储介质
Vecchio et al. Cloud computing and augmented reality for cultural heritage
US9443134B2 (en) Propagating object selection across multiple images
US8731319B2 (en) Image layer stack interface
CN109065001B (zh) 一种图像的降采样方法、装置、终端设备和介质
US9122927B2 (en) Generating an image tour based on a set of images
Ma et al. Enhancing the Resolution of Micro-CT Images of Rock Samples via Unsupervised Machine Learning based on a Diffusion Model
US8761543B2 (en) Image processing using bounds adjustment
CN102880878B (zh) 一种基于单幅图像进行超分辨率分析的方法及系统
US20230177729A1 (en) Object oriented image normalization
CN105051788A (zh) 使用多个图元进行图形处理
CN116884004A (zh) 图像处理方法、装置、电子设备和存储介质
WO2020158609A1 (ja) 立体構造判定装置、立体構造判定方法、立体構造の判別器学習装置、立体構造の判別器学習方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant