CN114710618A - 拼接图像的预览方法及装置、电子设备 - Google Patents
拼接图像的预览方法及装置、电子设备 Download PDFInfo
- Publication number
- CN114710618A CN114710618A CN202210294062.2A CN202210294062A CN114710618A CN 114710618 A CN114710618 A CN 114710618A CN 202210294062 A CN202210294062 A CN 202210294062A CN 114710618 A CN114710618 A CN 114710618A
- Authority
- CN
- China
- Prior art keywords
- tile
- image
- tiles
- identification information
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000036961 partial effect Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
公开了一种拼接图像的预览方法及装置、电子设备。该拼接图像的预览方法包括:确定预览界面覆盖的至少一个瓦片的标识信息,其中,至少一个瓦片是虚拟图像一部分,虚拟图像是与拼接图像的大小一致的图像;基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,其中,源图像是用来拼接得到拼接图像的至少两个图像;将图像信息进行拼接,得到至少一个瓦片;将至少一个瓦片显示在预览界面上。
Description
技术领域
本公开涉及图像处理技术,更具体地讲,涉及拼接图像的预览方法及装置、电子设备。
背景技术
图像拼接(Image Stitching)是一项应用广泛的技术,如无人机航拍,手机全景拍摄等,而且拍摄过程中一般会提供预览服务,如通过预览图像指导用户拍摄时不遗漏重要区域。目前,图像拼接技术在拼接质量上已经比较成熟,但是整体计算量非常大,尤其是拼接高分辨率的图片时,图像融合算法会消耗大量计算资源。相关技术中的图像拼接预览方法为了保证预览速度,只能生成降采样后的低分辨率的拼接图像,无法展示最终的图像细节,若要生成完整的高分辨率的拼接图像,即使利用针对融合算法的图形处理器(graphicsprocessing unit,缩写为GPU)加速技术,如开放运算语言(Open Computing Language,缩写为OpenCL)或统一计算设备架构(统一计算设备架构,缩写为CUDA),仍然需要等待很长时间。因此,相关技术无法在保证预览速度的基础上,同时保证高分辨率的拼接图像来供用户预览拼接的图像。
发明内容
本公开提供了一种拼接图像的预览方法及装置、电子设备,以至少解决上述相关技术无法在保证预览速度的基础上,同时保证高分辨率的拼接图像来供用户预览拼接的图像的问题。
根据本公开示例性实施方式的第一方面,提供一种拼接图像的预览方法,包括:确定预览界面覆盖的至少一个瓦片的标识信息,其中,至少一个瓦片是虚拟图像一部分,虚拟图像是与拼接图像的大小一致的图像;基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,其中,源图像是用来拼接得到拼接图像的至少两个图像;将图像信息进行拼接,得到至少一个瓦片;将至少一个瓦片显示在预览界面上。
可选地,确定预览界面覆盖的至少一个瓦片的标识信息,包括:基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息,其中,多个瓦片集合分别包含不同缩放级别的虚拟图像的瓦片的标识信息。
可选地,在基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息之前,还包括:基于预设拼接要求,确定与拼接图像的大小一致的虚拟图像;对虚拟图像进行不同级别的缩放,得到每个缩放级别对应的瓦片集合。
可选地,在将至少一个瓦片显示在预览界面上之后,还包括:将至少一个瓦片缓存到多个瓦片集合中与接收的缩放级别对应的目标瓦片集合中,并将至少一个瓦片存储到数据库中。
可选地,在将至少一个瓦片显示在预览界面上之后,还包括:响应于预览界面覆盖的至少一个瓦片的标识信息发生变化,将与发生变化的标识信息对应的瓦片从目标瓦片集合中删除。
可选地,基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,包括:在基于标识信息确定至少一个瓦片未完全存在于瓦片集合中的情况下,获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息;将图像信息进行拼接,得到至少一个瓦片,包括:将不存在于瓦片集合中的瓦片对应的图像信息进行拼接,得到不存在于瓦片集合中的瓦片。
可选地,在获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息之前,还包括:在基于标识信息确定不存在于瓦片集合中的瓦片存在于数据库的情况下,从数据库提取不存在于瓦片集合中的瓦片,并将提取的瓦片存入瓦片集合。
根据本公开示例性实施方式的第二方面,提供一种拼接图像的预览方法,包括:确定单元,被配置为确定预览界面覆盖的至少一个瓦片的标识信息,其中,至少一个瓦片是虚拟图像一部分,虚拟图像是与拼接图像的大小一致的图像;获取单元,被配置为基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,其中,源图像是用来拼接得到拼接图像的至少两个图像;拼接单元,被配置为将图像信息进行拼接,得到至少一个瓦片;显示单元,被配置为将至少一个瓦片显示在预览界面上。
可选地,确定单元,还被配置为基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息,其中,多个瓦片集合分别包含不同缩放级别的虚拟图像的瓦片的标识信息。
可选地,确定单元,还被配置为在基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息之前,基于预设拼接要求,确定与拼接图像的大小一致的虚拟图像;对虚拟图像进行不同级别的缩放,得到每个缩放级别对应的瓦片集合。
可选地,显示单元,还被配置为在将至少一个瓦片显示在预览界面上之后,将至少一个瓦片缓存到多个瓦片集合中与接收的缩放级别对应的目标瓦片集合中,并将至少一个瓦片存储到数据库中。
可选地,显示单元,还被配置为在将至少一个瓦片显示在预览界面上之后,响应于预览界面覆盖的至少一个瓦片的标识信息发生变化,将与发生变化的标识信息对应的瓦片从目标瓦片集合中删除。
可选地,获取单元,还被配置为在基于标识信息确定至少一个瓦片未完全存在于瓦片集合中的情况下,获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息;拼接单元,还被配置为将不存在于瓦片集合中的瓦片对应的图像信息进行拼接,得到不存在于瓦片集合中的瓦片。
可选地,获取单元,还被配置为在获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息之前,在基于标识信息确定不存在于瓦片集合中的瓦片存在于数据库的情况下,从数据库提取不存在于瓦片集合中的瓦片,并将提取的瓦片存入瓦片集合。
根据本公开示例性实施方式的第三方面,提供一种存储有计算机程序的计算机可读存储介质,其中,当所述计算机程序被处理器执行时,实现本公开所述的拼接图像的预览方法。
根据本公开示例性实施方式的第四方面,提供一种电子设备,包括:至少一个处理器;至少一个存储计算机可执行指令的存储器,其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行本公开所述的拼接图像的预览方法。
利用本公开的技术方案,提供了一种拼接图像的预览方法及装置、电子设备,在预览拼接图像时仅仅拼接预览界面覆盖的部分,并将拼接结果(即至少一个瓦片)显示给用户看,无需等待整个拼接图像完全生成,从在保证预览速度的基础上,也保证了预览部分的高分辨率,解决了相关技术无法在保证预览速度的基础上,同时保证高分辨率的拼接图像来供用户预览拼接的图像的问题。
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点,还有一部分通过描述将是清楚的,或者可以经过本公开总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的描述,本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚,其中:
图1是根据本公开的示例性实施方式的拼接图像的预览方法的流程图;
图2是根据本公开的示例性实施方式的拼接图像的预览方法的整体流程示意图;
图3是根据本公开的示例性实施方式的一种Tile金字塔结构的示意图;
图4是根据本公开的示例性实施方式的一种瓦片更新流程的示意图;
图5是根据本公开的示例性实施方式的一种部分更新示意图;
图6是根据本公开的示例性实施方式的一种部分拼接示意图;
图7是根据本公开的示例性实施方式的一种瓦片存储示意图;
图8是根据本公开的示例性实施方式的拼接图像的预览装置的框图。
具体实施方式
提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而,在理解本申请的公开之后,在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如,在此描述的操作的顺序仅是示例,并且不限于在此阐述的那些顺序,而是除了必须以特定的顺序发生的操作之外,可如在理解本申请的公开之后将是清楚的那样被改变。此外,为了更加清楚和简明,本领域已知的特征的描述可被省略。
在此描述的特征可以以不同的形式来实现,而不应被解释为限于在此描述的示例。相反,已提供在此描述的示例,以仅示出实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式,所述许多可行方式在理解本申请的公开之后将是清楚的。
在此使用的术语仅用于描述各种示例,并不将用于限制公开。除非上下文另外清楚地指示,否则单数形式也意在包括复数形式。术语“包含”、“包括”和“具有”说明存在叙述的特征、数量、操作、构件、元件和/或它们的组合,但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。
除非另有定义,否则在此使用的所有术语(包括技术术语和科学术语)具有与由本公开所属领域的普通技术人员在理解本公开之后通常理解的含义相同的含义。除非在此明确地如此定义,否则术语(诸如,在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文和本公开中的含义一致的含义,并且不应被理想化或过于形式化地解释。
此外,在示例的描述中,当认为公知的相关结构或功能的详细描述将引起对本公开的模糊解释时,将省略这样的详细描述。
根据本公开示例性实施方式的一个方面,提供一种拼接图像的预览方法。图1是根据本公开的示例性实施方式的拼接图像的预览方法的流程图。参照图1,该拼接图像的预览方法包括如下步骤:
在步骤S101中,确定预览界面覆盖的至少一个瓦片的标识信息,其中,至少一个瓦片是虚拟图像一部分,虚拟图像是与拼接图像的大小一致的图像。上述预览界面可以是终端屏幕上的可视界面,需要说明的是,瓦片,是指将图像按照一定的尺寸和格式,按缩放级别或者比例尺,切成若干行和列的正方形栅格图片,对切片后的正方形栅格图片被形象的称为瓦片。
在本公开的实施例中,确定预览界面覆盖的至少一个瓦片的标识信息,包括:基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息,其中,多个瓦片集合分别包含不同缩放级别的虚拟图像的瓦片的标识信息。根据本实施例,设置分别包含不同缩放级别的虚拟图像的瓦片的标识信息的多个瓦片集合,从而用户可以预览任何缩放级别下的拼接图像。例如,上述缩放级别是用户所想要查看的拼接图像的缩放大小,其可以通过终端的屏幕识别用户的手势操作(两指放大/缩小,双击放大/缩小,滑动平移)来确定。上述多个瓦片集合可以采用金字塔型的Tile集合表示,金子塔的每一层分别对应一个瓦片集合,也即一个Tile集合,且每一层的Tile集合存储不同缩放级别下的Tile图像数据,也即虚拟图像的瓦片的标识信息。需要说明的是,本公开对上述瓦片集合的表示形式并不进行限定,还可以是其他表示形式。
在本公开的实施例中,在基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息之前,还包括:基于预设拼接要求,确定与拼接图像的大小一致的虚拟图像;对虚拟图像进行不同级别的缩放,得到每个缩放级别对应的瓦片集合。根据本实施例,可以方便、快速的得到虚拟图像和对应的瓦片集合,从而服务于后续的预览。例如,上述预设拼接要求可以预先设定,如拼接过程中采用哪些源图像、源图像如何排列等等,根据这些因素就可以得到一个与拼接图像的大小一致的虚拟图像。
在步骤S102中,基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,其中,源图像是用来拼接得到拼接图像的至少两个图像。上述图像信息可以是源图像中用于拼接得到上述至少一个瓦片的部分图像的信息,包括但不限于部分图像的图像像素、图像RGB信息等。例如,可以基于标识信息进行反向映射,选取源图像中所需的图像部分,也即上述图像信息,这里标识信息可以包含瓦片在拼接图像的位置以及瓦片的大小等。
在步骤S103中,将图像信息进行拼接,得到至少一个瓦片。在选取源图像中所需的图像部分后,将这些图像部分拼接成瓦片,也即完整拼接图像中处于预览界面的部分。
在本公开的实施例中,基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,包括:在基于标识信息确定至少一个瓦片未完全存在于瓦片集合中的情况下,获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息;将图像信息进行拼接,得到至少一个瓦片,包括:将不存在于瓦片集合中的瓦片对应的图像信息进行拼接,得到不存在于瓦片集合中的瓦片。根据本实施例,可以部分更新至少一个瓦片,从而更进一步的增加预览速度,因为至少一个瓦片中可能有的瓦片已经存在瓦片集合,无需拼接计算,故拼接计算不在的瓦片即可。需要说明的是,此时标识信息中可以包括一个flag,表示该瓦片是否已经存在瓦片集合。
例如,在确定至少一个瓦片的标识信息后,可以基于标识信息中的flag确定至少一个瓦片中一部分没有存在于瓦片集合,另一部分已经存在于瓦片集合,此时可以仅仅拼接计算没有存在于瓦片集合中的瓦片,而已经存在于瓦片集合的瓦片无需再次拼接计算。
在本公开的实施例中,在获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息之前,还包括:在基于标识信息确定不存在于瓦片集合中的瓦片存在于数据库的情况下,从数据库提取不存在于瓦片集合中的瓦片,并将提取的瓦片存入瓦片集合。根据本实施例,可以直接从数据库中提取已经拼接得到过的瓦片,避免了再次拼接计算带来的时间浪费,提高了预览速度。
例如,本公开还设置了数据库,用于存储所有已经拼接计算的瓦片,所以在瓦片集合中不存在的瓦片,还可以进一步在数据库中查看,如果存在于数据库,说明该瓦片已经被拼接计算过了,无需再次拼接计算,直接从数据库中提取存储瓦片集合即可,方便调用显示到预览界面上。
在步骤S104中,将至少一个瓦片显示在预览界面上。
在本公开的实施例中,在将至少一个瓦片显示在预览界面上之后,还包括:将至少一个瓦片缓存到多个瓦片集合中与接收的缩放级别对应的目标瓦片集合中,并将至少一个瓦片存储到数据库中。根据本实施例,将得到的瓦片缓存在瓦片集合中,后续可以快速的调用该瓦片,而一并存储在数据库,如果缓存丢失时,可以从数据库中调用已经拼接计算过的瓦片,避免再次拼接计算相同的瓦片,减少时间浪费。
例如,为了快速调用拼接计算得到至少一个瓦片,在拼接计算完成后,可以缓存到瓦片集合(Tile集合)中,方便快速调用。另外,由于Tile集合一般存在于系统内存,而移动平台的系统内存大小受限,缓存空间一般不大,故可以将瓦片一并存储到数据库,防止瓦片集合被新的瓦片覆盖后,原来拼接计算得到的瓦片丢失,后续再需要预览该部分,还需要重新拼接计算,增加时间成本。
在本公开的实施例中,在将至少一个瓦片显示在预览界面上之后,还包括:响应于预览界面覆盖的至少一个瓦片的标识信息发生变化,将与发生变化的标识信息对应的瓦片从目标瓦片集合中删除。根据本实施例,瓦片集合中只存储预览界面覆盖的瓦片,未被预览界面覆盖的瓦片在瓦片集合中只存储相应的瓦片标识,故已经拼接得到瓦片但已经不被预览界面覆盖时,仅仅存储在数据库,瓦片集合则相应的删除,可以避免瓦片集合过大,导致内存占用过高。
例如,当预览区域覆盖的至少一个瓦片的标识信息发生变化,也即预览区域移动了位置时,可以重新获取预览区域覆盖的新的瓦片并显示在预览界面上,同时更新瓦片集合和数据库。此时,假设预览区域移动的距离不大,覆盖的瓦片没有完全发生变化,即,覆盖的一部分瓦片是原来覆盖的瓦片,另一部分是新的瓦片,此时,瓦片集合只需释放掉未覆盖的瓦片,补入新的瓦片。对于数据库,只写入新的瓦片,不删除任何瓦片,保证所有已经拼接计算过的瓦片都已被保存。
下面结合图2至图7详细说明上述实施例,图2是根据本公开的示例性实施方式的拼接图像的预览方法的整体流程示意图,如图2所示,可以通过如下4个模块实现本公开的拼接图像的预览方法,其中,虚拟完成的拼接图像即上述虚拟图像:
1、瓦片金字塔(Tile Pyramid)模块:使用金字塔型的Tile集合来存储不同缩放级别下的Tile图像数据(也即虚拟图像的瓦片的标识信息),金子塔的每一层分别对应一个Tile集合,也即一个缩放级别的Tile图像数据。
由于最终显示的屏幕的大小是固定的,因此当可视区域(即预览界面可以看到拼接图像的区域),较大时,显示的数据需要降采样的程度也较大。图3是根据本公开的示例性实施方式的一种Tile金字塔结构的示意图,如图3所示,显示的是3层Tile金字塔结构,分别对应无降采样,降采样2倍和降采样4倍的Tile集合。需要说明的是,降采样(downsampled)(或称为下采样(subsampled)、缩小图像)的主要目的有两个:1、使得图像符合屏幕显示区域的大小;2、生成对应图像的缩略图。
2、瓦片更新(Tile Updating)模块:决定如何更新Tile集合。
图4是根据本公开的示例性实施方式的一种瓦片更新流程的示意图,如图4所示,Tile Updating模块决定如何更新Tile集合中的数据,其可以分为2步:
1)当发现可视区域的瓦片不在缓存的Tile集合中时,Tile Updating模块会从Partial Stitching模块或Tile Database模块中加载相应的拼接结果,并填充入可视区域对应的Tile集合中。当可视区域已经在缓存的Tile集合中时,不更新可视区域对应的Tile集合。
2)接着检查可视区域是否相对于前一次检查时进行了移动,若可视区域进行了移动,则重新计算所有层次上的可视区域和/或其周围预定范围的瓦片,并将其更新到对应的Tile集合。需要说明的是,当更新相关的Tile集合时,可以采用部分更新(PartialUpdating)策略,图5是根据本公开的示例性实施方式的一种部分更新示意图,如图5所示,当可视区域进行移动后,仅仅更新Tile集合中变动的部分,也即,仅仅更新Tile集合中可视区域覆盖的新的区域所对应的部分,原来已经覆盖在移动后继续覆盖的区域对应的部分无需更新。
3、部分拼接(Partial Stitching)模块:根据可视区域(即预览界面可以看到拼接图像的区域),从源图像中获取与可视区域相关的图像部分,也即局部图像,并对局部图像进行拼接。
图6是根据本公开的示例性实施方式的一种部分拼接示意图,如图6所示,根据可视区域确定覆盖的Tile集合中瓦片的标识信息,通过反向映射选取源图像中所需的图像部分,即局部图像,最后将这些局部图像拼接成瓦片,也即完整拼接图像中处于预览界面的部分。
4、瓦片数据库(Tile Database)模块:在文件系统(如数据库)中存储上述拼接结果。
图7是根据本公开的示例性实施方式的一种瓦片存储示意图,如图7所示,由于Tile集合存在于系统内存(如CPU memory),而移动平台的系统内存大小受限,因此可以使用一个基于文件系统(file system)的Tile Database模块来辅助存储Tile信息(也即瓦片)。当Tile Updating模块需要更新的Tile信息不在Tile Pyramid模块和Tile Database模块中时,Tile Updating会调用Partial Stitching模块拼接计算相应Tile信息,并同时将计算得到的Tile信息存入Tile Pyramid模块和Tile Database模块中;当Tile Updating模块需要更新的Tile信息不在Tile Pyramid模块,但是存在于Tile Database模块中时,可以直接将Tile Database中的数据复制到Tile Pyramid模块中,以节省计算时间。
综上,本公开针对拼接算法最为耗时的融合部分,相当于设计并实现了一个基于瓦片的缓存系统,能够动态快速生成用户可视区域的高分辨率拼接结果,使用户可以交互式的快速查看拼接结果,而不必等待整个拼接图像完全生成,即当用户查看拼接结果时,可视区域仅仅是整体拼接结果的一部分,从而本公开的缓存系统可以提供近乎实时的交互浏览体验且生成的预览图像和最终的拼接图像相比没有任何细节损失。
根据本公开示例性实施方式的另一个方面,提供了一种拼接图像的预览装置,图8是根据本公开的示例性实施方式的拼接图像的预览装置的框图。参照图8,该存储装置包括:
确定单元80,被配置为确定预览界面覆盖的至少一个瓦片的标识信息,其中,至少一个瓦片是虚拟图像一部分,虚拟图像是与拼接图像的大小一致的图像;获取单元82,被配置为基于标识信息,获取源图像中与至少一个瓦片对应的图像信息,其中,源图像是用来拼接得到拼接图像的至少两个图像;拼接单元84,被配置为将图像信息进行拼接,得到至少一个瓦片;显示单元86,被配置为将至少一个瓦片显示在预览界面上。
在本公开的实施例中,确定单元80,还被配置为基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息,其中,多个瓦片集合分别包含不同缩放级别的虚拟图像的瓦片的标识信息。
在本公开的实施例中,确定单元80,还被配置为在基于多个瓦片集合和接收的缩放级别,确定预览界面覆盖的至少一个瓦片的标识信息之前,基于预设拼接要求,确定与拼接图像的大小一致的虚拟图像;对虚拟图像进行不同级别的缩放,得到每个缩放级别对应的瓦片集合。
在本公开的实施例中,显示单元86,还被配置为在将至少一个瓦片显示在预览界面上之后,将至少一个瓦片缓存到多个瓦片集合中与接收的缩放级别对应的目标瓦片集合中,并将至少一个瓦片存储到数据库中。
在本公开的实施例中,显示单元86,还被配置为在将至少一个瓦片显示在预览界面上之后,响应于预览界面覆盖的至少一个瓦片的标识信息发生变化,将与发生变化的标识信息对应的瓦片从目标瓦片集合中删除。
在本公开的实施例中,获取单元82,还被配置为在基于标识信息确定至少一个瓦片未完全存在于瓦片集合中的情况下,获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息;拼接单元84,还被配置为将不存在于瓦片集合中的瓦片对应的图像信息进行拼接,得到不存在于瓦片集合中的瓦片。
在本公开的实施例中,获取单元,还被配置为在获取源图像中与至少一个瓦片中不存在于瓦片集合中的瓦片对应的图像信息之前,在基于标识信息确定不存在于瓦片集合中的瓦片存在于数据库的情况下,从数据库提取不存在于瓦片集合中的瓦片,并将提取的瓦片存入瓦片集合。
应该理解,根据本公开的示例性实施方式的存储方法和存储装置中的各个单元/模块可被实现为硬件组件和/或软件组件。本领域技术人员根据限定的各个单元/模块所执行的处理,可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元/模块。
根据本公开示例性实施例的再一个方面,提供一种存储有计算机程序的计算机可读存储介质,其中,当所述计算机程序被处理器执行时,实现本公开所述的拼接图像的预览方法。
具体地,根据本公开的示例性实施例的用于深度学习模型的量化方法可被编写为计算机程序、代码段、指令或它们的任何组合,并被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或一个或多个非暂时性计算机可读存储介质上。所述计算机可读存储介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读存储介质的示例包括:只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。
根据本公开示例性实施例的又一个方面,提供一种电子设备,其中,所述电子设备包括:至少一个处理器;至少一个存储计算机可执行指令的存储器,其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行本公开所述的拼接图像的预览方法。
具体地,所述电子设备可以广义地为平板电脑、智能手机、智能手表,或任何其他具有必要的计算和/或处理能力的电子设备。在一个实施例中,该电子设备可包括通过系统总线连接的处理器、存储器、网络接口、通信接口等。该电子设备的处理器可用于提供必要的计算、处理和/或控制能力。该电子设备的存储器可包括非易失性存储介质和内存储器。该非易失性存储介质中或上可存储有操作系统、计算机程序等。该内存储器可为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口和通信接口可用于与外部的设备通过网络连接和通信。
Claims (10)
1.一种拼接图像的预览方法,其特征在于,包括:
确定预览界面覆盖的至少一个瓦片的标识信息,其中,所述至少一个瓦片是虚拟图像一部分,所述虚拟图像是与拼接图像的大小一致的图像;
基于所述标识信息,获取源图像中与所述至少一个瓦片对应的图像信息,其中,所述源图像是用来拼接得到所述拼接图像的至少两个图像;
将所述图像信息进行拼接,得到所述至少一个瓦片;
将所述至少一个瓦片显示在所述预览界面上。
2.根据权利要求1所述的预览方法,其特征在于,所述确定预览界面覆盖的至少一个瓦片的标识信息,包括:
基于多个瓦片集合和接收的缩放级别,确定所述预览界面覆盖的至少一个瓦片的标识信息,其中,所述多个瓦片集合分别包含不同缩放级别的虚拟图像的瓦片的标识信息。
3.根据权利要求2所述的预览方法,其特征在于,在基于多个瓦片集合和接收的缩放级别,确定所述预览界面覆盖的至少一个瓦片的标识信息之前,还包括:
基于预设拼接要求,确定与所述拼接图像的大小一致的虚拟图像;
对所述虚拟图像进行不同级别的缩放,得到每个缩放级别对应的瓦片集合。
4.根据权利要求2所述的预览方法,其特征在于,在将所述至少一个瓦片显示在所述预览界面上之后,还包括:
将所述至少一个瓦片缓存到所述多个瓦片集合中与接收的缩放级别对应的目标瓦片集合中,并将所述至少一个瓦片存储到数据库中。
5.根据权利要求4所述的预览方法,其特征在于,在将所述至少一个瓦片显示在所述预览界面上之后,还包括:
响应于所述预览界面覆盖的至少一个瓦片的标识信息发生变化,将与发生变化的标识信息对应的瓦片从所述目标瓦片集合中删除。
6.根据权利要求4所述的预览方法,其特征在于,
所述基于所述标识信息,获取所述源图像中与所述至少一个瓦片对应的图像信息,包括:在基于所述标识信息确定所述至少一个瓦片未完全存在于所述瓦片集合中的情况下,获取所述源图像中与所述至少一个瓦片中不存在于所述瓦片集合中的瓦片对应的图像信息;
所述将所述图像信息进行拼接,得到所述至少一个瓦片,包括:将所述不存在于所述瓦片集合中的瓦片对应的图像信息进行拼接,得到所述不存在于所述瓦片集合中的瓦片。
7.根据权利要求6所述的预览方法,其特征在于,在获取所述源图像中与所述至少一个瓦片中不存在于所述瓦片集合中的瓦片对应的图像信息之前,还包括:
在基于所述标识信息确定所述不存在于所述瓦片集合中的瓦片存在于数据库的情况下,从所述数据库提取所述不存在于所述瓦片集合中的瓦片,并将提取的瓦片存入所述瓦片集合。
8.一种拼接图像的预览装置,其特征在于,包括:
确定单元,被配置为确定预览界面覆盖的至少一个瓦片的标识信息,其中,所述至少一个瓦片是虚拟图像一部分,所述虚拟图像是与拼接图像的大小一致的图像;
获取单元,被配置为基于所述标识信息,获取源图像中与所述至少一个瓦片对应的图像信息,其中,所述源图像是用来拼接得到所述拼接图像的至少两个图像;
拼接单元,被配置为将所述图像信息进行拼接,得到所述至少一个瓦片;
显示单元,被配置为将所述至少一个瓦片显示在所述预览界面上。
9.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的拼接图像的预览方法。
10.一种电子设备,其特征在于,包括:
至少一个处理器;
至少一个存储计算机可执行指令的存储器,
其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行如权利要求1到7中的任一权利要求所述的拼接图像的预览方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210294062.2A CN114710618A (zh) | 2022-03-23 | 2022-03-23 | 拼接图像的预览方法及装置、电子设备 |
KR1020230009993A KR20230138393A (ko) | 2022-03-23 | 2023-01-26 | 프리뷰 영상을 생성하는 방법 및 장치 |
US18/188,811 US20230308599A1 (en) | 2022-03-23 | 2023-03-23 | Method and apparatus with preview image generation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210294062.2A CN114710618A (zh) | 2022-03-23 | 2022-03-23 | 拼接图像的预览方法及装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114710618A true CN114710618A (zh) | 2022-07-05 |
Family
ID=82171095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210294062.2A Pending CN114710618A (zh) | 2022-03-23 | 2022-03-23 | 拼接图像的预览方法及装置、电子设备 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20230138393A (zh) |
CN (1) | CN114710618A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117714849A (zh) * | 2023-08-31 | 2024-03-15 | 上海荣耀智慧科技开发有限公司 | 一种图像拍摄方法及相关设备 |
-
2022
- 2022-03-23 CN CN202210294062.2A patent/CN114710618A/zh active Pending
-
2023
- 2023-01-26 KR KR1020230009993A patent/KR20230138393A/ko unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117714849A (zh) * | 2023-08-31 | 2024-03-15 | 上海荣耀智慧科技开发有限公司 | 一种图像拍摄方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
KR20230138393A (ko) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2008229231B2 (en) | Parameter setting superimposed upon an image | |
US7889212B2 (en) | Magnifying visual information using a center-based loupe | |
WO2013066591A1 (en) | Digital image magnification user interface | |
CN113570626B (zh) | 图像裁剪方法、装置、计算机设备及存储介质 | |
WO2021243788A1 (zh) | 屏幕截图方法及装置 | |
EP2159756A2 (en) | Point-cloud clip filter | |
CN111314606B (zh) | 拍照方法、装置、电子设备及存储介质 | |
CN114710618A (zh) | 拼接图像的预览方法及装置、电子设备 | |
CN103327246A (zh) | 一种多媒体拍摄处理方法、装置及智能终端 | |
US20150154784A1 (en) | Use of Photo Animation Transitions to Mask Latency | |
CN114387402A (zh) | 虚拟现实场景显示方法及装置、电子设备、可读存储介质 | |
CN111966853B (zh) | 一种遥感影像的管理方法 | |
CN113763552A (zh) | 三维地理模型的展示方法、装置、计算机设备和存储介质 | |
WO2010084602A1 (ja) | 画像表示システム、方法、及びプログラム | |
KR101017935B1 (ko) | 단위타일을 이용한 웹상에서의 고해상도 이미지 딥줌 제공시스템 | |
CN112328924A (zh) | web端实现图片查看器的方法、电子设备、介质及系统 | |
KR100903394B1 (ko) | 애니메이션 데이터를 경감시켜서 이동 통신 단말기에서 캐릭터 애니메이션하기 위한 처리 방법 | |
CN114747228A (zh) | 图像纪念物生成 | |
CN116453131B (zh) | 文档图像矫正方法、电子设备及存储介质 | |
CN116528043B (zh) | 一种对象标记方法及电子设备 | |
KR101430964B1 (ko) | 디스플레이 제어방법 | |
CN112804451B (zh) | 利用多个摄像头进行拍照的方法和系统以及移动装置 | |
CN116095250B (zh) | 用于视频裁剪的方法和装置 | |
WO2023231696A1 (zh) | 一种拍摄方法及相关设备 | |
CN113436344A (zh) | 一种引用视图的显示方法、系统及图像显示设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |