CN114782648A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114782648A
CN114782648A CN202210476189.6A CN202210476189A CN114782648A CN 114782648 A CN114782648 A CN 114782648A CN 202210476189 A CN202210476189 A CN 202210476189A CN 114782648 A CN114782648 A CN 114782648A
Authority
CN
China
Prior art keywords
image
pixel
target
processed
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210476189.6A
Other languages
English (en)
Inventor
沈怀烨
廖昀昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210476189.6A priority Critical patent/CN114782648A/zh
Publication of CN114782648A publication Critical patent/CN114782648A/zh
Priority to PCT/CN2023/090555 priority patent/WO2023207963A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质,该方法包括:根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;基于各目标面片贴图,确定全景环绕图像。本公开实施例的技术方案,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率,在满足用户个性化需求的同时,提升了用户的使用体验。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着网络技术的发展,越来越多的应用程序进入了用户的生活,尤其是一系列可以拍摄短视频的软件,深受用户的喜爱。
现有技术中,相关应用软件可以为用户提供多种图像处理功能,从而使一幅图像在处理后呈现出另一种视觉效果。然而,当用户希望得到某一图像对应的全景环绕图像时,通常需要主动将原始图像上传至服务端,进而由相关应用软件对该图像进行多重处理,然而,这种方式较为繁琐,图像处理的效率较低,同时,当应用部署于移动端时,也无法实现对图像的实时处理,从而降低了用户的使用体验。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率,在满足用户个性化需求的同时,提升了用户的使用体验。
第一方面,本公开实施例提供了一种图像处理方法,包括:
根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
基于各目标面片贴图,确定全景环绕图像。
第二方面,本公开实施例还提供了一种图像处理装置,包括:
全景补全图像确定模块,用于根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
目标面片贴图确定模块,用于根据所述全景补全图像,确定构成长方体包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
全景环绕图像确定模块,用于基于各目标面片贴图,确定全景环绕图像。
第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的图像处理方法。
本公开实施例的技术方案,先根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像,再根据全景补全图像,确定构成包围盒上的各目标面片贴图,进一步的,基于各目标面片贴图,确定全景环绕图像,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率,在满足用户个性化需求的同时,提升了用户的使用体验。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种图像处理方法流程示意图;
图2为本公开实施例所提供的一种图像处理装置结构示意图;
图3为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在介绍本技术方案之前,可以先对本公开实施例的应用场景进行示例性说明。
示例性的,当用户在使用应用软件提供的图像处理功能时,可能还有个性化的需求,例如,某些用户希望利用应用软件生成与某一图像对应的全景环绕的图像。在这种需求下,可以将图像映射在球体上,再通过对该球体表面内容的映射得到相应的全景环绕图像,然而,在计算机视觉领域内,球体需要较多的顶点和面数才能描述,同时,在球体两极处有较大的信息冗余,这就导致图像处理过程中存在较大的计算开销,不利于性能有限的移动端对图像进行处理;或者,先利用特定的图像处理软件对该图像进行处理后,再基于处理结果构建出与该图像对应的全景环绕图像,这种图像处理方式过于繁琐且效率较低。
此时,可以根据本实施例的技术方案,先确定与待处理图像相对应的全景补全图像,再根据全景补全图像,确定构成长方体包围盒上的各目标面片贴图,进一步的,基于各目标面片贴图,确定全景环绕图像,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率。
图1为本公开实施例所提供的一种图像处理方法流程示意图,本公开实施例适用于以简便的方式生成用于对视频画面背景进行替换的图像的情形,该方法可以由图像处理装置来执行,该装置可以通过软件和/或硬件的形式实现,可选的,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。
如图1所示,所述方法包括:
S110、根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像。
其中,执行本公开实施例提供的图像处理方法的装置,可以集成在支持特效视频处理功能的应用软件中,且该软件可以安装至电子设备中,可选的,电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件,其具体的应用软件在此不再一一赘述,只要可以实现图像/视频处理即可。还可以是专门研发的应用程序,来实现添加特效并将特效进行展示的软件中,亦或是集成在相应的页面中,用户可以通过PC端中集成的页面来实现对特效视频的处理。
在本实施例中,待处理图像可以是应用软件对用户的特效触发操作进行响应而获取的图像,也即是说,待处理图像可以是用户主动上传的图像,例如,显示有某景区画面的全景图像。可选的,可以预先在应用软件内开发出一个图像上传框,如,一个包含有加号的圆形图标,当检测到用户触发图像上传框时,应用即可调取图像库,以将在图像库中触发选择的图像作为待处理图像;或者,当检测到触发图像上传框时,调取摄像装置,并利用摄像装置拍摄并上传一幅图像,以将拍摄得到的图像作为待处理图像。
需要说明的是,本实施例的技术方案可以在基于移动端实时摄像的过程中执行,也可以在系统接收到用户主动上传的待处理图像后执行。例如,当用户基于终端设备上的摄像装置实时拍摄视频时,应用软件检测到用户触发图像上传框,即可对该操作进行响应,进而获取用户当前拍摄的视频,并对视频进行解析处理,从而将解析得到的与当前时刻对应的视频帧作为待处理图像。或者,当用户通过应用软件主动上传视频数据,并触发图像上传框时,应用同样会对该操作进行响应,进而按照上述方式对从视频中确定出特定的一帧作为待处理图像。
示例性的,当用户利用移动终端的摄像装置实时拍摄视频,并触发显示界面中所展示的图像上传框时,应用软件根据用户对图像上传框的触发操作,可以自动打开移动终端内的“相册”,并将“相册”内的图像展示在显示界面上,当检测到用户对某一幅图像的触发操作时,即表明用户希望将该图像的画面作为特效视频的背景,进一步的,用户选择的图像会上传至应用软件对应的服务端或客户端,从而使应用软件将该图像作为待处理图像。或者,当用户利用移动终端的摄像装置实时拍摄视频,并触发显示界面中所展示的图像上传框时,应用软件可以在摄像装置实时拍摄的视频中,直接获取当前时刻的视频帧,并将该视频帧作为待处理图像。当然,在实际应用过程中,当待处理图像为全景图像时,应用可以在响应图像上传框的触发操作时获取多个视频帧,并将多个视频帧的画面进行拼接处理,从而将最终得到的图像作为待处理图像,本公开实施例对此不再赘述。
在本实施例中,当应用接收到待处理图像后,即可根据待处理图像的图像属性,对待处理图像进行处理得到目标像素比例的全景补全图像,其中,图像属性可以是用于描述图像尺寸、分辨率、宽高比以及多种用于确定出待处理图像的当前像素比例的信息,当然,在实际应用过程中,图像属性也可以是已经通过其他软件或程序确定出来的当前像素比例,本公开实施例对此不作具体的限定。。
在本实施例中,当待处理图像的图像属性包括待处理图像的当前像素比例时,可选的,确定待处理图像的当前像素比例,并根据当前像素比例和预设像素比例,确定对待处理图像的目标处理方式;基于目标处理方式对待处理图像补全或裁减处理,确定与待处理图像相对应的全景补全图像。
其中,待处理图像的当前像素比例可以由图像的宽高比来表示,例如,当待处理图像的宽度为6个单位长度,高度为1个单位长度时,其宽高比即是6:1,相应的,其当前像素比例也为6:1。在本实施例中,当应用软件获取到待处理图像后,通过运行图像属性确定程序,即可自动确定出待处理图像的当前像素比例,当然,在实际应用过程中,当待处理图像携带有表征自身宽高比的信息时,应用软件也可以直接调取该信息,从而将该属性信息作为待处理图像的当前像素比例。
在本实施例中,预设像素比例即是基于应用软件预先设置的一个图像宽高比信息,可以理解为,预设像素比例即是应用软件选择何种方式对待处理图像进行处理的判断依据,例如,预设像素比例可以设置为4:1,当然,在实际应用过程中,该参数可以根据特效视频处理的实际需求进行调整,本公开实施例对此不作具体的限定。
在本实施例中,当应用软件获取到待处理图像,并确定出待处理图像的当前像素比例以及预设像素比例后,即可确定出目标处理方式,并基于目标处理方式对待处理图像进行补全处理,从而得到与待处理图像相对应的全景补全图像。可以理解为,当待处理图像的当前像素比例与预设像素比例不一致时,其对应的补全方式也会存在差异。具体来说,当待处理图像的当前像素比例与预设像素比例不一致时,补全图像即是对待处理图像的内容进行填充、并对待处理图像的宽高比进行调整后所得到的图像,例如,当待处理图像的当前像素比例大于预设像素比例时,应用软件可以对待处理图像的顶部和底部进行补全,当待处理图像的当前像素比例小于预设像素比例时,应用软件可以对待处理图像的左侧和右侧进行补全。可以理解,全景补全图像的像素比例信息与预设像素比例相一致,下面对待处理图像的补全过程进行说明。
在本实施例中,当待处理图像的当前像素比例大于预设像素比例时,还可以对待处理图像进行裁减处理,例如,当待处理图像的当前像素比例为8:1,而预设像素比例为4:1时,应用可以直接对待处理图像的左右两侧分别进行裁减处理,即,对待处理图像左侧沿长边裁减两个单位长度的内容,同时对待处理图像右侧沿长边裁减两个单位长度的内容,可以理解,经过裁减处理得到的全景补全图像同样可以满足预设像素比例的要求。
在本实施例中,若当前像素比例大于预设像素比例,则目标处理方式为边缘补全方式。其中,边缘补全方式包括单边缘补全方式或双边缘补全方式。当应用选择单边缘补全方式时,可选的,获取待处理图像长边顶部区域至少一个像素点的像素值,并根据像素值确定顶部区域像素均值;以及,获取待处理图像长边底端像素点的像素值,并根据像素值确定底端像素均值;或,获取待处理图像长边底部区域至少一个像素点的像素值,并根据像素值确定底部区域像素均值;基于所述顶部区域像素均值或底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
在本实施例中,当待处理图像的像素比例大于预设像素比例时,表明待处理图像长边与短边的比例过大,可以理解为,当待处理图像的长边对应图像的上下两侧,且应用选择单边缘补全方式对待处理图像进行处理时,需要对待处理图像的顶部或底部进行补全处理。
在此以对待处理图像顶部进行补全处理的过程为例进行说明,首先,应用需要在待处理图像顶部确定出一行或多行像素点的像素值,例如,读取待处理图像最顶端一行像素点的RGB值,或者,读取待处理图像顶部第一行至第三行共计三行像素点的RGB值,进一步的,根据预先编写的平均值函数计算出这些像素点的RGB均值,可以理解,该计算结果即是待处理图像对应的顶部区域像素均值。最后,在待处理图像顶端上方增加多行像素点,并根据顶部区域像素均值为这些像素点赋予颜色信息,即可实现对待处理图像顶部区域的补全处理,可以理解,在上述过程中,对待处理图像的底部区域无需执行任何操作,相应的,当选择对待处理图像的底部区域进行补全处理时,对待处理图像的顶部区域同样无需执行任何操作,本公开实施例在此不再赘述。
在本实施例中,当待处理图像的长边对应的图像的上下两侧,且应用选择双边缘补全方式对待处理图像进行处理时,可选的,基于顶部区域像素均值和底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
具体的,应用软件需要在待处理图像中确定出多行像素点,并选择最顶端一行的像素点,进一步的,读取这一行各个像素点的RGB值,并根据预先编写的平均值函数计算出这一行像素点的RGB均值,可以理解,该计算结果即是待处理图像的顶端像素均值。同样地,确定待处理图像最底端一行像素点的RGB均值的过程与上述过程相似,本公开实施例对此不再赘述。当应用确定出顶端一行像素点的RGB均值,以及最底端一行像素点的RGB均值后,需要在待处理图像顶部以及底部分别确定出一片区域,即,与待处理图像顶部相连接一片区域,以及与待处理图像底部相连接的一片区域。进一步的,根据顶端一行像素点的RGB均值对顶部连接的这片区域的颜色进行填充,同时,根据底端一行像素点的RGB均值对底部连接的区域的颜色进行填充,即得到满足预设像素比例的全景补全图像。
在本实施例中,当待处理图像的像素比例信息大于预设像素比例时,仅在待处理图像顶部以及底部分别连接一片区域,并根据两个RGB均值对区域的颜色进行填充后,初步得到的全景补全图像的显示效果不佳,也即是说,待处理图像在上下两个边界上与新添加区域之间的衔接过于突兀,因此,为了进一步优化所得到的全景补全图像的显示效果,还可以在原始的待处理图像的顶部区域以及底部区域分别确定出特定宽度的过渡区域。
可选的,基于预设过渡比例和待处理图像的短边宽度信息,确定第一过渡宽度和/或第二过渡宽度;基于第一过渡宽度中至少一行像素点的像素均值和/或顶部区域像素均值,确定第一过渡宽度中至少一行像素点的顶端过渡像素值;和/或,基于第二过渡宽度中至少一行像素点的像素均值以及顶部区域像素均值,确定第二过渡宽度中每行像素点的过渡像素值;基于顶端过渡像素值、底端过渡像素值、顶部区域像素均值和/或底部区域像素均值,确定全景补全图像。
其中,应用软件根据预设过渡比例以及待处理图像短边的宽度信息,可以确定出相应的过渡宽度,过渡宽度用于在待处理图像内划分出一定的区域,例如,当预设过渡比例为1/8,且待处理图像短边的宽度为8个单位长度时,应用根据上述信息可以在待处理图像的顶部区域确定出1个单位长度的第一过渡宽度,同时,根据上述信息在待处理图像的底部区域确定出1个单位长度的第二过渡宽度,可以理解,在实际应用过程中,当针对于上传图像顶部以及底部的预设过渡比例不同时,应用在图像顶部和底部最终确定出的过渡宽度的值也存在差异,具体的预设过渡比例可以根据实际需求进行调整,本公开实施例对此不作具体的限定。
在本实施例中,第一过渡宽度和第二过渡宽度中包括至少一行像素点。基于此,当应用分别在待处理图像顶部区域和底部区域确定出共计两个单位长度的区域后,可以读取顶部1个单位长度内各行像素点的像素值,并读取底部1个单位长度内各行像素点的像素值。进一步的,将顶部各行像素点的像素值以及顶端像素均值代入至预先编写的平均值计算函数中,即可得到分别与顶部区域1个单位长度内各行像素点对应的多个像素均值,同样地,将底部各行像素点的像素值以及底端像素均值代入至预先编写的平均值计算函数中,即可得到分别与底部区域1个单位长度内各行像素点对应的多个像素均值,可以理解,计算得到的与各行像素点分别对应的像素均值即是待处理图像的过渡像素值。
最后,将各行像素点的过渡像素值对相应像素点的颜色属性信息进行更新,并根据顶端像素均值以及底端像素均值为相应像素点赋予颜色属性信息,即可得到待处理图像对应的全景补全图像,同时,通过在待处理图像的顶部划分出过渡区域并添加补全区域,在待处理图像的底部划分出过渡区域并添加补全区域,可以使得到的补全图像满足目标像素比例,在实际应用过程中,目标像素比例可以是2:1,当然,在实际应用过程中,目标像素比例可以根据实时的图像处理需求进行调整,本公开实施例对此不作具体的限定。
示例性的,当待处理图像的像素比例信息为8:1,而预设像素比例为4:1时,应用软件需要在待处理图像的顶部以及底部分别增加多行像素点,需要说明的是,在添加多行像素点的过程中,顶部添加的像素点行数可以与底部添加的像素点行数相一致。在多行像素点添加完毕后,应用即可根据顶端像素均值(即最顶端一行像素点的RGB均值)为在顶部增加的多行像素点赋予颜色属性信息,根据底端像素均值(即最底端一行像素点的RGB均值)为在底部增加的多行像素点赋予颜色属性信息。进一步的,根据预设过渡比例以及待处理图像的短边宽度信息,即可在待处理图像的顶部区域和底部区域分别划分出两个过渡区域,在计算得到过渡区域内各行像素点的像素均值后,即可基于像素均值对两片区域内像素点原有的颜色属性信息进行更新,从而得到像素比例为2:1的、与待处理图像相对应的全景补全图像。
当然,在实际应用过程中,还可以仅在待处理图像的顶部区域划分出一片过渡区域,具体来说,当应用确定出第一过渡宽度后,可以直接根据第一过渡宽度在待处理图像的顶部区域内确定出一行或多行像素点,进一步的,基于上述说明中的方式读取这些像素点的RGB值,进而基于这些RGB值进行计算,得到顶部区域像素均值,最后,基于顶部区域像素均值对所确定的一行或多行像素点的RGB值进行更新,即得到与待处理图像对应的全景补全图像。
在本实施例中,还可以仅在待处理图像的底部区域划分出一片过渡区域,具体来说,当应用确定出第二过渡宽度后,可以直接根据第二过渡宽度在待处理图像的底部区域内确定出一行或多行像素点,进一步的,基于上述说明中的方式读取这些像素点的RGB值,进而基于这些RGB值进行计算,得到底部区域像素均值,最后,基于底部区域像素均值对所确定的一行或多行像素点的RGB值进行更新,即得到与待处理图像对应的全景补全图像。
通过上述说明可以确定,在实际应用过程中,应用即可以选择仅在待处理图像顶部划分出一片区域作为过渡区域,也可以仅在待处理图像底部划分出一片区域作为过渡区域,还可以同时在待处理图像的顶部和底部划分出相应的区域作为过渡区域,具体的处理方式可以根据实际需求进行选择,本公开实施例对此不作具体的限定。
在本实施例中,当待处理图像的当前像素比例大于预设像素比例时,对待处理图像的顶部以及底部增加多行像素点,并根据预设过渡比例在待处理图像上划分出过渡区域的好处在于,不仅使得到的全景补全图像满足目标像素比例,便于应用对图像执行后续处理,同时也进一步优化了图像的显示效果,使最终渲染得到的图像内容更加自然。
在本实施例中,还可能存在待处理图像的当前像素比例小于预设像素比例的情况,若当前像素比例小于预设像素比例,且不等于目标像素比例,则确定目标处理方式为镜像补全方式。当应用选择这种方式对待处理图像进行补全时,可选的,基于镜像补全方式将待处理图像进行镜像处理,得到满足目标像素比例的全景补全图像。
本领域技术人员应当理解,图像的镜像处理分为水平镜像、垂直镜像和对角镜像三种,在本实施例中,由于待处理图像的当前像素比例小于预设像素比例,因此,需要对待处理图像做水平镜像处理,即,将待处理图像的画面以图像左侧边缘轴线或右侧边缘轴线为中心进行镜像对换,从而得到多幅水平排列的待处理图像,可以理解,对于相邻的任意两幅图像来说,图像的画面会呈现出镜像对换的视觉效果。进一步的,当由多幅镜像图像拼接得到的图像满足目标像素比例时,该拼接图像即是待处理图像对应的全景补全图像。
需要说明的是,若当前像素比例小于预设像素比例,且等于目标像素比例,则将待处理图像作为全景补全图像。也即是说,当待处理图像在未处理前,其长边与短边的比值已经等于目标像素比例时,应用则无需对待处理图像进行补全处理,并直接将待处理图像作为后续过程中所使用的全景补全图像,本公开实施例对此不再赘述。
S120、根据全景补全图像,确定构成包围盒上的各目标面片贴图。
在本实施例中,当应用确定出待处理图像对应的全景补全图像后,即可根据该图像确定出包围盒上各目标面片的贴图。其中,包围盒可以是应用在虚拟三维空间内构建出的、由多个面片贴图构成的模型,例如,由六个面片贴图构成的长方体包围盒模型或正方体包围盒模型,当然,还可以是由多个面片贴图构成的多面体包围盒模型,本领域技术人员应当理解,通过一个包围盒模型,至少可以渲染出一个3D的环绕场景。下面以长方体包围盒模型为例进行说明。
本领域技术人员应当理解,面片是指支持图像渲染处理的应用软件中的网格(mesh),可以理解为,应用软件中用于承载图像的对象,每一个面片由两个三角构成,且包含多个顶点,相应的,根据这些顶点的信息,也可以确定出这些顶点所属的面片。基于此可以理解,在本实施例中,长方体包围盒的六个面片分别承载全景补全图像上的部分画面,进而在虚拟相机位于长方体中心时,将各个面片的上的画面从不同的角度渲染至显示界面上。
示例性的,当待处理图像为某一景区的图像,且应用软件已经为该待处理图像确定出相应的全景补全图像后,即可在全景补全图像上划分出六个不同的区域,并在虚拟空间内构建出一个三维空间坐标系、以及由六个空白的面片贴图构成的长方体包围盒模型,进一步的,将补全图像上六部分的内容按照顺序依次贴图至该长方体包围盒模型的六个面片上,即得到各目标面片贴图,从而实现了对一个3D环绕场景的构建。
在确定目标面片贴图的过程中,可选的,确定构成长方体包围盒上的待填充面片贴图;基于全景补全图像,确定待填充面片贴图上各像素点的目标像素值;将各目标像素值赋予相应的待填充面片贴图上的相应像素点,确定目标面片贴图。
具体的,应用在虚拟空间内构建出一个三维空间坐标系后,可以进一步构建出一个长方体包围盒模型,其中,该长方体包围盒模型的中心点即是三维空间坐标系的原点,同时,该模型是由至少六个待填充面片贴图构成的,每个待填充面片贴图都可以用于承载和表征全景补全图像上特定部分的画面。在构建出长方体包围盒模型后,应用为了对其待填充面片贴图进行区分,还可以对各面片贴图添加相应的标识,例如,当长方体包围盒模型的待填充面片贴图为6个时,各面片贴图分别携带有一号、二号…六号等标识。
在本实施例中,当应用确定出长方体包围盒模型上的多个待填充面片贴图后,即可根据全景补全图像确定出每个面片贴图上各像素点的目标像素值。可选的,应用可以对全景补全图像归一化处理,得到目标全景补全图像;确定目标全景补全图像中各像素点与目标球体中各经纬度之间的对应关系;确定至少一个待填充面片贴图上,相应像素点所对应的目标经纬度;根据各目标经纬度和对应关系,确定各像素点的目标像素值。
可以理解,当应用确定的全景补全图像为ERP(Equirectangular Projection)格式时,上述根据全景补全图像确定待填充面片贴图各像素点的像素值的过程,即是建立ERP图像上各像素点与长方体包围盒待填充面片贴图上各像素点之间映射关系的过程。
具体来说,当应用确定出全景补全图像后,可以将该全景补全图像存储在UV纹理空间中,本领域技术人员应当理解,当UVs作为驻留在多边形网格顶点上的二维纹理坐标点时,就定义出一个二维纹理坐标系统,这个坐标系统就是UV纹理空间。在这个空间内,利用U和V来定义坐标轴,用于确定如何将一个纹理图像放置在三维的模型表面。也即是说,UVs提供了一种模型表面与纹理图像之间的连接关系,负责确定纹理图像上一个像素点应该放置在模型表面哪一个顶点上,由此可以将整个纹理都铺盖到模型上。在本实施例中,基于UV纹理空间,即可确定出全景补全图像各像素点的uv值。
在本实施例中,当应用确定出目标全景补全图像各像素点的uv值后,并不能直接将其映射到长方体包围盒模型的各待填充面片贴图上,因此,还需要在虚拟三维空间坐标系内引入一个目标球体,即,先将各目标全景补全图像各像素点映射到目标球体的经纬度
Figure BDA0003625670290000161
上,再将目标球体的经纬度
Figure BDA0003625670290000162
映射到长方体包围盒模型的各待填充面片贴图上。其中,长方体包围盒的中心点与目标球体的中心点相重合,且长方体包围盒位于目标球体的内部。
在确定目标全景补全图像中各像素点与目标球体中各经纬度之间的对应关系的过程中,可选的,针对各像素点,确定当前像素点的待处理纹理坐标,并基于长方体包围盒的边长信息,对待处理纹理坐标归一化处理,得到目标纹理坐标;根据各目标纹理坐标和当前待处理像素点所属当前待填充面片贴图的初始经度值或纬度值,确定各目标纹理坐标的目标经纬度。
可以理解为,当应用确定出目标全景补全图像中各像素点的uv值后,这些值即可作为各像素点的待处理纹理坐标,同时,由于各像素点的待处理纹理坐标均处于[0,1]的区间内,因此,还需要对目标全景补全图像进行归一化处理,即,在确定出长方体包围盒边长信息的情况下,取各像素点的uv值的二倍再减一后的值,并基于这些值对各像素点的uv值进行更新,从而使各像素点的纹理坐标均处于[-1,1]的区间内。可以理解,各像素点更新后的纹理坐标即是目标纹理坐标。
在确定目标纹理坐标的同时,应用还需要在目标球体上,确定出与各待填充面片贴图相对应的初始经度值或纬度值。示例性的,当对于长方体包围盒模型上面对虚拟相机的一面待填充面片贴图来说,可以从虚拟三维空间坐标系的原点出发,向垂直于水平面的四个该待填充面片贴图的其中一个建立一条射线,可以理解,该射线与该待填充面片贴图会产生一个交点,应用确定出该交点在目标球体上的经纬度后,即可在长方体包围盒上确定出与该交点存在映射关系的点。下面对确定交点经纬度的过程进行说明。
在本实施例中,当得到目标球体上的交点后,应用可以在虚拟三维空间坐标系的XOY平面内生成与交点对应射线的投影,并在XOY面确定出一条初始直线作为基准线,基于此,便可以确定出射线投影与该基准线之间的夹角。进一步的,应用可以计算出该夹角与2π的比值,将该比值代入预设的三角函数中即可得到与目标球体上交点相对应的、处于长方体包围盒上的点。
可以理解,当从虚拟三维空间坐标系的原点出发,向平行于水平面的两个待填充片面贴图中的其中一个建立一条射线后,该射线同样可以与待填充面片贴图产生一个交点,此时,应用可以在虚拟三维空间坐标系的XOZ平面内生成与交点对应射线的投影,并在XOZ面确定出一条初始直线作为基准线,基于此,可以确定出射线投影与该基准线之间的夹角,进而按照上述方式确定出与目标球体上交点相对应的、处于长方体包围盒上的另一个点。
需要说明的是,在确定目标球体上各点与长方体包围盒待填充面片贴图上各点之间的映射关系的过程中,在确定出射线与相应基准线的夹角后,可以利用多种三角函数进行计算求解,本公开实施例对此不作具体的限定。
在本实施例中,当应用根据目标全景补全图像上归一化处理后的各纹理坐标,确定出对应的、处于目标球体上点的目标经纬度值后,即可在各待填充面片贴图上确定出与目标球体上的点所对应的像素点,从而建立起目标全景补全图像与各待填充面片贴图之间的映射关系。最后,根据该映射关系,以及目标球体上各点的经纬度,即可得到各待填充面片贴图上各像素点的像素值,这些像素值即是目标像素值。
S130、基于各目标面片贴图,确定全景环绕图像。
在本实施例中,当应用确定出长方体包围盒各待填充面片贴图的像素点的目标像素值后,即可构建出全景环绕图像。可以理解为,应用可以将各像素点的目标像素值写入至渲染引擎中,从而使渲染引擎在显示界面中渲染出对应的画面。其中,渲染引擎即是控制GPU对相关图像进行渲染的程序,即,可以使计算机完成对全景环绕图像的绘制任务,本公开实施例对此不再赘述。
在本实施例中,当应用确定出全景环绕图像后,还可以基于全景环绕图像进行虚拟显示。具体的,当待处理图像为某一户外风景区的全景图像,且应用已经确定出与该图像对应的全景环绕图像后,即可对全景环绕图像进行打标处理,例如,将该全景环绕图像赋予“户外场景”的标识,进一步的,将该全景环绕图像与应用内特定的控件进行关联。基于此,当检测到用户触发该控件时,即可调用该控件关联的全景环绕图像,并将该图像的画面渲染至显示界面上,本领域技术人员应当理解,在显示界面的尺寸有限的情况下,该全景环绕图像的内容无法全部显示,只有在检测到用户通过触控操作改变观看视角时,应用才会根据用户操作将全景环绕图像的其他部分渲染至显示界面上,本公开实施例在此不再赘述。
需要说明的是,对于按照本公开实施例实时生成的全景环绕图像来说,应用也可以将其作为待选择全景环绕图像进行存储,进而在后续过程中对该图像随时进行调用,本公开实施例对此不作具体的限定。
本公开实施例的技术方案,先确定与待处理图像相对应的全景补全图像,再根据全景补全图像,确定构成长方体包围盒上的各目标面片贴图,进一步的,基于各目标面片贴图,确定全景环绕图像,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率,在满足用户个性化需求的同时,提升了用户的使用体验。
图2为本公开实施例所提供的一种图像处理装置结构示意图,如图2所示,所述装置包括:全景补全图像确定模块210、目标面片贴图确定模块220以及全景环绕图像确定模块230。
全景补全图像确定模块210,用于根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像。
目标面片贴图确定模块220,用于根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应。
全景环绕图像确定模块230,用于基于各目标面片贴图,确定全景环绕图像。
在上述各技术方案的基础上,所述图像属性包括待处理图像的当前像素比例,全景补全图像确定模块210包括目标处理方式确定单元以及全景补全图像确定单元。
目标处理方式确定单元,用于确定所述待处理图像的当前像素比例,并根据所述当前像素比例和预设像素比例,确定对所述待处理图像的目标处理方式。
全景补全图像确定单元,用于基于所述目标处理方式对所述待处理图像补全或裁减处理,得到与所述待处理图像相对应的全景补全图像。
可选的,目标处理方式确定单元,还用于若所述当前像素比例大于所述预设像素比例,则所述目标处理方式为边缘补全方式;其中,所述边缘补全方式包括单边缘补全方式或双边缘补全方式;所述当前像素比例小于预设像素比例,则所述目标处理方式为镜像补全方式。
在上述各技术方案的基础上,所述目标处理方式为边缘补全方式。
可选的,全景补全图像确定单元,还用于获取所述待处理图像长边顶部区域至少一个像素点的像素值,并根据所述像素值确定顶部区域像素均值;或,获取所述待处理图像长边底部区域至少一个像素点的像素值,并根据所述像素值确定底部区域像素均值;基于所述顶部区域像素均值或底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
在上述各技术方案的基础上,所述目标处理方式为双边缘补全方式。
可选的,全景补全图像确定单元,还用于基于顶部区域像素均值和底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
在上述各技术方案的基础上,所述图像处理装置还包括过渡像素值确定模块。
过渡像素值确定模块,用于基于预设过渡比例和所述待处理图像的短边宽度信息,确定第一过渡宽度和/或第二过渡宽度;其中,所述第一过渡宽度和/或所述第二过渡宽度中包括至少一行像素点;基于所述第一过渡宽度中至少一行像素点的像素均值和所述顶部区域像素均值,确定所述第一过渡宽度中至少一行像素点的顶端过渡像素值;和/或,基于所述第二过渡宽度中至少一行像素点的像素均值以及所述底部区域像素均值,确定所述第二过渡宽度中至少一行像素点的底端过渡像素值;基于各过渡像素值、顶端像素均值以及底端像素均值,确定满足所述目标像素比例的全景补全图像。
可选的,目标处理方式确定单元,还用于若所述当前像素比例小于所述预设像素比例,且不等于目标像素比例,则确定所述目标处理方式为镜像补全方式。
在上述各技术方案的基础上,所述目标处理方式为镜像补全方式。
可选的,全景补全图像确定单元,还用于基于所述镜像补全方式将所述待处理图像进行镜像处理,得到满足目标像素比例的全景补全图像。
在上述各技术方案的基础上,目标面片贴图确定模块220包括待填充面片贴图确定单元、目标像素值确定单元以及目标面片贴图确定单元。
待填充面片贴图确定单元,用于确定构成包围盒上的待填充面片贴图。
目标像素值确定单元,用于基于所述全景补全图像,确定所述待填充面片贴图上至少一个像素点的目标像素值。
目标面片贴图确定单元,用于将各目标像素值赋予相应的待填充面片贴图上的相应像素点,确定所述目标面片贴图。
可选的,目标像素值确定单元,还用于对所述全景补全图像归一化处理,得到目标全景补全图像;确定所述目标全景补全图像中各像素点与目标球体中相应经纬度之间的对应关系;其中,所述包围盒的中心点与所述目标球体的中心点相重合,且所述包围盒位于所述目标球体的内部;确定至少一个待填充面片贴图上,相应像素点所对应的目标经纬度;根据各目标经纬度和所述对应关系,确定各像素点的目标像素值。
可选的,目标像素值确定单元,还用于确定至少一个像素点的待处理纹理坐标,并基于所述包围盒的边长信息,对所述待处理纹理坐标归一化处理,得到目标纹理坐标;根据目标纹理坐标和当前待处理像素点所属当前待填充面片贴图的初始经度值或纬度值,确定各目标纹理坐标的目标经纬度。
在上述各技术方案的基础上,图像处理装置还包括虚拟显示模块。
虚拟显示模块,用于基于所述全景环绕图像进行虚拟显示。
本实施例所提供的技术方案,先确定与待处理图像相对应的全景补全图像,再根据全景补全图像,确定构成长方体包围盒上的各目标面片贴图,进一步的,基于各目标面片贴图,确定全景环绕图像,不仅可以基于移动端生成与待处理图像对应的全景环绕图像,还以简洁的方式提高了图像处理效率,在满足用户个性化需求的同时,提升了用户的使用体验。
本公开实施例所提供的图像处理装置可执行本公开任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。
图3为本公开实施例所提供的一种电子设备的结构示意图。下面参考图3,其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图案处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置306加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。编辑/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的编辑装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置306被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的图像处理方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的图像处理方法。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:
根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
基于各目标面片贴图,确定全景环绕图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,【示例一】提供了一种图像处理方法,该方法包括:
根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
基于各目标面片贴图,确定全景环绕图像。
根据本公开的一个或多个实施例,【示例二】提供了一种图像处理方法,该方法,还包括:
可选的,所述图像属性包括待处理图像的当前像素比例,所述根据所述待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像,包括:
确定所述待处理图像的当前像素比例,并根据所述当前像素比例和预设像素比例,确定对所述待处理图像的目标处理方式;
基于所述目标处理方式对所述待处理图像补全或裁剪处理,得到与所述待处理图像相对应的全景补全图像。
根据本公开的一个或多个实施例,【示例三】提供了一种图像处理方法,该方法,还包括:
可选的,所述根据所述当前像素比例和预设像素比例,确定对所述待处理图像的目标处理方式,包括:
若所述当前像素比例大于所述预设像素比例,则所述目标处理方式为边缘补全方式;其中,所述边缘补全方式包括单边缘补全方式或双边缘补全方式;
所述当前像素比例小于预设像素比例,则所述目标处理方式为镜像补全方式。
根据本公开的一个或多个实施例,【示例四】提供了一种图像处理方法,该方法,还包括:
可选的,所述目标处理方式为单边缘补全方式,所述基于所述目标处理方式对所述待处理图像补全处理,确定与所述待处理图像相对应的全景补全图像,包括:
获取所述待处理图像长边顶部区域至少一个像素点的像素值,并根据所述像素值确定顶部区域像素均值;或,获取所述待处理图像长边底部区域至少一个像素点的像素值,并根据所述像素值确定底部区域像素均值;
基于所述顶部区域像素均值或底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
根据本公开的一个或多个实施例,【示例五】提供了一种图像处理方法,该方法,还包括:
可选的,基于顶部区域像素均值和底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
根据本公开的一个或多个实施例,【示例六】提供了一种图像处理方法,该方法,还包括:
可选的,基于预设过渡比例和所述待处理图像的短边宽度信息,确定第一过渡宽度和/或第二过渡宽度;其中,所述第一过渡宽度和/或所述第二过渡宽度中包括至少一行像素点;
基于所述第一过渡宽度中至少一行像素点的像素均值和所述顶部区域像素均值,确定所述第一过渡宽度中至少一行像素点的顶端过渡像素值;和/或,基于所述第二过渡宽度中至少一行像素点的像素均值以及所述底部区域像素均值,确定所述第二过渡宽度中至少一行像素点的底端过渡像素值;
基于顶端过渡像素值、底端过渡像素值、顶部区域像素均值和/或底部区域像素均值,确定全景补全图像。
根据本公开的一个或多个实施例,【示例七】提供了一种图像处理方法,该方法,还包括:
可选的,所述目标处理方式为镜像补全方式,所述基于所述目标处理方式对所述待处理图像补全处理,确定与所述待处理图像相对应的全景补全图像,包括:
基于所述镜像补全方式将所述待处理图像进行镜像处理,得到满足目标像素比例的全景补全图像。
根据本公开的一个或多个实施例,【示例八】提供了一种图像处理方法,该方法,还包括:
可选的,确定构成包围盒上的待填充面片贴图;
基于所述全景补全图像,确定所述待填充面片贴图上至少一个像素点的目标像素值;
将各目标像素值赋予相应的待填充面片贴图上的相应像素点,确定所述目标面片贴图。
根据本公开的一个或多个实施例,【示例九】提供了一种图像处理方法,该方法,还包括:
可选的,对所述全景补全图像归一化处理,得到目标全景补全图像;
确定所述目标全景补全图像中各像素点与目标球体中相应经纬度之间的对应关系;其中,所述包围盒的中心点与所述目标球体的中心点相重合,且所述包围盒位于所述目标球体的内部;
确定至少一个待填充面片贴图上,相应像素点所对应的目标经纬度;
根据各目标经纬度和所述对应关系,确定各像素点的目标像素值。
根据本公开的一个或多个实施例,【示例十】提供了一种图像处理方法,该方法,还包括:
可选的,确定至少一个像素点的待处理纹理坐标,并基于所述包围盒的边长信息,对所述待处理纹理坐标归一化处理,得到目标纹理坐标;
根据目标纹理坐标和当前待处理像素点所属当前待填充面片贴图的初始经度值或纬度值,确定各目标纹理坐标的目标经纬度。
根据本公开的一个或多个实施例,【示例十一】提供了一种图像处理方法,该方法,还包括:
可选的,基于所述全景环绕图像进行虚拟显示。
根据本公开的一个或多个实施例,【示例十二】提供了一种图像处理装置,该装置包括:
全景补全图像确定模块,用于根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
目标面片贴图确定模块,用于根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
全景环绕图像确定模块,用于基于各目标面片贴图,确定全景环绕图像。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (14)

1.一种图像处理方法,其特征在于,包括:
根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
基于各目标面片贴图,确定全景环绕图像。
2.根据权利要求1所述的方法,其特征在于,所述图像属性包括待处理图像的当前像素比例,所述根据所述待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像,包括:
确定所述待处理图像的当前像素比例,并根据所述当前像素比例和预设像素比例,确定对所述待处理图像的目标处理方式;
基于所述目标处理方式对所述待处理图像补全或裁剪处理,得到与所述待处理图像相对应的全景补全图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前像素比例和预设像素比例,确定对所述待处理图像的目标处理方式,包括:
若所述当前像素比例大于所述预设像素比例,则所述目标处理方式为边缘补全方式;其中,所述边缘补全方式包括单边缘补全方式或双边缘补全方式;
所述当前像素比例小于预设像素比例,则所述目标处理方式为镜像补全方式。
4.根据权利要求3所述的方法,其特征在于,所述目标处理方式为单边缘补全方式,所述基于所述目标处理方式对所述待处理图像补全处理,确定与所述待处理图像相对应的全景补全图像,包括:
获取所述待处理图像长边顶部区域至少一个像素点的像素值,并根据所述像素值确定顶部区域像素均值;或,获取所述待处理图像长边底部区域至少一个像素点的像素值,并根据所述像素值确定底部区域像素均值;
基于所述顶部区域像素均值或底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
5.根据权利要求3所述的方法,其特征在于,所述目标处理方式为双边缘补全方式,所述基于所述目标处理方式对所述待处理图像补全处理,确定与所述待处理图像相对应的全景补全图像,包括:
基于顶部区域像素均值和底部区域像素均值,将所述待处理图像处理为目标像素比例的全景补全图像。
6.根据权利要求4或5所述的方法,其特征在于,还包括:
基于预设过渡比例和所述待处理图像的短边宽度信息,确定第一过渡宽度和/或第二过渡宽度;其中,所述第一过渡宽度和/或所述第二过渡宽度中包括至少一行像素点;
基于所述第一过渡宽度中至少一行像素点的像素均值和所述顶部区域像素均值,确定所述第一过渡宽度中至少一行像素点的顶端过渡像素值;和/或,基于所述第二过渡宽度中至少一行像素点的像素均值以及所述底部区域像素均值,确定所述第二过渡宽度中至少一行像素点的底端过渡像素值;
基于顶端过渡像素值、底端过渡像素值、顶部区域像素均值和/或底部区域像素均值,确定全景补全图像。
7.根据权利要求3所述的方法,其特征在于,所述目标处理方式为镜像补全方式,所述基于所述目标处理方式对所述待处理图像补全处理,确定与所述待处理图像相对应的全景补全图像,包括:
基于所述镜像补全方式将所述待处理图像进行镜像处理,得到满足目标像素比例的全景补全图像。
8.根据权利要求1所述的方法,其特征在于,所述根据所述全景补全图像,确定构成包围盒上的各目标面片贴图,包括:
确定构成包围盒上的待填充面片贴图;
基于所述全景补全图像,确定所述待填充面片贴图上至少一个像素点的目标像素值;
将各目标像素值赋予相应的待填充面片贴图上的相应像素点,确定所述目标面片贴图。
9.根据权利要求8所述的方法,其特征在于,所述基于所述全景补全图像,确定所述待填充面片贴图上各像素点的目标像素值,包括:
对所述全景补全图像归一化处理,得到目标全景补全图像;
确定所述目标全景补全图像中各像素点与目标球体中相应经纬度之间的对应关系;其中,所述包围盒的中心点与所述目标球体的中心点相重合,且所述包围盒位于所述目标球体的内部;
确定至少一个待填充面片贴图上,相应像素点所对应的目标经纬度;
根据各目标经纬度和所述对应关系,确定各像素点的目标像素值。
10.根据权利要求9所述的方法,其特征在于,所述确定至少一个待填充面片贴图上,相应像素点所对应的目标经纬度,包括:
确定至少一个像素点的待处理纹理坐标,并基于所述包围盒的边长信息,对所述待处理纹理坐标归一化处理,得到目标纹理坐标;
根据目标纹理坐标和当前待处理像素点所属当前待填充面片贴图的初始经度值或纬度值,确定各目标纹理坐标的目标经纬度。
11.根据权利要求1所述的方法,其特征在于,还包括:
基于所述全景环绕图像进行虚拟显示。
12.一种图像处理装置,其特征在于,包括:
全景补全图像确定模块,用于根据待处理图像的图像属性,对所述待处理图像进行处理得到目标像素比例的全景补全图像;
目标面片贴图确定模块,用于根据所述全景补全图像,确定构成包围盒上的各目标面片贴图;其中,所述包围盒上的显示内容与所述全景补全图像相对应;
全景环绕图像确定模块,用于基于各目标面片贴图,确定全景环绕图像。
13.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的图像处理方法。
14.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-11中任一所述的图像处理方法。
CN202210476189.6A 2022-04-29 2022-04-29 图像处理方法、装置、电子设备及存储介质 Pending CN114782648A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210476189.6A CN114782648A (zh) 2022-04-29 2022-04-29 图像处理方法、装置、电子设备及存储介质
PCT/CN2023/090555 WO2023207963A1 (zh) 2022-04-29 2023-04-25 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210476189.6A CN114782648A (zh) 2022-04-29 2022-04-29 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114782648A true CN114782648A (zh) 2022-07-22

Family

ID=82434690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210476189.6A Pending CN114782648A (zh) 2022-04-29 2022-04-29 图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114782648A (zh)
WO (1) WO2023207963A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953344A (zh) * 2023-03-08 2023-04-11 上海聚跃检测技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023207963A1 (zh) * 2022-04-29 2023-11-02 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197003B (zh) * 2023-11-07 2024-02-27 杭州灵西机器人智能科技有限公司 一种多条件控制的纸箱样本生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244200B2 (en) * 2016-11-29 2019-03-26 Microsoft Technology Licensing, Llc View-dependent operations during playback of panoramic video
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
CN108876729B (zh) * 2018-05-11 2021-02-09 武汉地大信息工程股份有限公司 一种全景图中补充天空的方法及系统
CN113592997B (zh) * 2021-07-30 2023-05-30 腾讯科技(深圳)有限公司 基于虚拟场景的物体绘制方法、装置、设备及存储介质
CN113724331B (zh) * 2021-09-02 2022-07-19 北京城市网邻信息技术有限公司 视频处理方法、视频处理装置和非瞬时性存储介质
CN114782648A (zh) * 2022-04-29 2022-07-22 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207963A1 (zh) * 2022-04-29 2023-11-02 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115953344A (zh) * 2023-03-08 2023-04-11 上海聚跃检测技术有限公司 图像处理方法、装置、电子设备及存储介质
CN115953344B (zh) * 2023-03-08 2023-05-30 上海聚跃检测技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023207963A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
US11330172B2 (en) Panoramic image generating method and apparatus
CN114782648A (zh) 图像处理方法、装置、电子设备及存储介质
WO2017092303A1 (zh) 虚拟现实场景模型建立方法及装置
US10659742B2 (en) Image generating apparatus and image display control apparatus
US20050265619A1 (en) Image providing method and device
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
EP4290464A1 (en) Image rendering method and apparatus, and electronic device and storage medium
CN115546377B (zh) 一种视频融合方法、装置、电子设备及存储介质
CN109801354B (zh) 全景处理方法和装置
CN115861514A (zh) 虚拟全景图的渲染方法、装置、设备及存储介质
CN114928718A (zh) 视频监控方法、装置、电子设备及存储介质
CN115170740A (zh) 特效处理方法、装置、电子设备及存储介质
CN116109765A (zh) 标注对象的三维渲染方法、装置、计算机设备、存储介质
CN112750190B (zh) 三维热力图生成方法、装置、设备及存储介质
CN111818265B (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
CN112802206A (zh) 漫游视图的生成方法、装置、设备和存储介质
WO2023125132A1 (zh) 特效图像处理方法、装置、电子设备及存储介质
CN114900621A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114202617A (zh) 视频图像处理方法、装置、电子设备及存储介质
CN111862342A (zh) 增强现实的纹理处理方法、装置、电子设备及存储介质
CN116485989B (zh) 一种图像处理方法、装置、设备及存储介质
CN113763530B (zh) 图像处理方法、装置、计算设备及存储介质
CN117173317A (zh) 模型阴影的处理方法、装置、设备及存储介质
CN115564879A (zh) 图像处理方法、装置、电子设备及存储介质
CN115830040A (zh) 图像渲染方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination