CN115760551A - 全景图像处理方法、装置、计算机设备、介质和程序产品 - Google Patents

全景图像处理方法、装置、计算机设备、介质和程序产品 Download PDF

Info

Publication number
CN115760551A
CN115760551A CN202211353984.2A CN202211353984A CN115760551A CN 115760551 A CN115760551 A CN 115760551A CN 202211353984 A CN202211353984 A CN 202211353984A CN 115760551 A CN115760551 A CN 115760551A
Authority
CN
China
Prior art keywords
observation
view
sampling
target
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211353984.2A
Other languages
English (en)
Inventor
张君培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202211353984.2A priority Critical patent/CN115760551A/zh
Publication of CN115760551A publication Critical patent/CN115760551A/zh
Priority to PCT/CN2023/126583 priority patent/WO2024093763A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种全景图像处理方法、装置、计算机设备、介质和程序产品。方法包括:获取对全景图像在多个预设时刻分别进行观测的观测视角;根据N个观测视角确定第一视角变化范围;根据模糊强度参数和第一视角变化范围,确定全景图像的实际视角抽样范围;在实际视角抽样范围中,依次抽取N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像;其中,N为正整数;根据N个观测图像计算得到目标模糊图像。采用本方法能够实现对图像附加残影的模糊效果及仿生人眼的视觉效果。

Description

全景图像处理方法、装置、计算机设备、介质和程序产品
技术领域
本申请涉及图像处理技术领域,特别是涉及一种全景图像处理方法、装置、计算机设备、介质和程序产品。
背景技术
用人眼观测景观时,根据视觉暂留现象,视网膜的电化学现象会造成视觉有一段反应时间,这使得当人的眼睛看到某一个时刻的画面后,该画面在一小段时间内不会在大脑视觉中消失;因此,在人眼视角快速变化的过程中,人眼所看到的景物往往是模糊的、带有残影的。
对于任意一张全景图像来说,运镜过程中,观测视角在不停地发生改变,这使得观测到的平面图像也在不停地发生改变,而每发生一次改变的平面图像也就等同于人眼所看到的一个瞬间的景象。
然而,当对全景素材进行一般的运镜剪辑时,运镜过程中的每一帧都是非常清晰的,得到的剪辑图像也是非常清晰的,这与真实的人眼视觉不相符。因此,如何让得到的剪辑图像能有附加残影的模糊效果,及仿生人眼的视角效果,成为本领域技术人员亟需解决的技术问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够对图像附加残影的模糊效果及仿生人眼的视觉效果的全景图像处理方法、装置、计算机设备、介质和程序产品。
第一方面,本申请提供了一种全景图像处理方法。所述方法包括:
获取对全景图像在多个预设时刻分别进行观测的观测视角;
根据多个所述观测视角确定第一视角变化范围;
根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围;
在所述实际视角抽样范围中,依次抽取N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像;其中,N为正整数;
根据N个所述观测图像计算得到目标模糊图像。
在其中一个实施例中,所述第一视角变化范围为第一时刻到目标时刻之间的视角变化范围和/或所述目标时刻到第二时刻之间的视角变化范围;其中,所述第一时刻、所述目标时刻和所述第二时刻为所述预设时刻中的依序观测的时刻,且所述第一时刻到所述目标时刻之间的时间间隔与所述目标时刻到所述第二时刻之间的时间间隔相等;
所述根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围,包括:
在多个所述观测视角中,将所述目标时刻对应的目标观测视角标记为第二抽样视角;
根据所述目标观测视角、所述第一时刻对应的第一观测视角和所述模糊强度参数,计算得到第一抽样视角;
根据所述目标观测视角、所述第二时刻对应的第二观测视角和所述模糊强度参数,计算得到第三抽样视角;
将所述第一抽样视角到所述第二抽样视角的视角变化范围和/或所述第二抽样视角到所述第三抽样视角的视角变化范围,标记为所述实际视角抽样范围。
在其中一个实施例中,所述实际视角抽样范围为所述第一抽样视角到所述第二抽样视角的视角变化范围和所述第二抽样视角到所述第三抽样视角的视角变化范围;
所述在所述实际视角抽样范围中,依次抽取所述N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像,包括:
在所述第一抽样视角到所述第二抽样视角的视角变化范围内,依次均等抽取n1个观测视角;其中,n1=N/2,n1为正整数;
在所述第二抽样视角到所述第三抽样视角的视角变化范围内,依次均等抽取n2个观测视角;其中,n2=N/2,n2为正整数;
将n1个观测视角和n2个观测视角组合形成N个观测视角,根据抽取的N个观测视角对所述全景图像进行采样,得到N个所述观测图像。
在其中一个实施例中,所述根据N个所述观测图像计算得到目标模糊图像,包括:
对各所述观测图像设定对应的权重;
根据所述各观测图像的像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像。
在其中一个实施例中,所述对各所述观测图像设定对应的权重,包括:
按照所述观测图像的抽取顺序,设置各所述观测图像的初始值;其中,各所述观测图像的所述初始值按照所述抽取顺序递增;
将各所述初始值进行归一化处理,得到各所述观测图像对应的权重。
在其中一个实施例中,所述根据所述各观测图像的像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像,包括:
获取各所述观测图像中各像素点的初始像素值;
对所述各观测图像中各像素点的初始像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像中各像素点的目标像素值。
第二方面,本申请还提供了一种全景图像处理装置。所述装置包括:
观测视角获取模块,用于获取对全景图像在多个预设时刻分别进行观测的观测视角;
第一视角变化范围确定模块,用于根据多个所述观测视角确定第一视角变化范围;
实际视角抽样范围确定模块,用于根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围;
观测图像获取模块,用于在所述实际视角抽样范围中,依次抽取N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像;其中,N为正整数;
目标模糊图像计算模块,用于根据N个所述观测图像计算得到目标模糊图像。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面实施例的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面实施例的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面实施例的步骤。
上述全景图像处理方法、装置、计算机设备、介质和程序产品,通过获取对全景图像在多个预设时刻分别进行观测的观测视角,然后根据观测视角确定第一视角变化范围,再根据模糊强度参数和第一视角变化范围,确定全景图像的实际视角抽样范围,再在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像,最后再根据N个观测图像计算得到目标模糊图像。本申请的技术方案,根据观测视角确定第一视角变化范围,以模拟人眼观测视角的变化,然后再在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像,从而便于根据N个观测图像计算得到目标模糊图像,以生成模拟人眼观测视角在变化过程中所观测到的模糊图像,从而实现了给剪辑图像附加残影的模糊效果,以及附加了仿生人眼的视觉效果。
附图说明
图1为一个实施例中全景图像处理方法的应用环境图;
图2为一个实施例中全景图像处理方法的流程示意图;
图3为一个实施例中计算第一视角变化范围和第二视角变化范围的流程示意图;
图4为一个实施例中计算实际视角抽样范围的流程示意图;
图5为一个实施例中计算目标模糊图像的流程示意图;
图6为另一个实施例中全景图像处理方法的流程示意图;
图7为一个实施例中全景图像处理装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的全景图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102获取对全景图像在多个预设时刻分别进行观测的观测视角,然后根据多个观测视角确定第一视角变化范围;再根据模糊强度参数和第一视角变化范围,确定全景图像的实际视角抽样范围,然后再在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像,最后再根据N个观测图像计算得到目标模糊图像。其中,终端102可以是各种个人计算机、笔记本电脑、智能手机、平板电脑、相机等具有拍摄和图像处理功能的电子设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中,如图2所示,提供了一种全景图像处理方法,以该方法应用于图1中的终端102为例进行说明,包括以下步骤:
步骤202,获取对全景图像在多个预设时刻分别进行观测的观测视角。
其中,全景图像可以是直接输入的图像,也可以是全景视频中的一个视频帧。需要说明的是,如果全景图像是全景视频中的一个视频帧时,则对于该全景视频中的每一个视频帧都使用本实施例中涉及的全景图像处理方法进行处理。
需要说明的是,全景图像可以是由多个子平面图像拼接而成的图像,也可以是通过具有拍摄能力的电子设备拍摄得到的,对于此,本申请不作具体限制。例如,可以通过具有前后双鱼眼镜头的拍摄设备进行拍摄得到的全景图像。
预设时刻可以指预先设定的时刻。
观测视角可以指对全景图像进行观测时,从观测者所能观测到的全景图像的两端引出的光线,在观测者的人眼光心处形成的夹角。当全景图像的尺寸越小、与观察者的距离越远时,观测视角越小。需要理解的是,在不同时刻,观测者对全景图像的观测视角在数值上相等,但是观测者所观测到的具体图像可以不同。
例如,可以通过特定的映射关系,先将全景图像中的像素信息转化至三维立体坐标系的球面上,观测者处于该球面的球心位置。在任意时刻,观测者只能观测到该球面上的一部分内容,那么该部分内容的两端引出的光线,在观测者的人眼光心处所形成的夹角,即为观测视角。
当需要对在一个时序内完成的运镜过程已知的图像进行处理时,那么该图像在时序上的每一个时刻的观测视角都为已知的。即在本实施例中,全景图像在每一个时刻的观测视角都为已知的,即全景图像在多个预设时刻的观测视角均为已知的。
在一些实施例中,全景图像可以是预先存储在服务器或者其他存储设备中的图像。例如,全景图像为预先存储在服务器中的图像,可以通过网络或者其他的通信方式获取服务器中存储的全景图像,并获取对全景图像在多个预设时刻分别进行观测的观测视角。
在一些实施例中,全景图像可以为具有拍摄能力的电子设备实时拍摄的图像。例如,使用相机对目标对象进行全景拍摄,形成全景图像,并将拍摄得到的全景图像通过网络或者其他通信方式传输到终端(该终端可以是个人电脑、笔记本电脑等)中,终端接收拍摄得到的全景图像,并获取相机在各时刻对该目标对象进行拍摄的拍摄视角,从而得到对全景图像在多个预设时刻分别进行观测的观测视角。
步骤204,根据多个观测视角确定第一视角变化范围。
其中,第一视角变化范围可以指观测者在多个预设时刻对全景图像进行观测的观测视角变化范围。
示例性地,可以将多个视角在时序上的依序变化作为第一视角变化范围。
例如,假设存在五个预设时刻,这五个预设时刻在时序依次发生,分别命名为a、b、c、d、e。可以将a时刻对应的观测视角到e时刻对应的观测视角作为第一视角变化范围。
在一个实施例中,假设存在三个预设时刻,该三个预设时刻在时序上依次发生,分别命名为a时刻、b时刻和c时刻,其中a时刻在时序上发生于b、c时刻之前,b时刻在时序上发生在a、c时刻之间,c时刻在时序上发生在a、b时刻之后。每一个预设时刻都对应一个对全景图像进行观测的观测视角,则第一视角变化范围可以是a时刻到b时刻之间的视角变化范围以及b时刻到c时刻之间的视角变化范围。
本申请实施例的技术方案,通过按照观测视角的依序变化确定第一视角变化范围,能够感受到镜头的运动状态和运动的方向感,从而实现模拟人眼的观测,以使后续生成的模糊图像更加符合人眼的实际观测效果,提高了生成的仿生人眼视觉效果的准确性。
在一个实施例中,第一视角变化范围可以为第一时刻到目标时刻之间的视角变化范围和/或目标时刻到第二时刻之间的视角变化范围;其中,第一时刻、目标时刻、第二时刻为预设时刻中依序进行观测的时刻,且第一时刻到目标时刻之间的时间间隔与目标时刻到第二时刻之间的时间间隔相等。
例如,假设在多个预设时刻中,各时刻之间的时间间隔相等,在目标时刻之前依次存在a1、a2两个时刻,在目标时刻之后依次存在b1、b2两个时刻。
当第一时刻为a1时刻时,则第二时刻为b1时刻,a1时刻到目标时刻之间的时间间隔与目标时刻到b1时刻之间的时间间隔相等,则第一视角范围可以是a1时刻到目标时刻之间的视角变化范围以及目标时刻到b1时刻之间的视角变化范围。
当第一时刻为a2时刻时,则第二时刻为b2时刻,a2时刻到目标时刻之间的时间间隔与目标时刻到b2时刻之间的时间间隔相等,则第一视角范围可以是a2时刻到目标时刻之间的视角变化范围以及目标时刻到b2时刻之间的视角变化范围,其中,a2时刻到目标时刻之间的时间间隔大于a1时刻到目标时刻之间的时间间隔。
本申请实施例的技术方案,通过将第一时刻到目标时刻之间的时间间隔设置为与目标时刻到第二时刻之间的时间间隔相等,以便于第一视角变化范围能够随着第一时刻和第二时刻的选择而发生改变,从而便于改变第一视角变化范围的取值,进而便于改变后续实际视角抽样范围的精度,提高了全景图像处理方法的适应性。
在一个实施例中,请参照图3,步骤204包括但不限于以下步骤:
步骤302,在多个观测视角中,确定第一时刻对应的第一观测视角、目标时刻对应的目标观测视角以及第二时刻对应的第二观测视角。
在一些实施例中,以At表示目标时刻对应的目标观测视角,则第一时刻对应的第一观测视角可以用At-1表示,第二时刻对应的第二观测视角可以用At+1表示。
在时序上每一个时刻的观测视角为已知的情况下,根据第一时刻和已知的观测视角,获取第一时刻对应的第一观测视角。类似地,可以获取目标时刻对应的目标观测视角以及第二时刻对应的第二观测视角。
步骤304,根据第一观测视角和目标观测视角,确定第二视角变化范围。
其中,第二视角变化范围可以用第一观测视角和目标观测视角来表示。例如,第二视角变化范围可以用:At-1→At表示,即第一时刻到目标时刻之间的视角变化范围可以用:At-1→At表示。
在一些实施例中,当确定第一观测视角和目标观测视角后,可以将第一观测视角转到目标观测视角的过程中,观测者的视角变化范围作为第二视角变化范围。
步骤306,根据目标观测视角和第二观测视角,确定第三视角变化范围。
其中,第三视角变化范围可以用目标观测视角和第二观测视角来表示。例如,第三视角变化范围可以用:At→At+1表示,即目标时刻到第二时刻的之间的视角变化范围可以用:At→At+1表示。
在一些实施例中,当确定目标观测视角和第二观测视角后,可以将从目标观测视角转到第二观测视角的过程中,观测者的视角变化范围作为第三视角变化范围,第一视角变化范围可以是第二视角变化范围和第三视角变化范围合并后的视角变化范围。
特别地,当目标时刻为初始时刻时(即目标时刻为第0个时刻时),则对应的第一视角变化范围为目标时刻到第二时刻的视角变化范围。当目标时刻为结束时刻时(即目标时刻为时序上的最后时刻时),对应的第一视角变化范围为第一时刻到目标时刻的视角变化范围。
例如,如果观测者以均匀的角速度进行平行转动,则第一视角变化范围可以通过以下方式获得:
获取观测者在第一时刻对应的观测视角、目标时刻对应的观测视角、第二时刻的观测视角,那么第一视角变化范围可以为:获取目标时刻与第一时刻之间的第一时长差值,在该第一时长差值较大的情况下,将该第一时长差值乘以转动的角速度,得到转动的角度,在将该转动的角度加上第一时刻对应的观测视角,即可得到第二视角变化范围;然后获取目标时刻与第二时刻之间的第二时长差值,在该第二时长差值较大的情况下,将该第二时长差值乘以转动的角速度,得到转动的角度,在将该转动的角度加上目标时刻对应的观测视角,即可得到第三视角变化范围;在确定第二视角变化范围和第三视角变化范围后,可以确定第一视角变换范围。
步骤206,根据模糊强度参数和第一视角变化范围,确定全景图像的实际视角抽样范围。
其中,模糊强度参数可以指对全景图像进行取样的取样强度参数。该模糊强度参数是一个预先设置的可调参数,该模糊强度参数可以是用户预先设置的,也可以是处理器自动设置的,模糊强度参数具体的数值可以根据具体情况进行设置,对于此,本申请不作具体限制。该模糊强度参数可以用K表示,其中,K∈[0,1]。当模糊强度参数K越接近于0时,对应的实际视角抽样范围越小;当模糊强度参数越接近1时,对应的实际视角抽样范围越大。
实际视角抽样范围可以指对全景图像进行视角采样的范围。
在一些实施例中,可以通过控制模糊强度参数的值能够控制实际视角抽样范围。
例如,将第二视角变化范围和第三视角变化范围进行合并,然后,取模糊强度参数的值为0.5,则实际视角抽样范围为第二视角变化范围和第三视角变化范围之和的一半,即实际视角抽样范围是第一视角变化范围的一半。特别地,当第二视角变化范围和第三视角变化范围在数值上相等时,则实际视角抽样范围在数值上和第二视角变化范围相等,可以取第二视角变化范围的一半、第三视角变化范围的一半,即可得到实际视角抽样范围。需要理解的是,也可以采取其他方式获取实际视角抽样范围,对于此,本申请不作具体限制。
步骤208,在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像;其中,N为正整数。
其中,观测图像可以指观测者从观测视角对全景图像进行观测的图像。
在前述得到的实际视角抽样范围中,对全景图像依次抽取N个观测视角,并获取各观测视角在全景图像中对应的观测图像,得到N个观测图像。
示例性地,可以采取不均等抽样的方式,在实际视角抽样范围中对全景图像依次不均等抽取N个观测视角,得到N个观测图像。例如在全景图像中随机抽取第一个视角,然后,再在以随机获得的抽样间距在第一个视角之后从全景图像中抽取第二个视角。
示例性地,也可以采取均等抽样的方式,在实际视角抽样范围中对全景图像均等抽取N个观测视角,再得到各观测视角在全景图像中对应的N个观测图像。
步骤210,根据N个观测图像计算得到目标模糊图像。
其中,目标模糊图像可以指对全景图像进行处理后的,附加有残影模糊效果和仿生人眼视角效果的图像。
在一些实施例中,可以通过将N个观测图像进行加权求和,得到目标模糊图像。
上述全景图像处理方法中,通过根据观测视角确定第一视角变化范围,以模拟人眼观测视角的变化,然后再在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像,从而便于根据N个观测图像计算得到目标模糊图像,以生成模拟人眼观测视角在变化过程中所观测到的模糊图像,从而实现了给剪辑图像附加残影的模糊效果,以及附加了仿生人眼的视觉效果。
在一些实施例中,如图4所示,步骤206包括但不限于以下步骤:
步骤402,在多个观测视角中,将目标时刻对应的目标观测视角标记为第二抽样视角。
其中,可以用B1来表示第二抽样视角,则B1=At。即将目标时刻对应的观测视角作为目标时刻对应的第二抽样视角。
步骤404,根据目标观测视角、第一时刻对应的第一观测视角和模糊强度参数,计算得到第一抽样视角。
其中,可以用B0来表示第一抽样视角,那么第一抽样视角B0可以用以下公式(1)进行表示,公式(1)具体为:
B0=At-(At-At-1)*K (1)
其中,公式(1)中的K表示模糊强度参数,At表示目标时刻对应的目标观测视角,At-1表示第一时刻对应的第一观测视角。
将预先设置的模糊强度参数、目标观测视角和第一观测视角代入到公式(1)中,即可计算得到第一抽样视角。
步骤406,根据目标观测视角、第二时刻对应的第二观测视角和模糊强度参数,计算得到第三抽样视角。
在一些实施例中,可以用B2来表示第三抽样视角,那么第三抽样视角B2可以用以下公式(2)来表示,公式(2)具体为:
B2=At+(At+1-At)*K (2)
其中,在公式(2)中,K表示模糊强度参数,At表示目标时刻对应的目标观测视角,At+1表示第二时刻对应的第二观测视角。
将预先设置的模糊强度参数、目标观测视角和第二观测视角代入到公式(2)中,即可计算得到第三抽样视角。
步骤408,将第一抽样视角到第二抽样视角的视角变化范围和/或第二抽样视角到第三抽样视角的视角变化范围,标记为实际视角抽样范围。
在一些实施例中,实际视角抽样范围可以是第一抽样视角到第二抽样视角的视角变化范围,也可以是第二抽样视角到第三抽样视角的视角变化范围,还可以是第一抽样视角到第二抽样视角的视角变化范围和第二抽样视角到第三抽样视角的视角变化范围。
例如,当实际视角抽样范围是第一抽样视角到第二抽样视角的视角变化范围和第二抽样视角到第三抽样视角的视角变化范围时,实际视角抽样范围可以用B0→B1→B2来表示。其中,B0→B1表示第一抽样视角到第二抽样视角的变化;B1→B2表示第二抽样视角到第三抽样视角的变化。
在本实施例中,可以通过控制第一视角变化范围和模糊强度参数来控制实际视角抽样范围。
在一个实施例中,当目标时刻为初始时刻时(即目标时刻为第0个时刻时),则对应的第一视角变化范围为目标时刻到第二时刻的视角变化范围,此时实际视角抽样范围为第二抽样视角到第三抽样视角的视角变化范围。当目标时刻为结束时刻时(即目标时刻为时序上的最后时刻时),对应的第一视角变化范围为第一时刻到目标时刻的视角变化范围,此时实际视角抽样范围为第一抽样视角到第三抽样视角的视角变化范围。
在一些实施例中,实际视角抽样范围为第一抽样视角到第二抽样视角的视角变化范围和第二抽样视角到第三抽样视角的视角变化范围。步骤208包括但不限于以下步骤:在第一抽样视角到第二抽样视角的视角变化范围内,依次均等抽取n1个观测视角;其中,n1=N/2,n1为正整数;在第二抽样视角到第三抽样视角的视角变化范围内,依次均等抽取n2个观测视角;其中,n2=N/2,n2为正整数;将n1个观测视角和n2个观测视角组合形成N个观测视角,根据抽取的N个观测视角对全景图像进行采样,得到N个观测图像。
示例性地,可以采取均等抽取的方式在第一抽样视角到第二抽样视角的视角变化范围内进行均等抽取,得到n1个观测视角。
例如,可以用前述的B0来表示第一抽样视角,用B1来表示第二抽样视角,用B2来表示第三抽样视角,那么在B0→B1的视角变化范围内,均等地抽取n1个视角,可以用以下公式(3)来表示:
Figure BDA0003920228080000121
其中,在公式(3)中,n1表示抽取视角的个数,n1=N/2,n1为整数,Ci表示在B0→B1的视角变化范围内抽取的视角,i=1,2,…,n1。
类似地,在B1→B2的视角变化范围内,均等抽取n2个视角,可以用以下公式(4)来表示,公式(4)具体为:
Figure BDA0003920228080000131
其中,在公式(4)中,n2表示抽取视角的个数,n2=N/2,n2为整数,Dj表示在B1→B2的视角变化范围内抽取的视角,j=1,2,…,n2。
例如,当N=30时,则在B0→B1的视角变化范围内,依次抽取得到在时序上连贯的15个观测视角,在B1→B2的视角变化范围内中,依次抽取得到在时序上连贯的15个观测视角。
综上,在实际视角抽样范围B0→B1→B2中,抽取得到了在时序上连贯的N个观测视角,然后,在根据抽取得到的N个观测视角对全景图像进行采样,得到每一观测视角对应的观测图像。
在一个实施例中,当实际视角抽样范围为第一抽样视角到第二抽样视角的视角变化范围或第二抽样视角到第三抽样视角的视角变化范围,可以直接在实际视角抽样范围中抽取N个观测视角。
如图5所示,在一些实施例中,步骤210包括但不限于以下步骤:
步骤502,对各观测图像设定对应的权重。
步骤504,根据各观测图像的像素值及对应的权重进行加权求和处理,得到目标模糊图像。
示例性地,对于N张观测图像中的每一个观测图像都设定一个权重。例如,以W1表示时序上第一张观测图像对应的权重,以W2表示时序上第二张观测图像对应的权重,以此类推,以WN表示时序上第N张观测图像对应的权重。
需要说明的是,设定的权重之和为1,即
Figure BDA0003920228080000132
其中,i=1,2…,N。
在确定每一个观测图像对应的权重后,根据每一观测图像的像素值和对应的权重进行加权求和处理,得到目标模糊图像。
在一些实施例中,步骤502包括但不限于以下步骤:按照观测图像的抽取顺序,设置各观测图像的初始值;其中,各观测图像的初始值按照抽取顺序递增;将各初始值进行归一化处理,得到各观测图像对应的权重。
在本实施例中,通过设定递增的权重,使得时序越靠前的观测视角对应的观测图像占比越小,时序越靠后的观测视角对应的观测图像占比越大,从而使得运镜模糊效果具有强烈的方向感,能够让用户感受到具体的运动方式,进而提高用户的体验感。
例如,令初始值Wi=i,再对Wi进行归一化处理,得到一个在时序上单调递增的权重。即令W1=1、W2=2、…、WN=N,然后再对每一个初始值进行归一化处理,即可得到一个在时序上单调递增的权重,然后再根据各观测图像的像素值和该归一化后的权重进行加权求和处理,即可得到目标模糊图像。
在一些实施例中,步骤504包括但不限于以下步骤:获取各观测图像中各像素点对应的初始像素值;对各观测图像中各像素点的初始像素值及对应的权重进行加权求和处理,得到目标模糊图像中各像素点的目标像素值。
目标模糊图像可以由若干个像素点组成,在确定每个像素点的像素值以后,即确定了目标模糊图像。
首先获取各观测图像中每一个像素点对应的初始像素值,然后使用权重对对应各观测图像的初始像素值进行加权处理,得到加权后的像素值,再获取各观测图像中相同位置像素点的加权后的像素值的和值,得到目标像素值,在确定观测图像各像素点对应的目标像素值后,即得到了目标模糊图像。
例如,以I表示最终的目标模糊图像,处于目标模糊图像I中的第一行第一列像素点的目标像素值用I11表示,那么I11可以用以下公式(5)计算得到,公式(5)具体为:
Figure BDA0003920228080000141
在公式(5)中,ai表示在N张观测图像中,第i个观测图像中在第一行第一列的初始像素值。
类似地,对于目标模糊图像中其他像素点的目标像素值也采取如公式(5)的计算方式,即可得到最终目标模糊图像。
在一些实施例中,如图6所示,全景图像处理方法包括但不限于以下步骤:
步骤602,获取对全景图像在多个预设时刻分别进行观测的观测视角。
步骤604,根据多个观测视角确定第一视角变化范围;第一视角变化范围为第一时刻到目标时刻之间的视角变化范围和/或目标时刻到第二时刻之间的视角变化范围;其中,第一时刻、目标时刻和第二时刻为预设时刻中依序进行观测的时刻,且第一时刻到目标时刻之间的时间间隔与目标时刻到第二时刻之间的时间间隔相等。
步骤606,在多个观测视角中,将目标时刻对应的目标观测视角标记为第二抽样视角。
步骤608,根据目标观测视角、第一时刻对应的第一观测视角和模糊强度参数,计算得到第一抽样视角。
步骤610,根据目标观测视角、第二时刻对应的第二观测视角和模糊强度参数,计算得到第三抽样视角。
步骤612,将第一抽样视角到第二抽样视角的视角变化范围和/或第二抽样视角到第三抽样视角的视角变化范围,标记为实际视角抽样范围。
步骤614,在第一抽样视角到第二抽样视角的视角变化范围内,依次均等抽取n1个观测视角;其中,n1=N/2,n1为正整数。
步骤616,在第二抽样视角到第三抽样视角的视角变化范围内,依次均等抽取n2个观测视角;其中,n2=N/2,n2为正整数。
步骤618,n1个观测视角和n2个观测视角组合形成N个观测视角,根据抽取的N个观测视角对全景图像进行采样,得到N个观测图像。
步骤620,按照观测图像的抽取顺序,设置各观测图像的初始值;其中,各观测图像的初始值按照抽取顺序递增。
步骤622,将各初始值进行归一化处理,得到各观测图像对应的权重。
步骤624,根据各观测图像的像素值及对应的权重进行加权求和处理,得到目标模糊图像。
需要说明的是,步骤602~步骤624的实施例请参照前述的具体步骤。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的全景图像处理方法的全景图像处理装置。
在一些实施例中,如图7所示,提供了一种全景图像处理装置,包括:观测视角获取模块702、第一视角变化范围确定模块704、实际视角抽样范围确定模块706、观测图像获取模块708和目标模糊图像计算模块710,其中:
观测视角获取模块702,用于获取对全景图像在多个预设时刻分别进行观测的观测视角。
第一视角变化范围确定模块704,用于根据多个观测视角确定第一视角变化范围。
实际视角抽样范围确定模块706,用于根据模糊强度参数和第一视角变化范围,确定全景图像的实际视角抽样范围。
观测图像获取模块708,用于在实际视角抽样范围中,依次抽取N个观测视角,并得到N个观测视角在全景图像中对应的N个观测图像;其中,N为正整数。
目标模糊图像计算模块710,用于根据N个观测图像计算得到目标模糊图像。
在一些实施例中,第一视角变化范围为第一时刻到目标时刻之间的视角变化范围和/或目标时刻到第二时刻之间的视角变化范围;其中,第一时刻、目标时刻和第二时刻为预设时刻中依序进行观测的时刻,且第一时刻到目标时刻之间的时间间隔与目标时刻到第二时刻之间的时间间隔相等。
实际视角抽样范围确定模块706包括:
第二抽样视角确定单元,用于在多个观测视角中,将目标时刻对应的目标观测视角标记为第二抽样视角。
第一抽样视角计算单元,用于根据目标观测视角、第一时刻对应的第一观测视角和模糊强度参数,计算得到第一抽样视角。
第三抽样视角计算单元,用于根据目标观测视角、第二时刻对应的第二观测视角和模糊强度参数,计算得到第三抽样视角。
第一标记单元,用于将第一抽样视角到第二抽样视角的视角变化范围和/或第二抽样视角到第三抽样视角的视角变化范围,标记为实际视角抽样范围。
在一些实施例中,实际视角抽样范围为第一抽样视角到第二抽样视角的视角变化范围和第二抽样视角到第三抽样视角的视角变化范围。观测图像获取模块708包括:
第一视角抽取单元,用于在第一抽样视角到第二抽样视角的视角变化范围内,依次均等抽取n1个观测视角;其中,n1=N/2,n1为正整数。
第二视角抽取单元,用于在第二抽样视角到第三抽样视角的视角变化范围内,依次均等抽取n2个观测视角;其中,n2=N/2,n2为正整数。
图像采样单元,用于将n1个观测视角和n2个观测视角组合形成N个观测视角,根据抽取的N个观测视角对全景图像进行采样,得到N个观测图像。
在一些实施例中,目标模糊图像计算模块710包括:
权重设定单元,用于对各观测图像设定对应的权重。
加权求和单元,用于根据各观测图像的像素值及对应的权重进行加权求和处理,得到目标模糊图像。
在一些实施例中,权重设定单元包括:
初始值设定子单元,用于按照观测图像的抽取顺序,设置各观测图像的初始值;其中,各观测图像的初始值按照抽取顺序递增。
归一化处理子单元,用于将各初始值进行归一化处理,得到各观测图像对应的权重。
在一些实施例中,加权求和单元包括:
初始像素值获取子单元,用于获取各观测图像中各像素点对应的初始像素值。
加权处理子单元,用于对各观测图像中各像素点的初始像素值及对应的权重进行加权求和处理,得到目标模糊图像中各像素点的目标像素值。
上述全景图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示单元和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种全景图像处理方法。该计算机设备的显示单元可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示单元上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述的全景图像处理方法的步骤。
在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现全景图像处理方法的步骤。
在一些实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的全景图像处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(FerroelectricRandom Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(StaticRandom Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种全景图像处理方法,其特征在于,所述方法包括:
获取对全景图像在多个预设时刻分别进行观测的观测视角;
根据多个所述观测视角确定第一视角变化范围;
根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围;
在所述实际视角抽样范围中,依次抽取N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像;其中,N为正整数;
根据N个所述观测图像计算得到目标模糊图像。
2.根据权利要求1所述的方法,其特征在于,所述第一视角变化范围为第一时刻到目标时刻之间的视角变化范围和/或所述目标时刻到第二时刻之间的视角变化范围;其中,所述第一时刻、所述目标时刻和所述第二时刻为所述预设时刻中依序进行观测的时刻,且所述第一时刻到所述目标时刻之间的时间间隔与所述目标时刻到所述第二时刻之间的时间间隔相等;
所述根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围,包括:
在多个所述观测视角中,将所述目标时刻对应的目标观测视角标记为第二抽样视角;
根据所述目标观测视角、所述第一时刻对应的第一观测视角和所述模糊强度参数,计算得到第一抽样视角;
根据所述目标观测视角、所述第二时刻对应的第二观测视角和所述模糊强度参数,计算得到第三抽样视角;
将所述第一抽样视角到所述第二抽样视角的视角变化范围和/或所述第二抽样视角到所述第三抽样视角的视角变化范围,标记为所述实际视角抽样范围。
3.根据权利要求2所述的方法,其特征在于,所述实际视角抽样范围为所述第一抽样视角到所述第二抽样视角的视角变化范围和所述第二抽样视角到所述第三抽样视角的视角变化范围;
所述在所述实际视角抽样范围中,依次抽取所述N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像,包括:
在所述第一抽样视角到所述第二抽样视角的视角变化范围内,依次均等抽取n1个观测视角;其中,n1=N/2,n1为正整数;
在所述第二抽样视角到所述第三抽样视角的视角变化范围内,依次均等抽取n2个观测视角,其中,n2=N/2,n2为正整数;
将n1个观测视角和n2个观测视角组合形成N个观测视角,根据抽取的N个观测视角对所述全景图像进行采样,得到N个所述观测图像。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据N个所述观测图像计算得到目标模糊图像,包括:
对各所述观测图像设定对应的权重;
根据所述各观测图像的像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像。
5.根据权利要求4所述的方法,其特征在于,所述对各所述观测图像设定对应的权重,包括:
按照所述观测图像的抽取顺序,设置各所述观测图像的初始值;其中,各所述观测图像的所述初始值按照所述抽取顺序递增;
将各所述初始值进行归一化处理,得到各所述观测图像对应的权重。
6.根据权利要求4所述的方法,其特征在于,所述根据所述各观测图像的像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像,包括:
获取各所述观测图像中各像素点的初始像素值;
对所述各观测图像中各像素点的初始像素值及对应的所述权重进行加权求和处理,得到所述目标模糊图像中各像素点的目标像素值。
7.一种全景图像处理装置,其特征在于,所述装置包括:
观测视角获取模块,用于获取对全景图像在多个预设时刻分别进行观测的观测视角;
第一视角变化范围确定模块,用于根据多个所述观测视角确定第一视角变化范围;
实际视角抽样范围确定模块,用于根据模糊强度参数和所述第一视角变化范围,确定所述全景图像的实际视角抽样范围;
观测图像获取模块,用于在所述实际视角抽样范围中,依次抽取N个观测视角,并得到所述N个观测视角在所述全景图像中对应的N个观测图像;其中,N为正整数;
目标模糊图像计算模块,用于根据N个所述观测图像计算得到目标模糊图像。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211353984.2A 2022-11-01 2022-11-01 全景图像处理方法、装置、计算机设备、介质和程序产品 Pending CN115760551A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211353984.2A CN115760551A (zh) 2022-11-01 2022-11-01 全景图像处理方法、装置、计算机设备、介质和程序产品
PCT/CN2023/126583 WO2024093763A1 (zh) 2022-11-01 2023-10-25 全景图像处理方法、装置、计算机设备、介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211353984.2A CN115760551A (zh) 2022-11-01 2022-11-01 全景图像处理方法、装置、计算机设备、介质和程序产品

Publications (1)

Publication Number Publication Date
CN115760551A true CN115760551A (zh) 2023-03-07

Family

ID=85354852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211353984.2A Pending CN115760551A (zh) 2022-11-01 2022-11-01 全景图像处理方法、装置、计算机设备、介质和程序产品

Country Status (2)

Country Link
CN (1) CN115760551A (zh)
WO (1) WO2024093763A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093763A1 (zh) * 2022-11-01 2024-05-10 影石创新科技股份有限公司 全景图像处理方法、装置、计算机设备、介质和程序产品

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019084719A1 (zh) * 2017-10-30 2019-05-09 深圳市大疆创新科技有限公司 图像处理方法及无人机
CN111970503B (zh) * 2020-08-24 2023-08-22 腾讯科技(深圳)有限公司 二维图像的三维化方法、装置、设备及计算机可读存储介质
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
CN114972023A (zh) * 2022-04-21 2022-08-30 合众新能源汽车有限公司 图像拼接处理方法、装置、设备及计算机存储介质
CN114866837B (zh) * 2022-05-26 2023-10-13 影石创新科技股份有限公司 视频处理方法、装置、计算机设备和存储介质
CN115760551A (zh) * 2022-11-01 2023-03-07 影石创新科技股份有限公司 全景图像处理方法、装置、计算机设备、介质和程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024093763A1 (zh) * 2022-11-01 2024-05-10 影石创新科技股份有限公司 全景图像处理方法、装置、计算机设备、介质和程序产品

Also Published As

Publication number Publication date
WO2024093763A1 (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
US12131718B2 (en) Image processing device and image processing method
CN110555796B (zh) 图像调整方法、装置、存储介质以及设备
US20240096011A1 (en) Method for rendering relighted 3d portrait of person and computing device for the same
KR20180068874A (ko) 몰입형 콘텐츠에서 관심 포인트를 결정하는 방법 및 디바이스
EP3462283B1 (en) Image display method and device utilized in virtual reality-based apparatus
CN108139801B (zh) 用于经由保留光场渲染来执行电子显示稳定的系统和方法
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
JP2018537748A (ja) 可変の計算量を用いた画像のライトフィールドレンダリング
US9594488B2 (en) Interactive display of high dynamic range images
WO2024093763A1 (zh) 全景图像处理方法、装置、计算机设备、介质和程序产品
JP2022500792A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
KR20190011492A (ko) 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법
US20190164323A1 (en) Method and program for generating virtual reality contents
CN107065164B (zh) 图像展示方法及装置
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
KR20210067864A (ko) 적응적 포커스 범위 및 계층화 스캐터링을 이용한 보케 이미지들의 생성
CN111651052A (zh) 虚拟沙盘的展示方法、装置、电子设备及存储介质
KR20210049783A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
JP2023550047A (ja) 静止画像からビデオを生成するための補間の使用
CN114390186B (zh) 视频拍摄方法及电子设备
KR20240050257A (ko) UDC(under display camera) 이미지 복원을 수행하는 방법 및 전자 장치
TW202403509A (zh) 用於擴增實境裝置之平滑物件校正
CN115550563A (zh) 视频处理方法、装置、计算机设备和存储介质
CN111292234A (zh) 一种全景图像生成方法及装置
US20240119570A1 (en) Machine learning model training using synthetic data for under-display camera (udc) image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination