CN116320765A - 生成全景图像的方法、装置、设备、介质和程序产品 - Google Patents
生成全景图像的方法、装置、设备、介质和程序产品 Download PDFInfo
- Publication number
- CN116320765A CN116320765A CN202310364333.1A CN202310364333A CN116320765A CN 116320765 A CN116320765 A CN 116320765A CN 202310364333 A CN202310364333 A CN 202310364333A CN 116320765 A CN116320765 A CN 116320765A
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- angle
- vertical direction
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本公开实施例公开了一种生成全景图像的方法、装置、电子设备和存储介质,应用于图像采集设备,图像采集设备具有镜头朝向相反的第一相机和第二相机,该方法包括:将图像采集设备调整至预设姿态,以使第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度,且第一相机与第二相机的取景范围在竖直方向上具有重合区域;将图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用第一相机和第二相机连续拍摄图像,得到待拼接图像集;在待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;对待拼接图像集中的图像进行拼接处理,得到全景图像。有助于简化全景图像的生成过程,并提高全景图像的质量。
Description
技术领域
本公开涉及图像处理领域,尤其是一种生成全景图像的方法、装置、设备、介质和程序产品。
背景技术
目前,很多智能手机具备全景图像的功能,用户可以利用智能手机连续拍摄多张图像,然后由智能手机中的图像处理模块将多张图像拼接成全景图像。
相关技术中,用户在利用智能手机拍摄全景图像时,通常采用以下两种方式:第一种是利用多轴云台带动智能手机以不同的俯仰角进行旋转拍摄,每一个俯仰角都需要云台带动智能手机旋转一周;第二种是利用单轴云台带动智能手机绕竖直方向旋转一周,以固定的俯仰角进行拍摄。第一种方法采用多个俯仰角进行拍摄,以保证全景图像在竖直方向上具有较大的覆盖范围,但是多轴云台的设备成本较高,且拍摄过程至少需要带动智能手机旋转两周,拍摄速度较慢且操作较繁琐;第二种方法的操然相对简单,但是由于手机摄像头的视场角较小,由此得到的全景图像在竖直方向上的覆盖范围较小。
发明内容
本公开实施例提供一种生成全景图像的方法、装置、设备、介质和程序产品,以解决相关技术中拍摄全景图像时无法兼顾操作的简便性和图像质量的问题。
本公开实施例的一个方面,提供一种生成全景图像的方法,应用于图像采集设备,图像采集设备具有镜头朝向相反的第一相机和第二相机,该方法包括:将图像采集设备调整至预设姿态,以使第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度,且第一相机与第二相机的取景范围在竖直方向上具有重合区域;将图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用第一相机和第二相机连续拍摄图像,得到待拼接图像集;在待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;对待拼接图像集中的图像进行拼接处理,得到全景图像。
在一些实施例中,将图像采集设备调整至预设姿态之前,该方法还包括确定预设角度的步骤:确定全景图像在竖直方向上的目标视场角、第一相机在竖直方向上的第一视场角、第二相机在竖直方向上的第二视场角;基于目标视场角、第一视场角以及第二视场角,确定第一视场角与第二视场角在竖直方向上的重合角度;基于第一视场角、第二视场角以及重合角度,确定预设角度。
在一些实施例中,确定全景图像在竖直方向上的目标视场角、第一相机在竖直方向上的第一视场角、第二相机在竖直方向上的第二视场角,包括:确定第一视场角和第二视场角;基于第一视场角和第二视场角,确定最小有效视场角和最大有效视场角,得到有效视场角的取值区间;从取值区间中确定目标视场角。
在一些实施例中,将图像采集设备调整至预设姿态,包括:将图像采集设备调整至第一姿态,使得第一视场角或第二视场角位于竖直平面内;绕水平方向翻转图像采集设备,直至第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度。
在一些实施例中,在旋转的过程中利用第一相机和第二相机连续拍摄图像,包括:每隔预设的时间周期,利用第一相机和第二相机拍摄一次图像;或,图像采集设备每转过预设角度,利用第一相机和第二相机拍摄一次图像。
在一些实施例中,对待拼接图像集中的图像进行拼接处理,得到全景图像,包括:从图像集中获取第一相机拍摄的各第一图像,并沿水平方向对各第一图像进行拼接处理,得到第一局部图像;从图像集中获取第二相机拍摄的各第二图像,并沿水平方向对各第二图像进行拼接处理,得到第二局部图像;沿竖直方向对第一局部图像和第二局部图像进行拼接处理,得到全景图像。
本公开实施例的第二方面,提供一种生成全景图像的装置,应用于图像采集设备,图像采集设备具有镜头朝向相反的第一相机和第二相机,该装置包括:姿态调整单元,被配置成将图像采集设备调整至预设姿态,以使第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度,且第一相机与第二相机的取景范围在竖直方向上具有重合区域;图像采集单元,被配置成将图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用第一相机和第二相机连续拍摄图像,得到待拼接图像集;在待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;图像拼接单元,被配置成对待拼接图像集中的图像进行拼接处理,得到全景图像。
本公开实施例的第三方面,还提供一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述任一实施例中的生成全景图像的方法。
本公开实施例的第四方面,还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述任一实施例中的生成全景图像的方法。
本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述任一实施例中的生成全景图像的方法。
本公开实施例中,图像采集设备以预设姿态绕竖直方向旋转,在旋转过程中由镜头朝向相反的第一相机和第二相机同时拍摄,可以确保第一相机和第二相机的取景范围在竖直方向上具有重合区域,且同一相机拍摄的相邻两个图像在水平方向上具有重合区域,只需旋转一周即可得到符合全景图像的拼接条件的待拼接图像集,简化了图像采集步骤,并且,由于两个相机具有不同的俯仰角和取景范围,经拼接得到的全景图像在竖直方向上具有更大的覆盖区域,有助于简化全景图像的生成过程,并提高全景图像的质量。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例,并且连同描述一起用于解释本公开的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本公开,其中:
图1为本公开的生成全景图像的方法的一个实施例的流程图;
图2为本公开的生成全景图像的方法的一个实施例中预设姿态的示意图;
图3为本公开的生成全景图像的方法的一个实施例中确定预设角度的流程示意图;
图4为本公开的生成全景图像的方法的一个实施例中图像采集设备的各个角度示意图;
图5为本公开的生成全景图像的方法的一个实施例中拼接图像的流程示意图;
图6为本公开的生成全景图像的装置的一个实施例的结构示意图;
图7为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
在实现本公开的过程中,发明人研究发现,相关技术中利用智能手机拍摄全景图像时,为了保证全景图像的覆盖区域,通常是利用多轴云台带动智能手机旋转至少两周,以多个俯仰角进行拍摄;或者,为了操作简便,利用单轴云台带动智能手机旋转一周,以固定俯仰角进行拍摄。前者虽然可以保证全景图像的质量,但是操作相对繁琐,后者则牺牲了全景图像的覆盖区域,以换取更简便的操作。
可见,相关技术中拍摄全景图像的方法无法兼顾的操作简便性和图像的质量。
请参考图1,图1示出了本公开的生成全景图像的一个实施例的流程图,如图1所示,该流程包括如下步骤。
步骤110、将图像采集设备调整至预设姿态。
在本实施例中,图像采集设备具有镜头朝向相反的第一相机和第二相机,当图像采集设备处于预设姿态时,第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度,且第一相机与第二相机的取景范围在竖直方向上具有重合区域。
在本实施例中,第一相机和第二相机可以同时从不同方向进行拍摄,通常,第一相机和第二相机可以采用不同的镜头参数,使得第一相机和第二相机具有不同的取景范围。例如可以是具有前、后两个摄像头的智能手机,其中,后置摄像头通常采用广角镜头,以获得更大的取景范围。
由于第一相机与第二相机镜头朝向相反,当第一相机或第二相机的镜头朝向与水平面的夹角成预设角度时,与之相对的第二相机或第一相机的镜头朝向与水平面的夹角同样是预设角度,而且两个相机的取景范围存在差别,可以确保两个相机在竖直方向上的取景范围存在重合区域。
预设角度的具体数值可以根据第一相机、第二相机在竖直方向上的视场角确定,只需保证两个相机在竖直方向上的取景范围存在重合区域即可。可以理解的是,两个相机在竖直方向上的取景范围存在重合区域越小,预设角度越大,相应地,两个相机在竖直方向上的取景范围的并集也就越大。
进一步结合图2进行示例性说明,图2示出了本公开的生成全景图像的方法的一个实施例中预设姿态的示意图,如图2所示,图像采集设备可以是智能手机,其前置摄像头210可以作为为第一相机,后置摄像头220可以作为第二相机。当智能手机处于预设姿态时,前置摄像头210的镜头朝向与水平面的夹角α为预设角度。
步骤120、将图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用第一相机和第二相机连续拍摄图像,得到待拼接图像集。
在本实施例中,在待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域。
继续结合图2进行示例说明,智能手机可以同时开启前置摄像头210和后置摄像头220,然后绕竖直转轴230旋转,由前置摄像头210和后置摄像头220连续拍摄图像,并将得到的图像存入待拼接图像集。
步骤130、对待拼接图像集中的图像进行拼接处理,得到全景图像。
在本实施例中,图像采集设备中可以预先装载有图像处理算法,用于将待拼接图像中的图像拼接为全景图像。例如,图像采集设备可以基于同一个相机拍摄的多张图像在水平方向的重合区域,分别对第一相机和第二相机拍摄的图像进行拼接,得到两个360°的候选全景图像,该两个候选全景图像在竖直方向上的覆盖区域分别对应第一相机和第二相机在竖直方向上的取景范围,因而,该两个候选全景图像在竖直方向上存在重合区域。之后,图像采集设备可以基于该两个候选全景图像在竖直方向上存在重合区域,将该两个候选全景图像拼接为全景图像,该全景图像的覆盖区域为由第一相机和第二相机的取景范围的并集。
本实施例的生成全景图像的方法,图像采集设备以预设姿态绕竖直方向旋转,在旋转过程中由镜头朝向相反的第一相机和第二相机同时拍摄,可以确保第一相机和第二相机的取景范围在竖直方向上具有重合区域,且同一相机拍摄的相邻两个图像在水平方向上具有重合区域。只需旋转一周即可得到符合全景图像的拼接条件的待拼接图像集,并且,由于两个相机具有不同的俯仰角和取景范围,经拼接得到的全景图像在竖直方向上具有更大的覆盖区域,有助于简化全景图像的生成过程,并提高全景图像的质量。
在本实施例的一些可选的实施方式中,上述步骤120可以采用如下方式:每隔预设的时间周期,利用第一相机和第二相机拍摄一次图像;或,图像采集设备每转过预设角度,利用第一相机和第二相机拍摄一次图像。
在本实施方式中,可以时间维度或空间维度上确定第一相机和第二相机的拍摄周期,可以提高图像采集设备拍摄图像时的灵活性。
接着参考图3,图3示出了本公开的生成全景图像的方法的一个实施例中确定预设角度的流程示意图,在上述步骤110之前,可以通过图3所示的流程确定预设角度。如图3所示,该流程包括以下步骤。
步骤310、确定全景图像在竖直方向上的目标视场角、第一相机在竖直方向上的第一视场角、第二相机在竖直方向上的第二视场角。
在本实施例中,目标视场角可以表示全景图像在竖直方向上的覆盖区域,可以根据实际需求和第一相机、第二相机的相机参数确定。
第一视场角可以是第一相机的水平视场角(Horizontal Field of View,HFOV)或垂直视场角(Vertical Field of View,VFOV),第二视场角可以是第二相机的水平视场角或垂直视场角。
可选的,为了获得更佳的拼接质量,可以优选较大的视场角作为第一视场角或第二视场角。例如,对于智能手机的摄像头来说,水平视场角往往大于垂直视场角,因而,可以优选水平视场角作为第一视场角或第二视场角,以提高拼接质量。
作为示例,第一视场角可以是第一相机的垂直视场角,此时可以通过调整图像采集设备的姿态,将垂直视场角调整至竖直平面内。可以理解的是,第一相机与第二相机的各个视场角是一一对应的,当第一相机的垂直视场角位于竖直平面内时,第二相机的垂直视场角也位于竖直平面内,即第二视场角为第二相机的垂直视场角。
在本实施例的一些可选的实施方式中,该步骤可以进一步包括:确定第一视场角和第二视场角;基于第一视场角和第二视场角,确定最小有效视场角和最大有效视场角,得到有效视场角的取值区间;从取值区间中确定目标视场角。
作为示例,可以向用户呈现取值区间,并接收用户指令,然后根据用户指令从取值区间中确定目标视场角;或者,还可以将预先确定的图像采集设备的默认角度作为目标视场角,默认角度可以根据图像采集设备的设备参数计算得到。
进一步结合图4进行示例性说明,图4示出了本实施例中的图像采集设备的各个角度的示意图,如图4所示,第一相机410的第一视场角为β,第二相机420的第二视场角为γ,预设角度为α,重合角度为δ,目标视场角可以表示为β+γ-δ。
当重合角度为β时,即第一相机的取景范围被第二相机完全包含时,目标视场角的最小值为第二视场角γ,即最小有效视场角为γ。当重合角度为0时,目标视场角在理论上的最大值为β+γ,然而实践中,当重合角度为0时,第二视场角的下边缘往往已经超过竖直方向,假设第二视场角超过竖直方向的角度为ζ,则最大有效视场角为β+γ-ζ,由此可以确定有效视场角的取值区间为[γ,β+γ-ζ)。
作为示例,可以将智能手机的前置摄像头作为第一相机,其第一视场角为73°,将智能手机的后置摄像头作为第二相机,其第二视场角为102°,则最小有效视场角为102°;当重合角度为0时,预设角度为46.25°,由于此时后置摄像头的下边缘已经超过竖直转轴4.75°,此时,最大有效视场角可以表示为73°+102°-4.575°,即170.25°,有效视场角的取值区间为[102°,170.25°)。
在本实施方式中,可以根据第一视场角与第二视场角确定有效视场角的取值区间,然后由用户根据自身需求从取值区间中确定目标视场角,可以使得最终的全景图像更匹配用户的需求。
步骤320、基于目标视场角、第一视场角以及第二视场角,确定第一视场角与第二视场角在竖直方向上的重合角度。
在本实施例中,重合角度表示第一相机与第二相机的取景范围在竖直方向上的重合区域,通常可以根据实际需求或经验进行设定。
步骤330、基于第一视场角、第二视场角以及重合角度,确定预设角度。
在本实施例中,确定了第一视场角、第二视场角以及重合角度之后,可以根据三者之间的几何关系,确定预设角度。
在一个具体的示例中,可以将智能手机的前置摄像头作为第一相机,其第一视场角为73°,将智能手机的后置摄像头作为第二相机,其第二视场角为102°。当重合角度为30°时,目标视场角可以表示为170.25°-30°,即140.25°,此时预设角度为62.75°。
图3所示的实施例,可以根据全景图像在竖直方向上的目标视场角、第一视场角以及第二视场角,确定第一视场角与第二视场角在竖直方向上的重合角度,然后再根据第一视场角、第二视场角与重合角度确定预设角度,可以根据用户需求确定预设角度,进而确定图像采集设备拍摄图像时的姿态,确保最终得到的全景图像可以满足用户需求。
在图3所示的实施例的基础上,上述步骤210可以进一步包括:将图像采集设备调整至第一姿态,使得第一视场角或第二视场角位于竖直平面内;绕水平方向翻转图像采集设备,直至第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度。
继续结合图2进行示例性说明,若前置摄像头210的水平视场角为第一视场角,则可以先将智能手机调整至竖直姿态,使得第一视场角位于竖直平面内;然后绕水平面(即垂直于纸面的方向)向上或向下翻转智能手机,直至第一相机的镜头朝向与水平面的夹角成预设角度。
在本实施方式中,可以根据第一视场角调整图像采集设备的姿态,可以提高图像采集设备采集图像的灵活性,并有助于进一步提高全景图像的质量。
接着参考图5,图5示出了本公开的生成全景图像的方法的一个实施例中拼接图像的流程示意图,如图5所示,该流程包括如下步骤。
步骤510、从图像集中获取第一相机拍摄的各第一图像,并沿水平方向对各第一图像进行拼接处理,得到第一局部图像。
图像采集设备中预先装载的图像处理算法,可以根据相邻第一图像在水平方向上的重合区域以及第一相机的相机内参、相机外参,通过仿射变换将各个第一图像映射至同一个全景坐标系中,进而将各个第一图像拼接为第一局部图像。
步骤520、从图像集中获取第二相机拍摄的各第二图像,并沿水平方向对各第二图像进行拼接处理,得到第二局部图像。
在本实施例中,第一局部图像和第二局部图像分别表示第一相机和第二相机各自拍摄的局部全景图像,局部全景图像的覆盖区域仅包括第一相机或第二相机的取景范围。
步骤530、沿竖直方向对第一局部图像和第二局部图像进行拼接处理,得到全景图像。
在本实施例中,由于第一相机与第二相机在竖直方向上的取景范围存在重合区域,因而第一局部图像与第二局部图像在竖直方向上存在重合区域,以此,图像采集设备可以对第一局部图像与第二局部图像进行拼接,得到取景范围更大的全景图像。
图5所示的实施例,可以分别对各第一图像和各第二图像进行拼接,得到第一局部图像和第二局部图像,然后再对第一局部图像和第二局部图像进行拼接,以生成全景图像,可以提高图像拼接精度,有助于进一步提高提高全景图像的质量。
请参考图6,图6示出了本公开的生成全景图像的装置的一个实施例的结构示意图,该装置用于图像采集设备,图像采集设备具有镜头朝向相反的第一相机和第二相机,如图6所示,该装置包括:姿态调整单元610,被配置成将图像采集设备调整至预设姿态,以使第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度,且第一相机与第二相机的取景范围在竖直方向上具有重合区域;图像采集单元620,被配置成将图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用第一相机和第二相机连续拍摄图像,得到待拼接图像集;在待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;图像拼接单元630,被配置成对待拼接图像集中的图像进行拼接处理,得到全景图像。
在其中一个实施方式中,该装置还包括角度确定单元,包括:第一确定模块,被配置成确定全景图像在竖直方向上的目标视场角、第一相机在竖直方向上的第一视场角、第二相机在竖直方向上的第二视场角;第二确定模块,被配置成基于目标视场角、第一视场角以及第二视场角,确定第一视场角与第二视场角在竖直方向上的重合角度;第三确定模块,被配置成基于第一视场角、第二视场角以及重合角度,确定预设角度。
在其中一个实施方式中,第一确定模块被进一步配置成:确定第一视场角和第二视场角;基于第一视场角和第二视场角,确定最小有效视场角和最大有效视场角,得到有效视场角的取值区间;从取值区间中确定目标视场角。
在其中一个实施方式中,姿态调整单元610包括:第一调整模块,被配置成将图像采集设备调整至第一姿态,使得第一视场角或第二视场角位于竖直平面内;第二调整模块,被配置成绕水平方向翻转图像采集设备,直至第一相机或第二相机的镜头朝向与水平面的夹角呈预设角度。
在其中一个实施方式中,图像采集单元620进一步被配置成:每隔预设的时间周期,利用第一相机和第二相机拍摄一次图像;或,图像采集设备每转过预设角度,利用第一相机和第二相机拍摄一次图像。
在其中一个实施方式中,图像拼接单元630包括:第一拼接模块,被配置成从图像集中获取第一相机拍摄的各第一图像,并沿水平方向对各第一图像进行拼接处理,得到第一局部图像;第二拼接模块,被配置成从图像集中获取第二相机拍摄的各第二图像,并沿水平方向对各第二图像进行拼接处理,得到第二局部图像;第三拼接模块,被配置成沿竖直方向对第一局部图像和第二局部图像进行拼接处理,得到全景图像。
另外,本公开实施例还提供了一种电子设备,包括:
存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现本公开上述任一实施例所述的生成全景图像的方法。
图7为本公开电子设备一个应用实施例的结构示意图。下面,参考图7来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备,该单机设备可以与第一设备和第二设备进行通信,以从它们接收所采集到的输入信号。
如图7所示,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所述的本公开的各个实施例的生成全景图像的方法以及/或者其他期望的功能。
在一个示例中,电子设备还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入设备还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出设备可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的生成全景图像的方法步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的生成全景图像的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种生成全景图像的方法,应用于图像采集设备,所述图像采集设备具有镜头朝向相反的第一相机和第二相机,其特征在于,所述方法包括:
将图像采集设备调整至预设姿态,以使所述第一相机或所述第二相机的镜头朝向与水平面的夹角呈预设角度,且所述第一相机与所述第二相机的取景范围在竖直方向上具有重合区域;
将所述图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用所述第一相机和所述第二相机连续拍摄图像,得到待拼接图像集;在所述待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;
对所述待拼接图像集中的图像进行拼接处理,得到全景图像。
2.根据权利要求1所述的方法,其特征在于,将图像采集设备调整至预设姿态之前,所述方法还包括确定所述预设角度的步骤:
确定所述全景图像在竖直方向上的目标视场角、所述第一相机在竖直方向上的第一视场角、所述第二相机在竖直方向上的第二视场角;
基于所述目标视场角、所述第一视场角以及所述第二视场角,确定所述第一视场角与所述第二视场角在竖直方向上的重合角度;
基于所述第一视场角、所述第二视场角以及所述重合角度,确定所述预设角度。
3.根据权利要求2所述的方法,其特征在于,所述确定所述全景图像在竖直方向上的目标视场角、所述第一相机在竖直方向上的第一视场角、所述第二相机在竖直方向上的第二视场角,包括:
确定所述第一视场角和所述第二视场角;
基于所述第一视场角和所述第二视场角,确定最小有效视场角和最大有效视场角,得到有效视场角的取值区间;
从所述取值区间中确定所述目标视场角。
4.根据权利要求2所述的方法,其特征在于,将图像采集设备调整至预设姿态,包括:
将所述图像采集设备调整至第一姿态,使得所述第一视场角或所述第二视场角位于竖直平面内;
绕水平方向翻转所述图像采集设备,直至所述第一相机或所述第二相机的镜头朝向与水平面的夹角呈所述预设角度。
5.根据权利要求1所述的方法,其特征在于,在旋转的过程中利用所述第一相机和所述第二相机连续拍摄图像,包括:
每隔预设的时间周期,利用所述第一相机和所述第二相机拍摄一次图像;或,
所述图像采集设备每转过预设角度,利用所述第一相机和所述第二相机拍摄一次图像。
6.根据权利要求1至5之一所述的方法,其特征在于,对所述待拼接图像集中的图像进行拼接处理,得到全景图像,包括:
从所述图像集中获取所述第一相机拍摄的各第一图像,并沿水平方向对所述各第一图像进行拼接处理,得到第一局部图像;
从所述图像集中获取所述第二相机拍摄的各第二图像,并沿水平方向对所述各第二图像进行拼接处理,得到第二局部图像;
沿竖直方向对所述第一局部图像和所述第二局部图像进行拼接处理,得到所述全景图像。
7.一种生成全景图像的装置,应用于图像采集设备,所述图像采集设备具有镜头朝向相反的第一相机和第二相机,其特征在于,所述装置包括:
姿态调整单元,被配置成将图像采集设备调整至预设姿态,以使所述第一相机或所述第二相机的镜头朝向与水平面的夹角呈预设角度,且所述第一相机与所述第二相机的取景范围在竖直方向上具有重合区域;
图像采集单元,被配置成将所述图像采集设备绕竖直方向旋转360°,并在旋转的过程中利用所述第一相机和所述第二相机连续拍摄图像,得到待拼接图像集;在所述待拼接图像集中,同一相机拍摄的相邻两个图像在水平方向上具有重合区域;
图像拼接单元,被配置成对所述待拼接图像集中的图像进行拼接处理,得到全景图像。
8.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的计算机程序,且所述计算机程序被执行时,实现上述权利要求1-6任一所述的生成全景图像的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现上述权利要求1-6任一所述的生成全景图像的方法。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现上述权利要求1-6任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310364333.1A CN116320765B (zh) | 2023-04-06 | 2023-04-06 | 生成全景图像的方法、装置、设备、介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310364333.1A CN116320765B (zh) | 2023-04-06 | 2023-04-06 | 生成全景图像的方法、装置、设备、介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116320765A true CN116320765A (zh) | 2023-06-23 |
CN116320765B CN116320765B (zh) | 2024-01-26 |
Family
ID=86778073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310364333.1A Active CN116320765B (zh) | 2023-04-06 | 2023-04-06 | 生成全景图像的方法、装置、设备、介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116320765B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116887058A (zh) * | 2023-09-07 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 图像采集方法、装置、采集设备和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782713A (zh) * | 2009-01-21 | 2010-07-21 | 北京华旗资讯数码科技有限公司 | 全景影像拍摄装置 |
CN105959565A (zh) * | 2016-06-15 | 2016-09-21 | 维沃移动通信有限公司 | 一种全景拍照方法及移动终端 |
CN106210547A (zh) * | 2016-09-05 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种全景拍摄的方法、装置及系统 |
CN107395985A (zh) * | 2017-08-28 | 2017-11-24 | 京东方科技集团股份有限公司 | 一种移动终端图像合成方法、装置及移动终端 |
CN107623804A (zh) * | 2016-07-14 | 2018-01-23 | 幸福在线(北京)网络技术有限公司 | 一种终端设备及拍摄全景图像的方法 |
WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
CN108156374A (zh) * | 2017-12-25 | 2018-06-12 | 努比亚技术有限公司 | 一种图像处理方法、终端及可读存储介质 |
CN109302511A (zh) * | 2018-09-26 | 2019-02-01 | 努比亚技术有限公司 | 一种图像拍摄方法、装置及计算机可读存储介质 |
CN111416935A (zh) * | 2020-03-17 | 2020-07-14 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
CN113744339A (zh) * | 2021-11-05 | 2021-12-03 | 贝壳技术有限公司 | 生成全景图像的方法、装置、电子设备和存储介质 |
-
2023
- 2023-04-06 CN CN202310364333.1A patent/CN116320765B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101782713A (zh) * | 2009-01-21 | 2010-07-21 | 北京华旗资讯数码科技有限公司 | 全景影像拍摄装置 |
CN105959565A (zh) * | 2016-06-15 | 2016-09-21 | 维沃移动通信有限公司 | 一种全景拍照方法及移动终端 |
CN107623804A (zh) * | 2016-07-14 | 2018-01-23 | 幸福在线(北京)网络技术有限公司 | 一种终端设备及拍摄全景图像的方法 |
CN106210547A (zh) * | 2016-09-05 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种全景拍摄的方法、装置及系统 |
WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
CN107395985A (zh) * | 2017-08-28 | 2017-11-24 | 京东方科技集团股份有限公司 | 一种移动终端图像合成方法、装置及移动终端 |
CN108156374A (zh) * | 2017-12-25 | 2018-06-12 | 努比亚技术有限公司 | 一种图像处理方法、终端及可读存储介质 |
CN109302511A (zh) * | 2018-09-26 | 2019-02-01 | 努比亚技术有限公司 | 一种图像拍摄方法、装置及计算机可读存储介质 |
CN111416935A (zh) * | 2020-03-17 | 2020-07-14 | 维沃移动通信有限公司 | 一种拍摄方法及电子设备 |
CN113744339A (zh) * | 2021-11-05 | 2021-12-03 | 贝壳技术有限公司 | 生成全景图像的方法、装置、电子设备和存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116887058A (zh) * | 2023-09-07 | 2023-10-13 | 腾讯科技(深圳)有限公司 | 图像采集方法、装置、采集设备和存储介质 |
CN116887058B (zh) * | 2023-09-07 | 2024-02-13 | 腾讯科技(深圳)有限公司 | 图像采集方法、装置、采集设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116320765B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10250800B2 (en) | Computing device having an interactive method for sharing events | |
US10404915B1 (en) | Method and system for panoramic video image stabilization | |
US20150138314A1 (en) | Generating Panoramic Images | |
CN111432119B (zh) | 图像拍摄方法、装置、计算机可读存储介质及电子设备 | |
CN108038822A (zh) | 一种手机云台全景照片拼接方法 | |
CN106357991A (zh) | 图像处理方法、图像处理装置及显示系统 | |
US20220103743A1 (en) | Picture focusing method, apparatus, terminal, and corresponding storage medium | |
CN110099220B (zh) | 一种全景拼接方法及装置 | |
CN116320765B (zh) | 生成全景图像的方法、装置、设备、介质和程序产品 | |
CN105027002A (zh) | 四透镜球面相机取向 | |
CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
US11562465B2 (en) | Panoramic image stitching method and apparatus, terminal and corresponding storage medium | |
US11100617B2 (en) | Deep learning method and apparatus for automatic upright rectification of virtual reality content | |
TWI696147B (zh) | 全景圖形成方法及系統 | |
CN113129211B (zh) | 光心对齐检测方法和装置、存储介质、电子设备 | |
CN105827932A (zh) | 一种图像合成方法和移动终端 | |
CN115705651A (zh) | 视频运动估计方法、装置、设备和计算机可读存储介质 | |
WO2023241495A1 (zh) | 拍摄方法及其装置 | |
WO2023165535A1 (zh) | 图像处理方法、装置及设备 | |
CN111429353A (zh) | 图像拼接及全景图拼接方法和装置、存储介质、电子设备 | |
CN111353945B (zh) | 鱼眼图像校正方法、装置及存储介质 | |
WO2017092261A1 (zh) | 一种摄像头模组、移动终端及其拍摄图像的方法和装置 | |
CN115174878B (zh) | 投影画面校正方法、装置和存储介质 | |
CN113744339B (zh) | 生成全景图像的方法、装置、电子设备和存储介质 | |
US10419666B1 (en) | Multiple camera panoramic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |