CN116245734A - 全景图像生成方法、装置、设备和存储介质 - Google Patents

全景图像生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116245734A
CN116245734A CN202310303133.5A CN202310303133A CN116245734A CN 116245734 A CN116245734 A CN 116245734A CN 202310303133 A CN202310303133 A CN 202310303133A CN 116245734 A CN116245734 A CN 116245734A
Authority
CN
China
Prior art keywords
image
target
pixel point
images
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310303133.5A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Chengshi Wanglin Information Technology Co Ltd
Original Assignee
Beijing Chengshi Wanglin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chengshi Wanglin Information Technology Co Ltd filed Critical Beijing Chengshi Wanglin Information Technology Co Ltd
Priority to CN202310303133.5A priority Critical patent/CN116245734A/zh
Publication of CN116245734A publication Critical patent/CN116245734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种全景图像生成方法、装置、设备和存储介质，包括：获取目标场景的多张场景图像和每张场景图像中各像素点分别对应的深度值。多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，深度值为多张场景图像上各像素点在三维空间中对应的物点相对于旋转轴轴心的距离。以旋转轴轴心为投影中心，以各像素点分别对应的深度值为半径，确定各像素点分别对应的目标投影球面；根据预先标定的相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标。将目标经纬度坐标转换为全景坐标系下的二维平面坐标，得到多张场景图像对应的多张目标平面展开图像。融合多张目标平面展开图像，以得到目标场景的目标全景图像。

Description

全景图像生成方法、装置、设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种全景图像生成方法、装置、设备和存储介质。
背景技术
在生成全景图像时，全景成像模型通常被简化为理想模型：一个投影中心和一个理想投影球面。全景成像模型通过共线方程表达物点、球面上的像点和投影中心(即理想球面球心)三点之间的共线关系。具体应用过程中，为了将通过拍摄设备获取目标场景的多张二维图像转换为全景图像，通常会先基于各二维图像对应的拍摄设备内参和外参，确定多张二维图像中各像素的像素坐标在理想投影球面上对应的球面坐标，之后基于共线方程将球面坐标映射为全景坐标进行图像展开，最后将展开的图像进行拼接得到全景图像。
但是，实际应用中，无论是拍摄设备绕一旋转轴旋转拍摄目标场景，还是在一旋转轴周围设置多个拍摄设备分别以固定角度拍摄目标场景，都会存在相机节点与旋转轴的轴心不重合的问题，也即同时对应有多个投影中心，且相机节点对应的投影中心C和旋转轴的轴心对应的投影中心S不重合的问题。针对以投影中心S为球心的投影球面上任一像点u，投影中心C和投影中心S不重合，会导致从投影中心S过像点u确定的理想物点P与从投影中心C过像点u确定的实际物点P’之间存在误差，这种误差会导致拼接得到的全景图像中存在裂缝错位等问题。
由于调整相机节点使其与旋转轴的轴心重合，需要反复测试，调节难度大且工程误差要求高，并不利于用户操作。因此，亟需一种方便快捷且图像拼接质量高的全景图像生成方法。
发明内容
本发明实施例提供一种全景图像生成方法、装置、设备和存储介质，用以生成高质量的全景图像。
第一方面，本发明实施例提供一种全景图像生成方法，所述方法包括：
获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，所述多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，所述深度值为拍摄所述多张场景图像时各像素点在三维空间中对应的物点相对于所述旋转轴轴心的距离；
以所述旋转轴轴心为投影中心，以各像素点分别对应的所述深度值为半径，确定各像素点分别对应的目标投影球面；
根据预先标定的所述相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标；
将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张目标平面展开图像；
融合所述多张目标平面展开图像，以得到所述目标场景的目标全景图像。
第二方面，本发明实施例提供一种全景图像生成装置，所述装置包括：
获取模块，用于获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，所述多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，所述深度值为拍摄所述多张场景图像时各像素点在三维空间中对应的物点相对于所述旋转轴轴心的距离；
处理模块，用于以所述旋转轴轴心为投影中心，以各像素点分别对应的所述深度值为半径，确定各像素点分别对应的目标投影球面；根据预先标定的所述相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标；将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张目标平面展开图像；融合所述多张目标平面展开图像，以得到所述目标场景的目标全景图像。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的全景图像生成方法。
第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的全景图像生成方法。
在本发明实施例提供的方案中，首先，获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值。其中，多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，深度值为拍摄多张场景图像时各像素点在三维空间中对应的物点相对于旋转轴轴心的距离。然后，以旋转轴轴心为投影中心，以各像素点分别对应的深度值为半径，确定各像素点分别对应的目标投影球面，并根据预先标定的相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标。之后，将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到多张场景图像对应的多张目标平面展开图像。最后，融合多张目标平面展开图像，以得到目标场景的目标全景图像。
本方案中，任一像素点在其目标投影球面上的经纬度坐标表示的球面上的点即为其像点，由于目标投影球面对应的半径为该像素点对应的深度值，所以该像点同时也是该像素点对应的物点。基于此，无论相机节点对应的投影中心C是否与旋转轴轴心对应的投影中心S重合，从投影中心S过像点u确定的物点P与从投影中心C过像点u确定的物点P’都相同，因为此时物点P和物点P’均为像点u。本方案通过以像素点对应的深度值为半径确定投影球面，避免由于相机节点与旋转轴心不重合导致的投影误差，能够快速的获取高质量的全景图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全景图像生成系统的示意图；
图2为本发明实施例提供的一种全景图像生成方法的流程图；
图3为本发明实施例提供的一种全景图像生成过程的场景示意图；
图4为本发明实施例提供的一种全景成像模型的示意图；
图5为本发明实施例提供的另一种全景成像模型的示意图；
图6为本发明实施例提供的一种图像融合方法的流程图；
图7为本发明实施例提供的一种图像重叠区域的示意图；
图8为本发明实施例提供的一种拼接缝的示意图；
图9为本发明实施例提供的一种全景图像生成装置的结构示意图；
图10为与图9所示实施例提供的全景图像生成装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
在介绍本发明实施例提供的全景图像生成方法之前，先对如下概念进行说明。
相机节点，是指照相机或摄像机镜头的光学中心。由于穿过相机点的光线不会发生折射，镜头转动时被摄物体(远、近物体)也不会产生位移，因此相机节点也称为镜头的无视差点。相关技术中，想要得到高质量的全景图像，就要以相机节点为中心点进行拍摄，这样各个拍照方向上相邻照片的重叠区域没有任何视差，拼接的全景图像更自然也没有裂缝。
旋转轴轴心，是指全景拍摄时的相机在三维空间中对应的旋转中心。可以理解的是，在确定目标场景的全景图像时，通长需要先获取目标场景360度范围内的图像。实际应用中，可至少通过如下两种方式获取目标场景360度范围内图像：将某一相机固定于云台上，通过云台旋转带动相机旋转，相机在旋转过程中采集目标场景360度范围内的图像；或者，将多个相机围绕某一中心点放置，使多个相机分别以不同的固定角度拍摄目标场景，多个相机的拍摄范围覆盖目标场景。在上述两种方式中，云台的旋转中心和相机所围绕的中心点均可认为是本发明实施例中的旋转轴轴心。需要说明的是，本实施例中，旋转轴可以是真实存在的比如云台的旋转轴，也可以是虚拟的比如相机所围绕的中心点对应的竖直线。
实际应用中，若相机节点与旋转轴轴心重合，则实际上是以相机节点为中心点进行拍摄，各个拍照方向上相邻照片的重叠区域没有任何视差。但是，调整相机节点使其与旋转轴的轴心重合，对用户而言，不仅需要反复测试，而且调节难度大且工程误差要求高，并不易于实现。因此，实际上，在获取用于生成全景图像的图像时，相机节点与旋转轴轴心往往存在误差，这些误差会导致拼接得到的全景图像中存在裂缝、错位等问题，全景图像质量较低。
为解决上述至少一个技术问题，本发明实施例提供了一种全景图像生成方法，在本方案中，通过引入深度信息，减免由于相机节点与旋转轴轴心不重合导致的拼接误差。
图1为本发明实施例提供的一种全景图像生成系统的示意图，如图1所示该系统包括：由图像获取单元和图像传输单元构成的组合计算单元和移动设备。
其中，图像获取单元可以为鱼眼相机或非鱼眼相机，用于在某一拍摄点位从围绕旋转轴轴心的多个不同角度获取目标场景的多张场景图像。具体实施过程中，可选地，可以将相机固定于云台上，通过云台旋转带动相机围绕旋转轴轴心旋转，并使相机在旋转过程中从多个不同角度拍摄得到目标场景的多张场景图像；或者，将多个相机围绕旋转轴轴心放置，使多个相机分别以不同的固定角度拍摄目标场景的多张场景图像。
图像传输单元包含有通信芯片，用于与移动设备通信连接，以将图像获取单元获取的多张场景图像传输给移动设备，使移动设备基于接收到的多张场景图像生成目标场景的全景图像。
移动设备可以为智能手机、笔记本电脑等电子设备，用于执行本发明实施例提供的全景图像生成方法。另外，移动设备还用于在全景图像生成过程中与用户进行交互，比如展示全景图像等。
可选地，上述组合计算单元中也可包括全景图像生成单元，用于执行本发明实施例提供的全景图像生成方法，基于图像获取单元获取的多张场景图像生成目标场景的全景图像。本实施例中，以移动设备为例进行举例说明。
图2为本发明实施例提供的一种全景图像生成方法的流程图，如图2所示，可以包括如下步骤：
201、获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，深度值为拍摄多张场景图像时各像素点在三维空间中对应的物点相对于旋转轴轴心的距离。
202、以旋转轴轴心为投影中心，以各像素点分别对应的深度值为半径，确定各像素点分别对应的目标投影球面。
203、根据预先标定的相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标。
204、将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到多张场景图像对应的多张目标平面展开图像。
205、融合多张目标平面展开图像，以得到目标场景的目标全景图像。
为便于理解，先结合图3概述全景图像的生成过程。
图3为本发明实施例提供的一种全景图像生成过程的场景示意图。如图3所示，首先，通过相机获取目标场景的N(N为大于等于2的整数)张场景图像，比如：图像1，图像2，…，图像N。其中，场景图像可以是鱼眼图像也可以是非鱼眼图像，本实施例中不对场景图像的类型进行限制。然后，基于N张场景图像对应的相机内参和外参，确定N张场景图像中各像素的像素坐标在投影球面上对应的球面坐标，也即确定N张场景图像中各像素的像素坐标投影的经纬度坐标。其中，相机的内参包括相机在x、y方向的焦距(fx、fy)，光圈中心(cx、cy)，畸变系数等，相机的外参包括获取N张场景图像时的相机位姿信息等。之后，将各像素点分别对应的经纬度坐标转换为全景坐标系下的二维平面坐标，得到多张场景图像对应的N张平面展开图像，并将N张平面展开图像的图像重叠区域进行融合，以得到目标场景的全景图像。
如图3所示，在全景图像的生成过程中，“投影”和“展开”是两个重要的图像处理环节，而这两个环节又均与投影球面相关联。以下结合图4说明投影球面对全景图像生成质量的影响。
图4为本发明实施例提供的一种全景成像模型的示意图。其中，图4的左图为理想的全景成像模型，对应于相机节点与旋转轴轴心重合的情形；图4中的右图为多镜头组合的全景成像模型，对应于相机节点与旋转轴轴心不重合的情形。其中，多镜头组合可以理解为前文中的多个相机围绕某一中心点(旋转轴轴心)放置，使多个相机分别以不同的固定角度拍摄目标场景。
本实施例中，图4所示意的全景成像模型的成像几何基于像点、物点和投影中心三点之间的共线关系，共线关系可通过共线方程表达。其中，像点对应于像素点在投影球面上的经纬度坐标，物点对应于像素点在全景坐标系下的二维平面坐标，投影中心对应于旋转轴轴心或相机节点。本实施例中，投影球面的球心指旋转轴轴心对应的投影中心。
在图4左图所示的理想的全景成像模型中，由于旋转轴轴心与相机节点重合，因此，旋转轴轴心对应的投影中心S与相机节点对应的投影中心C也重合，从而与投影中心S和像点u共线的物点P，以及与投影中心C和像点u共线的物点P’(图中未示出)，两者也重合。在这种情形下，无论投影球面的半径r如何取值，SuP和CuP’均重合，所以物点P与物点P’也始终重合，即前文所述的没有视差。
而在图4右图所示的多镜头组合的全景成像模型中，由于旋转轴轴心与相机节点不重合，因此，旋转轴轴心对应的投影中心S与相机节点对应的投影中心C也不重合。基于相机的内参和外参，可以将相机坐标系统中的像点uC转换为以投影中心S为球心的投影球面中的像点u。如图4的右图所示，与投影中心S和像点u共线的物点P，以及与投影中心C和像点u共线的物点P’，两者并不重合，即存在视差。如前文所述，视差会会导致拼接得到的全景图像中存在裂缝、错位等问题。
图4所示意的情形中，视差受旋转轴轴心与相机节点之间的位置关系的影响。而在实际应用中，视差实际上还受投影球面的半径的影响。
本实施例中，图2所示例的全景图像生成方法，通过引入深度信息，使得在旋转轴轴心与相机节点不重合的情况下，物点P(与投影中心S和像点u共线的物点)也和物点P’(与投影中心C和像点u共线的物点)重合。
展开来说，在生成目标场景的目标全景图像时，除了获取目标场景的多张场景图像外，还获取了每张场景图像中各像素点分别对应的深度值，深度值即前文所说的深度信息。其中，多张全景图像可由图1所示的全景图像生成系统中的图像获取单元采集，并由图像传输单元传输给移动设备。需要说明的是，本实施例中各像素点分别对应的深度值为拍摄多张场景图像时各像素点在三维空间中对应的物点相对于旋转轴轴心的距离。
可选地，每张场景图像中各像素点分别对应的深度值，可至少通过以下两种方式获取。
第一种获取方式，获取激光传感器采集的与多张场景图像对应的多组点云数据，其中点云数据包含有激光传感器与三维空间中的物点之间的深度信息；根据预先标定的激光传感器与相机之间的第一位置关系，以及相机与旋转轴轴心的第二位置关系，确定每张场景图像中各像素点分别对应的深度值。其中，相机的外参包括相机与旋转轴轴心的第二位置关系，可通过预先标定获取。
可选地，为了提升深度值的准确性，在获取多组点云数据之后，可对点云数据进行稠密化、补洞等预处理操作。比如：对点云数据进行上采样并进行平滑操作或利用场景图片结合点云数据进行稠密化；或者，利用点云库(Point Cloud Library，简称PCL)对点云数据中的空洞进行补洞操作，同时也可以对场景图像进行物体检测，以进行点云数据补全。
第二种获取方式，在获取目标场景的多张场景图像后，以旋转轴轴心为投影中心，以预设数值为半径，确定多张全景图像对应的初始投影球面；根据预先标定的相机的内参和外参，确定多张场景图像中各像素点投影到初始投影球面上的初始经纬度坐标；将各像素点分别对应的初始经纬度坐标转换为全景坐标系下的二维平面坐标，以得到多张场景图像对应的多张初始平面展开图像；融合多张初始平面展开图像，以得到目标场景的初始全景图像；将初始全景图像输入预先训练好的神经网络模型，以输出初始全景图像中各像素点分别对应的深度值；基于神经网络模型输出的深度值，确定每张场景图像中各像素点分别对应的深度值。
在上述两种获取方式中，第一种获取方式更加高效、准确，但是需要额外增加激光传感器这一感知设备，第二种获取方式不需要额外增加感知设备，但需要预先训练好神经网络模型以及生成初始全景图像，效率相对较低。实际应用中，用户可基于实际需求选择不同的深度值获取方式。
之后，以旋转轴轴心为投影中心，以各像素点分别对应的深度值为半径，确定各像素点分别对应的目标投影球面，并根据预先标定的相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标。
可以理解的是，由于深度值为拍摄多张场景图像时各像素点在三维空间中对应的物点相对于旋转轴轴心的距离，因此，针对任一像素点，其在以旋转轴轴心为投影中心、以深度值为半径的目标投影球面上的目标经纬度坐标(对应于像点)，实际上也是该像素点对应的物点。
为便于理解，结合图5进行说明。图5对应于图3的右图所示意的情形，图5为本发明实施例提供的另一种全景成像模型的示意图。如图5所示，以虚线示意的圆圈即为以深度值为半径r的目标投影球面，如图5所示，任一像素点在目标投影球面上的经纬度坐标也即像点u’与物点P’重合，即像点与实际物点重合。在这种情况下，无论相机节点对应的投影中心C是否与旋转轴轴心对应的投影中心S重合，从投影中心S过像点u’确定的物点P(图中未示意)与从投影中心C过像点u’确定的物点P’都相同，因为此时物点P和物点P’均为像点u’，也即没有视差。
因此，本方案中，针对多张场景图像中的任一像素点，通过将其对应的目标投影球面的半径设为其对应的深度值，使得该像素点在目标投影球面上的像点与对应的物点重合，消除了由于旋转轴轴心与相机节点不重合导致的视差。进而，使得在将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标时，也不存在误差，可以得到准确度更高的多张目标平面展开图像。最后，融合多张目标平面展开图像，得到目标场景的目标全景图像的质量也更高。
基于图2所示的全景图像生成方法，为了进一步提高全景图像的质量，在将多张场景图像进行投影之前，还可进行图像预处理，比如：可对多张场景图像进行光照统一处理。具体地，先基于多张场景图像的纹理信息，确定多张场景图像两两之间的图像重叠区域；之后，对场景图像进行颜色空间转换，转换为具有亮度通道值的格式，比如HSV格式或YUV格式；接着，通过调整相关参数，使得图像重叠区域对应的亮度通道值统一，例如：可通过公式I’＝g*I+b进行调整，其中，I’表示调整后的图像重叠区域的亮度通道值，I表示场景图像中图像重叠区域实际的亮度通道值，g为增益，b为偏差。通过调整g和b，使得图像重叠区域的亮度通道值一致。
当多张场景图像的纹理比较丰富时，还可利用多张场景图像包含的纹理信息对预先标定的相机外参进行修正。比如对多张场景图像对应的相机位姿信息进行修正，其中，相机位姿信息包括旋转信息和平移信息。具体地，可通过纹理信息进行特征匹配，确定多张场景图像之间的位姿变换信息，其中包括旋转变换信息和平移变换信息；之后，通过光束调整(Bundle Adjustment，简称BA)算法等对位姿变换信息进行非线性优化；最后，基于优化后的位姿变换信息，确定多张场景图像分别对应的更为准确的相机位姿信息。可以理解的是，基于准确的相机位姿信息，确定的多张场景图像中各像素的像素坐标投影的经纬度坐标也更为准确，从而可以得到更为准确的目标平面展开图像。
在前述实施例中，介绍了通过得到准确度更高的目标平面展开图像，提升全景图像的质量。可以理解的是，在融合多张目标平面展开图像时，融合的方法也会影响目标全景图像的质量，在下述实施例中，将对多张平面展开图像的融合过程进行说明。
图6为本发明实施例提供的一种图像融合方法的流程图，如图6所示，可以包括如下步骤：
601、对多张目标平面展开图像进行特征点匹配，以确定多张目标平面展开图像中任意两张相邻的目标平面展开图像之间的图像重叠区域，图像重叠区域对应的多对特征点之间的相似度大于第一设定阈值。
可选地，多张目标平面展开图像中的特征点，可通过例如ORB(Oriented FAST andRotated BRIEF)算法等进行提取和描述，本实施例中，不对特征点的提取方式和描述方式进行限制。
可以理解的是，多张场景图像在投影球面上进行投影后展开得到的多张目标平面展开图像，实际上是图像序列，具有一定的拼接顺序。相邻的目标平面之间才可能存在用于图像融合的图像重叠区域。因此，在确定多张目标平面展开图像中的图像重叠区域时，计算相邻两张目标平面展开图像的特征之间的相似度，其中相似度可以用明氏距离、欧氏距离等表示。若目标平面展开图像1中的特征点i与目标平面展开图像2中的特征点j之间的相似度大于第一设定阈值，则认为特征点i与特征点j为一对特征点；若目标平面展开图像1与目标平面展开图像2之间存在大于预设数量的多对特征点，则确定这多对特征点对应的区域的目标平面展开图像1与目标平面展开图像2之间的图像重叠区域。
可以理解的是，两目标平面展开图像之间的图像重叠区域实际上对应于两部分图像，第一部分图像位于目标平面展开图像1中，第二部分图像位于目标平面展开图像2中，如图7所示，图7为本发明实施例提供的一种图像重叠区域的示意图。为便于表述，本实施例中直接将第一部分图像和第二部分图像对应的区域统称为图像重叠区域。
602、根据图像重叠区域对应的多对特征点之间的相似度，确定第一目标平面展开图像上的第一拼接缝以及第二目标平面展开图像上的第二拼接缝；其中，第一目标平面展开图像和第二目标平面展开图像为任意两个具有图像重叠区域的目标平面展开图像，第一拼接缝和第二拼接缝为多对特征点中相似度大于第二设定阈值的特征点对应像素点的连线。
其中，拼接缝为第一目标平面展开图像和第二目标平面展开图像的图像重叠区域中最相似的像素点之间的连线，所谓最相似可以理解为颜色强度差异最小、结构差异最小等。可选地，可通过逐点法，动态规划法和图割法等寻找拼接缝。
本实施例中，通过设置第二设定阈值，从图像重叠区域对应的多对特征点中筛选出相似度大于第二设定阈值的特征点对，筛选出的特征点对中的特征点对应像素点的连线即为拼接缝。由于每一对特征点中的两个特征点分别对应于第一目标平面展开图像和第二目标平面展开图像，因此，为了便于区分，将第一目标平面展开图像中的特征点对应的像素点的连线称为第一拼接缝，将第二目标平面展开图像中的特征点对应的像素点的连线称为第二拼接缝。理论上第一拼接缝与第二拼接缝吻合。
603、根据图像重叠区域对应的多对特征点，确定第一目标平面展开图像和第二目标平面展开图像之间的单应性矩阵。
为了提升单应性矩阵的准确性，可选地，可以先从第一目标平面展开图像和第二目标平面展开图像对应的图像重叠区域中确定出目标图像重叠区域，其中，目标图像重叠区域包括第一拼接缝和第二拼接缝且小于图像重叠区域；之后，根据目标图像重叠区域对应的多对目标特征点，确定第一目标平面展开图像和第二目标平面展开图像之间的单应性矩阵。也可基于更小的目标图像重叠区域，利用Lucas–Kanade光流算法确定该单应性矩阵。
604、基于单应性矩阵、第一拼接缝和第二拼接缝，拼接多张目标平面展开图像，以得到目标场景的目标全景图像。
具体地，基于单应性矩阵，调整第一目标平面展开图像和第二目标平面展开图像的位置，使得第一拼接缝和第二拼接缝重合，完成第一目标平面展开图像和第二目标平面展开图像的拼接。类似地，将多张目标平面展开图像都进行拼接，以得到目标场景的目标全景图像。
实际应用中，目标全景图像在拼接缝位置附近仅采用某一目标平面展开图像对应的像素值，则可能存在过度不自然的问题。
举例来说，图8为本发明实施例提供的一种拼接缝的示意图，图8承接于图7示意的情形。如图8所示，假设第一目标平面展开图像为目标平面展开图像1，第二目标平面展开图像为目标平面展开图像2，图像重叠区域中相似度大于第二设定阈值的多对特征点为A1A2、B1B2和C1C2，其中，A1B1C1对应的像素点的连线为第一拼接缝，A2B2C2对应的像素点的连线为第一拼接缝。在拼接后的得到的全景图像12中，如果全景图像12中的拼接缝左侧的像素值均取值于目标平面展开图像1，拼接缝右侧的像素值均取值于目标平面展开图像2，则全景图像12中的拼接缝会较为明显，过度不自然。
因此，基于单应性矩阵、第一拼接缝和第二拼接缝，拼接多张目标平面展开图像，以得到目标场景的目标全景图像，包括：
基于单应性矩阵，将第一目标平面展开图像和第二目标平面展开图像进行像素点坐标配准。根据第一像素点与图像重叠区域的第一边界的距离，确定第一像素点的第一距离权重，第一像素点为第一目标平面展开图像中所述图像重叠区域内的像素点；根据第二像素点与图像重叠区域的第二边界的距离，确定第二像素点的第二距离权重，第二像素点为第二目标平面展开图像中所述图像重叠区域内的像素点，第一像素点和第二像素点在配准后对应于相同像素点坐标。将第一像素点的像素值、第一距离权重、第二像素点的像素值和第二距离权重进行加权求和，以获得图像重叠区域内各像素点在目标全景图像中的像素值。
可以理解的是，针对配准后的像素点坐标，如果该像素点坐标对应于图像重叠区域，则同一像素点坐标会对应于两个像素点，分别位于不同的目标平面展开图像中，本实施例中用第一像素点和第二像素点表示。
在确定第一像素点和第二像素点分别对应的第一距离权重和第二距离权重时，选取不同的边界作为参考边界。本实施例中，第一边界与第二边界为图像重叠区域的两个相对边界，且分布在拼接缝两侧。如图8所示，假设第一像素点为第一部分图像内的像素点且第一边界为图像重叠区域的左边界，则第二部分图像内的第二像素点对应的第二边界为图像重叠区域的右边界。
在确定目标像素点的距离权重时，依据每一行参考边界上的像素点与目标像素点的距离(比如：欧式距离、曼哈顿距离等)确定，目标像素点与其对应的参考边界越近其对应的距离权重越大。比如：若目标像素点x对应的参考边界为第一边界，且目标像素点x为第一边界上的像素点，则目标像素点对应的第一距离权重为1；若目标像素点y对应的参考边界为第一边界，且目标像素点为第二边界上的像素点，则目标像素点y的第一距离权重为0。
在确定第一像素点的第一距离权重和第二像素点的第二距离权重后，第一像素点和第二像素点对应的同一像素点坐标在目标全景图像中的像素值为：第一像素点的像素值*第一距离权重+第二像素点的像素值*第二距离权重。
在另一可选实施例中，为了提升图像融合效果，还可以将灰度值误差也作为计算目标全景图像中像素点的像素值的影响因素。
具体实施过程中，首先，确定第一像素点和第二像素点的灰度值误差。然后，根据灰度值误差，确定第一像素点对应的第一灰度权重和第二像素点对应的第二灰度权重。之后，根据第一距离权重和第一灰度权重，确定第一像素点的第一权重；根据第二距离权重和第二灰度权重，确定第二像素点的第二权重。比如：第一权重＝第一距离权重+第一灰度权重，第二权重＝第二距离权重+第二灰度权重。最后，将第一像素点的像素值、第一权重、第二像素点的像素值和第二权重进行加权求和，以获得图像重叠区域内各像素点在目标全景图像中的像素值。第一像素点和第二像素点对应的同一像素点坐标在目标全景图像中的像素值为：第一像素点的像素值*第一权重+第二像素点的像素值*第二权重。
本实施例中，通过设置不同的权重，对图像重叠区域内同一像素点坐标对应的第一像素点和第二像素点进行融合，确定图像重叠区域在目标全景图像中的像素点的像素值，使得生成的全景图像拼接更自然，质量更高。
以下将详细描述本发明的一个或多个实施例的全景图像生成装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图9为本发明实施例提供的一种全景图像生成装置的结构示意图，如图9所示，该装置包括：获取模块11、处理模块12。
获取模块11，用于获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，所述多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，所述深度值为拍摄所述多张场景图像时各像素点在三维空间中对应的物点相对于所述旋转轴轴心的距离。
处理模块12，用于以所述旋转轴轴心为投影中心，以各像素点分别对应的所述深度值为半径，确定各像素点分别对应的目标投影球面；根据预先标定的所述相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标；将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张目标平面展开图像；融合所述多张目标平面展开图像，以得到所述目标场景的目标全景图像。
可选地，所述获取模块11，具体用于获取激光传感器采集的与所述多张场景图像对应的多组点云数据；根据预先标定的所述激光传感器与所述相机之间的第一位置关系，以及所述相机与所述旋转轴轴心的第二位置关系，确定每张场景图像中各像素点分别对应的深度值，其中，所述相机的外参包括所述第二位置关系。
可选地，所述获取模块11，还具体用于在获取目标场景的多张场景图像后，以所述旋转轴轴心为投影中心，以预设数值为半径，确定所述多张全景图像对应的初始投影球面；根据预先标定的相机的内参和外参，确定所述多张场景图像中各像素点投影到所述初始投影球面上的初始经纬度坐标；将各像素点分别对应的初始经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张初始平面展开图像；融合所述多张初始平面展开图像，以得到目标场景的初始全景图像；将所述初始全景图像输入预先训练好的神经网络模型，以输出所述初始全景图像中各像素点分别对应的深度值；根据所述神经网络模型输出的深度值，确定每张场景图像中各像素点分别对应的深度值。
可选地，所述多张目标平面展开图像为图像序列，所述处理模块12，具体用于对所述多张目标平面展开图像进行特征点匹配，以确定所述多张目标平面展开图像中任意两张相邻的目标平面展开图像之间的图像重叠区域，所述图像重叠区域对应的多对特征点之间的相似度大于第一设定阈值；根据所述多对特征点之间的相似度，确定第一目标平面展开图像上的第一拼接缝以及第二目标平面展开图像上的第二拼接缝；其中，所述第一目标平面展开图像和所述第二目标平面展开图像为任意两个具有所述图像重叠区域的目标平面展开图像，所述第一拼接缝和所述第二拼接缝为所述多对特征点中相似度大于第二设定阈值的特征点对应像素点的连线；根据所述多对特征点，确定所述第一目标平面展开图像和所述第二目标平面展开图像之间的单应性矩阵；基于所述单应性矩阵、所述第一拼接缝和所述第二拼接缝，拼接所述多张目标平面展开图像，以得到目标场景的目标全景图像。
可选地，所述处理模块12，还具体用于从所述第一目标平面展开图像和所述第二目标平面展开图像对应的图像重叠区域中确定出目标图像重叠区域，所述目标图像重叠区域包括所述第一拼接缝和所述第二拼接缝且小于所述图像重叠区域；根据所述目标图像重叠区域对应的多对目标特征点，确定所述第一目标平面展开图像和所述第二目标平面展开图像之间的单应性矩阵。
可选地，所述处理模块12，还具体用于基于所述单应性矩阵，将所述第一目标平面展开图像和第二目标平面展开图像进行像素点坐标配准；根据所述第一像素点与所述图像重叠区域的第一边界的距离，确定所述第一像素点的第一距离权重，所述第一像素点为所述第一目标平面展开图像中所述图像重叠区域内的像素点；根据所述第二像素点与所述图像重叠区域的第二边界的距离，确定所述第二像素点的第二距离权重，所述第二像素点为所述第二目标平面展开图像中所述图像重叠区域内的像素点，所述第一像素点和所述第二像素点在所述配准后对应于相同像素点坐标；将所述第一像素点的像素值、所述第一距离权重、所述第二像素点的像素值和所述第二距离权重进行加权求和，以获得所述图像重叠区域内各像素点在目标全景图像中的像素值。
可选地，所述处理模块12，还具体用于确定所述第一像素点和所述第二像素点的灰度值误差；根据所述灰度值误差，确定所述第一像素点对应的第一灰度权重和所述第二像素点对应的第二灰度权重；根据所述第一距离权重和所述第一灰度权重，确定所述第一像素点的第一权重；根据所述第二距离权重和所述第二灰度权重，确定所述第二像素点的第二权重；将所述第一像素点的像素值、所述第一权重、所述第二像素点的像素值和所述第二权重进行加权求和，以获得所述图像重叠区域内各像素点在目标全景图像中的像素值。
图9所示装置可以执行前述实施例中介绍的步骤，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
在一个可能的设计中，上述图9所示全景图像生成装置的结构可实现为一电子设备，如图10所示，该电子设备可以包括：存储器21、处理器22、通信接口23。其中，存储器21上存储有可执行代码，当所述可执行代码被处理器22执行时，使处理器22至少可以实现如前述实施例中提供的全景图像生成方法。
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述实施例中提供的全景图像生成方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景图像生成方法，其特征在于，包括：
获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，所述多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，所述深度值为拍摄所述多张场景图像时各像素点在三维空间中对应的物点相对于所述旋转轴轴心的距离；
以所述旋转轴轴心为投影中心，以各像素点分别对应的所述深度值为半径，确定各像素点分别对应的目标投影球面；
根据预先标定的所述相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标；
将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张目标平面展开图像；
融合所述多张目标平面展开图像，以得到所述目标场景的目标全景图像。
2.根据权利要求1所述的方法，其特征在于，所述每张场景图像中各像素点分别对应的深度值通过如下方式获取：
获取激光传感器采集的与所述多张场景图像对应的多组点云数据；
根据预先标定的所述激光传感器与所述相机之间的第一位置关系，以及所述相机与所述旋转轴轴心的第二位置关系，确定每张场景图像中各像素点分别对应的深度值，其中，所述相机的外参包括所述第二位置关系。
3.根据权利要求1所述的方法，其特征在于，所述每张场景图像中各像素点分别对应的深度值通过如下方式获取：
在获取目标场景的多张场景图像后，以所述旋转轴轴心为投影中心，以预设数值为半径，确定所述多张全景图像对应的初始投影球面；
根据预先标定的相机的内参和外参，确定所述多张场景图像中各像素点投影到所述初始投影球面上的初始经纬度坐标；
将各像素点分别对应的初始经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张初始平面展开图像；
融合所述多张初始平面展开图像，以得到目标场景的初始全景图像；
将所述初始全景图像输入预先训练好的神经网络模型，以输出所述初始全景图像中各像素点分别对应的深度值；
根据所述神经网络模型输出的深度值，确定每张场景图像中各像素点分别对应的深度值。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述多张目标平面展开图像为图像序列，所述融合所述多张目标平面展开图像，以得到目标场景的目标全景图像，包括：
对所述多张目标平面展开图像进行特征点匹配，以确定所述多张目标平面展开图像中任意两张相邻的目标平面展开图像之间的图像重叠区域，所述图像重叠区域对应的多对特征点之间的相似度大于第一设定阈值；
根据所述多对特征点之间的相似度，确定第一目标平面展开图像上的第一拼接缝以及第二目标平面展开图像上的第二拼接缝；其中，所述第一目标平面展开图像和所述第二目标平面展开图像为任意两个具有所述图像重叠区域的目标平面展开图像，所述第一拼接缝和所述第二拼接缝为所述多对特征点中相似度大于第二设定阈值的特征点对应像素点的连线；
根据所述多对特征点，确定所述第一目标平面展开图像和所述第二目标平面展开图像之间的单应性矩阵；
基于所述单应性矩阵、所述第一拼接缝和所述第二拼接缝，拼接所述多张目标平面展开图像，以得到目标场景的目标全景图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述多对特征点，确定所述第一目标平面展开图像和所述第二目标平面展开图像之间的单应性矩阵，包括：
从所述第一目标平面展开图像和所述第二目标平面展开图像对应的图像重叠区域中确定出目标图像重叠区域，所述目标图像重叠区域包括所述第一拼接缝和所述第二拼接缝且小于所述图像重叠区域；
根据所述目标图像重叠区域对应的多对目标特征点，确定所述第一目标平面展开图像和所述第二目标平面展开图像之间的单应性矩阵。
6.根据权利要求4所述的方法，其特征在于，所述基于所述单应性矩阵、所述第一拼接缝和所述第二拼接缝，拼接所述多张目标平面展开图像，以得到目标场景的目标全景图像，包括：
基于所述单应性矩阵，将所述第一目标平面展开图像和第二目标平面展开图像进行像素点坐标配准；
根据所述第一像素点与所述图像重叠区域的第一边界的距离，确定所述第一像素点的第一距离权重，所述第一像素点为所述第一目标平面展开图像中所述图像重叠区域内的像素点；
根据所述第二像素点与所述图像重叠区域的第二边界的距离，确定所述第二像素点的第二距离权重，所述第二像素点为所述第二目标平面展开图像中所述图像重叠区域内的像素点，所述第一像素点和所述第二像素点在所述配准后对应于相同像素点坐标；
将所述第一像素点的像素值、所述第一距离权重、所述第二像素点的像素值和所述第二距离权重进行加权求和，以获得所述图像重叠区域内各像素点在目标全景图像中的像素值。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
确定所述第一像素点和所述第二像素点的灰度值误差；
根据所述灰度值误差，确定所述第一像素点对应的第一灰度权重和所述第二像素点对应的第二灰度权重；
根据所述第一距离权重和所述第一灰度权重，确定所述第一像素点的第一权重；
根据所述第二距离权重和所述第二灰度权重，确定所述第二像素点的第二权重；
将所述第一像素点的像素值、所述第一权重、所述第二像素点的像素值和所述第二权重进行加权求和，以获得所述图像重叠区域内各像素点在目标全景图像中的像素值。
8.一种全景图像生成装置，其特征在于，包括：
获取模块，用于获取目标场景的多张场景图像，以及每张场景图像中各像素点分别对应的深度值，所述多张全景图像通过相机围绕旋转轴轴心在多个不同角度拍摄得到，所述深度值为拍摄所述多张场景图像时各像素点在三维空间中对应的物点相对于所述旋转轴轴心的距离；
处理模块，用于以所述旋转轴轴心为投影中心，以各像素点分别对应的所述深度值为半径，确定各像素点分别对应的目标投影球面；根据预先标定的所述相机的内参和外参，确定各像素点投影到对应目标投影球面上的目标经纬度坐标；将各像素点分别对应的目标经纬度坐标转换为全景坐标系下的二维平面坐标，以得到所述多张场景图像对应的多张目标平面展开图像；融合所述多张目标平面展开图像，以得到所述目标场景的目标全景图像。
9.一种电子设备，其特征在于，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的全景图像生成方法。
10.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的全景图像生成方法。
CN202310303133.5A 2023-03-24 2023-03-24 全景图像生成方法、装置、设备和存储介质 Pending CN116245734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310303133.5A CN116245734A (zh) 2023-03-24 2023-03-24 全景图像生成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310303133.5A CN116245734A (zh) 2023-03-24 2023-03-24 全景图像生成方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN116245734A true CN116245734A (zh) 2023-06-09

Family

ID=86635108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310303133.5A Pending CN116245734A (zh) 2023-03-24 2023-03-24 全景图像生成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116245734A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704129A (zh) * 2023-06-14 2023-09-05 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704129A (zh) * 2023-06-14 2023-09-05 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质
CN116704129B (zh) * 2023-06-14 2024-01-30 维坤智能科技（上海）有限公司 基于全景图的三维图像生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110782394A (zh) 全景视频快速拼接方法及系统
CN106886979B (zh) 一种图像拼接装置及图像拼接方法
US7899270B2 (en) Method and apparatus for providing panoramic view with geometric correction
EP2328125B1 (en) Image splicing method and device
CN101616237B (zh) 图像处理装置、图像处理方法
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR100924411B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기억 매체
US20040061774A1 (en) Digital imaging system using overlapping images to formulate a seamless composite image and implemented using either a digital imaging sensor array
US9892488B1 (en) Multi-camera frame stitching
WO2020235110A1 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
US20210377432A1 (en) Information processing apparatus, information processing method, program, and interchangeable lens
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN110278366B (zh) 一种全景图像虚化方法、终端及计算机可读存储介质
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
KR100614004B1 (ko) 자동화된 360°파노라마 이미지 생성 방법
JP2014010783A (ja) 画像処理装置、画像処理方法およびプログラム
CN116245734A (zh) 全景图像生成方法、装置、设备和存储介质
CN104412298A (zh) 用于变换图像的方法和设备
KR100513789B1 (ko) 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
CN113344789B (zh) 图像拼接方法及装置、电子设备、计算机可读存储介质
CN113259642B (zh) 一种影片视角调节方法及系统
CN111292380B (zh) 图像处理方法及装置
WO2018150086A2 (en) Methods and apparatuses for determining positions of multi-directional image capture apparatuses
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
JP2010225092A (ja) 画像処理装置、及び画像処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination