CN108470379B - 三维图像融合方法和装置 - Google Patents

三维图像融合方法和装置 Download PDF

Info

Publication number
CN108470379B
CN108470379B CN201710099062.6A CN201710099062A CN108470379B CN 108470379 B CN108470379 B CN 108470379B CN 201710099062 A CN201710099062 A CN 201710099062A CN 108470379 B CN108470379 B CN 108470379B
Authority
CN
China
Prior art keywords
image
dimensional
fusion
spherical
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710099062.6A
Other languages
English (en)
Other versions
CN108470379A (zh
Inventor
伊红
宫卫涛
于海华
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201710099062.6A priority Critical patent/CN108470379B/zh
Priority to JP2017228900A priority patent/JP6515985B2/ja
Priority to US15/848,692 priority patent/US10438334B2/en
Publication of CN108470379A publication Critical patent/CN108470379A/zh
Application granted granted Critical
Publication of CN108470379B publication Critical patent/CN108470379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种三维图像融合方法和装置，所述三维图像融合方法包括：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。

Description

三维图像融合方法和装置
技术领域
本申请涉及图像处理领域，尤其涉及一种三维图像融合方法和装置。
背景技术
图像融合通常考虑如何将感兴趣的区域无缝自然地合成到目标图像中。当前，在二维图像的融合方面已经进行了大量的研究工作并取得了很多成果。这些工作专注于消除融合边界上的颜色差异，调整融合对象的颜色使之与目标场景匹配，从而得到自然的融合结果。
与传统的二维图像相比，三维图像和视频能够给人带来更加生动的视觉体验。因此，近年来，三维图像和视频的生成与编辑处理成为非常重要的研究课题，其中就包括对三维图像的图像融合方面的研究。但是，在现有技术中，当需要将二维平面图像融合至三维的例如球面图像时，往往在融合边缘存在不连续区域，无法获得令人满意的效果。
发明内容
为解决上述技术问题，根据本发明的一个方面，提供了一种三维图像融合方法，包括：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的另一个方面，提供了一种三维图像融合装置，包括：图像获取单元，配置为获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；投影单元，配置为将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；坐标变换单元，配置为在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；融合单元，配置为将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的再一个方面，提供一种三维图像融合装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的上述三维图像融合方法和装置，首先将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明的三维图像融合方法和装置能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出利用全景相机获取的用于投影为三维球面图像的第一平面图像的示意图；
图2示出根据本发明一个实施例的三维图像融合方法的流程图；
图3示出本发明一个实施例中用于融合的二维融合图像；
图4示出经纬映射投影方法的坐标变换示意图；
图5示出本发明一个实施例中在球面坐标系中选择球缺底面的示意图；
图6示出本发明一个实施例中将二维融合图像线性等比例投影至球缺底面的内接矩形的示意图；
图7示出本发明一个实施例中将图3所示的二维融合图像映射到球面坐标系的示意图；
图8示出本发明一个实施例中将图7中获取的二维融合投影图像经过空间变换得到融合变换图像的过程示意图；
图9示出本发明一个实施例中将融合变换图像中除所述特征点之外的点映射到三维球面图像上的示意图；
图10示出本发明一个实施例中将融合后的三维球面图像进行经纬映射投影以获取融合后的等距柱状的第二平面图像的过程示意图；
图11示出根据本发明实施例的三维图像融合装置1100的框图；
图12示出根据本发明实施例的三维图像融合装置1200的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的三维图像融合方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
图1是利用全景相机获取的用于投影为三维球面图像的第一平面图像的示意图。如图1所示，当利用例如鱼眼相机等的全景相机获取三维球面图像时，其对应的第一平面图像将由于全景相机的成像原理而产生畸变。此时，如果希望向图1中的第一平面图像中的某个区域植入预先选定的二维融合图像或者视频时，若采用传统的二维图像融合方法，将会因为第一平面图像的图像畸变而导致图像融合边缘过渡不自然，存在不连续的区域或缝隙，致使无法获得无缝自然的融合效果。
在此，参照图2描述根据本发明实施例的三维图像融合方法。图2示出该三维图像融合方法200的流程图。当然，图2中的三维图像融合方法也同样适用于二维视频与三维球面图像之间的融合。
如图2所示，在步骤S201中，获取三维球面图像和用于与所述三维球面图像融合的二维融合图像。
本步骤中，三维球面图像可以通过上述的全景相机获取。首先，利用全景相机采集例如图1所示的等距柱状的第一平面图像，然后，可以将第一平面图像进行经纬映射投影，以获取三维球面图像。在本实施例中，全景相机所采集的三维球面图像的视角可以为整个球面360度，也可以为半球面180度或其他角度，例如270度、320度等。
优选地，用于与三维球面图像融合的所述二维融合图像可以为任意多边形。更加优选地，所述二维融合图像可以为三角形、矩形、正方形或其余正多边形。
在步骤S202中，将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点。
具体地，本步骤可以包括：获取所述三维球面图像所在球面上的一个球面点；获取距离所述球面点预设高度的球缺底面；以及将所述二维融合图像投影至所述球缺底面上，获取二维融合投影图像，所述二维融合投影图像内接于所述球缺底面的圆。
在本发明实施例中，可以将二维融合图像按照图像本身的大小投影至某距球面点确定高度的球缺底面上(此高度取决于二维融合图像本身的尺寸大小)，以使二维融合投影图像内接于球缺底面；当然，也可以首先将二维融合图像进行放大或缩小，并线性等比例投影至距球面点任意预设高度的球缺底面上，以使二维融合投影图像内接于球缺底面。此时，二维融合投影图像的特征点可以为其与圆内接的交点，即二维融合投影图像的角点，这些角点均位于三维球面图像所在的球面上。在本发明另一个实施例中，二维融合投影图像也可以不内接于球缺底面的圆，此时还可以选取二维融合投影图像的部分边缘点、某个对称轴上的点或某些图案交界处的点作为特征点。
在步骤S203中，在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像。
本步骤中，与特征点对应的特征映射点可以预先指定，也可以根据预设规则进行选取。所选择的特征映射点的位置可以取决于用户希望二维融合图像投影在三维球面图像上的预设感兴趣区域的位置，如三维球面图像中显示屏的位置等。当确定特征映射点的位置后，可以根据所述特征点和与其对应的特征映射点的位置，构建透视变换的单一性矩阵，根据所述二维融合投影图像和所述矩阵获取所述融合变换图像。可选地，特征点可以和与其对应的特征映射点全部重合，也可以全部不重合，或部分重合部分不重合。
具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。
在步骤S204中，将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
如前所述，在步骤S203中，所获取的融合变换图像中的所有特征点均位于预先指定的其对应的特征映射点处，即融合变换图像中的所有特征点均位于三维球面图像所在的球面上。本步骤中，则是为了将融合变换图像中除特征点之外的其余点均映射到三维球面图像上。
具体地，首先获取所述三维球面图像所在球面的球心和所述融合变换图像上的某个点的连线与所述球面的一个交点，其中由于所述连线通常会与球面产生两个交点，因此可以根据需映射的区域或其他设置确定其中的一个交点作为用于映射的交点；然后将所述融合变换图像上的这个点映射到所述交点上，并替换掉所述三维球面图像上的点。当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
在本发明另一个实施例中，所述方法还包括：将融合后的所述三维球面图像进行经纬映射投影，获取融合后的等距柱状的第二平面图像。
另外，当用户在实际使用过程中，希望在上述融合基础上进一步变换二维融合图像的融合位置时，可以重新设置特征映射点的位置，将前述融合变换图像根据更新后的特征映射点的位置继续进行空间变换，并将变换后的融合变换图像以同样的方式映射到三维球面图像上。
根据本发明实施例的上述三维图像融合方法，能够将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明实施例的三维图像融合方法能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强，并且能够适用于不同用户视角和图像融合位置的要求。
以下参照图3至图10根据一个具体示例来说明本发明实施例中三维图像融合方法的具体实现方式。图3示出本发明一个实施例中用于融合的二维融合图像。在本示例中，将把图3示出的二维融合图像融合至图1示出的第一平面图像对应的三维球面图像中。
如前所述，在本示例中，首先将图1所示的第一平面图像进行经纬映射投影，以获取三维球面图像。图4示出经纬映射投影方法的坐标变换示意图，其中P(u,v)为第一平面图像的像素坐标，第一平面图像的宽和高分别为W和H，其所投影到球面坐标系
Figure BDA0001231140120000061
中的球的半径为R，P(u,v)的对应点的体素坐标为P(x,y,z)。其中，
Figure BDA0001231140120000062
y＝R×cosθ,
Figure BDA0001231140120000063
随后，如图5所示，在球面坐标系中，获取三维球面图像所在球面上的任一个球面点P(x,y,z)，并根据距球面点的预设高度h来获取半径为r的球缺底面，以使二维融合图像通过线性等比例投影至所述球缺底面的内接矩形上，其中心为P0(x0,y0,z0)，作为二维融合投影图像，如图6所示。这里，所投影的内接矩形的四个角点P1(x1,y1,z1)、P2、P3、P4即为二维融合投影图像的四个特征点。图7示出将图3所示的二维融合图像映射到球面坐标系的示意图及各特征点的位置。
具体地，以P1为例，
Figure BDA0001231140120000064
Figure BDA0001231140120000065
y0＝(R-h)×cosθ,
Figure BDA0001231140120000066
Figure BDA0001231140120000067
其余角点P2、P3、P4的坐标表示方法与P1类似。
图8示出将图7中获取的具有特征点P1、P2、P3、P4的二维融合投影图像经过空间变换得到由P1’、P2’、P3’、P4’确定的融合变换图像的过程。如图8所示，首先可以根据需融合的位置可以确定分别与特征点P1、P2、P3、P4对应的特征映射点P1’、P2’、P3’、P4’，随后可以将二维融合投影图像上的四个特征点P1、P2、P3、P4分别拖拽至P1’、P2’、P3’、P4’的位置。在拖拽过程中，二维融合投影图像在空间上将产生形变，以得到变换后的融合变换图像。具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。可见，变换后的融合变换图像的空间形状和各点的位置取决于对P1、P2、P3、P4进行拖拽的综合作用的结果。
图9示出将融合变换图像中除所述特征点之外的点映射到三维球面图像上的示意图。其中，图8中所获取的融合变换图像中的所有特征点均位于三维球面图像所在的球面上，而根据图9所示，可以将融合变换图像中除上述特征点P1、P2、P3、P4之外的点映射到三维球面图像上。具体地，可以连接三维球面图像所在球面的球心和融合变换图像上的某个点q(xq，yq，zq)，然后获取上述连线和球面的一个交点q’(xq’，yq’，zq’)，将融合变换图像上的点q映射到交点q’上，并替换掉三维球面图像上原有的点。由于球心和q的连线与球面一般会有两个交点，因此可以根据预先确定的融合区域来选择映射的交点q’。
其中，
Figure BDA0001231140120000071
y′q＝R×cosθ,
Figure BDA0001231140120000072
Figure BDA0001231140120000073
当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
最后，可以将融合后的所述三维球面图像进行如图4所示的经纬映射投影，以获取融合后的等距柱状的第二平面图像，如图10所示。
下面，参照图11来描述根据本发明实施例的三维图像融合装置。图11示出了根据本发明实施例的三维图像融合装置1100的框图。如图11所示，三维图像融合装置1100包括图像获取单元1110、投影单元1120、坐标变换单元1130和融合单元1140。除了这些单元以外，装置1100还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的三维图像融合装置1100执行的下述操作的具体细节与在上文中参照图2-10描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图11中的三维图像融合装置1100的图像获取单元1110配置为获取三维球面图像和用于与所述三维球面图像融合的二维融合图像。
三维球面图像可以通过全景相机获取。首先，利用全景相机采集例如图1所示的等距柱状的第一平面图像，然后，可以将第一平面图像进行经纬映射投影，以获取三维球面图像。在本实施例中，全景相机所采集的三维球面图像的视角可以为整个球面360度，也可以为半球面180度或其他角度，例如270度、320度等。
优选地，用于与三维球面图像融合的所述二维融合图像可以为任意多边形。更加优选地，所述二维融合图像可以为三角形、矩形、正方形或其余正多边形。
投影单元1120配置为将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点。
具体地，投影单元1120可以配置为：获取所述三维球面图像所在球面上的一个球面点；获取距离所述球面点预设高度的球缺底面；以及将所述二维融合图像投影至所述球缺底面上，获取二维融合投影图像，所述二维融合投影图像内接于所述球缺底面的圆。
在本发明实施例中，可以将二维融合图像按照图像本身的大小投影至某距球面点确定高度的球缺底面上(此高度取决于二维融合图像本身的尺寸大小)，以使二维融合投影图像内接于球缺底面；当然，也可以首先将二维融合图像进行放大或缩小，并线性等比例投影至距球面点任意预设高度的球缺底面上，以使二维融合投影图像内接于球缺底面。此时，二维融合投影图像的特征点可以为其与圆内接的交点，即二维融合投影图像的角点，这些角点均位于三维球面图像所在的球面上。在本发明另一个实施例中，二维融合投影图像也可以不内接于球缺底面的圆，此时还可以选取二维融合投影图像的部分边缘点、某个对称轴上的点或某些图案交界处的点作为特征点。
坐标变换单元1130配置为在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像。
与特征点对应的特征映射点可以预先指定，也可以根据预设规则进行选取。所选择的特征映射点的位置可以取决于用户希望二维融合图像投影在三维球面图像上的预设感兴趣区域的位置，如三维球面图像中显示屏的位置等。当确定特征映射点的位置后，可以根据所述特征点和与其对应的特征映射点的位置，构建透视变换的单一性矩阵，根据所述二维融合投影图像和所述矩阵获取所述融合变换图像。可选地，特征点可以和与其对应的特征映射点全部重合，也可以全部不重合，或部分重合部分不重合。
具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。
融合单元1140配置为将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
如前所述，坐标变换单元1130所获取的融合变换图像中的所有特征点均位于预先指定的其对应的特征映射点处，即融合变换图像中的所有特征点均位于三维球面图像所在的球面上。融合单元1140则可以将融合变换图像中除特征点之外的其余点均映射到三维球面图像上。
具体地，首先获取所述三维球面图像所在球面的球心和所述融合变换图像上的某个点的连线与所述球面的一个交点，其中由于所述连线通常会与球面产生两个交点，因此可以根据需映射的区域或其他设置确定其中的一个交点作为用于映射的交点；然后将所述融合变换图像上的这个点映射到所述交点上，并替换掉所述三维球面图像上的点。当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
在本发明另一个实施例中，所述装置还可以包括融合图像获取单元(未示出)，配置为将融合后的所述三维球面图像进行经纬映射投影，获取融合后的等距柱状的第二平面图像。
另外，当用户在实际使用过程中，希望在上述融合基础上进一步变换二维融合图像的融合位置时，可以利用坐标变换单元1130根据重新设置的特征映射点的位置将前述融合变换图像继续进行空间变换，并使融合单元1140将变换后的融合变换图像以同样的方式映射到三维球面图像上。
根据本发明实施例的上述三维图像融合装置，能够将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明实施例的三维图像融合装置能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强，并且能够适用于不同用户视角和图像融合位置的要求。
下面，参照图12来描述根据本发明实施例的三维图像融合装置。图12示出了根据本发明实施例的三维图像融合装置1200的框图。如图12所示，该装置1200可以是计算机或服务器。
如图12所示，三维图像融合装置1200包括一个或多个处理器1210以及存储器1220，当然，除此之外，三维图像融合装置1200还可能包括全景相机以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图12所示的三维图像融合装置1200的组件和结构只是示例性的，而非限制性的，根据需要，三维图像融合装置1200也可以具有其他组件和结构。
处理器1210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1220中所存储的计算机程序指令以执行期望的功能，可以包括：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
存储器1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本公开的实施例的三维图像融合装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的三维图像融合方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。

Claims (11)

1.一种三维图像融合方法，包括：
获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；
将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的球缺底面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；
在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；
将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
2.如权利要求1所述的方法，其中，所述获取三维球面图像包括：
获取第一平面图像，将所述第一平面图像进行经纬映射投影，获取所述三维球面图像。
3.如权利要求1所述的方法，其中，所述将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的球缺底面上，获取二维融合投影图像包括：
获取所述三维球面图像所在球面上的一个球面点；
获取距离所述球面点预设高度的球缺底面；
将所述二维融合图像投影至所述球缺底面上，获取二维融合投影图像，所述二维融合投影图像内接于所述球缺底面的圆。
4.如权利要求3所述的方法，其中，所述将所述二维融合图像投影至所述球缺底面上包括：
将所述二维融合图像线性等比例投影至所述球缺底面上。
5.如权利要求1所述的方法，其中，
所述二维融合投影图像的所述特征点为所述二维融合投影图像的边缘点和/或角点。
6.如权利要求1所述的方法，其中，
所述二维融合图像为正多边形。
7.如权利要求1所述的方法，其中，所述将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像包括：
根据所述特征点和与其对应的特征映射点的位置，构建透视变换的单一性矩阵，根据所述二维融合投影图像和所述矩阵获取所述融合变换图像。
8.如权利要求1所述的方法，其中，所述将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上包括：
获取所述三维球面图像所在球面的球心与所述融合变换图像上的点的连线与所述球面的一个交点；
将所述融合变换图像上的所述点映射到所述交点上，以替换所述三维球面图像上的点。
9.如权利要求1所述的方法，其中，所述方法还包括：
将融合后的所述三维球面图像进行经纬映射投影，获取融合后的第二平面图像。
10.一种三维图像融合装置，包括：
图像获取单元，配置为获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；
投影单元，配置为将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的球缺底面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；
坐标变换单元，配置为在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；
融合单元，配置为将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
11.一种三维图像融合装置，包括：
处理器；
和存储器，在所述存储器中存储有计算机程序指令，
其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：
获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；
将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的球缺底面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；
在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；
将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
CN201710099062.6A 2017-02-23 2017-02-23 三维图像融合方法和装置 Active CN108470379B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710099062.6A CN108470379B (zh) 2017-02-23 2017-02-23 三维图像融合方法和装置
JP2017228900A JP6515985B2 (ja) 2017-02-23 2017-11-29 三次元画像結合方法及び三次元画像結合装置
US15/848,692 US10438334B2 (en) 2017-02-23 2017-12-20 Three dimensional image fusion method and device and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710099062.6A CN108470379B (zh) 2017-02-23 2017-02-23 三维图像融合方法和装置

Publications (2)

Publication Number Publication Date
CN108470379A CN108470379A (zh) 2018-08-31
CN108470379B true CN108470379B (zh) 2021-12-07

Family

ID=63167998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710099062.6A Active CN108470379B (zh) 2017-02-23 2017-02-23 三维图像融合方法和装置

Country Status (3)

Country Link
US (1) US10438334B2 (zh)
JP (1) JP6515985B2 (zh)
CN (1) CN108470379B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101969082B1 (ko) * 2016-10-06 2019-04-16 주식회사 카이 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
JP2019057264A (ja) * 2016-12-28 2019-04-11 株式会社リコー 画像処理装置、撮影システム、画像処理方法、及びプログラム
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10855916B2 (en) * 2018-03-15 2020-12-01 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
CN111060948B (zh) * 2019-12-14 2021-10-29 深圳市优必选科技股份有限公司 一种定位方法、装置、头盔及计算机可读存储介质
CN111212293A (zh) * 2020-01-13 2020-05-29 聚好看科技股份有限公司 一种图像处理方法及显示设备
CN111260539B (zh) * 2020-01-13 2023-05-12 魔视智能科技(上海)有限公司 鱼眼图目标识别方法及其系统
KR20230062589A (ko) * 2020-09-02 2023-05-09 구글 엘엘씨 파노라마 이미저리저리의 상태 인식 생성
CN112102409B (zh) * 2020-09-21 2023-09-01 杭州海康威视数字技术股份有限公司 目标检测方法、装置、设备及存储介质
CN115980298B (zh) * 2023-03-20 2023-07-21 山东思睿环境设备科技有限公司 一种基于多参数适应性水质检测分析方法及装置
CN118154826A (zh) * 2024-05-13 2024-06-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010080B2 (en) * 2003-05-20 2006-03-07 Siemens Aktiengesellschaft Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record
CN103018975A (zh) * 2012-10-29 2013-04-03 友达光电股份有限公司 可显示二维与三维图像的画面的立体显示装置
KR20130130334A (ko) * 2012-05-22 2013-12-02 경희대학교 산학협력단 다층 깊이 융합 3차원 영상 표시 방법 및 장치
CN103854270A (zh) * 2012-11-28 2014-06-11 广州医学院第一附属医院 一种ct和mr异机三维图像融合的配准方法及系统
JP2015019344A (ja) * 2012-09-11 2015-01-29 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび撮像システム
CN105093235A (zh) * 2015-08-18 2015-11-25 北京控制工程研究所 一种同步扫描交会测量融合成像系统
CN105913013A (zh) * 2016-04-08 2016-08-31 青岛万龙智控科技有限公司 双目视觉人脸识别算法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
JP4592917B2 (ja) * 2000-10-24 2010-12-08 株式会社バンダイナムコゲームス 画像生成装置及びゲーム装置
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US8525871B2 (en) * 2008-08-08 2013-09-03 Adobe Systems Incorporated Content-aware wide-angle images
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US10136055B2 (en) * 2016-07-29 2018-11-20 Multimedia Image Solution Limited Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama
KR102551713B1 (ko) * 2016-11-18 2023-07-06 삼성전자주식회사 전자 장치 및 그 이미지 처리 방법
US10643301B2 (en) * 2017-03-20 2020-05-05 Qualcomm Incorporated Adaptive perturbed cube map projection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010080B2 (en) * 2003-05-20 2006-03-07 Siemens Aktiengesellschaft Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record
KR20130130334A (ko) * 2012-05-22 2013-12-02 경희대학교 산학협력단 다층 깊이 융합 3차원 영상 표시 방법 및 장치
JP2015019344A (ja) * 2012-09-11 2015-01-29 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび撮像システム
CN103018975A (zh) * 2012-10-29 2013-04-03 友达光电股份有限公司 可显示二维与三维图像的画面的立体显示装置
CN103854270A (zh) * 2012-11-28 2014-06-11 广州医学院第一附属医院 一种ct和mr异机三维图像融合的配准方法及系统
CN105093235A (zh) * 2015-08-18 2015-11-25 北京控制工程研究所 一种同步扫描交会测量融合成像系统
CN105913013A (zh) * 2016-04-08 2016-08-31 青岛万龙智控科技有限公司 双目视觉人脸识别算法

Also Published As

Publication number Publication date
JP2018136923A (ja) 2018-08-30
US10438334B2 (en) 2019-10-08
US20180240223A1 (en) 2018-08-23
CN108470379A (zh) 2018-08-31
JP6515985B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
CN108470379B (zh) 三维图像融合方法和装置
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
EP3534336B1 (en) Panoramic image generating method and apparatus
US10403001B2 (en) Producing three-dimensional representation based on images of an object
CN104246795B (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
US10643300B2 (en) Image display method, custom method of shaped cambered curtain, and head-mounted display device
JP2019526874A (ja) 球面パノラマ画像へのマッピングを実行するための方法及び装置
JP2015219679A (ja) 画像処理システム、情報処理装置、プログラム
CN106604003B (zh) 一种短焦投影实现曲面幕布投影的方法及系统
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US20140085295A1 (en) Direct environmental mapping method and system
CN105513063A (zh) Veronese映射和棋盘格标定拋物折反射摄像机
CN110648274A (zh) 鱼眼图像的生成方法及装置
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
US20190349524A1 (en) Method and device for unfolding lens image into panoramic image
JP6345345B2 (ja) 画像処理装置及び画像処理方法及び画像処理プログラム
WO2019042028A1 (zh) 全视向的球体光场渲染方法
JP4548228B2 (ja) 画像データ作成方法
US11388336B2 (en) Horizontal calibration method and system for panoramic image or video, and portable terminal
CN113674356B (zh) 相机筛选方法及相关装置
JP7434846B2 (ja) 画像処理装置、画像処理方法、プログラム
Králík et al. REFLECTIVE 2D VISUALIZATION OF 3D OBJECTS USING CARTOGRAPHIC PROJECTION
JPS61201377A (ja) 三次元デジタル画像入力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant