CN112017111A - 一种全景图的合成方法、装置及电子设备 - Google Patents
一种全景图的合成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112017111A CN112017111A CN202010888150.6A CN202010888150A CN112017111A CN 112017111 A CN112017111 A CN 112017111A CN 202010888150 A CN202010888150 A CN 202010888150A CN 112017111 A CN112017111 A CN 112017111A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- area
- region
- previous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 51
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 51
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 13
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 15
- 238000004891 communication Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种全景图的合成方法及装置，所述方法包括：获取图像采集设备当前时刻采集的目标图像；将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为原始图像中的部分区域；将待拼接图像进行拼接，得到当前时刻的全景图。由于在进行合成时，是将目标区域与第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，可以保证每次得到的当前时刻的全景图中有一部分是原始图像，这样在下一次合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种全景图的合成方法、装置及电子设备。
背景技术
在全景图合成过程中，图像采集设备在水平方向上旋转，每旋转一定的角度后抓拍一张图像，进而将当前抓拍的图像与已经生成的全景图进行合成，得到新的全景图。
在当前抓拍的图像与已经生成的全景图进行合成时，将当前抓拍的图像中的全部像素点按照透视变换关系，转换到已经生成的全景图的坐标系下，进而将转换后的图像与已经生成的全景图拼接在一起，得到新的全景图。
由于每次将当前抓拍的图像与已经生成的全景图进行合成时，均是利用进行过变换的图像进行合成，而采用透视变换得到的图像会偏离真实效果，因此会导致得到的全景图视觉效果较差，而全景图合成中往往需要合成多次，当合成次数较多时，视觉效果会非常不顺畅。
发明内容
本发明实施例的目的在于提供一种全景图的合成方法、装置、电子设备、计算机可读存储介质及计算机程序产品，用以提升合成的全景图的视觉效果。
具体技术方案如下：
第一方面，本发明实施例提供了一种全景图的合成方法，所述方法包括：
获取图像采集设备当前时刻采集的目标图像；
将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域；
将待拼接图像进行拼接，得到当前时刻的全景图，其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
可选的，所述目标区域以及所述第一区域的宽度为预设宽度，所述待拼接图像还包括所述上一幅全景图中除所述第一区域外的第二区域。
可选的，所述重叠区域为所述目标图像与上一时刻采集的原始图像的重合区域，且所述目标图像中的非目标区域的宽度不小于所述重叠区域的宽度。
可选的，所述将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像的步骤，包括：
从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
将所述待融合图像与所述第一区域进行融合处理，得到处理后图像。
可选的，所述将所述待融合图像与所述第一区域进行图像融合，得到处理后图像的步骤，包括：
基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值；
其中，所述第一权重和所述第二权重分别与对应的像素点所处位置相关，所述第一权重与所述第二权重的加和为1，所述待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，所述第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，所述目标位置为所述待融合图像中的重叠区域位于所述第一区域内的边缘。
可选的，所述源坐标点包括所述目标区域的目标边缘上的两个角点；
其中，所述目标边缘为所述目标区域的远离与所述上一幅全景图的重叠区域的边缘。
可选的，所述方法还包括：
在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，其中，所述预设角度为所述图像采集设备的水平视场角与预设比例的乘积，所述预设比例为所述目标图像与上一时刻采集的原始图像的重合区域的面积与所述目标图像的面积之比；
返回所述获取图像采集设备当前时刻采集的目标图像的步骤，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图，其中，所述目标角度为360度与所述图像采集设备的水平视场角的差值。
第二方面，本发明实施例提供了一种全景图的合成装置，所述装置包括：
图像获取模块，用于获取图像采集设备当前时刻采集的目标图像；
图像合成模块，用于将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域；
图像拼接模块，用于将待拼接图像进行拼接，得到当前时刻的全景图，其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
可选的，所述目标区域以及所述第一区域的宽度为预设宽度，所述待拼接图像还包括所述上一幅全景图中除所述第一区域外的第二区域。
可选的，所述重叠区域为所述目标图像与上一时刻采集的原始图像的重合区域，且所述目标图像中的非目标区域的宽度不小于所述重叠区域的宽度。
可选的，所述图像合成模块包括：
第一坐标点确定单元，用于从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
第二坐标点确定单元，用于确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
坐标变换单元，用于根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
图像融合单元，用于将所述待融合图像与所述第一区域进行融合处理，得到处理后图像。
可选的，所述图像融合单元，具体用于基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值；
其中，所述第一权重和所述第二权重分别与对应的像素点所处位置相关，所述第一权重与所述第二权重的加和为1，所述待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，所述第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，所述目标位置为所述待融合图像中的重叠区域位于所述第一区域内的边缘。
可选的，所述源坐标点包括所述目标区域的目标边缘上的两个角点；其中，所述目标边缘为所述目标区域的远离与所述上一幅全景图的重叠区域的边缘。
可选的，所述装置还包括：
旋转控制模块，用于在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，触发所述图像获取模块，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图；
其中，所述预设角度为所述图像采集设备的水平视场角与预设比例的乘积，所述预设比例为所述目标图像与上一时刻采集的原始图像的重合区域的面积与所述目标图像的面积之比，所述目标角度为360度与所述图像采集设备的水平视场角的差值。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
可选的，所述电子设备还包括通信接口和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
第五方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果：
本发明实施例提供的方案中，获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域，进而，将待拼接图像进行拼接，得到当前时刻的全景图，待拼接图像包括目标图像中的非目标区域和处理后图像。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种全景图的合成方法的流程图；
图2为图像采集设备的水平方位角和水平视场角的一种示意图；
图3为图像之间的重叠区域的一种示意图；
图4为基于图1所示实施例的上一幅全景图及目标图像划分方式的一种示意图；
图5为基于图4所示实施例的当前时刻的全景图的一种示意图；
图6为图1所示实施例中步骤S102的一种具体流程图；
图7(a)为基于图6所示实施例的匹配模板的一种示意图；
图7(b)为基于图6所示实施例的源坐标点及目标坐标点的一种示意图；
图7(c)为基于图6所示实施例的处理后图像的一种示意图；
图8为基于图6所示实施例的图像融合的一种示意图；
图9为本发明实施例所提供的一种全景图的合成装置的结构示意图；
图10为本发明实施例所提供的一种电子设备的结构示意图；
图11为基于图10所示实施例的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使全景图合成更加准确，得到的全景图视觉效果更加流畅真实，本发明实施例提供了一种全景图的合成方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
下面首先对本发明实施例所提供的一种全景图的合成方法进行介绍，本发明实施例所提供的一种全景图的合成方法可以应用于任意需要合成全景图的电子设备，例如，可以为具有图像处理功能的图像采集设备、处理器、电脑等，在此不做具体限定。为了描述方便，以下称为电子设备。
如图1所示，一种全景图的合成方法，所述方法包括：
S101，获取图像采集设备当前时刻采集的目标图像；
S102，将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像；
其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域。
S103，将待拼接图像进行拼接，得到当前时刻的全景图。
其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
可见，本发明实施例提供的方案中，获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与上一幅全景图具有重叠区域，进而，将处理后图像与目标图像中的非目标区域进行拼接，得到当前时刻的全景图。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
在全景图合成过程中，图像采集设备在水平方向上旋转，每旋转一定的角度后采集一张图像，将当前采集的图像与已经生成的全景图进行合成，直到获得到360度的全景图。
在一种实施方式中，图像采集设备可以为PTZ(Pan/Tilt/Zoom)相机等，PTZ相机在采集图像时可以保持T和Z不变，改变P值使相机水平旋转360度进行抓图，然后把采集到图像依次拼接到已保存的上一幅全景图右侧或者左侧，最终合成一张完整的全景图。
采集到图像拼接到已保存的上一幅全景图右侧或者左侧是由相机的旋转方向确定的，如果相机顺时针旋转，那么当前时刻采集的图像中的内容位于上一幅全景图的内容的右侧，那么便将当前时刻采集的图像拼接到已保存的上一幅全景图右侧。相反的，如果相机逆时针旋转，那么当前时刻采集的图像中的内容位于上一幅全景图的内容的左侧，那么便将当前时刻采集的图像拼接到已保存的上一幅全景图左侧。
作为一种实施方式，控制平台可以获取图像采集设备的水平视场角，根据水平视场角计算开始进行图像采集的水平方位角、每次转动的角度以及最后一次进行图像采集的水平方位角。然后可以控制图像采集设备转动到指定角度采集图像。
图像采集设备的水平方位角和水平视场角的示意图可以如图2所示。其中，水平方位角α为图像采集设备在水平方向上的转角，范围为[0°，360°)。水平视场角β为图像采集设备在水平方向上可以采集到的视野范围，例如，可以为60度、90度、120度等。
由于每次采集的图像需要与上一幅全景图进行合成，所以二者需要有重合区域，也就是说，图像采集设备每次采集的图像需要与上一次采集的图像具有重合区域，所以图像采集设备每次采集图像时的视场范围需要具有重合部分。如图3所示，上一次采集的图像310与本次采集的图像320具有重合区域330，也就是图中斜划线所示的区域。上一次采集的图像310和本次采集的图像320在图像高度方向上不是一致的，是由于图像采集设备在采集图像过程中会存在抖动现象。
假设图像采集设备每次采集的图像与上一次采集的图像具有重合区域为整个图像的30％，那么，可以确定图像采集设备每次转动角度：θ＝β–0.3β＝0.7β。
以水平方位角为0度为起始点开始，那么图像采集设备第一次开始采集图像的水平方位角即为0.5β，也就是图像采集设备的水平视场角的一半，这样，第一次采集的图像对应的视场范围即为[0，β]。然后每旋转0.7β后，采集一张图像，最后一次采集图像的水平方位角即为360–0.5β。
可见，图像采集设备采集图像的水平方位角计算公式可以为：
在一种实施方式中，由于图像采集设备采集的图像中一般都包括时间等OSD(OnScreen Display)信息，会在图像中显示图像采集的时间、图像采集设备标识等信息，这样在合成的全景图中会显示有多个时间等信息，所以可以控制图像采集设备取消叠加OSD信息，这样合成的全景图中不会显示时间等信息，全景图效果会更好。
电子设备获取图像采集设备当前时刻采集的目标图像后，便可以执行上述步骤S102，即将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像。其中，目标图像即为图像采集设备当前时刻采集的图像，并不具有其他限定意义。上一幅全景图即为当前时刻已经存在的全景图，也就是利用当前时刻之前采集的图像所合成的全景图。处理后图像为目标区域与已生成的上一幅全景图中的第一区域进行合成处理后得到的图像，并不具有其他限定意义。
例如，目标图像是图像采集设备采集的第5张图像，那么上一幅全景图即为图像采集设备采集的前4张图像合成的全景图，每次合成的方式是相同的。
如果目标图像为图像采集设备所采集的第一张图像，也就是说，此时图像采集设备的水平方位角为0.5β，那么可以不对目标图像进行合成处理，将其进行保存，然后控制图像采集设备旋转θ角度后，采集下一张图像，进而将该图像与已保存的图像进行合成，便可以得到第一幅全景图。
在将目标图像与已生成的上一幅全景图中的第一区域进行合成处理时，电子设备可以将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，而不是将整个目标图像已生成的上一幅全景图进行合成处理。其中，目标区域为目标图像中的一部分，并且与上一幅全景图中的第一区域具有重叠区域。
第一区域可以为上一幅全景图中的一部分，也可以为上一幅全景图的全部部分，在此不做具体限定。第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域。也就是说，第一区域与目标区域的重叠区域为图像采集设备采集的上一时刻的图像中的一部分原图。该重叠区域为没有进行过合成处理的图像区域，其可以为上述重合区域，也可以小于上述重合区域。
接下来，在步骤S103中，电子设备可以待拼接图像进行拼接，得到当前时刻的全景图。其中，待拼接图像可以包括目标图像中的非目标区域和处理后图像。在一种实施方式中，当第一区域为上一幅全景图的全部部分时，也就是说，第一区域为上一幅全景图时，电子设备可以将处理后图像与目标图像中的非目标区域进行拼接，得到当前时刻的全景图。
目标图像中的非目标区域为未与上一幅全景图进行合成处理的图像部分，也就是图像采集设备所采集的原始图像，这样，拼接得到的当前时刻的全景图中包括一部分图像采集设备所采集的原始图像，下一次进行合成处理时，便可以利用这一部分原始图像与下一时刻采集的图像中的目标区域进行合成处理，合成效果更加真实流畅。
同样的，由于上一幅全景图中的第一区域也包括一部分原始图像，因此目标图像的目标区域与上一幅全景图的第一区域进行合成处理时，合成效果也更加真实流畅。这样也就保证了每一次将当前时刻采集的图像与上一幅全景图进行合成时，均可以利用图像采集设备所采集的原始图像进行合成处理，使得合成效果真实流畅。
同时，由于每次将当前时刻采集的图像与上一幅全景图进行合成处理时，均可以利用图像采集设备所采集的原始图像进行合成，不会出现无法匹配的问题，无论合成处理次数为多少，均可以顺利进行合成，不会出现目前合成方式中由于合成次数过多，图像坐标转换次数过多导致的无法匹配，进而无法进行全景图合成的问题。
作为本发明实施例的一种实施方式，上述目标区域以及第一区域的宽度可以为预设宽度，待拼接图像还包括上一幅全景图中除第一区域外的第二区域。也就是说，目标区域是目标图像中预设宽度的一部分，第一区域是上一幅全景图中预设宽度的一部分，而不是全部，此时上一幅全景图中也就会存在第一区域以外的第二区域。
那么，在拼接得到当前时刻的全景图时，便需要将第二区域也进行拼接以得到完整的全景图，所以上述待拼接图像还包括上一幅全景图中除第一区域外的第二区域。
在这种情况下，电子设备可以将目标图像划分为预设宽度的目标区域以及非目标区域，目标区域可以为目标图像的左侧或者右侧的预设宽度的区域。如果目标图像与上一幅全景图的重叠区域位于目标图像的左侧，那么目标区域为目标图像的左侧的预设宽度的区域；如果目标图像与上一幅全景图的重叠区域位于目标图像的右侧，那么目标区域为目标图像的右侧的预设宽度的区域。目标区域的高度可以与目标图像的高度一致。
其中，上述预设宽度可以根据目标图像与上一幅全景图的重叠区域的宽度确定，在一种实施方式中，预设宽度不小于该重叠区域的宽度。例如，目标图像与上一幅全景图的重叠区域的宽度为0.3w，那么预设宽度可以为0.6w、0.5w、0.4w等，其中，w为目标图像的宽度。
电子设备也可以将上一幅全景图划分为预设宽度的第一区域以及第二区域，其中，第二区域即为上一幅全景图中除第一区域外的图像区域。第一区域可以为上一幅全景图的左侧或者右侧的预设宽度的区域。如果目标图像与上一幅全景图的重叠区域位于一幅全景图的左侧，那么第一区域为一幅全景图的左侧的预设宽度的区域；如果目标图像与上一幅全景图的重叠区域位于一幅全景图的右侧，那么第一区域为一幅全景图的右侧的预设宽度的区域。第一区域的大小与上述目标区域的大小一致。
例如，如图4所示，上一幅全景图410可以划分为预设宽度的第一区域411以及第二区域412，目标图像420可以划分为预设宽度的目标区域421以及非目标区域422，其中，w为目标图像420的宽度，h为目标图像420的高度。
划分之后电子设备便可以将目标区域与第一区域进行合成处理，得到处理后图像。该处理后图像为与上一幅全景图的图像坐标系相同的图像。具体合成方式可以采用图像处理领域的任意图像合成方式，在此不做具体限定及说明。后续将会进行举例介绍。
得到上述处理后图像后，电子设备将上一幅全景图的第二区域、该处理后图像和目标图像的非目标区域进行拼接，得到当前时刻的全景图。在一种实施方式中，电子设备可以将上一幅全景图的第二区域与该处理后图像进行拼接，进而，电子设备将拼接后的图像与目标图像的非目标区域进行拼接，便可以得到当前时刻的全景图。在另一种实施方式中，电子设备可以将目标图像的非目标区域与该处理后图像进行拼接，进而，电子设备将拼接后的图像与上一幅全景图的第二区域进行拼接，便可以得到当前时刻的全景图。该当前时刻的全景图中的非目标区域即为图像采集设备所采集的原始图像。
例如，如图5所示，上一幅全景图的第二区域510与处理后图像520以及目标图像的非目标区域530进行拼接后，便可以得到图5所示的当前时刻的全景图。
可见，在本实施例中，目标区域以及第一区域的宽度为预设宽度，预设宽度小于目标图像的宽度，待拼接图像还包括上一幅全景图中除第一区域外的第二区域，这样，电子设备可以根据目标图像与已生成的上一幅全景图的重叠区域，准确地将目标图像的目标区域与已生成的上一幅全景图的第一区域进行合成处理，得到真实自然的处理后图像，同时保留目标图像中的非目标区域作为与下一次采集的图像进行合成的图像部分，使得每次合成得到的图像均是真实自然的，效果更好。
作为本发明实施例的一种实施方式，上述重叠区域为目标图像与上一时刻采集的原始图像的重合区域，且目标图像中的非目标区域的宽度不小于重叠区域的宽度。
由于目标区域是包括重叠区域的，所以其宽度不小于重叠区域的宽度，非目标区域的宽度也不小于重叠区域的宽度，也就是说，重叠区域的宽度不大于目标图像宽度的1/2，同时，重叠区域为目标图像与上一时刻采集的原始图像的重合区域，例如，目标图像与上一时刻采集的原始图像的重合区域的宽度为0.3w，那么重叠区域即为该宽度为0.3w的重合区域。
这样，无论目标区域和第一区域的宽度是否相同，均可以保证目标区域和第一区域均是包括完整重合区域的图像区域，也就是均是包括目标图像与上一时刻采集的原始图像的重合的原始图像部分的区域，这样合成处理是基于目标图像与上一时刻采集的原始图像的重合的原始图像进行的，可以保证合成的准确性。同时，目标图像中的非目标区域的宽度不小于重叠区域的宽度，也就是说，目标图像中不进行合成的非目标区域的宽度是大于重叠区域的宽度的，这样可以在当前时刻的全景图中保留宽度大于重叠区域的原图，保证下一次进行全景图合成时，可以得到包括的重叠区域均是原图的第一区域，从而保证每次合成得到的图像均是真实自然的，效果更好。
在一种实施方式中，目标区域和第一区域的宽度可以均为预设宽度，也就是说，预设宽度不小于重叠区域的宽度，且目标图像中的非目标区域的宽度也不小于重叠区域的宽度。这样在目标区域和第一区域的宽度相同，且均为预设宽度的情况下，保证目标区域和第一区域均是包括完整重合区域的图像区域，同时保证下一次进行全景图合成时，可以得到预设宽度的包括的重叠区域均是原图的第一区域，从而保证每次合成时，均可以采用预设宽度的目标区域与已生成的上一幅全景图中的预设宽度的第一区域进行合成处理，得到的图像均是真实自然的，效果更好。
作为本发明实施例的一种实施方式，如图6所示，上述将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像的步骤，可以包括：
S601，从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
将目标图像中的目标区域与上一幅全景图中的第一区域进行合成处理时，需要将目标区域转换至上一幅全景图的图像坐标系下，那么便需要确定目标区域与上一幅全景图之间的透视变换矩阵，而透视变换矩阵需要根据两张图像中的各4个对应的坐标点来确定。所以预设数量可以为4，电子设备首先可以从目标图像的预设宽度的目标区域中选取4个坐标点，作为源坐标点。
由于目标区域与上一幅全景图重叠的一部分区域中的坐标点在上一幅全景图中会存在匹配的坐标点，且由于图像区域是重叠的，该匹配的坐标点较为容易确定，所以源坐标点中可以至少有一个坐标点位于目标区域与上一幅全景图重叠的一部分区域中。
例如，如图7(a)所示，假设目标图像与上一幅全景图中的重叠区域为目标图像的30％，且位于目标图像的左侧。那么可以取目标区域710左侧0.2w的宽度，从底部取0.9h高度的区域作为匹配模板711，该匹配模板711可以保证能够从上一幅全景图匹配到重叠区域。其中，匹配模板的高度和宽度可以根据重叠区域的大小确定，只要保证匹配模板属于重叠区域即可。进而从匹配模板711中选取至少一个坐标点，例如，可以取(0,0.1h)(也就是匹配模板711的左上角点)作为源坐标点中一个。当然也可以选取(0,0.1h)和(0,h)作为源坐标点中两个。
其他源坐标点可以根据已选取的坐标点确定，可以选择方便计算的坐标点作为源坐标点，在此不做具体限定。
S602，确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
根据重叠区域电子设备可以从上一幅全景图中的第一区域中，确定上述从重叠区域中选取的源坐标点所对应的目标坐标点，便可以确定两个坐标点之间的映射关系，进而根据该目标坐标点、该映射关系，以及其他源坐标点之间的位置关系，确定其他源坐标点对应的目标坐标点。
例如，如图7(b)所示，假设目标区域710中的源坐标点(0,0.1h)在第一区域720中匹配到的目标坐标点为(x,y)，那么如果源坐标点分别为(0,0.1h)、(0,h)、(0.6w,0)、(0.6w,h)，在第一区域720中匹配到的目标坐标点即分别为(x,y)、(x,y+0.9h)、(x+0.6w,0)、(x+0.6w,h)。其中，(0,0.1h)、(0,h)、(0.6w,0)、(0.6w,h)为目标图像坐标系中的点，(x,y)、(x,y+0.9h)、(x+0.6w,0)、(x+0.6w,h)为上一幅全景图坐标系中的点，图7(b)将所有坐标点表示在一起是为了方便理解，并不表示所有坐标点位于同一个坐标系。
S603，根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
确定了上述源坐标点和目标坐标点后，电子设备便可以根据源坐标点与目标坐标点之间的位置关系，计算得到目标区域与第一区域之间的透视变换矩阵，该透视变换矩阵用于表示源坐标点与目标坐标点之间的转换关系。
进而，通过该透视变换矩阵便可以将目标区域中的像素点转换至上一幅全景图的图像坐标系下，便可以得到待融合图像。
S604，将所述待融合图像与所述第一区域进行融合处理，得到处理后图像。
得到上述待融合图像后，由于待融合图像与上一幅全景图中的第一区域的坐标系一致，电子设备便可以将待融合图像与第一区域进行融合处理，也就可以得到处理后图像。例如，如图7(c)所示，将待融合图像730与第一区域720进行融合处理，可以得到处理后图像740。
可见，在本实施例中，电子设备可以采用模板匹配和透视变换的方式将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，可以得到准确且自然的处理后图像，进一步保证得到的当前时刻的全景图的效果。
作为本发明实施例的一种实施方式，上述将所述待融合图像与所述第一区域进行融合处理，得到处理后图像的步骤，可以包括：
将所述待融合图像与所述第一区域的重叠区域进行图像融合，得到融合后的图像区域；将所述第一区域中非重叠区域、所述融合后的图像区域以及所述待融合图像中非重叠区域依次进行拼接，得到处理后图像。
为了使处理后图像的效果更加真实自然，电子设备在得到待融合图像后，可以将待融合图像与第一区域的重叠区域进行图像融合，进而得到融合后的图像区域。其中，图像融合的具体方式可以采用图像处理领域的任一融合方式，例如，可以为加权融合等，在此不做具体限定。
在一种实施方式中，电子设备可以采用融合公式d＝b×a+c×(1-a)，对待融合图像与与第一区域的重叠区域进行图像融合。其中，d为融合后的图像区域中像素点的像素值，b为第一区域中的重叠区域的像素点的像素值，c为待融合图像中的重叠区域中对应像素点的像素值，a为第一区域中的重叠区域的像素点对应的第二权重，(1-a)为待融合图像中的重叠区域中像素点所对应的第一权重。
其中，对于待融合图像中的重叠区域的像素点来说，其越靠近第一区域，a值可以越高，也就是说，越靠近目标位置，第二权重a值可以越高，第一权重也就越低。如果该像素点位于目标位置，那么第二权重a＝1，第一权重即为(1-a)＝0。该目标位置为待融合图像中的重叠区域位于第一区域内的边缘。
接下来，电子设备便可以将第一区域中非重叠区域、融合后的图像区域以及待融合图像中非重叠区域依次进行拼接，便可以得到处理后图像。
可见，在本实施例中，电子设备可以将待融合图像与第一区域的重叠区域进行图像融合，得到融合后的图像区域，进而将第一区域中非重叠区域、融合后的图像区域以及待融合图像中非重叠区域依次进行拼接，得到处理后图像。这样，可以使得到的处理后图像中的重叠区域对应的像素点的像素值过度更加自然顺畅，进一步提升处理后图像的视觉效果。
作为本发明实施例的一种实施方式，上述将所述待融合图像与所述第一区域进行图像融合，得到处理后图像的步骤，可以包括：
基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值。
其中，第一权重和第二权重分别与对应的像素点所处位置相关，第一权重与第二权重的加和为1，待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，目标位置为待融合图像中的重叠区域位于第一区域内的边缘。
具体来说，电子设备可以采用融合公式d＝b×a+c×(1-a)，对待融合图像与第一区域进行图像融合。其中，d为融合后的像素点的像素值，也就是处理后图像中的像素点的像素值，b为上一幅全景图中的第一区域中的像素点的像素值，c为待融合图像中对应像素点的像素值，a为上一幅全景图中的第一区域中的像素点对应的第二权重，(1-a)为待融合图像中像素点所对应的第一权重。
其中，对于待融合图像中的重叠区域的像素点来说，越靠近第一区域，a值可以越高，也就是说，越靠近目标位置，第一区域中对应像素点所对应的第二权重a值可以越高，此时待融合图像中的重叠区域的该像素点对应的第一权重也就越低。如果该像素点位于目标位置，那么第二权重a＝1，第一权重即为(1-a)＝0。
对于待融合图像中的非重叠区域的像素点来说，第一权重可以均为1，也就是说a＝0。对于第一区域中的非重叠区域的像素点来说，第二权重可以均为1，也就是说a＝1。对于待融合图像中的非重叠区域的像素点以及第一区域中的非重叠区域的像素点，采用上述公式计算得到的像素值是不变的。
例如，如图8所示，待融合图像810中的重叠区域的像素点越靠近目标位置，其对应的a值可以越高，如果该像素点在待融合图像810与第一区域820的重叠区域的左侧边界(目标位置)上，那么a＝1，如果该像素点在待融合图像810与第一区域820的重叠区域的右侧边界上，a＝0。待融合图像810中的非重叠区域的像素点对应的第一权重均为1，第一区域820中的非重叠区域的像素点对应的第二权重均为1。
可见，在本实施例中，电子设备可以基于待融合图像中的像素点的像素值及其对应的第一权重，以及第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值。这样得到的处理后图像中像素点的像素值过度更加自然顺畅，可以提升处理后图像的视觉效果。
作为本发明实施例的一种实施方式，上述源坐标点可以包括目标区域的目标边缘上的两个角点。其中，目标边缘为目标区域的远离与上一幅全景图的重叠区域的边缘。
远离与上一幅全景图的重叠区域的目标边缘是需要与目标图像中的非目标区域进行拼接的，采用目标边缘上的两个角点作为源坐标点，可以使在对目标区域进行透视变换时，该目标边缘上的像素点不发生变化，也就是与原始图像一致，这样在与目标图像中的非目标区域进行拼接时，拼接处无需进行任何处理看上去的视觉效果也会很顺畅。
例如，如图7(a)所示的目标区域中，便可以选取坐标(0.6w,0)、(0.6w,h)作为源坐标点，这两个坐标点即为目标区域的右上角点及右下角点，也就是目标区域的目标边缘上的两个角点。
作为本发明实施例的一种实施方式，上述方法还可以包括：
在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，并返回所述获取图像采集设备当前时刻采集的目标图像的步骤，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图。
由于一般全景图是360度范围内的图像，所以在将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，可以控制图像采集设备按照预设角度旋转，以使图像采集设备在旋转后采集图像，这样，在合成当前时刻的全景图的同时，图像采集设备可以采集旋转后的图像，在图像采集设备旋转以及采集旋转后的图像的同时，完成当前时刻的全景图的合成。
其中，预设角度的大小可以根据想要得到的目标图像与上一时刻采集的原始图像的重合区域的大小确定，具体可以为图像采集设备的水平视场角与预设比例的乘积，该预设比例为目标图像与上一时刻采集的原始图像的重合区域的面积与目标图像的面积之比。这样，连续两次采集的图像之间会具有想要得到的大小的重合区域。
进而可以返回执行上述获取图像采集设备当前时刻采集的目标图像的步骤，此时图像采集设备已经旋转了预设角度，采集的图像对应的视场范围已经改变，电子设备可以按照上述全景图的合成方式继续进行处理，直到图像采集设备在水平方向上旋转目标角度，此时，图像采集设备已经采集了水平方向上360度范围内的所有图像，那么此时电子设备合成得到的全景图即为360度的全景图，可以作为最终的全景图。其中，目标角度为360度与图像采集设备的水平视场角的差值。
可见，在本实施例中，在将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，电子设备可以控制图像采集设备按照预设角度旋转，以使图像采集设备在旋转后采集图像，并返回获取图像采集设备当前时刻采集的目标图像的步骤，直到图像采集设备在水平方向上旋转目标角度，得到最终的全景图。这样，电子设备可以在采集下一张图像的过程中，合成当前时刻的全景图，实现边采集边合成的目的，并且由于每次合成的当前时刻的全景图均是按照上述全景图合成方法得到的，所以得到最终的360度的全景图的视觉效果也是非常自然流畅的，合成效果好。
相应于上述全景图的合成方法，本发明实施例还提供了一种全景图的合成装置。下面对本发明实施例提供的一种全景图的合成装置进行介绍。
如图9所示，一种全景图的合成装置，所述装置包括：
图像获取模块910，用于获取图像采集设备当前时刻采集的目标图像；
图像合成模块920，用于将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像；
其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域。
图像拼接模块930，用于将待拼接图像进行拼接，得到当前时刻的全景图。
其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
可见，本发明实施例提供的方案中，获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域，进而，将待拼接图像进行拼接，得到当前时刻的全景图，待拼接图像包括目标图像中的非目标区域和处理后图像。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
作为本发明实施例的一种实施方式，上述目标区域以及所述第一区域的宽度为预设宽度，所述待拼接图像还包括所述上一幅全景图中除所述第一区域外的第二区域。
作为本发明实施例的一种实施方式，上述重叠区域为所述目标图像与上一时刻采集的原始图像的重合区域，且所述目标图像中的非目标区域的宽度不小于所述重叠区域的宽度。
作为本发明实施例的一种实施方式，上述图像合成模块920可以包括：
第一坐标点确定单元，用于从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
第二坐标点确定单元，用于确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
坐标变换单元，用于根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
图像融合单元，用于将所述待融合图像与所述第一区域进行融合处理，得到处理后图像。
作为本发明实施例的一种实施方式，上述图像融合单元，具体可以用于基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值；
其中，所述第一权重和所述第二权重分别与对应的像素点所处位置相关，所述第一权重与所述第二权重的加和为1，所述待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，所述第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，所述目标位置为所述待融合图像中的重叠区域位于所述第一区域内的边缘。
作为本发明实施例的一种实施方式，上述源坐标点可以包括所述目标区域的目标边缘上的两个角点；
其中，所述目标边缘为所述目标区域的远离与所述上一幅全景图的重叠区域的边缘。
作为本发明实施例的一种实施方式，上述装置还可以包括：
旋转控制模块，用于在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，触发所述图像获取模块，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图；
其中，所述预设角度为所述图像采集设备的水平视场角与预设比例的乘积，所述预设比例为所述目标图像与上一时刻采集的原始图像的重合区域的面积与所述目标图像的面积之比，所述目标角度为360度与所述图像采集设备的水平视场角的差值。
本发明实施例还提供了一种电子设备，该电子设备可以为图像采集设备、与图像采集设备通信连接的处理设备等，如图10所示，电子设备包括处理器1001和存储器1002；
存储器1002，用于存放计算机程序；
处理器1001，用于执行存储器1002上所存放的程序时，实现上述任一实施例所述的全景图的合成方法步骤。
可选的，如图11所示，本发明实施例还提供了另一种电子设备，可以包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
存储器1103，用于存放计算机程序；
处理器1101，用于执行存储器1103上所存放的程序时，实现上述任一实施例所述的全景图的合成方法步骤。
可见，本发明实施例提供的方案中，获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域，进而，将待拼接图像进行拼接，得到当前时刻的全景图，待拼接图像包括目标图像中的非目标区域和处理后图像。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的全景图的合成方法步骤。
可见，本发明实施例提供的方案中，计算机程序被处理器执行时可以获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域，进而，将待拼接图像进行拼接，得到当前时刻的全景图，待拼接图像包括目标图像中的非目标区域和处理后图像。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一实施例所述的全景图的合成方法步骤。
可见，本发明实施例提供的方案中，计算机程序产品在计算机上运行时可以获取图像采集设备当前时刻采集的目标图像，将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，目标区域为目标图像中的一部分，且与第一区域具有重叠区域，第一区域与目标区域的重叠区域为上一时刻采集的原始图像中的部分区域，进而，将待拼接图像进行拼接，得到当前时刻的全景图，待拼接图像包括目标图像中的非目标区域和处理后图像。由于在进行合成时，是将目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成，而不是全部区域均与已生成的上一幅全景图进行合成，这样可以保证每次得到的当前时刻的全景图中有一部分是图像采集设备采集的原始图像，这样在下一次与目标图像进行合成时，均是与包括原始图像的第一区域合成，可以使合成更加准确，得到的全景图视觉效果更加流畅真实。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种全景图的合成方法，其特征在于，所述方法包括：
获取图像采集设备当前时刻采集的目标图像；
将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域；
将待拼接图像进行拼接，得到当前时刻的全景图，其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
2.如权利要求1所述的方法，其特征在于，所述目标区域以及所述第一区域的宽度为预设宽度，所述待拼接图像还包括所述上一幅全景图中除所述第一区域外的第二区域。
3.如权利要求1所述的方法，其特征在于，所述重叠区域为所述目标图像与上一时刻采集的原始图像的重合区域，且所述目标图像中的非目标区域的宽度不小于所述重叠区域的宽度。
4.如权利要求1所述的方法，其特征在于，所述将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像的步骤，包括：
从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
将所述待融合图像与所述第一区域进行融合处理，得到处理后图像。
5.如权利要求4所述的方法，其特征在于，所述将所述待融合图像与所述第一区域进行图像融合，得到处理后图像的步骤，包括：
基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值；
其中，所述第一权重和所述第二权重分别与对应的像素点所处位置相关，所述第一权重与所述第二权重的加和为1，所述待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，所述第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，所述目标位置为所述待融合图像中的重叠区域位于所述第一区域内的边缘。
6.如权利要求4或5所述的方法，其特征在于，所述源坐标点包括所述目标区域的目标边缘上的两个角点；
其中，所述目标边缘为所述目标区域的远离与所述上一幅全景图的重叠区域的边缘。
7.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，其中，所述预设角度为所述图像采集设备的水平视场角与预设比例的乘积，所述预设比例为所述目标图像与上一时刻采集的原始图像的重合区域的面积与所述目标图像的面积之比；
返回所述获取图像采集设备当前时刻采集的目标图像的步骤，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图，其中，所述目标角度为360度与所述图像采集设备的水平视场角的差值。
8.一种全景图的合成装置，其特征在于，所述装置包括：
图像获取模块，用于获取图像采集设备当前时刻采集的目标图像；
图像合成模块，用于将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理，得到处理后图像，其中，所述目标区域为所述目标图像中的一部分，且与所述第一区域具有重叠区域，所述第一区域与所述目标区域的重叠区域为上一时刻采集的原始图像中的部分区域；
图像拼接模块，用于将待拼接图像进行拼接，得到当前时刻的全景图，其中，所述待拼接图像包括所述目标图像中的非目标区域和所述处理后图像。
9.如权利要求8所述的装置，其特征在于，所述目标区域以及所述第一区域的宽度为预设宽度，所述待拼接图像还包括所述上一幅全景图中除所述第一区域外的第二区域；
所述重叠区域为所述目标图像与上一时刻采集的原始图像的重合区域，且所述目标图像中的非目标区域的宽度不小于所述重叠区域的宽度；
所述图像合成模块包括：
第一坐标点确定单元，用于从所述目标图像中的目标区域中选取预设数量个坐标点，作为源坐标点；
第二坐标点确定单元，用于确定所述上一幅全景图的图像坐标系下与所述源坐标点匹配的目标坐标点；
坐标变换单元，用于根据所述源坐标点与所述目标坐标点之间的转换关系，将所述目标区域中的像素点转换至所述上一幅全景图的图像坐标系下，得到待融合图像；
图像融合单元，用于将所述待融合图像与所述第一区域进行融合处理，得到处理后图像；
所述图像融合单元，具体用于基于所述待融合图像中的像素点的像素值及其对应的第一权重，以及所述第一区域中的像素点的像素值及其对应的第二权重，确定处理后图像中像素点的像素值；
其中，所述第一权重和所述第二权重分别与对应的像素点所处位置相关，所述第一权重与所述第二权重的加和为1，所述待融合图像中的重叠区域的像素点对应的第一权重反相关于该像素点与目标位置的距离，所述第一区域中的重叠区域的像素点对应的第二权重正相关于该像素点与所述目标位置的距离，所述目标位置为所述待融合图像中的重叠区域位于所述第一区域内的边缘；
所述源坐标点包括所述目标区域的目标边缘上的两个角点；其中，所述目标边缘为所述目标区域的远离与所述上一幅全景图的重叠区域的边缘；
所述装置还包括：
旋转控制模块，用于在将所述目标图像中的目标区域与已生成的上一幅全景图中的第一区域进行合成处理和/或将所述待拼接图像进行拼接的同时，控制所述图像采集设备按照预设角度旋转，以使所述图像采集设备在旋转后采集图像，触发所述图像获取模块，直到所述图像采集设备在水平方向上旋转目标角度，得到最终的全景图；
其中，所述预设角度为所述图像采集设备的水平视场角与预设比例的乘积，所述预设比例为所述目标图像与上一时刻采集的原始图像的重合区域的面积与所述目标图像的面积之比，所述目标角度为360度与所述图像采集设备的水平视场角的差值。
10.一种电子设备，其特征在于，包括处理器和存储器，其中：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010888150.6A CN112017111B (zh) | 2020-08-28 | 2020-08-28 | 一种全景图的合成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010888150.6A CN112017111B (zh) | 2020-08-28 | 2020-08-28 | 一种全景图的合成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017111A true CN112017111A (zh) | 2020-12-01 |
| CN112017111B CN112017111B (zh) | 2023-08-04 |
Family
ID=73502346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010888150.6A Active CN112017111B (zh) | 2020-08-28 | 2020-08-28 | 一种全景图的合成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017111B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298867A (zh) * | 2021-06-16 | 2021-08-24 | 重庆富沛和科技有限公司 | 基于线匹配的地物目标位置精准定位方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6771304B1 (en) * | 1999-12-31 | 2004-08-03 | Stmicroelectronics, Inc. | Perspective correction device for panoramic digital camera |
| US6885392B1 (en) * | 1999-12-31 | 2005-04-26 | Stmicroelectronics, Inc. | Perspective correction for preview area of panoramic digital camera |
| US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
| US20160073021A1 (en) * | 2014-09-05 | 2016-03-10 | Htc Corporation | Image capturing method, panorama image generating method and electronic apparatus |
| CN106846243A (zh) * | 2016-12-26 | 2017-06-13 | 深圳中科龙智汽车科技有限公司 | 在设备移动过程中获得三维俯视全景图的方法及装置 |
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
| CN110349077A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种全景图像合成方法、装置及电子设备 |
| CN110689476A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 全景图像拼接方法及其装置、可读存储介质和电子设备 |
-
2020
- 2020-08-28 CN CN202010888150.6A patent/CN112017111B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6771304B1 (en) * | 1999-12-31 | 2004-08-03 | Stmicroelectronics, Inc. | Perspective correction device for panoramic digital camera |
| US6885392B1 (en) * | 1999-12-31 | 2005-04-26 | Stmicroelectronics, Inc. | Perspective correction for preview area of panoramic digital camera |
| US20150055886A1 (en) * | 2013-08-20 | 2015-02-26 | Samsung Techwin Co., Ltd. | Image fusion system and method |
| US20160073021A1 (en) * | 2014-09-05 | 2016-03-10 | Htc Corporation | Image capturing method, panorama image generating method and electronic apparatus |
| CN106846243A (zh) * | 2016-12-26 | 2017-06-13 | 深圳中科龙智汽车科技有限公司 | 在设备移动过程中获得三维俯视全景图的方法及装置 |
| CN110349077A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种全景图像合成方法、装置及电子设备 |
| CN110689476A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 全景图像拼接方法及其装置、可读存储介质和电子设备 |
| CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
| CN110197455A (zh) * | 2019-06-03 | 2019-09-03 | 北京石油化工学院 | 二维全景图像的获取方法、装置、设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298867A (zh) * | 2021-06-16 | 2021-08-24 | 重庆富沛和科技有限公司 | 基于线匹配的地物目标位置精准定位方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017111B (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3522105B1 (en) | Method and device for performing mapping on spherical panoramic image | |
| JP4512584B2 (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| JPH07225855A (ja) | 斜視的変換により源画像から目標画像を構成する画像処理方法および装置 | |
| CN111429518B (zh) | 一种标注方法、装置、计算设备及存储介质 | |
| WO2021184302A1 (zh) | 图像处理方法、装置、成像设备、可移动载体及存储介质 | |
| CN109035134B (zh) | 全景图像拼接方法、装置、电子设备及存储介质 | |
| US20240348928A1 (en) | Image display method, device and electronic device for panorama shooting to improve the user's visual experience | |
| CN112017111B (zh) | 一种全景图的合成方法、装置及电子设备 | |
| CN117575902B (zh) | 大场景监控图像拼接方法及拼接系统 | |
| WO2020259444A1 (zh) | 一种图像处理方法及相关设备 | |
| Schaffland et al. | An interactive web application for the creation, organization, and visualization of repeat photographs | |
| CN111612838A (zh) | 一种图像获取方法、装置及电子设备 | |
| CN110796690B (zh) | 图像匹配方法和图像匹配装置 | |
| Schaffland et al. | New interactive methods for image registration with applications in repeat photography | |
| US8040388B2 (en) | Indicator method, system, and program for restoring annotated images | |
| CN115866213A (zh) | 多摄像头协同监控方法、装置、设备及存储介质 | |
| JP3241243B2 (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 | |
| WO2018006669A1 (zh) | 视差融合方法和装置 | |
| CN113873145A (zh) | 车源信息的采集方法、装置、电子设备及可读介质 | |
| CN112785519A (zh) | 基于全景图的定位误差校准方法、装置、设备及存储介质 | |
| JP3302236B2 (ja) | パノラマ画像合成装置とパノラマ画像の作成方法 | |
| JP3219182B2 (ja) | 監視制御装置におけるカメラ制御方法 | |
| CN112911130A (zh) | 辅助取景方法、装置、终端和存储介质 | |
| CN112073633B (zh) | 一种数据处理方法及系统 | |
| CN111625210A (zh) | 一种大屏控制方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |