CN109685721A - 全景画面拼接方法、装置、终端及对应的存储介质 - Google Patents

全景画面拼接方法、装置、终端及对应的存储介质 Download PDF

Info

Publication number
CN109685721A
CN109685721A CN201811638831.6A CN201811638831A CN109685721A CN 109685721 A CN109685721 A CN 109685721A CN 201811638831 A CN201811638831 A CN 201811638831A CN 109685721 A CN109685721 A CN 109685721A
Authority
CN
China
Prior art keywords
panorama
rectangles
view
rectangular
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811638831.6A
Other languages
English (en)
Other versions
CN109685721B (zh
Inventor
丁思杰
邢冬逢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen See Technology Co Ltd
Kandao Technology Co Ltd
Original Assignee
Shenzhen See Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen See Technology Co Ltd filed Critical Shenzhen See Technology Co Ltd
Priority to CN201811638831.6A priority Critical patent/CN109685721B/zh
Publication of CN109685721A publication Critical patent/CN109685721A/zh
Priority to US17/419,303 priority patent/US11562465B2/en
Priority to PCT/CN2019/128675 priority patent/WO2020135580A1/zh
Application granted granted Critical
Publication of CN109685721B publication Critical patent/CN109685721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提供一种全景画面拼接方法，用于对多镜头全景相机中每个镜头拍摄的全景画面进行拼接操作，其包括：获取每个镜头拍摄的部分全景画面；对每个部分全景画面进行等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图；根据多镜头全景相机中每个镜头的设置位置，对部分全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图；根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行调整，并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。本发明使用像素光流对具有拼接侧的等矩形长方投影图进行拼接，可较好的消除拼接后的等矩形长方投影图的重影现象。

Description

全景画面拼接方法、装置、终端及对应的存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种全景画面拼接方法、装置、 终端及对应的存储介质。
背景技术
随着科技的发展，使用全景相机来拍摄全景画面的场景越来越多，人们对 全景画面的要求也越来越高。
现有全景画面一般是采用双镜头全景相机或多镜头全景相机进行拍摄，一 般双镜头全景相机或多镜头全景相机的多个镜头处于同一水平面上，每个镜头 负责对应角度的全景画面，然后将每个镜头拍摄的对应角度的全景画面进行合 成即形成对应的360度全景画面。
为了保证合成后的360度全景画面的画面质量，双镜头全景相机或多镜头 全景相机的多个镜头一般会设置的比较接近，如25-55mm；但是即使这样设计， 进行全景画面拼接时，由于相邻镜头看近处物体时的视线夹角不同，每个全景 画面的边缘处的物体依然会存在重影的问题。
故，有必要提供一种全景画面拼接方法及装置，以解决现有技术所存在的 问题。
发明内容
本发明实施例提供一种可较好的消除重影现象的全景画面拼接方法及装置， 以解决现有的全景画面拼接方法及装置进行全景画面拼接时会产生重影现象的 技术问题。
本发明实施例提供一种全景画面拼接方法，用于对多镜头全景相机中每个 镜头拍摄的全景画面进行拼接操作，其包括：
获取每个镜头拍摄的部分全景画面；
对每个所述部分全景画面进行等矩形展开，以获取每个部分全景画面的第 一等矩形长方投影图；
根据所述多镜头全景相机中每个镜头的设置位置，对所述部分全景画面的 第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图；其中所 述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧； 以及
根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对相邻的第二 等矩形长方投影图的拼接位置进行调整，并按调整后的拼接位置对所述第二等 矩形长方投影图进行拼接操作。
在本发明所述的全景画面拼接方法中，所述对每个所述部分全景画面进行 等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图的步骤包括：
基于所述多镜头全景相机的镜头参数获取所述部分全景画面的像素的球面 坐标参数；
根据所述部分全景画面的像素的球面坐标参数，获取所述部分全景画面的 像素的球面直角坐标；以及
根据预设的等矩形展开公式，将所述部分全景画面的像素的球面直角坐标 转换为第一等矩形长方投影图的像素的平面直角坐标。
在本发明所述的全景画面拼接方法中，所述根据所述部分全景画面的像素 的球面坐标参数，获取所述部分全景画面的像素的球面直角坐标的步骤包括：
使用以下公式获取所述部分全景画面的像素的球面坐标；
x＝sin(kr)×sin(α)；
x＝sin(kr)×cos(α)；
z＝cos(kr)；
其中r为所述部分全景画面的像素的球面坐标的径向距离，ɑ为所述部分 全景画面的像素的球面坐标的方位角，k为所述多镜头全景相机的鱼眼镜头畸 变参数，x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像素 的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标。
在本发明所述的全景画面拼接方法中，所述根据预设的等矩形展开公式， 将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像 素的平面直角坐标的步骤包括：
使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标；
vequi＝atan(y/z)*image1Height；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像 素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width 为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图 的高度，uequi为第一等矩形长方投影图的像素的平面直角横坐标，vequi为第一等 矩形长方投影图的像素的平面直角纵坐标。
在本发明所述的全景画面拼接方法中，所述根据所述多镜头全景相机中每 个镜头的设置位置，对所述部分全景画面的第一等矩形长方投影图进行旋转转 换，以得到第二等矩形长方投影图的步骤包括：
vequi＝atan(y/z)*image1Height；
p(x，y，z)＝P；
pflow-equi(xflow-equi，yflow-equi，zflow-equi)＝R·P；
vflow-equi＝atan(yflow-equi/zflow-equi)*image2Height；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像 素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width 为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图 的高度，image2Width为第二等矩形长方投影图的画面宽度，image2Height为 第二等矩形长方投影图的高度，uequi为第一等矩形长方投影图的像素的平面直 角横坐标，vequi为第一等矩形长方投影图的像素的平面直角纵坐标，uflow-equi为 第二等矩形长方投影图的像素的平面直角横坐标，vflow-equi为第二等矩形长方投 影图的像素的平面直角纵坐标。
在本发明所述的全景画面拼接方法中，所述根据相邻的第二等矩形长方投 影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行 调整的步骤包括：
获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧 中的像素的亮度值以及光流数据；
根据所述主第二等矩形长方投影图的拼接侧相对所述次第二等矩形长方投 影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度，确定所 述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置。
在本发明所述的全景画面拼接方法中，根据以下公式确定所述主第二等矩 形长方投影图与所述次第二等矩形长方投影图的拼接位置；
其中I2(i，j)为次第二等矩形长方投影图的坐标(i，j)的像素的亮度值， I1(i+Δxi，j，j+Δyi，j)为主第二等矩形长方投影图的坐标(i+Δxi，j，j+Δyi，j)的像素的亮度 值，其中Δxi，j为主第二等矩形长方投影图的坐标(i，j)的像素的x轴的光流数据，Δyi，j为主第二等矩形长方投影图的坐标(i，j)的像素的y轴的光流数据，ω为平滑度常 数。
在本发明所述的全景画面拼接方法中，所述全景画面拼接方法还包括：
获取一帧全景画面帧进行拼接操作的拼接操作时间；
根据所述拼接操作时间以及全景画面帧播放速率，对所有的全景画面帧进 行分组；
对每组的第一帧全景画面帧进行拼接操作，获取每组第一帧全景画面帧的 拼接结果；并根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第 n全景画面帧组中第一帧全景画面帧的拼接结果，确定第n全景画面帧组中其 他全景画面帧的拼接结果。
在本发明所述的全景画面拼接方法中，所述根据第n+1全景画面帧组中第 一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接 结果，确定第n全景画面帧组中其他全景画面帧的拼接结果的步骤包括：
根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画 面帧组中第一帧全景画面帧的拼接结果，使用差值算法确定第n全景画面帧组 中其他全景画面帧的拼接结果。
本发明实施例还提供一种全景画面拼接装置，用于对多镜头全景相机中的 每个镜头拍摄的全景画面进行拼接操作，其包括：
部分全景画面获取模块，用于获取每个镜头拍摄的部分全景画面；
画面展开模块，用于对每个所述部分全景画面进行等矩形展开，以获取每 个部分全景画面的第一等矩形长方投影图；
画面旋转模块，用于根据所述多镜头全景相机中每个镜头的设置位置，对 所述部分全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形 长方投影图；其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长 方投影图的拼接侧；以及
画面拼接模块，用于根据相邻的第二等矩形长方投影图的拼接侧中的像素 光流，对相邻的第二等矩形长方投影图的拼接位置进行调整，并按调整后的拼 接位置对所述第二等矩形长方投影图进行拼接操作。
本发明实施例还提供一种计算机可读存储介质，其内存储有处理器可执行 指令，所述指令由一个或一个以上处理器加载，以执行上述全景画面拼接方法。
本发明实施例还提供一种终端，其包括处理器和存储器，所述存储器存储 有多条指令，所述处理器从所述存储器中加载指令，以执行上述全景画面拼接 方法。
本发明的全景画面拼接方法、装置、终端及对应的存储介质使用像素光流 对具有拼接侧的等矩形长方投影图进行拼接，可较好的消除拼接后的等矩形长 方投影图的重影现象，有效的解决了现有的全景画面拼接方法及装置进行全景 画面拼接时会产生重影现象的技术问题。
附图说明
图1为本发明的全景画面拼接方法的实施例的流程图；
图2为本发明的全景画面拼接方法的实施例中的部分全景画面的示意图；
图3为本发明的全景画面拼接方法的实施例中的第一等矩形长方投影图的 示意图；
图4为本发明的全景画面拼接方法的实施例中的第二等矩形长方投影图的 示意图；
图5为本发明的全景画面拼接方法的实施例的步骤S102的流程图；
图6a为本发明的全景画面拼接方法的实施例的步骤S104的流程图；
图6b为未经过拼接位置调整直接对相邻的第二等矩形长方投影图进行拼 接操作的效果示意图；
图6c为经过拼接位置调整后，对相邻的第二等矩形长方投影图进行拼接操 作的效果示意图；
图7为本发明的全景画面拼接方法的实施例的全景视频画面的画面拼接流 程图；
图8为本发明的全景画面拼接装置的实施例的结构示意图；
图9为本发明的全景画面拼接装置所在的电子设备的工作环境结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的全景画面拼接方法及全景画面拼接装置可设置在任何的电子设备 中，用于对全景画面进行拼接操作，并可有效的消除拼接后的全景画面(如等 矩形长方投影图)的重影现象。该电子设备包括但不限于可穿戴设备、头戴设 备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动 设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、 消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布 式计算环境，等等。该电子设备优选为具有至少两个拍摄镜头的全景相机，以 便该全景相机可输出不具有重影现象的全景画面，提高了全景画面的画面输出 质量。
请参照图1，图1为本发明的全景画面拼接方法的实施例的流程图。本实 施例的全景画面拼接方法可使用上述的电子设备进行实施，该全景画面拼接方 法包括：
步骤S101，获取每个拍摄镜头拍摄的部分全景画面；
步骤S102，对每个部分全景画面进行等矩形展开，以获取每个部分全景画 面的第一等矩形长方投影图；
步骤S103，根据多镜头全景相机中每个镜头的设置位置，对部分全景画面 的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图；其中 第二等矩形长方投影图的拼接带位于第二等矩形长方投影图的拼接侧；
步骤S104，根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对 相邻的第二等矩形长方投影图的拼接位置进行调整，并按调整后的拼接位置对 第二等矩形长方投影图进行拼接操作。
下面详细说明本实施例的全景画面拼接方法的全景画面拼接过程。
在步骤S101中，全景画面拼接装置可设置在多镜头全景相机内，也可设置 在任意与多镜头全景相机连接，用于对多镜头全景相机的输出全景画面进行画 面拼接处理的电子设备中。
全景画面拼接装置获取多镜头全景相机的每个拍摄镜头拍摄的部分全景画 面，这里的拍摄镜头一般为鱼眼镜头，拍摄出来的部分全景画面与镜头形状一 直，一般为圆形，如图2所示。
如该多镜头全景相机为双镜头全景相机，则两个拍摄镜头可背靠背设置， 两个拍摄镜头的视野均大于180度，这样在本步骤中全景画面拼接装置可获取 每个拍摄镜头拍摄的圆形的部分全景画面，且两个部分全景画面的内容具有重 叠部分。
在步骤S102中，全景画面拼接装置对上述部分全景画面进行拼接的过程中， 需要对部分全景画面的重叠部分进行拼接位置调整，以使得拼接后的全景画面 的重叠部分的叠加不会产生重影现象。
因此全景画面拼接装置对步骤S101获取的每个部分全景画面进行等矩形 展开，以获取每个部分全景画面的第一等矩形长方投影图，图2中的部分全景 画面进行等矩形展开后形成的第一等矩形长方投影图如图3所示。
具体的，请参照图5，图5为本发明的全景画面拼接方法的实施例的步骤 S102的流程图。该步骤S102包括：
步骤S501，基于多镜头全景相机的镜头参数获取部分全景画面的像素的球 面坐标参数，以便对部分全景画面的像素进行坐标系的转换。这里的镜头参数 包括但不限于多镜头全景相机的鱼眼镜头畸变参数以及对应的部分全景画面的 球面坐标系参数。
步骤S502，根据部分全景画面的像素的球面坐标参数，获取部分全景画面 的像素的球面直角坐标。
具体可使用以下公式获取所述部分全景画面的像素的球面坐标；
x＝sin(kr)×sin(α)；
y＝sin(kr)×cos(α)；
z＝cos(kr)；
其中r为部分全景画面的像素的球面坐标的径向距离，ɑ为部分全景画面 的像素的球面坐标的方位角，k为多镜头全景相机的鱼眼镜头畸变参数，x为部 分全景画面的像素的球面直角横坐标，y为部分全景画面的像素的球面直角纵 坐标，z为部分全景画面的像素的球面直角竖坐标。
这样可获取部分全景画面的像素的球面直角坐标(x，y，z)。
步骤S503，根据预设的等矩形展开公式，将步骤S502获取的部分全景画 面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标。
具体可使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标；
vequi＝atan(y/z)*image1Height；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像 素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width 为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图 的高度，uequi为第一等矩形长方投影图的像素的平面直角横坐标，vequi为第一等
矩形长方投影图的像素的平面直角纵坐标。
这样可获取第一等矩形长方投影图的像素的平面直角坐标(uequi，vequi)。
在步骤S103中，由于第一等矩形长方投影图中的具有多个拼接侧，且拼接 侧的重叠区域分布不均匀，靠近第一等矩形长方投影图的上边缘和下边缘具有 明显的膨胀，因此在本步骤中，全景画面拼接装置根据多镜头全景相机中每个 镜头的设置位置，对部分全景画面的第一等矩形长方投影图进行旋转转换，以 得到第二等矩形长方投影图。
转换后的第二等矩长方投影图的拼接带位于第二等矩形长方投影图的拼接 侧，且第二等矩形长方投影图只具有一个拼接侧，这样对相邻的第二等矩形长 方投影图进行拼接操作时，只需要考虑相邻的第二等矩形长方投影图的拼接侧 中的像素光流即可实现部分全景画面(或第二等矩形长方投影图)的拼接位置 调整。图3中的第一等矩形长方投影图进行旋转转换后的第二等矩形长方投影 图如图4所示。其中图4的A区域为转换后的第二等矩长方投影图的拼接带区 域。
具体可通过以下公式获取第二等矩形长方投影图的像素的平面直角坐标；
vequi＝atan(y/z)*image1Height；
p(x，y，z)＝P；
pflow-equi(xflow-equi，yflow-equi，zflow-equi)＝R·P；
vflow-equi＝atan(yflow-equi/zflow-equi)*image2heght；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像 素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width 为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图 的高度，image2Width为第二等矩形长方投影图的画面宽度，image2Height为 第二等矩形长方投影图的高度，uequi为第一等矩形长方投影图的像素的平面直 角横坐标，vequi为第一等矩形长方投影图的像素的平面直角纵坐标，uflow-equi为 第二等矩形长方投影图的像素的平面直角横坐标，vflow-equi为第二等矩形长方投 影图的像素的平面直角纵坐标。
这样可获取第二等矩形长方投影图的像素的平面直角坐标(vflow-equi， vflow-equi)。
在步骤S104中，全景画面拼接装置根据步骤S103获取的相邻的第二等矩 形长方投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接 位置进行调整，并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
具体请参照图6a，图6a为本发明的全景画面拼接方法的实施例的步骤S104 的流程图。该步骤S104包括：
步骤S601，全景画面拼接装置获取相邻的主第二等矩形长方投影图和次第 二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据；
步骤S602，全景画面拼接装置根据主第二等矩形长方投影图的拼接侧相对 次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据 变化平滑度，确定主第二等矩形长方投影图与次第二等矩形长方投影图的拼接 位置。
具体的，可通过以下公式确定主第二等矩形长方投影图与次第二等矩形长 方投影图的拼接位置；
其中I2(i，j)为次第二等矩形长方投影图的坐标(i，j)的像素的亮度值， I1(i+Δxi，j，j+Δyi，j)为主第二等矩形长方投影图的坐标(i+Δxi，j，j+Δyi，j)的像素的亮度 值，其中Δxi，j为主第二等矩形长方投影图的坐标(i，j)的像素的x轴的光流数据，Δyi，j为主第二等矩形长方投影图的坐标(i，j)的像素的y轴的光流数据，Δxu，v为次第二 等矩形长方投影图的坐标(u，v)的像素在x轴的光流数据，Δyu，v为次第二等矩形长 方投影图的坐标(u，v)的像素在y轴的光流数据，ω为平滑度常数。
其中该公式中的第一项是数据项，是将偏移了(Δxi，j，Δyi，j)的主第二等矩 形长方投影图的拼接侧的每个像素与次第二等矩形长方投影图的拼接侧的对应 的像素的亮度值进行比较，通过选择一个主第二等矩形长方投影图与次第二等 矩形长方投影图的拼接位置，使得主第二等矩形长方投影图的拼接侧的每个像 素与次第二等矩形长方投影图的拼接侧的对应的像素的亮度值差尽可能小。
该公式中的第二项是平滑项，是要保证偏移了(Δxi，j，Δyi，j)的主第二等矩 形长方投影图的拼接侧的每个像素与次第二等矩形长方投影图的拼接侧的对应 像素的光流数据变化量尽可能小。
该公式通过主第二等矩形长方投影图的拼接侧的每个像素的光流数据(Δxi，j，Δyi，j)来获取满足上述拼接条件的主第二等矩形长方投影图的像素的拼接点 (i|Δxi，j，j|Δyi，j)，随后将主第二等矩形长方投影图的像素的拼接点(i|Δxi，j，j|Δyi，j) 与次第二等矩形长方投影图的像素的拼接点(i，j)进行拼接操作，即完成了主第二 等矩形长方投影图相对次第二等矩形长方投影图的拼接位置调整。具体的拼接 操作效果请参照图6b和图6c，其中图6b是未经过拼接位置调整直接对相邻的 第二等矩形长方投影图进行拼接操作的效果示意图；图6c是经过拼接位置调整 后，对相邻的第二等矩形长方投影图进行拼接操作的效果示意图。其中图6b 的人物眼镜部分明显存在重影现象，图6c中的人物眼睛部分已经消除了重影现 象。
最后全景画面拼接装置按调整后的拼接位置对第二等矩形长方投影图进行 拼接操作。
仅依据第二等矩形长方投影图的拼接侧的像素光流对第二等矩形长方投影 图进行拼接，简化了整个拼接操作的难度，且保证了拼接后的第二等矩形长方 投影图的画面质量，进而保证了拼接后的全景画面的画面质量。
这样即完成了本实施例的全景画面拼接方法的全景画面拼接过程。
本实施例的全景画面拼接方法使用像素光流对具有拼接侧的等矩形长方投 影图进行拼接，可较好的消除拼接后的等矩形长方投影图的重影现象。
当使用本发明的全景画面拼接方法进行全景视频画面的画面拼接时，如每 帧全景画面帧的拼接位置的计算可以在一帧画面的时间内完成，则可实现全景 视频画面的实时画面拼接以及画面输出。如一帧全景画面帧进行拼接操作的拼 接操作时间大于一帧全景画面帧的显示时间，则需要通过以下步骤进行全景视 频画面的画面拼接以及实时输出流程。
请参照图7，图7为本发明的全景画面拼接方法的实施例的全景视频画面 的画面拼接流程图。本发明的全景画面拼接装置用于进行全景视频画面拼接时， 该全景画面拼接方法包括：
步骤S701，全景画面拼接装置获取一帧全景画面帧进行拼接操作的拼接操 作时间；该拼接操作时间应远大于一帧全景画面帧的显示时间。
步骤S702，全景画面拼接装置根据步骤S701获取的拼接操作时间以及全 景画面帧播放速率，对所有的全景画面帧进行分组。如每次拼接操作的时间等 于n帧全景画面帧的显示时间，则每经过n帧全景画面帧，只能进行一帧全景 画面帧进行拼接操作，这里按全景画面帧进行拼接操作的时间点，对所有的全 景画面帧进行分组。即每组全景画面帧中只有一帧全景画面帧进行了拼接操作。
步骤S703，全景画面拼接装置对步骤S702获取的每组的第一帧全景画面 帧进行拼接操作，并获取每组第一帧全景画面帧的拼接结果。
随后全景画面拼接装置根据第n+1全景画面帧组中第一帧全景画面帧的拼 接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果，确定第n全景 画面帧组中其他全景画面帧的拼接结果，即通过相邻的两个第一帧全景画面帧 确定两个第一帧全景画面帧之间的其他全集画面帧的拼接结果。
具体的，这里全景画面拼接装置可根据第n+1全景画面帧组中第一帧全景 画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果，使 用差值算法确定第n全景画面帧组中其他全景画面帧的拼接结果。
这样只需要对全景画面帧进行一定程度的延时显示，即可实现全景视频画 面的画面拼接以及实时输出流程。
本实施例的全景画面拼接方法通过延时显示以及预测拼接结果的方式，可 较好的全景视频画面中的重影现象，且可实现全景视频画面的画面拼接以及实 时输出。
本发明还提供一种全景画面拼接装置，请参照图8，图8为本发明的全景 画面拼接装置的实施例的结构示意图。本实施例的全景画面拼接装置可使用上 述的全景画面拼接方法进行实施，本实施例的全景画面拼接装置80包括部分全 景画面获取模块81、画面展开模块82、画面旋转模块83以及画面拼接模块84。
部分全景画面获取模块81用于获取每个镜头拍摄的部分全景画面；画面展 开模块82用于对每个部分全景画面进行等矩形展开，以获取每个部分全景画面 的第一等矩形长方投影图；画面旋转模块83用于根据多镜头全景相机中每个镜 头的设置位置，对部分全景画面的第一等矩形长方投影图进行旋转转换，以得 到第二等矩形长方投影图；其中第二等矩形长方投影图的拼接带位于第二等矩 形长方投影图的拼接侧；画面拼接模块84用于根据相邻的第二等矩形长方投影 图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行调 整，并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
本实施例的全景画面拼接装置80使用时，首先部分全景画面获取模块81 获取多镜头全景相机的每个拍摄镜头拍摄的部分全景画面，这里的拍摄镜头一 般为鱼眼镜头，拍摄出来的部分全景画面与镜头形状一直，一般为圆形，如图 2所示。
随后画面展开模块82对部分全景画面获取模块81获取的每个部分全景画 面进行等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图，图2 中的部分全景画面进行等矩形展开后形成的第一等矩形长方投影图如图3所示。
然后画面旋转模块83根据多镜头全景相机中每个镜头的设置位置，对部分 全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影 图。
转换后的第二等矩长方投影图的拼接带位于第二等矩形长方投影图的拼接 侧，且第二等矩形长方投影图只具有一个拼接侧，这样对相邻的第二等矩形长 方投影图进行拼接操作时，只需要考虑相邻的第二等矩形长方投影图的拼接侧 中的像素光流即可实现部分全景画面(或第二等矩形长方投影图)的拼接位置 调整。图3中的第一等矩形长方投影图进行旋转转换后的第二等矩形长方投影 图如图4所示。其中图4的A区域为转换后的第二等矩长方投影图的拼接带区 域。
最后画面拼接模块84根据画面旋转模块83获取的相邻的第二等矩形长方 投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进 行调整，并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
这样即完成了本实施例的全景画面拼接装置80的全景画面拼接过程。
本实施例的全景画面拼接装置的具体工作原理与上述的全景画面拼接方法 的实施例中的描述相同或相似，具体请参见上述全景画面拼接方法的实施例中 的相关描述。
本发明的全景画面拼接方法以及装置使用像素光流对具有拼接侧的等矩形 长方投影图进行拼接，可较好的消除拼接后的等矩形长方投影图的重影现象， 有效的解决了现有的全景画面拼接方法及装置进行全景画面拼接时会产生重影 现象的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般 地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。 例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行 应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和 该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线 程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图9和随后的讨论提供了对实现本发明所述的全景画面拼接装置所在的电 子设备的工作环境的简短、概括的描述。图9的工作环境仅仅是适当的工作环 境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。 实例电子设备912包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人 计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人 数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型 计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通 用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文 讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定 抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该 计算机可读指令的功能可以在各种环境中随意组合或分布。
图9图示了包括本发明的全景画面拼接装置中的一个或多个实施例的电子 设备912的实例。在一种配置中，电子设备912包括至少一个处理单元916和 存储器918。根据电子设备的确切配置和类型，存储器918可以是易失性的(比 如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图 9中由虚线914图示。
在其他实施例中，电子设备912可以包括附加特征和/或功能。例如，设 备912还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括 但不限于磁存储装置、光存储装置等等。这种附加存储装置在图9中由存储装 置920图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计 算机可读指令可以在存储装置920中。存储装置920还可以存储用于实现操作 系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器918 中由例如处理单元916执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介 质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技 术实现的易失性和非易失性、可移除和不可移除介质。存储器918和存储装置 920是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、 EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存 储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储 期望信息并可以被电子设备912访问的任何其他介质。任意这样的计算机存储介质可以是电子设备912的一部分。
电子设备912还可以包括允许电子设备912与其他设备通信的通信连接 926。通信连接926可以包括但不限于调制解调器、网络接口卡(NIC)、集成网 络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备912连 接到其他电子设备的其他接口。通信连接926可以包括有线连接或无线连接。 通信连接926可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可 读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并 且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信 号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备912可以包括输入设备924，比如键盘、鼠标、笔、语音输入设 备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备 912中也可以包括输出设备922，比如一个或多个显示器、扬声器、打印机和/ 或任意其他输出设备。输入设备924和输出设备922可以经由有线连接、无线 连接或其任意组合连接到电子设备912。在一个实施例中，来自另一个电子设 备的输入设备或输出设备可以被用作电子设备912的输入设备924或输出设备 922。
电子设备912的组件可以通过各种互连(比如总线)连接。这样的互连可 以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE 1394)、光学总线结构等等。在另一个实施例中，电子设备912的组件可以通过 网络互连。例如，存储器918可以由位于不同物理位置中的、通过网络互连的 多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越 网络分布。例如，可经由网络928访问的电子设备930可以存储用于实现本发 明所提供的一个或多个实施例的计算机可读指令。电子设备912可以访问电子 设备930并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子 设备912可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备912处执行并且一些指令可以在电子设备930处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作 可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设 备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被 解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书 的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的 每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本 领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。 本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别 地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组 件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的 任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性 实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对 于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定 应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就 术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言， 这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个 单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成 的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所 述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时， 也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读 存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的 方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方 便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以 限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可 作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (12)

1.一种全景画面拼接方法，用于对多镜头全景相机中每个镜头拍摄的全景画面进行拼接操作，其特征在于，所述全景画面拼接方法包括：
获取每个镜头拍摄的部分全景画面；
对每个所述部分全景画面进行等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图；
根据所述多镜头全景相机中每个镜头的设置位置，对所述部分全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图；其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧；以及
根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行调整，并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。
2.根据权利要求1所述的全景画面拼接方法，其特征在于，所述对每个所述部分全景画面进行等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图的步骤包括：
基于所述多镜头全景相机的镜头参数获取所述部分全景画面的像素的球面坐标参数；
根据所述部分全景画面的像素的球面坐标参数，获取所述部分全景画面的像素的球面直角坐标；以及
根据预设的等矩形展开公式，将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标。
3.根据权利要求2所述的全景画面拼接方法，其特征在于，所述根据所述部分全景画面的像素的球面坐标参数，获取所述部分全景画面的像素的球面直角坐标的步骤包括：
使用以下公式获取所述部分全景画面的像素的球面坐标；
x＝sin(kr)×sin(α)；
y＝sin(kr)×cos(α)；
z＝cos(kr)；
其中r为所述部分全景画面的像素的球面坐标的径向距离，ɑ为所述部分全景画面的像素的球面坐标的方位角，k为所述多镜头全景相机的鱼眼镜头畸变参数，x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标。
4.根据权利要求2所述的全景画面拼接方法，其特征在于，所述根据预设的等矩形展开公式，将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标的步骤包括：
使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标；
vequi＝atan(y/z)*image1Height；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图的高度，uequi为第一等矩形长方投影图的像素的平面直角横坐标，vequi为第一等矩形长方投影图的像素的平面直角纵坐标。
5.根据权利要求1所述的全景画面拼接方法，其特征在于，所述根据所述多镜头全景相机中每个镜头的设置位置，对所述部分全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图的步骤包括：
vequi＝atan(y/z)*image1Height；
p(x，y，z)＝P；
pflow-equi(xflow-equi，yflow-equi，zflow-equi)＝R·P；
vflow-equi＝atan(yflow-equi/zflow-equi)*image2Height；
其中x为部分全景画面的像素的球面直角横坐标，y为部分全景画面的像素的球面直角纵坐标，z为部分全景画面的像素的球面直角竖坐标，image1Width为第一等矩形长方投影图的画面宽度，image1Height为第一等矩形长方投影图的高度，image2Width为第二等矩形长方投影图的画面宽度，image2Height为第二等矩形长方投影图的高度，uequi为第一等矩形长方投影图的像素的平面直角横坐标，vequi为第一等矩形长方投影图的像素的平面直角纵坐标，uflow-equi为第二等矩形长方投影图的像素的平面直角横坐标，vflow-equi为第二等矩形长方投影图的像素的平面直角纵坐标。
6.根据权利要求1所述的全景画面拼接方法，其特征在于，所述根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行调整的步骤包括：
获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据；
根据所述主第二等矩形长方投影图的拼接侧相对所述次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度，确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置。
7.根据权利要求6所述的全景画面拼接方法，其特征在于，根据以下公式确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置；
其中I2(i，j)为次第二等矩形长方投影图的坐标(i，j)的像素的亮度值，I1(i+Δxi，j，j+Δyi，j)为主第二等矩形长方投影图的坐标(i+Δxi，j，j+Δyi，j)的像素的亮度值，其中Δxi，j为主第二等矩形长方投影图的坐标(i，j)的像素的x轴的光流数据，Δyi，j为主第二等矩形长方投影图的坐标(i，j)的像素的y轴的光流数据，Δxu，v为次第二等矩形长方投影图的坐标(u，v)的像素在x轴的光流数据，Δyu，v为次第二等矩形长方投影图的坐标(u，v)的像素在y轴的光流数据，ω为平滑度常数。
8.根据权利要求1所述的全景画面拼接方法，其特征在于，所述全景画面拼接方法还包括：
获取一帧全景画面帧进行拼接操作的拼接操作时间；
根据所述拼接操作时间以及全景画面帧播放速率，对所有的全景画面帧进行分组；
对每组的第一帧全景画面帧进行拼接操作，获取每组第一帧全景画面帧的拼接结果；并根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果，确定第n全景画面帧组中其他全景画面帧的拼接结果。
9.根据权利要求8所述的全景画面拼接方法，其特征在于，所述根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果，确定第n全景画面帧组中其他全景画面帧的拼接结果的步骤包括：
根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果，使用差值算法确定第n全景画面帧组中其他全景画面帧的拼接结果。
10.一种全景画面拼接装置，用于对多镜头全景相机中的每个镜头拍摄的全景画面进行拼接操作，其特征在于，包括：
部分全景画面获取模块，用于获取每个镜头拍摄的部分全景画面；
画面展开模块，用于对每个所述部分全景画面进行等矩形展开，以获取每个部分全景画面的第一等矩形长方投影图；
画面旋转模块，用于根据所述多镜头全景相机中每个镜头的设置位置，对所述部分全景画面的第一等矩形长方投影图进行旋转转换，以得到第二等矩形长方投影图；其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧；以及
画面拼接模块，用于根据相邻的第二等矩形长方投影图的拼接侧中的像素光流，对相邻的第二等矩形长方投影图的拼接位置进行调整，并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。
11.一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行如权利要求1-9中任一的全景画面拼接方法。
12.一种终端，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器从所述存储器中加载指令，以执行如权利要求1-9任一项所述的全景画面拼接方法。
CN201811638831.6A 2018-12-29 2018-12-29 全景画面拼接方法、装置、终端及对应的存储介质 Active CN109685721B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811638831.6A CN109685721B (zh) 2018-12-29 2018-12-29 全景画面拼接方法、装置、终端及对应的存储介质
US17/419,303 US11562465B2 (en) 2018-12-29 2019-12-26 Panoramic image stitching method and apparatus, terminal and corresponding storage medium
PCT/CN2019/128675 WO2020135580A1 (zh) 2018-12-29 2019-12-26 全景画面拼接方法、装置、终端及对应的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811638831.6A CN109685721B (zh) 2018-12-29 2018-12-29 全景画面拼接方法、装置、终端及对应的存储介质

Publications (2)

Publication Number Publication Date
CN109685721A true CN109685721A (zh) 2019-04-26
CN109685721B CN109685721B (zh) 2021-03-16

Family

ID=66191289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811638831.6A Active CN109685721B (zh) 2018-12-29 2018-12-29 全景画面拼接方法、装置、终端及对应的存储介质

Country Status (3)

Country Link
US (1) US11562465B2 (zh)
CN (1) CN109685721B (zh)
WO (1) WO2020135580A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135580A1 (zh) * 2018-12-29 2020-07-02 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103207A (zh) * 2022-06-20 2022-09-23 广州合正智能科技有限公司 一种全景图片与视频的拼接方法及系统
CN116233615B (zh) * 2023-05-08 2023-07-28 深圳世国科技股份有限公司 一种基于场景的联动式摄像机控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393953A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 图像帧拼接方法和装置
CN106023070A (zh) * 2016-06-14 2016-10-12 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
CN106416226A (zh) * 2014-05-27 2017-02-15 株式会社理光 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
US20180114348A1 (en) * 2016-10-25 2018-04-26 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4740723B2 (ja) * 2005-11-28 2011-08-03 富士通株式会社 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法
CN103763479B (zh) 2013-12-31 2017-03-29 深圳英飞拓科技股份有限公司 实时高速高清全景视频的拼接装置及其方法
CN106355550B (zh) * 2016-10-31 2024-04-09 河北鼎联科技有限公司 图像拼接系统和图像拼接方法
CN106815802A (zh) * 2016-12-23 2017-06-09 深圳超多维科技有限公司 一种图像拼接方法及装置
CN107369129B (zh) * 2017-06-26 2020-01-21 深圳岚锋创视网络科技有限公司 一种全景图像的拼接方法、装置及便携式终端
CN109685721B (zh) * 2018-12-29 2021-03-16 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393953A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 图像帧拼接方法和装置
CN106416226A (zh) * 2014-05-27 2017-02-15 株式会社理光 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质
CN106023070A (zh) * 2016-06-14 2016-10-12 北京岚锋创视网络科技有限公司 实时全景拼接方法和装置
US20180114348A1 (en) * 2016-10-25 2018-04-26 Aspeed Technology Inc. Method and apparatus for generating panoramic image with rotation, translation and warping process
CN108122191A (zh) * 2016-11-29 2018-06-05 成都观界创宇科技有限公司 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN107392851A (zh) * 2017-07-04 2017-11-24 上海小蚁科技有限公司 用于生成全景图像的方法和设备
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020135580A1 (zh) * 2018-12-29 2020-07-02 深圳看到科技有限公司 全景画面拼接方法、装置、终端及对应的存储介质
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
CN114972144B (zh) * 2022-05-23 2024-02-02 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备

Also Published As

Publication number Publication date
CN109685721B (zh) 2021-03-16
US11562465B2 (en) 2023-01-24
WO2020135580A1 (zh) 2020-07-02
US20220076376A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN109685721A (zh) 全景画面拼接方法、装置、终端及对应的存储介质
CN107431796B (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
CN107079141B (zh) 用于三维视频的图像拼接
US8398246B2 (en) Real-time projection management
CN108377381A (zh) 沉浸式vr视频渲染方法及装置
US11074755B2 (en) Method, device, terminal device and storage medium for realizing augmented reality image
CN108846796B (zh) 图像拼接方法及电子设备
CN107637060A (zh) 相机装备和立体图像捕获
CN207369210U (zh) 用于立体视觉图像捕获的多层相机装置
JP7319974B2 (ja) バレットタイム撮影効果の実現方法及びパノラマカメラ
CN106164844A (zh) 双显示器系统
CN107908278B (zh) 一种虚拟现实vr界面生成的方法和装置
CN106162203A (zh) 全景视频播放方法、播放器与头戴式虚拟现实设备
CN105469387B (zh) 一种拼接质量的量化方法和量化装置
CN107180406A (zh) 图像处理方法和设备
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置
CN109767466A (zh) 画面渲染方法、装置、终端及对应的存储介质
CN108432237A (zh) 电子设备以及用于电子设备的控制方法
CN109840946A (zh) 虚拟对象显示方法及装置
Constantine et al. Project esky: Enabling high fidelity augmented reality on an open source platform
US10576727B2 (en) Generating three dimensional projections
CN106502401A (zh) 一种图像控制方法及装置
CN108259709A (zh) 一种用于子弹时间拍摄的视频图像防抖方法及系统
CN104052977A (zh) 一种交互式图像投影方法和装置
JP2016139199A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant