CN109685721B - 全景画面拼接方法、装置、终端及对应的存储介质 - Google Patents
全景画面拼接方法、装置、终端及对应的存储介质 Download PDFInfo
- Publication number
- CN109685721B CN109685721B CN201811638831.6A CN201811638831A CN109685721B CN 109685721 B CN109685721 B CN 109685721B CN 201811638831 A CN201811638831 A CN 201811638831A CN 109685721 B CN109685721 B CN 109685721B
- Authority
- CN
- China
- Prior art keywords
- rectangular projection
- panoramic picture
- rectangular
- picture
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000006243 chemical reaction Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本发明提供一种全景画面拼接方法,用于对多镜头全景相机中每个镜头拍摄的全景画面进行拼接操作,其包括:获取每个镜头拍摄的部分全景画面;对每个部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;根据多镜头全景相机中每个镜头的设置位置,对部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。本发明使用像素光流对具有拼接侧的等矩形长方投影图进行拼接,可较好的消除拼接后的等矩形长方投影图的重影现象。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种全景画面拼接方法、装置、终端及对应的存储介质。
背景技术
随着科技的发展,使用全景相机来拍摄全景画面的场景越来越多,人们对全景画面的要求也越来越高。
现有全景画面一般是采用双镜头全景相机或多镜头全景相机进行拍摄,一般双镜头全景相机或多镜头全景相机的多个镜头处于同一水平面上,每个镜头负责对应角度的全景画面,然后将每个镜头拍摄的对应角度的全景画面进行合成即形成对应的360度全景画面。
为了保证合成后的360度全景画面的画面质量,双镜头全景相机或多镜头全景相机的多个镜头一般会设置的比较接近,如25-55mm;但是即使这样设计,进行全景画面拼接时,由于相邻镜头看近处物体时的视线夹角不同,每个全景画面的边缘处的物体依然会存在重影的问题。
故,有必要提供一种全景画面拼接方法及装置,以解决现有技术所存在的问题。
发明内容
本发明实施例提供一种可较好的消除重影现象的全景画面拼接方法及装置,以解决现有的全景画面拼接方法及装置进行全景画面拼接时会产生重影现象的技术问题。
本发明实施例提供一种全景画面拼接方法,用于对多镜头全景相机中每个镜头拍摄的全景画面进行拼接操作,其包括:
获取每个镜头拍摄的部分全景画面;
对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;
根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧;以及
根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。
在本发明所述的全景画面拼接方法中,所述对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图的步骤包括:
基于所述多镜头全景相机的镜头参数获取所述部分全景画面的像素的球面坐标参数;
根据所述部分全景画面的像素的球面坐标参数,获取所述部分全景画面的像素的球面直角坐标;以及
根据预设的等矩形展开公式,将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标。
在本发明所述的全景画面拼接方法中,所述根据所述部分全景画面的像素的球面坐标参数,获取所述部分全景画面的像素的球面直角坐标的步骤包括:
使用以下公式获取所述部分全景画面的像素的球面坐标;
x=sin(kr)×sin(α);
y=sin(kr)×cos(α);
z=cos(kr);
其中r为所述部分全景画面的像素的球面坐标的径向距离,α为所述部分全景画面的像素的球面坐标的方位角,k为所述多镜头全景相机的鱼眼镜头畸变参数,x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标。
在本发明所述的全景画面拼接方法中,所述根据预设的等矩形展开公式,将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标的步骤包括:
使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标;
vequi=atan(y/z)*image1Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标。
在本发明所述的全景画面拼接方法中,所述根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图的步骤包括:
vequi=atan(y/z)*image1Height;
p(x,y,z)=P;
pflow-equi(xflow-equi,yflow-equi,zflow-equi)=R·P;
vflow-equi=atan(yflow-equi/zflow-equi)*image2Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,image2Width为第二等矩形长方投影图的画面宽度,image2Height为第二等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标,uflow-equi为第二等矩形长方投影图的像素的平面直角横坐标,vflow-equi为第二等矩形长方投影图的像素的平面直角纵坐标。
在本发明所述的全景画面拼接方法中,所述根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整的步骤包括:
获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据;
根据所述主第二等矩形长方投影图的拼接侧相对所述次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度,确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置。
在本发明所述的全景画面拼接方法中,根据以下公式确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置;
其中I2(i,j)为次第二等矩形长方投影图的坐标(i,j)的像素的亮度值,I1(i+Δxi,j,j+Δyi,j)为主第二等矩形长方投影图的坐标(i+Δxi,j,j+Δyi,j)的像素的亮度值,其中Δxi,j为主第二等矩形长方投影图的坐标(i,j)的像素的x轴的光流数据,Δyi,j为主第二等矩形长方投影图的坐标(i,j)的像素的y轴的光流数据,ω为平滑度常数。
在本发明所述的全景画面拼接方法中,所述全景画面拼接方法还包括:
获取一帧全景画面帧进行拼接操作的拼接操作时间;
根据所述拼接操作时间以及全景画面帧播放速率,对所有的全景画面帧进行分组;
对每组的第一帧全景画面帧进行拼接操作,获取每组第一帧全景画面帧的拼接结果;并根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,确定第n全景画面帧组中其他全景画面帧的拼接结果。
在本发明所述的全景画面拼接方法中,所述根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,确定第n全景画面帧组中其他全景画面帧的拼接结果的步骤包括:
根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,使用差值算法确定第n全景画面帧组中其他全景画面帧的拼接结果。
本发明实施例还提供一种全景画面拼接装置,用于对多镜头全景相机中的每个镜头拍摄的全景画面进行拼接操作,其包括:
部分全景画面获取模块,用于获取每个镜头拍摄的部分全景画面;
画面展开模块,用于对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;
画面旋转模块,用于根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧;以及
画面拼接模块,用于根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对所述第二等矩形长方投影图进行拼接操作。
本发明实施例还提供一种计算机可读存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行上述全景画面拼接方法。
本发明实施例还提供一种终端,其包括处理器和存储器,所述存储器存储有多条指令,所述处理器从所述存储器中加载指令,以执行上述全景画面拼接方法。
本发明的全景画面拼接方法、装置、终端及对应的存储介质使用像素光流对具有拼接侧的等矩形长方投影图进行拼接,可较好的消除拼接后的等矩形长方投影图的重影现象,有效的解决了现有的全景画面拼接方法及装置进行全景画面拼接时会产生重影现象的技术问题。
附图说明
图1为本发明的全景画面拼接方法的实施例的流程图;
图2为本发明的全景画面拼接方法的实施例中的部分全景画面的示意图;
图3为本发明的全景画面拼接方法的实施例中的第一等矩形长方投影图的示意图;
图4为本发明的全景画面拼接方法的实施例中的第二等矩形长方投影图的示意图;
图5为本发明的全景画面拼接方法的实施例的步骤S102的流程图;
图6a为本发明的全景画面拼接方法的实施例的步骤S104的流程图;
图6b为未经过拼接位置调整直接对相邻的第二等矩形长方投影图进行拼接操作的效果示意图;
图6c为经过拼接位置调整后,对相邻的第二等矩形长方投影图进行拼接操作的效果示意图;
图7为本发明的全景画面拼接方法的实施例的全景视频画面的画面拼接流程图;
图8为本发明的全景画面拼接装置的实施例的结构示意图;
图9为本发明的全景画面拼接装置所在的电子设备的工作环境结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的全景画面拼接方法及全景画面拼接装置可设置在任何的电子设备中,用于对全景画面进行拼接操作,并可有效的消除拼接后的全景画面(如等矩形长方投影图)的重影现象。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。该电子设备优选为具有至少两个拍摄镜头的全景相机,以便该全景相机可输出不具有重影现象的全景画面,提高了全景画面的画面输出质量。
请参照图1,图1为本发明的全景画面拼接方法的实施例的流程图。本实施例的全景画面拼接方法可使用上述的电子设备进行实施,该全景画面拼接方法包括:
步骤S101,获取每个拍摄镜头拍摄的部分全景画面;
步骤S102,对每个部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;
步骤S103,根据多镜头全景相机中每个镜头的设置位置,对部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中第二等矩形长方投影图的拼接带位于第二等矩形长方投影图的拼接侧;
步骤S104,根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
下面详细说明本实施例的全景画面拼接方法的全景画面拼接过程。
在步骤S101中,全景画面拼接装置可设置在多镜头全景相机内,也可设置在任意与多镜头全景相机连接,用于对多镜头全景相机的输出全景画面进行画面拼接处理的电子设备中。
全景画面拼接装置获取多镜头全景相机的每个拍摄镜头拍摄的部分全景画面,这里的拍摄镜头一般为鱼眼镜头,拍摄出来的部分全景画面与镜头形状一直,一般为圆形,如图2所示。
如该多镜头全景相机为双镜头全景相机,则两个拍摄镜头可背靠背设置,两个拍摄镜头的视野均大于180度,这样在本步骤中全景画面拼接装置可获取每个拍摄镜头拍摄的圆形的部分全景画面,且两个部分全景画面的内容具有重叠部分。
在步骤S102中,全景画面拼接装置对上述部分全景画面进行拼接的过程中,需要对部分全景画面的重叠部分进行拼接位置调整,以使得拼接后的全景画面的重叠部分的叠加不会产生重影现象。
因此全景画面拼接装置对步骤S101获取的每个部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图,图2中的部分全景画面进行等矩形展开后形成的第一等矩形长方投影图如图3所示。
具体的,请参照图5,图5为本发明的全景画面拼接方法的实施例的步骤S102的流程图。该步骤S102包括:
步骤S501,基于多镜头全景相机的镜头参数获取部分全景画面的像素的球面坐标参数,以便对部分全景画面的像素进行坐标系的转换。这里的镜头参数包括但不限于多镜头全景相机的鱼眼镜头畸变参数以及对应的部分全景画面的球面坐标系参数。
步骤S502,根据部分全景画面的像素的球面坐标参数,获取部分全景画面的像素的球面直角坐标。
具体可使用以下公式获取所述部分全景画面的像素的球面坐标;
x=sin(kr)×sin(α);
y=sin(kr)×cos(α);
z=cos(kr);
其中r为部分全景画面的像素的球面坐标的径向距离,α为部分全景画面的像素的球面坐标的方位角,k为多镜头全景相机的鱼眼镜头畸变参数,x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标。
这样可获取部分全景画面的像素的球面直角坐标(x,y,z)。
步骤S503,根据预设的等矩形展开公式,将步骤S502获取的部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标。
具体可使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标;
vequi=atan(y/z)*image1Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标。
这样可获取第一等矩形长方投影图的像素的平面直角坐标(uequi,vequi)。
在步骤S103中,由于第一等矩形长方投影图中的具有多个拼接侧,且拼接侧的重叠区域分布不均匀,靠近第一等矩形长方投影图的上边缘和下边缘具有明显的膨胀,因此在本步骤中,全景画面拼接装置根据多镜头全景相机中每个镜头的设置位置,对部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图。
转换后的第二等矩长方投影图的拼接带位于第二等矩形长方投影图的拼接侧,且第二等矩形长方投影图只具有一个拼接侧,这样对相邻的第二等矩形长方投影图进行拼接操作时,只需要考虑相邻的第二等矩形长方投影图的拼接侧中的像素光流即可实现部分全景画面(或第二等矩形长方投影图)的拼接位置调整。图3中的第一等矩形长方投影图进行旋转转换后的第二等矩形长方投影图如图4所示。其中图4的A区域为转换后的第二等矩长方投影图的拼接带区域。
具体可通过以下公式获取第二等矩形长方投影图的像素的平面直角坐标;
vequi=atan(y/z)*image1Height;
p(x,y,z)=P;
pflow-equi(xflow-equi,yflow-equi,zflow-equi)=R·P;
vflow-equi=atan(yflow-equi/zflow-equi)*image2Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,image2Width为第二等矩形长方投影图的画面宽度,image2Height为第二等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标,uflow-equi为第二等矩形长方投影图的像素的平面直角横坐标,vflow-equi为第二等矩形长方投影图的像素的平面直角纵坐标。
这样可获取第二等矩形长方投影图的像素的平面直角坐标(uflow-equi,Vflow-equi)。
在步骤S104中,全景画面拼接装置根据步骤S103获取的相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
具体请参照图6a,图6a为本发明的全景画面拼接方法的实施例的步骤S104的流程图。该步骤S104包括:
步骤S601,全景画面拼接装置获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据;
步骤S602,全景画面拼接装置根据主第二等矩形长方投影图的拼接侧相对次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度,确定主第二等矩形长方投影图与次第二等矩形长方投影图的拼接位置。
具体的,可通过以下公式确定主第二等矩形长方投影图与次第二等矩形长方投影图的拼接位置;
其中I2(i,j)为次第二等矩形长方投影图的坐标(i,j)的像素的亮度值,I1(i+Δxi,j,j+Δyi,j)为主第二等矩形长方投影图的坐标(i+Δxi,j,j+Δyi,j)的像素的亮度值,其中Δxi,j为主第二等矩形长方投影图的坐标(i,j)的像素的x轴的光流数据,Δyi,j为主第二等矩形长方投影图的坐标(i,j)的像素的y轴的光流数据,Δxu,v为次第二等矩形长方投影图的坐标(u,v)的像素在x轴的光流数据,Δyu,v为次第二等矩形长方投影图的坐标(u,v)的像素在y轴的光流数据,ω为平滑度常数。
其中该公式中的第一项是数据项,是将偏移了(Δxi,jΔyi,j)的主第二等矩形长方投影图的拼接侧的每个像素与次第二等矩形长方投影图的拼接侧的对应的像素的亮度值进行比较,通过选择一个主第二等矩形长方投影图与次第二等矩形长方投影图的拼接位置,使得主第二等矩形长方投影图的拼接侧的每个像素与次第二等矩形长方投影图的拼接侧的对应的像素的亮度值差尽可能小。
该公式中的第二项是平滑项,是要保证偏移了(Δxi,j,Δyi,j)的主第二等矩形长方投影图的拼接侧的每个像素与次第二等矩形长方投影图的拼接侧的对应像素的光流数据变化量尽可能小。
该公式通过主第二等矩形长方投影图的拼接侧的每个像素的光流数据(Δxi,j,Δyi,j)来获取满足上述拼接条件的主第二等矩形长方投影图的像素的拼接点(i+Δxi,j,j+Δyi,j),随后将主第二等矩形长方投影图的像素的拼接点(i+Δxi,j,j+Δyi,j)与次第二等矩形长方投影图的像素的拼接点(i,j)进行拼接操作,即完成了主第二等矩形长方投影图相对次第二等矩形长方投影图的拼接位置调整。具体的拼接操作效果请参照图6b和图6c,其中图6b是未经过拼接位置调整直接对相邻的第二等矩形长方投影图进行拼接操作的效果示意图;图6c是经过拼接位置调整后,对相邻的第二等矩形长方投影图进行拼接操作的效果示意图。其中图6b的人物眼镜部分明显存在重影现象,图6c中的人物眼睛部分已经消除了重影现象。
最后全景画面拼接装置按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
仅依据第二等矩形长方投影图的拼接侧的像素光流对第二等矩形长方投影图进行拼接,简化了整个拼接操作的难度,且保证了拼接后的第二等矩形长方投影图的画面质量,进而保证了拼接后的全景画面的画面质量。
这样即完成了本实施例的全景画面拼接方法的全景画面拼接过程。
本实施例的全景画面拼接方法使用像素光流对具有拼接侧的等矩形长方投影图进行拼接,可较好的消除拼接后的等矩形长方投影图的重影现象。
当使用本发明的全景画面拼接方法进行全景视频画面的画面拼接时,如每帧全景画面帧的拼接位置的计算可以在一帧画面的时间内完成,则可实现全景视频画面的实时画面拼接以及画面输出。如一帧全景画面帧进行拼接操作的拼接操作时间大于一帧全景画面帧的显示时间,则需要通过以下步骤进行全景视频画面的画面拼接以及实时输出流程。
请参照图7,图7为本发明的全景画面拼接方法的实施例的全景视频画面的画面拼接流程图。本发明的全景画面拼接装置用于进行全景视频画面拼接时,该全景画面拼接方法包括:
步骤S701,全景画面拼接装置获取一帧全景画面帧进行拼接操作的拼接操作时间;该拼接操作时间应远大于一帧全景画面帧的显示时间。
步骤S702,全景画面拼接装置根据步骤S701获取的拼接操作时间以及全景画面帧播放速率,对所有的全景画面帧进行分组。如每次拼接操作的时间等于n帧全景画面帧的显示时间,则每经过n帧全景画面帧,只能进行一帧全景画面帧进行拼接操作,这里按全景画面帧进行拼接操作的时间点,对所有的全景画面帧进行分组。即每组全景画面帧中只有一帧全景画面帧进行了拼接操作。
步骤S703,全景画面拼接装置对步骤S702获取的每组的第一帧全景画面帧进行拼接操作,并获取每组第一帧全景画面帧的拼接结果。
随后全景画面拼接装置根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,确定第n全景画面帧组中其他全景画面帧的拼接结果,即通过相邻的两个第一帧全景画面帧确定两个第一帧全景画面帧之间的其他全集画面帧的拼接结果。
具体的,这里全景画面拼接装置可根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,使用差值算法确定第n全景画面帧组中其他全景画面帧的拼接结果。
这样只需要对全景画面帧进行一定程度的延时显示,即可实现全景视频画面的画面拼接以及实时输出流程。
本实施例的全景画面拼接方法通过延时显示以及预测拼接结果的方式,可较好的全景视频画面中的重影现象,且可实现全景视频画面的画面拼接以及实时输出。
本发明还提供一种全景画面拼接装置,请参照图8,图8为本发明的全景画面拼接装置的实施例的结构示意图。本实施例的全景画面拼接装置可使用上述的全景画面拼接方法进行实施,本实施例的全景画面拼接装置80包括部分全景画面获取模块81、画面展开模块82、画面旋转模块83以及画面拼接模块84。
部分全景画面获取模块81用于获取每个镜头拍摄的部分全景画面;画面展开模块82用于对每个部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;画面旋转模块83用于根据多镜头全景相机中每个镜头的设置位置,对部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中第二等矩形长方投影图的拼接带位于第二等矩形长方投影图的拼接侧;画面拼接模块84用于根据相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
本实施例的全景画面拼接装置80使用时,首先部分全景画面获取模块81获取多镜头全景相机的每个拍摄镜头拍摄的部分全景画面,这里的拍摄镜头一般为鱼眼镜头,拍摄出来的部分全景画面与镜头形状一直,一般为圆形,如图2所示。
随后画面展开模块82对部分全景画面获取模块81获取的每个部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图,图2中的部分全景画面进行等矩形展开后形成的第一等矩形长方投影图如图3所示。
然后画面旋转模块83根据多镜头全景相机中每个镜头的设置位置,对部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图。
转换后的第二等矩长方投影图的拼接带位于第二等矩形长方投影图的拼接侧,且第二等矩形长方投影图只具有一个拼接侧,这样对相邻的第二等矩形长方投影图进行拼接操作时,只需要考虑相邻的第二等矩形长方投影图的拼接侧中的像素光流即可实现部分全景画面(或第二等矩形长方投影图)的拼接位置调整。图3中的第一等矩形长方投影图进行旋转转换后的第二等矩形长方投影图如图4所示。其中图4的A区域为转换后的第二等矩长方投影图的拼接带区域。
最后画面拼接模块84根据画面旋转模块83获取的相邻的第二等矩形长方投影图的拼接侧中的像素光流,对相邻的第二等矩形长方投影图的拼接位置进行调整,并按调整后的拼接位置对第二等矩形长方投影图进行拼接操作。
这样即完成了本实施例的全景画面拼接装置80的全景画面拼接过程。
本实施例的全景画面拼接装置的具体工作原理与上述的全景画面拼接方法的实施例中的描述相同或相似,具体请参见上述全景画面拼接方法的实施例中的相关描述。
本发明的全景画面拼接方法以及装置使用像素光流对具有拼接侧的等矩形长方投影图进行拼接,可较好的消除拼接后的等矩形长方投影图的重影现象,有效的解决了现有的全景画面拼接方法及装置进行全景画面拼接时会产生重影现象的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体:硬件、硬件和软件的组合、软件或执行中的软件。例如,组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示,运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内,并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图9和随后的讨论提供了对实现本发明所述的全景画面拼接装置所在的电子设备的工作环境的简短、概括的描述。图9的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备912包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境,等等。
尽管没有要求,但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块,比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地,该计算机可读指令的功能可以在各种环境中随意组合或分布。
图9图示了包括本发明的全景画面拼接装置中的一个或多个实施例的电子设备912的实例。在一种配置中,电子设备912包括至少一个处理单元916和存储器918。根据电子设备的确切配置和类型,存储器918可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图9中由虚线914图示。
在其他实施例中,电子设备912可以包括附加特征和/或功能。例如,设备912还可以包括附加的存储装置(例如可移除和/或不可移除的),其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图9中由存储装置920图示。在一个实施例中,用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置920中。存储装置920还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器918中由例如处理单元916执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器918和存储装置920是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备912访问的任何其他介质。任意这样的计算机存储介质可以是电子设备912的一部分。
电子设备912还可以包括允许电子设备912与其他设备通信的通信连接926。通信连接926可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备912连接到其他电子设备的其他接口。通信连接926可以包括有线连接或无线连接。通信连接926可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据,并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号:该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备912可以包括输入设备924,比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备912中也可以包括输出设备922,比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备924和输出设备922可以经由有线连接、无线连接或其任意组合连接到电子设备912。在一个实施例中,来自另一个电子设备的输入设备或输出设备可以被用作电子设备912的输入设备924或输出设备922。
电子设备912的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中,电子设备912的组件可以通过网络互连。例如,存储器918可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到,用于存储计算机可读指令的存储设备可以跨越网络分布。例如,可经由网络928访问的电子设备930可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备912可以访问电子设备930并且下载计算机可读指令的一部分或所有以供执行。可替代地,电子设备912可以按需要下载多条计算机可读指令,或者一些指令可以在电子设备912处执行并且一些指令可以在电子设备930处执行。
本文提供了实施例的各种操作。在一个实施例中,所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令,其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且,应当理解,不是所有操作必需在本文所提供的每个实施例中存在。
而且,尽管已经相对于一个或多个实现方式示出并描述了本公开,但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型,并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能,用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示),即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外,尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开,但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且,就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言,这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述的各装置或系统,可以执行相应方法实施例中的方法。
综上所述,虽然本发明已以实施例揭露如上,实施例前的序号仅为描述方便而使用,对本发明各实施例的顺序不造成限制。并且,上述实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。
Claims (10)
1.一种全景画面拼接方法,用于对多镜头全景相机中每个镜头拍摄的全景画面进行拼接操作,其特征在于,所述全景画面拼接方法包括:
获取每个镜头拍摄的部分全景画面;
对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;
根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧;
获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据;以及
根据所述主第二等矩形长方投影图的拼接侧相对所述次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度,通过以下公式确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置:
其中I2(i,j)为次第二等矩形长方投影图的坐标(i,j)的像素的亮度值,I1(i+Δxi,j,j+Δyi,j)为主第二等矩形长方投影图的坐标(i+Δxi,j,j+Δyi,j)的像素的亮度值,其中Δxi,j为主第二等矩形长方投影图的坐标(i,j)的像素的x轴的光流数据,Δyi,j为主第二等矩形长方投影图的坐标(i,j)的像素的y轴的光流数据,Δxu,v为次第二等矩形长方投影图的坐标(u,v)的像素在x轴的光流数据,Δyu,v为次第二等矩形长方投影图的坐标(u,v)的像素在y轴的光流数据,ω为平滑度常数。
2.根据权利要求1所述的全景画面拼接方法,其特征在于,所述对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图的步骤包括:
基于所述多镜头全景相机的镜头参数获取所述部分全景画面的像素的球面坐标参数;
根据所述部分全景画面的像素的球面坐标参数,获取所述部分全景画面的像素的球面直角坐标;以及
根据预设的等矩形展开公式,将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标。
3.根据权利要求2所述的全景画面拼接方法,其特征在于,所述根据所述部分全景画面的像素的球面坐标参数,获取所述部分全景画面的像素的球面直角坐标的步骤包括:
使用以下公式获取所述部分全景画面的像素的球面坐标;
x=sin(kr)×sin(α);
y=sin(kr)×cos(α);
z=cos(kr);
其中r为所述部分全景画面的像素的球面坐标的径向距离,α为所述部分全景画面的像素的球面坐标的方位角,k为所述多镜头全景相机的鱼眼镜头畸变参数,x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标。
4.根据权利要求2所述的全景画面拼接方法,其特征在于,所述根据预设的等矩形展开公式,将所述部分全景画面的像素的球面直角坐标转换为第一等矩形长方投影图的像素的平面直角坐标的步骤包括:
使用以下公式获取第一等矩形长方投影图的像素的平面直角坐标;
vequi=atan(y/z)*image1Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标。
5.根据权利要求1所述的全景画面拼接方法,其特征在于,所述根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图的步骤包括:
vequi=atan(y/z)*image1Height;
p(x,y,z)=P;
pflow-equi(xflow-equi,yflow-equi,zflow-equi)=R·P;
vflow-equi=atan(yflow-equi/zflow-equi)*image2Height;
其中x为部分全景画面的像素的球面直角横坐标,y为部分全景画面的像素的球面直角纵坐标,z为部分全景画面的像素的球面直角竖坐标,image1Width为第一等矩形长方投影图的画面宽度,image1Height为第一等矩形长方投影图的高度,image2Width为第二等矩形长方投影图的画面宽度,image2Height为第二等矩形长方投影图的高度,uequi为第一等矩形长方投影图的像素的平面直角横坐标,vequi为第一等矩形长方投影图的像素的平面直角纵坐标,uflow-equi为第二等矩形长方投影图的像素的平面直角横坐标,vflow-equi为第二等矩形长方投影图的像素的平面直角纵坐标。
6.根据权利要求1所述的全景画面拼接方法,其特征在于,所述全景画面拼接方法还包括:
获取一帧全景画面帧进行拼接操作的拼接操作时间;
根据所述拼接操作时间以及全景画面帧播放速率,对所有的全景画面帧进行分组;
对每组的第一帧全景画面帧进行拼接操作,获取每组第一帧全景画面帧的拼接结果;并根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,确定第n全景画面帧组中其他全景画面帧的拼接结果。
7.根据权利要求6所述的全景画面拼接方法,其特征在于,所述根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,确定第n全景画面帧组中其他全景画面帧的拼接结果的步骤包括:
根据第n+1全景画面帧组中第一帧全景画面帧的拼接结果以及第n全景画面帧组中第一帧全景画面帧的拼接结果,使用差值算法确定第n全景画面帧组中其他全景画面帧的拼接结果。
8.一种全景画面拼接装置,用于对多镜头全景相机中的每个镜头拍摄的全景画面进行拼接操作,其特征在于,包括:
部分全景画面获取模块,用于获取每个镜头拍摄的部分全景画面;
画面展开模块,用于对每个所述部分全景画面进行等矩形展开,以获取每个部分全景画面的第一等矩形长方投影图;
画面旋转模块,用于根据所述多镜头全景相机中每个镜头的设置位置,对所述部分全景画面的第一等矩形长方投影图进行旋转转换,以得到第二等矩形长方投影图;其中所述第二等矩形长方投影图的拼接带位于所述第二等矩形长方投影图的拼接侧;以及
画面拼接模块,用于获取相邻的主第二等矩形长方投影图和次第二等矩形长方投影图的拼接侧中的像素的亮度值以及光流数据;
根据所述主第二等矩形长方投影图的拼接侧相对所述次第二等矩形长方投影图的拼接侧中对应像素的亮度值变化幅度以及光流数据变化平滑度,通过以下公式确定所述主第二等矩形长方投影图与所述次第二等矩形长方投影图的拼接位置:
其中I2(i,j)为次第二等矩形长方投影图的坐标(i,j)的像素的亮度值,I1(i+Δxi,j,j+Δyi,j)为主第二等矩形长方投影图的坐标(i+Δxi,j,j+Δyi,j)的像素的亮度值,其中Δxi,j为主第二等矩形长方投影图的坐标(i,j)的像素的x轴的光流数据,Δyi,j为主第二等矩形长方投影图的坐标(i,j)的像素的y轴的光流数据,Δxu,v为次第二等矩形长方投影图的坐标(u,v)的像素在x轴的光流数据,Δyu,v为次第二等矩形长方投影图的坐标(u,v)的像素在y轴的光流数据,ω为平滑度常数。
9.一种计算机可读存储介质,其内存储有处理器可执行指令,所述指令由一个或一个以上处理器加载,以执行如权利要求1-7中任一的全景画面拼接方法。
10.一种终端,其特征在于,包括处理器和存储器,所述存储器存储有多条指令,所述处理器从所述存储器中加载指令,以执行如权利要求1-7任一项所述的全景画面拼接方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811638831.6A CN109685721B (zh) | 2018-12-29 | 2018-12-29 | 全景画面拼接方法、装置、终端及对应的存储介质 |
PCT/CN2019/128675 WO2020135580A1 (zh) | 2018-12-29 | 2019-12-26 | 全景画面拼接方法、装置、终端及对应的存储介质 |
US17/419,303 US11562465B2 (en) | 2018-12-29 | 2019-12-26 | Panoramic image stitching method and apparatus, terminal and corresponding storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811638831.6A CN109685721B (zh) | 2018-12-29 | 2018-12-29 | 全景画面拼接方法、装置、终端及对应的存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685721A CN109685721A (zh) | 2019-04-26 |
CN109685721B true CN109685721B (zh) | 2021-03-16 |
Family
ID=66191289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811638831.6A Active CN109685721B (zh) | 2018-12-29 | 2018-12-29 | 全景画面拼接方法、装置、终端及对应的存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11562465B2 (zh) |
CN (1) | CN109685721B (zh) |
WO (1) | WO2020135580A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685721B (zh) * | 2018-12-29 | 2021-03-16 | 深圳看到科技有限公司 | 全景画面拼接方法、装置、终端及对应的存储介质 |
CN114972144B (zh) * | 2022-05-23 | 2024-02-02 | 江苏势通生物科技有限公司 | 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备 |
CN115103207A (zh) * | 2022-06-20 | 2022-09-23 | 广州合正智能科技有限公司 | 一种全景图片与视频的拼接方法及系统 |
CN116233615B (zh) * | 2023-05-08 | 2023-07-28 | 深圳世国科技股份有限公司 | 一种基于场景的联动式摄像机控制方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393953A (zh) * | 2011-07-15 | 2012-03-28 | 汉王科技股份有限公司 | 图像帧拼接方法和装置 |
CN106023070A (zh) * | 2016-06-14 | 2016-10-12 | 北京岚锋创视网络科技有限公司 | 实时全景拼接方法和装置 |
CN106416226A (zh) * | 2014-05-27 | 2017-02-15 | 株式会社理光 | 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质 |
CN108122191A (zh) * | 2016-11-29 | 2018-06-05 | 成都观界创宇科技有限公司 | 鱼眼图像拼接成全景图像和全景视频的方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4740723B2 (ja) | 2005-11-28 | 2011-08-03 | 富士通株式会社 | 画像解析プログラム、該プログラムを記録した記録媒体、画像解析装置、および画像解析方法 |
CN103763479B (zh) * | 2013-12-31 | 2017-03-29 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
US10186067B2 (en) * | 2016-10-25 | 2019-01-22 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with rotation, translation and warping process |
CN106355550B (zh) | 2016-10-31 | 2024-04-09 | 河北鼎联科技有限公司 | 图像拼接系统和图像拼接方法 |
CN106815802A (zh) | 2016-12-23 | 2017-06-09 | 深圳超多维科技有限公司 | 一种图像拼接方法及装置 |
CN107369129B (zh) | 2017-06-26 | 2020-01-21 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的拼接方法、装置及便携式终端 |
CN107392851A (zh) * | 2017-07-04 | 2017-11-24 | 上海小蚁科技有限公司 | 用于生成全景图像的方法和设备 |
CN108416732A (zh) * | 2018-02-02 | 2018-08-17 | 重庆邮电大学 | 一种基于图像配准与多分辨率融合的全景图像拼接方法 |
CN109685721B (zh) * | 2018-12-29 | 2021-03-16 | 深圳看到科技有限公司 | 全景画面拼接方法、装置、终端及对应的存储介质 |
-
2018
- 2018-12-29 CN CN201811638831.6A patent/CN109685721B/zh active Active
-
2019
- 2019-12-26 WO PCT/CN2019/128675 patent/WO2020135580A1/zh active Application Filing
- 2019-12-26 US US17/419,303 patent/US11562465B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393953A (zh) * | 2011-07-15 | 2012-03-28 | 汉王科技股份有限公司 | 图像帧拼接方法和装置 |
CN106416226A (zh) * | 2014-05-27 | 2017-02-15 | 株式会社理光 | 图像处理系统、成像设备、图像处理方法以及计算机可读记录介质 |
CN106023070A (zh) * | 2016-06-14 | 2016-10-12 | 北京岚锋创视网络科技有限公司 | 实时全景拼接方法和装置 |
CN108122191A (zh) * | 2016-11-29 | 2018-06-05 | 成都观界创宇科技有限公司 | 鱼眼图像拼接成全景图像和全景视频的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US11562465B2 (en) | 2023-01-24 |
WO2020135580A1 (zh) | 2020-07-02 |
CN109685721A (zh) | 2019-04-26 |
US20220076376A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685721B (zh) | 全景画面拼接方法、装置、终端及对应的存储介质 | |
US9729787B2 (en) | Camera calibration and automatic adjustment of images | |
CN109314752B (zh) | 用于生成光流的方法和系统 | |
US20180352165A1 (en) | Device having cameras with different focal lengths and a method of implementing cameras with different focal lenghts | |
WO2021098544A1 (zh) | 图像处理方法及装置、存储介质、电子设备 | |
KR100796849B1 (ko) | 휴대 단말기용 파노라마 모자이크 사진 촬영 방법 | |
US10970821B2 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
CN109767466B (zh) | 画面渲染方法、装置、终端及对应的存储介质 | |
US10754420B2 (en) | Method and device for displaying image based on virtual reality (VR) apparatus | |
CN109767401B (zh) | 画面优化方法、装置、终端及对应的存储介质 | |
CN108846796B (zh) | 图像拼接方法及电子设备 | |
CN109561257B (zh) | 画面对焦方法、装置、终端及对应的存储介质 | |
US20220343520A1 (en) | Image Processing Method and Image Processing Apparatus, and Electronic Device Using Same | |
WO2013069555A1 (ja) | 画像処理装置および方法、並びにプログラム | |
KR100614004B1 (ko) | 자동화된 360°파노라마 이미지 생성 방법 | |
CN114390262A (zh) | 用于拼接三维球面全景影像的方法及电子装置 | |
WO2024119619A1 (zh) | 用于水下拍摄图片的校正方法、装置及存储介质 | |
US20220086350A1 (en) | Image Generation Method and Apparatus, Terminal and Corresponding Storage Medium | |
US10902265B2 (en) | Imaging effect based on object depth information | |
CN115147268A (zh) | 实时取景方法、全景相机及计算机可读存储介质 | |
Au et al. | Ztitch: A mobile phone application for immersive panorama creation, navigation, and social sharing | |
US10176559B2 (en) | Image processing method applied to an electronic device with an image acquiring unit and electronic device | |
WO2015038333A2 (en) | Imaging system with vanishing point detection using camera metadata and method of operation thereof | |
CN111480335B (zh) | 图像处理装置、图像处理方法、程序以及投影系统 | |
CN117119125A (zh) | 画面生成方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |