CN107369128A - 一种720度全景图像拍摄方法 - Google Patents

一种720度全景图像拍摄方法 Download PDF

Info

Publication number
CN107369128A
CN107369128A CN201710395172.7A CN201710395172A CN107369128A CN 107369128 A CN107369128 A CN 107369128A CN 201710395172 A CN201710395172 A CN 201710395172A CN 107369128 A CN107369128 A CN 107369128A
Authority
CN
China
Prior art keywords
image
panoramic picture
degree
image pickup
pickup methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710395172.7A
Other languages
English (en)
Inventor
吴雄峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chenxin Times Technology Co Ltd
Original Assignee
Shenzhen Chenxin Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chenxin Times Technology Co Ltd filed Critical Shenzhen Chenxin Times Technology Co Ltd
Priority to CN201710395172.7A priority Critical patent/CN107369128A/zh
Publication of CN107369128A publication Critical patent/CN107369128A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种720度全景图像拍摄方法。所述方法包括如下步骤:利用第一超广角摄像装置拍摄一副第一图像,并利用第二超广角摄像装置拍摄一副第二图像,其中所述第一、第二超广角摄像装置的视场角为360度,且两者间隔一定距离背靠背设置;对所述第一、第二图像进行预处理;对所述第一、第二图像进行图像融合;对融合后的图像进行校正以获取平面的全景图像。相当于传统全景摄像技术,本发明的720度全景图像拍摄方法可以在降低所需的超广角摄像装置的数量的同时提供完美融合的平面全景图像。

Description

一种720度全景图像拍摄方法
技术领域
本发明涉及一种720度全景图像拍摄方法。特别是利用两个超广角摄像装置进行720度全景图像拍摄的方法。
背景技术
目前专业的全景图像拍摄常常需要利用6个甚至更多的摄像装置来完成。由于摄像装置较多,这就造成了系统的成本居高不下,并且系统的复杂度较高,从而阻碍了产品的普及和推广。因此需要一种成本低廉,结构简单的720度全景图像拍摄方法。
发明内容
本发明的目的在于,提供一种低成本、高效率的720度全景图像拍摄方法,所述方法包括如下步骤:
利用第一超广角摄像装置拍摄一副第一图像,并利用第二超广角摄像装置拍摄一副第二图像,其中所述第一、第二超广角摄像装置的视场角为360度,且两者间隔一定距离背靠背设置;
对所述第一、第二图像进行预处理;
对所述第一、第二图像进行图像融合;
对融合后的图像进行校正以获取平面的全景图像。
优选地,对所述第一、第二图像进行预处理的步骤包括图像压缩。
优选地,对所述第一、第二图像进行预处理的步骤还包括图像去噪。
优选地,对所述第一、第二图像进行图像融合的步骤包括如下步骤:
图像进行特征点检测以获取特征点算子;
根据特征点算子进行特征匹配,以得到特征匹配对;
对得到的特征匹配对进行提取,得到鲁棒的特征匹配对;
根据鲁棒的特征匹配对进行图像拼接。
进一步地,所述特征点算子为SIFT特征点描述算子。
优选地,利用BBF算法根据特征点算子进行特征匹配。
进一步地,利用RANSAC算法对特征匹配对进行提取。
优选地,利用RANSAC算法对特征匹配对进行提取时,RANSAC确定的配准误差阀值的90%作为配准阀值提取最终的仿射变换矩阵。
优选地,在图像拼接过程中,利用中值滤波器来解决重合部分像素值的突变。
进一步地,对融合后的图像进行几何校正的步骤包括:
将多幅鱼眼图像投影在球体上;
通过坐标定位法或经纬映射法将鱼眼图像展开为平面全景图像。
本发明的有益效果是:一方面,本发明由于采用了两个背靠背设置的360度超广角镜头,可以拍摄出720度的全广角全景图像,相比于传统全景相机可以降低需要的摄像头的数量,从而控制项目的成本,降低了系统的复杂度。
另一方面本发明通过图像融合步骤对具有重叠区域的相邻的图像进行特征点检测以获取特征点算子,根据特征点算子进行特征匹配,以得到特征匹配对,对得到的特征匹配对进行提取,得到鲁棒的特征匹配对,并根据鲁棒的特征匹配对进行图像拼接,从而可以稳定地消除相邻图像的重叠区域,得到理想的全景图像
其他方面,本发明采用图像校正将图像投影在球体上,并通过坐标定位法或经纬映射法将鱼眼图像展开为平面全景图像,从而可以消除鱼眼图像中的几何畸变。
附图说明
图1是根据本发明的一个实施方式的720度全景图像拍摄方法的流程图;
图2是图1的对所述第一、第二图像进行图像融合的步骤的详细流程图;
图3是图1中的对融合后的图像进行校正以获取平面的全景图像的步骤的详细流程图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是根据本发明的一个实施方式的720度全景图像拍摄方法的流程图;如图1所示,所述方法包括如下步骤:
S101,利用第一超广角摄像装置拍摄一副第一图像,并利用第二超广角摄像装置拍摄一副第二图像,其中所述第一、第二超广角摄像装置的视场角为360度,且两者间隔一定距离背靠背设置;
S102,对所述第一、第二图像进行预处理;优选地,对所述第一、第二图像进行预处理的步骤包括图像压缩。图像压缩的算法可以为例如金字塔图像压缩算法。优选地,对所述第一、第二图像进行预处理的步骤还可以包括图像去噪。例如,可以在图像处理过程当中判断是否是光流分析和像素运动重定时来生成变形的帧(像素运动),进而采用PID(Proportion Integreation Differentation)、PSO优化的模糊PID和基于自适应卡尔曼滤波的模糊PID控制算法进行处理,以消除噪声。
S103,对所述第一、第二图像进行图像融合;由于第一、第二图像之间可能存在重叠的像素,因此需要对第一、第二图像进行图像融合以消除重叠的像素。
S104,对融合后的图像进行校正以获取平面的全景图像。由于360度超广角摄像装置拍摄的图片是接近球形的鱼眼图像,因此需要对图像进行校正。
具体来说,同时参考图2,对所述第一、第二图像进行图像融合的步骤可以包括如下步骤:
步骤S1031,对具有重叠区域的相邻的图像进行特征点检测以获取特征点算子。尺度不变特征转换算法(Scale-invariant Feature Transform,简称SIFT算法)是一种提取局部特征的算法,在尺度空间寻找极值点、提取位置。可以使用SIFT算法来进行特征点检测,从而获得SIFT特征点描述算子。具体来说,由于高斯函数是唯一可能的尺度空间核函数,所以整个SIFT算法是基于“尺度不变”的特征。由于为了要让算子具备旋转不变性,我们在以特征点为中心的领域窗口采样,并用直方图统计邻域像素的梯度方向。
步骤S1032,根据特征点算子进行特征匹配,以得到特征匹配对。最优节点优先算法(英文全称为Best Bin First,简称BBF算法)是一种改进的k-d树最近邻查询算法。该方法采用一个优先级队列使搜索一次从节点与被查询节点距离由近及远的顺序进行。可以采用BBF算法根据特征点算子进行特征匹配。
步骤S1033,对得到的特征匹配对进行提取,得到鲁棒的特征匹配对。随机抽样一致性算法(Random Sample Consensus,简称RANSAC算法),该方法采用一个优先级队列使搜索一次从节点与被查询节点距离由近及远的顺序进行。可以利用RANSAC算法对特征匹配对进行提取获取鲁棒的特征匹配对,以提高系统鲁棒性。优选地,利用RANSAC算法对特征匹配对进行提取时,RANSAC确定的配准误差阀值的90%作为配准阀值提取最终的仿射变换矩阵。
步骤S1034,根据鲁棒的特征匹配对进行图像拼接。图像拼接可以通过特征无关的方法和基于特征的方法实现。基于特征无关的方法是基于相位相关度的方法,它是基于互功率谱的相位估计,计算出这两幅图像简单的平移关系。基于特征匹配的方法则沿用特征轮廓的匹配方式进行。优选地,在图像拼接过程中,可以利用中值滤波器来解决重合部分像素值的突变。
同时参考图3,对融合后的图像进行校正以获取平面的全景图像的步骤包括:
S1041,将融合后的图像投影在球体上;
S1042,通过坐标定位法或经纬映射法将图像展开为平面的全景图像。
具体来说,在一个实施例中,可以融合后的图像投影在球体上。在坐标定位法中,将所述球体的球面上具有相同纬度的点映射为相同的垂直直线。在经纬映射法中,将所述球体的球面上的任意一点经度映射为矩形的水平坐标,纬度映射为矩形垂直坐标。
综上所述,一方面,本发明由于采用了两个背靠背设置的360度超广角镜头,可以拍摄出720度的全广角全景图像,相比于传统全景相机可以降低需要的摄像头的数量,从而控制项目的成本,降低了系统的复杂度。
一方面本发明通过图像融合步骤对具有重叠区域的相邻的图像进行特征点检测以获取特征点算子,根据特征点算子进行特征匹配,以得到特征匹配对,对得到的特征匹配对进行提取,得到鲁棒的特征匹配对,并根据鲁棒的特征匹配对进行图像拼接,从而可以稳定地消除相邻图像的重叠区域,得到理想的全景图像
另一方面,本发明采用图像校正将图像投影在球体上,并通过坐标定位法或经纬映射法将鱼眼图像展开为平面全景图像,从而可以消除鱼眼图像中的几何畸变。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种720度全景图像拍摄方法,其特征在于,所述方法包括如下步骤:
利用第一超广角摄像装置拍摄一副第一图像,并利用第二超广角摄像装置拍摄一副第二图像,其中所述第一、第二超广角摄像装置的视场角为360度,且两者间隔一定距离背靠背设置;
对所述第一、第二图像进行预处理;
对所述第一、第二图像进行图像融合;
对融合后的图像进行校正以获取平面的全景图像。
2.根据权利要求1所述的720度全景图像拍摄方法,其特征在于,对所述第一、第二图像进行预处理的步骤包括图像压缩。
3.根据权利要求1所述的720度全景图像拍摄方法,其特征在于,对所述第一、第二图像进行预处理的步骤还包括图像去噪。
4.根据权利要求1所述的720度全景图像拍摄方法,其特征在于,对所述第一、第二图像进行图像融合的步骤包括如下步骤:
图像进行特征点检测以获取特征点算子;
根据特征点算子进行特征匹配,以得到特征匹配对;
对得到的特征匹配对进行提取,得到鲁棒的特征匹配对;
根据鲁棒的特征匹配对进行图像拼接。
5.根据权利要求4所述的720度全景图像拍摄方法,其特征在于,所述特征点算子为SIFT特征点描述算子。
6.根据权利要求4所述的720度全景图像拍摄方法,其特征在于,利用BBF算法根据特征点算子进行特征匹配。
7.根据权利要求4所述的720度全景图像拍摄方法,其特征在于,利用RANSAC算法对特征匹配对进行提取。
8.根据权利要求7所述的720度全景图像拍摄方法,其特征在于,利用RANSAC算法对特征匹配对进行提取时,RANSAC确定的配准误差阀值的90%作为配准阀值提取最终的仿射变换矩阵。
9.根据权利要求4所述的720度全景图像拍摄方法,其特征在于,在图像拼接过程中,利用中值滤波器来解决重合部分像素值的突变。
10.根据权利要求1所述的720度全景图像拍摄方法,其特征在于,对融合后的图像进行几何校正的步骤包括:
将多幅鱼眼图像投影在球体上;
通过坐标定位法或经纬映射法将鱼眼图像展开为平面全景图像。
CN201710395172.7A 2017-05-30 2017-05-30 一种720度全景图像拍摄方法 Withdrawn CN107369128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710395172.7A CN107369128A (zh) 2017-05-30 2017-05-30 一种720度全景图像拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710395172.7A CN107369128A (zh) 2017-05-30 2017-05-30 一种720度全景图像拍摄方法

Publications (1)

Publication Number Publication Date
CN107369128A true CN107369128A (zh) 2017-11-21

Family

ID=60304907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710395172.7A Withdrawn CN107369128A (zh) 2017-05-30 2017-05-30 一种720度全景图像拍摄方法

Country Status (1)

Country Link
CN (1) CN107369128A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280828A (zh) * 2018-01-25 2018-07-13 上海闻泰电子科技有限公司 相机装配位置检测方法与装置
WO2021017532A1 (zh) * 2019-07-30 2021-02-04 展讯通信(上海)有限公司 图像融合方法及装置、存储介质、终端
CN112637505A (zh) * 2020-12-25 2021-04-09 江西裕丰智能农业科技有限公司 一种720°全景图像、视频拼接方法
WO2022140970A1 (zh) * 2020-12-28 2022-07-07 深圳市大疆创新科技有限公司 全景图像生成方法、装置、可移动平台及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法
CN106210547A (zh) * 2016-09-05 2016-12-07 广东欧珀移动通信有限公司 一种全景拍摄的方法、装置及系统
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法
CN106357976A (zh) * 2016-08-30 2017-01-25 深圳市保千里电子有限公司 一种全方位全景图像生成的方法和装置
CN106210547A (zh) * 2016-09-05 2016-12-07 广东欧珀移动通信有限公司 一种全景拍摄的方法、装置及系统
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280828A (zh) * 2018-01-25 2018-07-13 上海闻泰电子科技有限公司 相机装配位置检测方法与装置
WO2021017532A1 (zh) * 2019-07-30 2021-02-04 展讯通信(上海)有限公司 图像融合方法及装置、存储介质、终端
CN112637505A (zh) * 2020-12-25 2021-04-09 江西裕丰智能农业科技有限公司 一种720°全景图像、视频拼接方法
WO2022140970A1 (zh) * 2020-12-28 2022-07-07 深圳市大疆创新科技有限公司 全景图像生成方法、装置、可移动平台及存储介质

Similar Documents

Publication Publication Date Title
Adel et al. Image stitching based on feature extraction techniques: a survey
Dufournaud et al. Matching images with different resolutions
CN103514446B (zh) 一种融合传感器信息的室外场景识别方法
Rengarajan et al. From bows to arrows: Rolling shutter rectification of urban scenes
Alemán-Flores et al. Automatic lens distortion correction using one-parameter division models
CN107369128A (zh) 一种720度全景图像拍摄方法
RU2631765C1 (ru) Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
Mistry et al. Image stitching using Harris feature detection
CN113191954B (zh) 一种基于双目相机的全景图像拼接方法
WO2020228680A1 (zh) 基于双相机图像的拼接方法、装置、电子设备
JP2016194895A (ja) 室内2d平面図の生成方法、装置及びシステム
KR101324250B1 (ko) 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
CN106558038B (zh) 一种水天线检测方法及装置
Ruan et al. Image stitching algorithm based on SURF and wavelet transform
KR101868740B1 (ko) 파노라마 이미지 생성 방법 및 장치
Wang et al. Unmanned aerial vehicle oblique image registration using an ASIFT-based matching method
CN111815511A (zh) 一种全景图像拼接方法
JP6086491B2 (ja) 画像処理装置およびそのデータベース構築装置
Furnari et al. Affine region detectors on the fisheye domain
CN107392878A (zh) 一种全景相机的图像融合方法
US20240161232A1 (en) Flexible Multi-Camera Focal Plane: A Light-Field Dynamic Homography
JP5004082B2 (ja) 文書画像検索方法、文書画像登録方法、そのプログラムおよび装置
CN113228104B (zh) 热图像和可见图像对的自动共配准
Ha et al. Embedded panoramic mosaic system using auto-shot interface
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171121

WW01 Invention patent application withdrawn after publication