CN111741223B - 一种全景图像拍摄方法、装置和系统 - Google Patents

一种全景图像拍摄方法、装置和系统 Download PDF

Info

Publication number
CN111741223B
CN111741223B CN202010691062.7A CN202010691062A CN111741223B CN 111741223 B CN111741223 B CN 111741223B CN 202010691062 A CN202010691062 A CN 202010691062A CN 111741223 B CN111741223 B CN 111741223B
Authority
CN
China
Prior art keywords
shooting
preset
camera lens
user
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010691062.7A
Other languages
English (en)
Other versions
CN111741223A (zh
Inventor
沈傲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Soufun Science & Technology Development Co ltd
Original Assignee
Beijing Soufun Science & Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Soufun Science & Technology Development Co ltd filed Critical Beijing Soufun Science & Technology Development Co ltd
Priority to CN202010691062.7A priority Critical patent/CN111741223B/zh
Publication of CN111741223A publication Critical patent/CN111741223A/zh
Application granted granted Critical
Publication of CN111741223B publication Critical patent/CN111741223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本申请公开了一种全景图像拍摄方法、装置和系统,在接收到用户发送的拍摄指令的情况下,获取移动设备的预设传感器采集的参数,在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。将各张图像发送至后端,并接收后端发送的全景图像。可见,基于本申请提供的技术方案,无需采用专业的VR采集设备进行专业性地拍摄,用户可以使用诸如智能手机等移动设备,拍摄过程中依据预设可视化界面所展示的提示,调整摄像镜头,从而简单可靠地实现全景图像的拍摄,大大降低全景图像的拍摄门槛。

Description

一种全景图像拍摄方法、装置和系统
技术领域
本申请涉及图像处理技术领域,尤其涉及一种全景图像拍摄方法、装置和系统。
背景技术
随着虚拟现实技术(Virtual Reality,VR)概念大范围普及,越来越多的产业都开始尝试与VR融合,许多公司开始运用VR技术提升产品的竞争力。全景图像作为VR技术中的重要部分,必须通过专业的VR采集设备才能实现精准拍摄。然而,大多数VR采集设备的成本都普遍较高,并且采集过程专业性较强,难以适用于大多数个体和企业,适用范围太过于狭隘,从而极大地限制了VR产业的良性发展。
发明内容
本申请提供了一种全景图像拍摄方法、装置和系统,目的在于提供一种使用移动设备(例如智能手机)便可完成全景图像拍摄的技术方案。
为了实现上述目的,本申请提供了以下技术方案:
一种全景图像拍摄方法,包括:
在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;
在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;
在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;
依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;
获取各张所述图像的相机参数;
记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系;
将所述对应关系和各张所述图像发送至后端,并接收所述后端发送的全景图像,所述后端用于依据所述对应关系,将各张所述图像合成为所述全景图像。
可选的,所述在所述欧拉角不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述欧拉角大于预设角度的情况下,基于预设可视化界面,向所述用户展示预设的镜头姿态调整提示;所述镜头姿态调整提示,用于提示所述用户调整所述摄像镜头的所述欧拉角。
可选的,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度的方向不符合预设方向的情况下,基于预设可视化界面,向所述用户展示预设的拍摄方向调整提示;所述拍摄方向调整提示,用于提示所述用户调整所述摄像镜头的拍摄方向。
可选的,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度大于预设加速度的情况下,基于预设可视化界面,向所述用户展示预设的摄像速度提示;所述摄像速度提示,用于提示所述用户调整所述摄像镜头的拍摄速度。
可选的,所述将所述对应关系和各张所述图像发送至后端,包括:
将各张所述图像合成视频,将所述视频和所述对应关系发送至后端。
一种全景图像拍摄装置,包括:
第一获取单元,用于在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;
提示单元,用于在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;
第一记录单元,用于在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;
计算单元,用于依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;
第二获取单元,用于获取各张所述图像的相机参数;
第二记录单元,用于记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系;
发送单元,用于将所述对应关系和各张所述图像发送至后端,并接收所述后端发送的全景图像,所述后端用于依据所述对应关系,将各张所述图像合成为所述全景图像。
可选的,所述发送单元具体用于:
将各张所述图像合成视频,将所述视频和所述对应关系发送至后端。
一种全景图像拍摄系统,包括:
前端和后端;
所述前端,用于在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;获取各张所述图像的相机参数;记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系;将所述对应关系和各张所述图像发送至所述后端,并接收所述后端发送的全景图像;
所述后端,用于依据所述对应关系,将各张所述图像合成为所述全景图像。
一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,所述程序执行所述的全景图像拍摄方法。
一种全景图像拍摄设备,包括:处理器、存储器和总线;所述处理器与所述存储器通过所述总线连接;
所述存储器用于存储程序,所述处理器用于运行程序,其中,所述程序运行时执行所述的全景图像拍摄方法。
本申请提供的技术方案,在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数,参数至少包括摄像镜头的欧拉角和移动加速度。在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。获取各张图像的相机参数,记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。将对应关系和各张图像发送至后端,并接收后端发送的全景图像,其中,后端用于依据对应关系,将各个图像合成为全景图像。可见,基于本申请提供的技术方案,无需采用专业的VR采集设备进行专业性地拍摄,用户可以使用诸如智能手机等移动设备,拍摄过程中依据预设可视化界面所展示的提示,调整摄像镜头,从而简单可靠地实现全景图像的拍摄,大大降低全景图像的拍摄门槛。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种全景图像拍摄系统的架构示意图;
图1b为本申请实施例提供的一种全景图像拍摄系统实现全景图像拍摄的示意图;
图1c为本申请实施例提供的另一种全景图像拍摄系统实现全景图像拍摄的示意图;
图2a为本申请实施例提供的一种全景图像拍摄实景的示意图;
图2b为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2c为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2d为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2e为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2f为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2g为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2h为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2i为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图2j为本申请实施例提供的另一种全景图像拍摄实景的示意图;
图3为本申请实施例提供的一种全景图像拍摄方法的示意图;
图4为本申请实施例提供的一种全景图像拍摄装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1a所示,为本申请实施例提供的一种全景图像拍摄系统的架构示意图,包括:
前端100和后端200。
其中,全景图像拍摄系统实现全景图像拍摄的具体过程,如图1b和图1c所示,包括如下步骤:
S101:前端基于拍摄角度与标示位的预设对应关系,在预设可视化界面中预先创建多个标示位。
其中,每一个拍摄角度依次对应一个标示位,多个标示位共同组成拍摄基准,为用户提供拍摄姿态的调整基准。在拍摄过程中,拍摄角度的变化(例如,摄像镜头的前后旋转角度、以及左右旋转角度),会造成拍摄图像的失真、以及倾斜,因此,提供标示位辅助用户调整每一个拍摄角度的拍摄姿态。
在实际应用中,由于全景图像的视觉角度为360°,因此,用户需要手持移动设备(即前端所属设备,例如,具有摄像镜头的照相设备、以及智能手机等),并以移动设备为拍摄中心,沿预设竖直轴旋转360°拍摄周围环境。
需要说明的是,在本实施例中,移动设备的空间参考坐标系为右手坐标系,如图2a所示。其中,x轴为水平轴,y轴为竖直轴,z轴与x轴和y轴垂直。
在实际拍摄过程中,移动设备的显示屏幕正对着用户,摄像镜头以坐标原点o为旋转中心,沿Y轴顺时针旋转360°拍摄用户周围的环境,如图2b所示。具体的,以2°为旋转拍摄间隔,沿Y轴顺时针旋转360°拍摄图像,前端则需合计创建180个标示位,用于辅助用户拍摄图像。
需要说明的是,以图2b中示出的移动设备为例,该移动设备的显示屏幕中显示的预设可视化界面如图2c所示,在图2c中,预设可视化界面会展示给用户当前拍摄角度所涵盖的标示位、以及用于辅助调整拍摄姿态的拍摄框架(拍摄框架在预设可视化界面中所处的位置,即代表了摄像镜头当前的拍摄角度),背景则为当前拍摄角度下摄像镜头所拍摄到的环境影像。
S102:在接收到用户发送的拍摄指令的情况下,前端基于预设可视化界面,向用户展示预设的拍摄提示,并获取预设传感器采集的参数。
其中,预设的拍摄提示,用于提示用户沿预设竖直轴(即右手坐标系中的Y轴)旋转移动设备,以拍摄全景图像。参数至少包括摄像镜头的欧拉角(即前后俯仰角度、以及左右翻滚角度)和摄像镜头的移动加速度。在本实施例中,欧拉角由预设的陀螺仪传感器负责采集,移动加速度由预设的加速度传感器负责采集。
需要说明的是,在拍摄过程中,拍摄角度是沿Y轴旋转360°变化的,并且受限于人为因素,摄像镜头在X轴方向、Y轴方向、以及Z轴方向上可能会发生稍许移动变化。为此,预设的传感器需要采集摄像镜头在右手坐标系中X轴方向上的欧拉角和移动加速度、Y轴方向上的欧拉角和移动加速度、以及Z轴方向上的欧拉角和移动加速度。
S103:在摄像镜头在任一方向上的欧拉角大于预设角度的情况下,前端基于预设可视化界面,向用户展示预设的镜头姿态调整提示。
其中,预设的镜头姿态调整提示,用于提示用户调整摄像镜头的欧拉角。
需要说明的是,在本实施例中,借助预设可视化界面中的拍摄框架以及各个标示位组成的拍摄基准,可以辅助用户准确地调整摄像镜头的欧拉角。
具体的,如图2d所示,当摄像镜头在Y轴方向上的欧拉角大于4°时,基于预设可视化界面,提示用户向下调整拍摄框架的位置。如图2e所示,当摄像镜头在Y轴方向上的欧拉角大于-4°时,基于预设可视化界面,提示用户向上调整拍摄框架的位置。如图2f所示,当摄像镜头在X轴方向上的欧拉角大于4°时,基于预设可视化界面,提示用户向左调整拍摄框架的位置。如图2g所示,当摄像镜头的在X轴方向上的欧拉角大于-4°时,基于预设可视化界面,提示用户向右调整拍摄框架的位置。
需要说明的是,由于用户难以发觉自身所持移动设备细微的姿态变化(即摄像镜头的欧拉角的变化),因此,通过预设可视化界面中的拍摄框架和标示位,能够辅助用户精准掌控摄像镜头的拍摄角度(即欧拉角),从而拍摄得到效果优良的图像。
S104:在摄像镜头的移动加速度的方向不符合预设方向的情况下,前端基于预设可视化界面,向用户展示预设的拍摄方向调整提示。
其中,预设的摄像方向调整提示,用于提示用户调整摄像镜头的拍摄方向。以预设方向为沿Y轴沿顺时针方向旋转拍摄为例,当摄像镜头沿Y轴逆时针方向旋转拍摄时,移动加速度的方向会与预设方向相反,为此,基于预设可视化界面,提示用户沿顺时针方向拍摄,如图2h所示,图2h中的箭头指向即为预设方向。
S105:在摄像镜头在任一方向上的移动加速度大于预设加速度的情况下,前端基于预设可视化界面,向用户展示预设的摄像速度提示。
其中,预设的摄像速度提示,用于提示用户调整摄像镜头的拍摄速度。在实际拍摄过程中,若摄像镜头在任一方向上的移动加速度大于预设加速度,则代表了当前的拍摄速度过块,摄像镜头的焦距可能会失焦,从而影响图像的拍摄质量,因此,需要提示用户调整拍摄速度。具体的,如图2i所示,当摄像镜头在X轴方向上的移动加速度大于预设加速度时,基于预设可视化界面,提示用户当前拍摄速度过快。
S106:在摄像镜头在任一方向上的欧拉角不大于预设角度、在任一方向上的移动加速度的方向符合预设方向、以及在任一方向上的移动加速度不大于预设加速度的情况下,前端记录各个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序,并依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。
需要说明的是,在预设可视化界面中,目标拍摄角度(目标拍摄角度为前端已记录的图像所归属的拍摄角度)对应的标示位会改变原有形状,从而提示用户目标拍摄角度已完成拍摄,继续后续拍摄过程,具体的标示位形状变化,如图2j所示。
在本实施例中,由于摄像镜头以坐标原点为旋转中心,沿Y轴顺时针方向旋转360°拍摄用户周围的环境影像,因此,前后相邻拍摄的两张图像之间存在视觉角度上的变换(即拍摄角度发生了变换),在计算机图形学中,可依据旋转矩阵描述视觉角度变换的规律。
依据摄像镜头在X轴方向上的欧拉角、Y轴方向上的欧拉角、以及Z轴方向上的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵,具体的计算过程包括:
假设在右手坐标系中摄像镜头沿X轴旋转p°(即X轴方向上的欧拉角变化),则对应的基础旋转矩阵Rx为公式(1)所示。
Figure BDA0002589388720000091
假设在右手坐标系中摄像镜头沿Y轴旋转h°(即Y轴方向上的欧拉角变化),则对应的基础旋转矩阵Ry为公式(2)所示。
Figure BDA0002589388720000092
假设在右手坐标系中摄像镜头沿Z轴旋转b°(即Z轴方向上的欧拉角变化),则对应的基础旋转矩阵Rz为公式(3)所示。
Figure BDA0002589388720000093
在实际应用中,拍摄顺序前后相邻两张图像之间的旋转矩阵,实质上就是,预设顺序的基础旋转矩阵的乘积。例如,以Z-X-Y为顺规(现有欧拉角数学体系中的术语)的欧拉角,旋转矩阵就是R=Rz*Rx*Ry,以X-Y-Z为顺规的欧拉角,旋转矩阵就是R=Rx*Ry*Rz。为此,欧拉角变化为(p,h,b)在右手坐标系中对应的旋转矩阵(即以Z-X-Y为顺规)为公式(4)所示。
Figure BDA0002589388720000101
S107:前端获取各张图像的相机参数。
其中,可以通过预设的相机框架(例如,IOS系统提供的相机框架),获取各张图像的相机参数,在本实施例中,相机参数包括但不限于是:镜头焦距、广角镜头、变焦镜头、以及景深等。
S108:前端记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。
S109:前端将各张图像合成视频,并将图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系打包成文件。
其中,将各张图像合成为视频的具体实现过程,为本领域技术人员所熟悉的公知常识,这里不再赘述。
S110:前端将视频和文件,发送给后端。
其中,为了降低网络通信成本,提高信息传输质量,因此,将各张图像合成视频,发送至后端。
S111:后端利用预设的特征检测算法,检测第一图像和第二图像各自的关键点特征。
其中,第一图像和第二图像为,拍摄顺序前后相邻的两张图像。关键点特征包括但不限于是:DoG角点、以及Harris角点等。
S112:后端利用预设的特征提取和描述算法,计算第一图像和第二图像之间的不变特征描述符。
其中,不变特征描述符包括但不限于是:SIFT描述符、SURF描述符、以及ORB描述符等。
S113:后端依据第一图像和第二图像各自的关键点特征、以及第一图像和第二图像之间的不变特征描述符,对第一图像和第二图像进行特征点匹配,得到特征点匹配对。
S114:后端将特征点匹配对和相机参数,输入至预设的随机抽样一致算法(RandomSample Consensus,RANSAC)模型中,对第一图像和第二图像之间的单应性(一种投影几何)进行估算,输出得到单应矩阵(homography matrix)。
在本实施例中,基于RANSAC模型自身算法的特性,能够过滤特征点匹配对中可能存在的错误匹配对,提高单应矩阵的可靠性。
S115:后端依据单应矩阵对第一图像和第二图像进行仿射变换。
在本实施例中,依据单应矩阵对第一图像和第二图像进行仿射变换的具体实现过程,为本领域技术人员所熟悉的公知常识,具体的,可以采用光流法、以及光束法平差等算法实现仿射变换。
S116:后端依据第二图像对应的欧拉角、移动加速度和旋转矩阵,利用预设的图像拼接算法,将仿射变换后的第一图像和第二图像进行拼接,得到新图像。
S117:后端依据上述S111-S115,得到仿射变化换后的第三图像,并依据第三图像对应的欧拉角、移动加速度和旋转矩阵,利用图像拼接算法,将新图像和仿射变化换后的第三图像进行拼接,得到另一个新图像,以此类推,将所有图像拼接成唯一的最终图像。
其中,第三图像为,继第二图像之后拍摄得到的图像。换而言之,第一图像表示为拍摄顺序中的第N-1张图像,第二图像表示为拍摄顺序中的第N张图像,第三图像表示为拍摄顺序中的第N+1张图像,N大于0。
S118:后端采用预设的图像裁剪算法,对最终图像进行裁剪,得到全景图像。
S119:后端将全景图像发送给前端。
S120:前端向用户展示全景图像。
综上所述,在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数,参数至少包括摄像镜头的欧拉角和移动加速度。在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。获取各张图像的相机参数,记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。将对应关系和各张图像发送至后端,并接收后端发送的全景图像,其中,后端用于依据对应关系,将各个图像合成为全景图像。可见,基于本实施例提供的技术方案,无需采用专业的VR采集设备进行专业性地拍摄,用户可以使用诸如智能手机等移动设备,拍摄过程中依据预设可视化界面所展示的提示,调整摄像镜头,从而简单可靠地实现全景图像的拍摄,大大降低全景图像的拍摄门槛。
需要说明的是,上述实施例中,全景图像拍摄系统实现全景图像拍摄的具体过程,可以概括如图3所示的方法。
如图3所示,为本申请实施例提供的一种全景图像拍摄方法的示意图,包括如下步骤:
S301:在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数。
其中,参数至少包括摄像镜头的欧拉角和移动加速度。上述实施例中提及的Y轴,为本实施例中预设竖直轴的一种具体表现方式。
S302:在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。
其中,S302的具体执行过程和实现原理,与上述S103-S105的具体执行过程和实现原理一致,这里不再赘述。
S303:在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。
其中,S303的具体执行过程和实现原理,与上述S106的具体执行过程和实现原理一致,这里不再赘述。
S304:依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。
其中,S304的具体执行过程和实现原理,与上述S106的具体执行过程和实现原理一致,这里不再赘述。
S305:获取各张图像的相机参数。
S306:记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。
S307:将对应关系和各张图像发送至后端,并接收后端发送的全景图像。
其中,后端用于依据对应关系,将各张图像合成为全景图像。
综上所述,在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数,参数至少包括摄像镜头的欧拉角和移动加速度。在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。获取各张图像的相机参数,记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。将对应关系和各张图像发送至后端,并接收后端发送的全景图像,其中,后端用于依据对应关系,将各个图像合成为全景图像。可见,基于本实施例提供的技术方案,无需采用专业的VR采集设备进行专业性地拍摄,用户可以使用诸如智能手机等移动设备,拍摄过程中依据预设可视化界面所展示的提示,调整摄像镜头,从而简单可靠地实现全景图像的拍摄,大大降低全景图像的拍摄门槛。
与上述本申请实施例提供的全景图像拍摄方法相对应,本申请还提供了一种全景图像拍摄装置。
如图4所示,为本申请实施例提供的一种全景图像拍摄装置的结构示意图,包括:
第一获取单元401,用于在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数,参数至少包括摄像镜头的欧拉角和移动加速度。
提示单元402,用于在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。
其中,提示单元402具体用于:在欧拉角大于预设角度的情况下,基于预设可视化界面,向用户展示预设的镜头姿态调整提示,镜头姿态调整提示,用于提示用户调整摄像镜头的欧拉角。在移动加速度的方向不符合预设方向的情况下,基于预设可视化界面,向用户展示预设的拍摄方向调整提示,拍摄方向调整提示,用于提示用户调整摄像镜头的拍摄方向。在移动加速度大于预设加速度的情况下,基于预设可视化界面,向用户展示预设的摄像速度提示,摄像速度提示,用于提示用户调整摄像镜头的拍摄速度。
第一记录单元403,用于在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。
计算单元404,用于依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。
第二获取单元405,用于获取各张图像的相机参数。
第二记录单元406,用于记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。
发送单元407,用于将对应关系和各张图像发送至后端,并接收后端发送的全景图像,后端用于依据对应关系,将各张图像合成为全景图像。
其中,发送单元407具体用于:将各张图像合成视频,将视频和对应关系发送至后端。
综上所述,在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,移动设备的预设传感器采集的参数,参数至少包括摄像镜头的欧拉角和移动加速度。在欧拉角、或移动加速度不满足预设要求的情况下,基于预设可视化界面,提示用户调整摄像镜头。在欧拉角和移动加速度满足预设要求的情况下,记录预设的多个拍摄角度下摄像镜头所拍摄的图像、以及各张图像之间的拍摄顺序。依据各个拍摄角度下摄像镜头的欧拉角,计算拍摄顺序前后相邻两张图像之间的旋转矩阵。获取各张图像的相机参数,记录图像、欧拉角、移动加速度、旋转矩阵、以及相机参数之间的对应关系。将对应关系和各张图像发送至后端,并接收后端发送的全景图像,其中,后端用于依据对应关系,将各个图像合成为全景图像。可见,基于本实施例提供的技术方案,无需采用专业的VR采集设备进行专业性地拍摄,用户可以使用诸如智能手机等移动设备,拍摄过程中依据预设可视化界面所展示的提示,调整摄像镜头,从而简单可靠地实现全景图像的拍摄,大大降低全景图像的拍摄门槛。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,程序执行上述本申请提供的全景图像拍摄方法。
本申请还提供了一种全景图像拍摄设备,包括:处理器、存储器和总线。处理器与存储器通过总线连接,存储器用于存储程序,处理器用于运行程序,其中,程序运行时执行上述本申请提供的全景图像拍摄方法,包括如下步骤:
在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;
在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;
在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;
依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;
获取各张所述图像的相机参数;
记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系;
将所述对应关系和各张所述图像发送至后端,并接收所述后端发送的全景图像,所述后端用于依据所述对应关系,将各张所述图像合成为所述全景图像。
可选的,所述在所述欧拉角不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述欧拉角大于预设角度的情况下,基于预设可视化界面,向所述用户展示预设的镜头姿态调整提示;所述镜头姿态调整提示,用于提示所述用户调整所述摄像镜头的所述欧拉角。
可选的,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度的方向不符合预设方向的情况下,基于预设可视化界面,向所述用户展示预设的拍摄方向调整提示;所述拍摄方向调整提示,用于提示所述用户调整所述摄像镜头的拍摄方向。
可选的,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度大于预设加速度的情况下,基于预设可视化界面,向所述用户展示预设的摄像速度提示;所述摄像速度提示,用于提示所述用户调整所述摄像镜头的拍摄速度。
可选的,所述将所述对应关系和各张所述图像发送至后端,包括:
将各张所述图像合成视频,将所述视频和所述对应关系发送至后端。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种全景图像拍摄方法,其特征在于,包括:
前端基于拍摄角度与标示位的预设对应关系,在预设可视化界面中通过摄像镜头以坐标原点o为旋转中心,以2°为旋转拍摄间隔,沿Y轴顺时针旋转360°拍摄图像,预先创建180个标示位,所述预设可视化界面包括:所述标示位和拍摄框架,所述标示位用于辅助用户拍摄图像,所述拍摄框架在预设可视化界面中所处的位置,代表摄像镜头当前的拍摄角度;
其中,每一个所述拍摄角度依次对应一个所述标示位,多个所述标示位共同组成拍摄基准,为用户提供拍摄姿态的调整基准;在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;
在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;
在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;
依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;
获取各张所述图像的相机参数;
记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系,
将所述对应关系和各张所述图像发送至后端,并接收所述后端发送的全景图像,所述后端用于依据所述对应关系,将各张所述图像合成为所述全景图像。
2.根据权利要求1所述方法,其特征在于,所述在所述欧拉角不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述欧拉角大于预设角度的情况下,基于预设可视化界面,向所述用户展示预设的镜头姿态调整提示;所述镜头姿态调整提示,用于提示所述用户调整所述摄像镜头的所述欧拉角。
3.根据权利要求1所述方法,其特征在于,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度的方向不符合预设方向的情况下,基于预设可视化界面,向所述用户展示预设的拍摄方向调整提示;所述拍摄方向调整提示,用于提示所述用户调整所述摄像镜头的拍摄方向。
4.根据权利要求1所述方法,其特征在于,所述在所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头,包括:
在所述移动加速度大于预设加速度的情况下,基于预设可视化界面,向所述用户展示预设的摄像速度提示;所述摄像速度提示,用于提示所述用户调整所述摄像镜头的拍摄速度。
5.根据权利要求1所述的方法,其特征在于,所述将所述对应关系和各张所述图像发送至后端,包括:
将各张所述图像合成视频,将所述视频和所述对应关系发送至后端。
6.一种全景图像拍摄装置,其特征在于,包括:
第一获取单元,用于在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;
提示单元,用于在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;
所述提示单元还包括:前端基于拍摄角度与标示位的预设对应关系,在预设可视化界面中通过摄像镜头以坐标原点o为旋转中心,以2°为旋转拍摄间隔,沿Y轴顺时针旋转360°拍摄图像,预先创建180个标示位,所述预设可视化界面包括:所述标示位和拍摄框架,所述标示位用于辅助用户拍摄图像,所述拍摄框架在预设可视化界面中所处的位置,代表摄像镜头当前的拍摄角度,其中,每一个所述拍摄角度依次对应一个所述标示位,多个所述标示位共同组成拍摄基准,为用户提供拍摄姿态的调整基准;
所述摄像镜头以坐标原点o为旋转中心,以2°为旋转拍摄间隔,沿Y轴顺时针旋转360°拍摄图像,创建180个标示位,所述标示位用于辅助用户拍摄图像;
第一记录单元,用于在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;
计算单元,用于依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;
第二获取单元,用于获取各张所述图像的相机参数;
第二记录单元,用于记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系,
发送单元,用于将所述对应关系和各张所述图像发送至后端,并接收所述后端发送的全景图像,所述后端用于依据所述对应关系,将各张所述图像合成为所述全景图像。
7.根据权利要求6所述的装置,其特征在于,所述发送单元具体用于:
将各张所述图像合成视频,将所述视频和所述对应关系发送至后端。
8.一种全景图像拍摄系统,其特征在于,包括:
前端和后端;
所述前端,用于在接收到用户发送的拍摄指令的情况下,获取移动设备沿预设竖直轴旋转360°拍摄过程中,所述移动设备的预设传感器采集的参数,所述参数至少包括摄像镜头的欧拉角和移动加速度;在所述欧拉角、或所述移动加速度不满足预设要求的情况下,基于预设可视化界面,提示所述用户调整所述摄像镜头;在所述欧拉角和所述移动加速度满足所述预设要求的情况下,记录预设的多个拍摄角度下所述摄像镜头所拍摄的图像、以及各张所述图像之间的拍摄顺序;依据各个所述拍摄角度下所述摄像镜头的所述欧拉角,计算所述拍摄顺序前后相邻两张所述图像之间的旋转矩阵;获取各张所述图像的相机参数;记录所述图像、所述欧拉角、所述移动加速度、所述旋转矩阵、以及所述相机参数之间的对应关系;将所述对应关系和各张所述图像发送至所述后端,并接收所述后端发送的全景图像;
所述后端,用于依据所述对应关系,将各张所述图像合成为所述全景图像。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,所述程序执行权利要求1-5任意一项所述的全景图像拍摄方法。
10.一种全景图像拍摄设备,其特征在于,包括:处理器、存储器和总线;所述处理器与所述存储器通过所述总线连接;
所述存储器用于存储程序,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1-5任意一项所述的全景图像拍摄方法。
CN202010691062.7A 2020-07-17 2020-07-17 一种全景图像拍摄方法、装置和系统 Active CN111741223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691062.7A CN111741223B (zh) 2020-07-17 2020-07-17 一种全景图像拍摄方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691062.7A CN111741223B (zh) 2020-07-17 2020-07-17 一种全景图像拍摄方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111741223A CN111741223A (zh) 2020-10-02
CN111741223B true CN111741223B (zh) 2022-04-26

Family

ID=72654829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691062.7A Active CN111741223B (zh) 2020-07-17 2020-07-17 一种全景图像拍摄方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111741223B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346798A (zh) * 2020-10-10 2021-02-09 北京城市网邻信息技术有限公司 一种信息的采集方法和装置
CN113157178B (zh) * 2021-02-26 2022-03-15 北京五八信息技术有限公司 一种信息处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192590A1 (zh) * 2018-04-04 2019-10-10 维沃移动通信有限公司 拍照方法及移动终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5163409B2 (ja) * 2008-10-03 2013-03-13 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN103200365B (zh) * 2013-03-29 2016-08-03 东莞宇龙通信科技有限公司 一种使用移动终端进行全景拍摄的方法及移动终端
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
WO2019119410A1 (zh) * 2017-12-22 2019-06-27 深圳市大疆创新科技有限公司 全景拍照方法、拍照设备及机器可读存储介质
CN109087244B (zh) * 2018-07-26 2023-04-18 深圳禾苗通信科技有限公司 一种全景图像拼接方法、智能终端及存储介质
CN109743489A (zh) * 2019-02-14 2019-05-10 南京泓众电子科技有限公司 一种旋转式相机及大视角照片拍摄方法
CN110266941A (zh) * 2019-05-31 2019-09-20 维沃移动通信(杭州)有限公司 一种全景拍摄方法及终端设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192590A1 (zh) * 2018-04-04 2019-10-10 维沃移动通信有限公司 拍照方法及移动终端

Also Published As

Publication number Publication date
CN111741223A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
CN109064397B (zh) 一种基于摄像耳机的图像拼接方法及系统
US10594941B2 (en) Method and device of image processing and camera
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN106331527B (zh) 一种图像拼接方法及装置
CN109040575B (zh) 全景视频的处理方法、装置、设备、计算机可读存储介质
US20060120712A1 (en) Method and apparatus for processing image
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
CN111741223B (zh) 一种全景图像拍摄方法、装置和系统
CN107578450B (zh) 一种用于全景相机装配误差标定的方法及系统
US20160093028A1 (en) Image processing method, image processing apparatus and electronic device
CN110060295B (zh) 目标定位方法及装置、控制装置、跟随设备及存储介质
CN111402136A (zh) 全景图生成方法、装置、计算机可读存储介质及电子设备
CN111343360B (zh) 一种校正参数获得方法
CN113112545B (zh) 基于计算机视觉的手持移动打印装置定位方法
WO2022126374A1 (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN112995491B (zh) 视频生成方法、装置、电子设备及计算机存储介质
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
CN110796690B (zh) 图像匹配方法和图像匹配装置
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN116740716A (zh) 视频标注方法、装置、电子设备及介质
JP6931267B2 (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN115278049A (zh) 拍摄方法及其装置
WO2021149509A1 (ja) 撮像装置、撮像方法、及び、プログラム
CN115294207A (zh) 智慧校园监控视频与三维gis模型的融合调度系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant