CN107911621B - 一种全景图像的拍摄方法、终端设备以及存储介质 - Google Patents

Abstract

本发明公开了一种全景图像的拍摄方法、终端设备以及存储介质，所述方法包括：当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框；接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准；当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息；根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准生成的目标框以拍摄相应的第二图像；采用拍摄得到的第一图像以及所有第二图像拼接成全景图像。本发明采用增强显示技术让用户在静止状态拍摄多张图像，保障了图像的画质。

Description

一种全景图像的拍摄方法、终端设备以及存储介质

技术领域

本发明涉及终端设备技术领域，特别涉及一种全景图像的拍摄方法、终端设备以及存储介质。

背景技术

随着互联网的发展，以及移动终端(例如手机、平板电脑等)智能化程度越来越高，移动终端具有越来越多的功能，尤其是在移动终端中，各种应用越来越多，其中，摄影类应用受到用户很多的喜爱。其中，全景拍照由于不需要用户具备专业的高端图像录入装置和专业摄影技术，便可以方便获取全景图片，以及移动终端的便携性及方便的网络分享功能，极大地提高了用户的使用体验。

现有技术中，全景拍摄的实现方式：把图像录入设备(例如相机、具有摄像功能的手机、平板电脑等)按照X轴或Y轴方向移动或者旋转，按移动的方向由用户手动或设备自动获取一系列具有重叠部分的图像，经过图像处理把重叠部分进行拼接处理，进而获取一副全景照片，这种获得全景照片的方法广泛应用在各种手持终端的全景图像摄像应用程序中。但是，这种基于轴线移动的全景拍摄效果，会受用户拍摄时转速、移动位置等因素的制约，往往得到的全景图片质量偏低。

因而现有技术还有待改进和提高。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种全景图像的拍摄方法、终端设备以及存储介质，以解决现有终端设备软件升级操作专业性强，以及不能批量升级的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种全景图像的拍摄方法，其包括：

当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框；

接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准；

当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息；

根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准生成的目标框以拍摄相应的第二图像；

采用拍摄得到的第一图像以及所有第二图像拼接成全景图像。

所述全景图像的拍摄方法，其中，所述当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框具体包括：

当终端设备开启AR全景相机模式时，获取预设的默认目标框和默认校准框；

将所述默认目标框和默认校准框显示于拍摄界面，并提示用户通过移动终端设备以对准所述默认目标框和默认校准框。

所述全景图像的拍摄方法，其中，所述接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准具体包括：

接收用户的移动操作，并通过终端设备配置的G-sensor传感器采集所述终端设备的移动方向；

根据所述移动方向调整所述默认校准框的位置，并实时判断所述默认校准框是否与所述默认目标框对准。

所述全景图像的拍摄方法，其中，所述根据移动方向调整所述默认校准框的位置，并实时判断所述默认校准框是否与所述默认目标框对准具体包括：

根据所述移动方向调整所述默认校准框的位置，并实时获取所述默认校准框对应的第一坐标集；

将是第一坐标集与所述默认目标框对应的第二坐标集进行比对；

当所述第一坐标集与所述第二坐标集中相同的坐标个数大于预设个数阈值时，判定所述默认校准框与所述默认目标框对准。

所述全景图像的拍摄方法，其中，所述当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息具体包括：

当对准时，调整所述默认校准框的颜色以提示用户对准成功，并监听用户触发的拍摄指令；当接收到所述拍摄指令时，拍摄第一图像，并通过终端设备配置的陀螺仪获取摄像头所处的初始位置信息。

所述全景图像的拍摄方法，其中，所述根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准所述若干目标框以拍摄相应的若干第二图像具体包括：

以所述初始位置为圆点生成一预设半径的水平圆面，并沿所述水平圆面的边缘生成若干目标框；

在显示界面显示校准框，并根据接收到的移动操作调整所述校准框的位置；

判断所述校准框是否与所述若干目标框中的一个对准，当对准时，接收用户触发的拍摄指令以生成对准的目标框对应的第二图像，其中，所述第二图像携带摄像头当前所处的位置信息；

重复执行对准校准框的步骤以拍摄预设数量的第二图像。

所述全景图像的拍摄方法，其中，所述采用拍摄得到的第一图像以及所述若干第二图像拼接成全景图像具体包括：

获取拍摄得到的第一图像以及所有第二图像，并分别获取各图像携带的位置信息；

提取各图像中的特征信息，并根据所述特征信息和位置信息拼接获取到的图像以生成全景图像。

所述全景图像的拍摄方法，其中，所述当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框之前还包括：

当监听到用户开启全景拍照的操作时，根据所述操作对应的控制指令开启相应的全景相机模式，其中，所述全景相机模式包括普通全景相机模式和AR全景相机模式。

一种存储介质，其存储有多条指令，所述指令适于由处理器加载并执行如上任一所述全景图像的拍摄方法。

一种终端设备，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行如上任一所述全景图像的拍摄方法。

有益效果：与现有技术相比，本发明提供了一种全景图像的拍摄方法、终端设备以及存储介质，所述方法包括：当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框；接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准；当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息；根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准生成的目标框以拍摄相应的第二图像；采用拍摄得到的第一图像以及所有第二图像拼接成全景图像。本发明采用增强显示技术让用户在静止状态拍摄多张图像，保障了图像的画质。

附图说明

图1为本发明提供的全景图像的拍摄方法较佳实施的流程图。

图2为本发明提供的终端设备拍摄界面的示意图。

图3为本发明提供的全景图像拍摄方法中目标框的分布示意图。

图4为本发明提供的终端设备的结构原理图。

具体实施方式

本发明提供一种全景图像的拍摄方法、终端设备以及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

请参照图1，图1为本发明提供的全景图像的拍摄方法的较佳实施例的流程图。所述方法包括：

S10、当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框；

S20、接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准；

S30、当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息；

S40、根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准生成的目标框以拍摄相应的第二图像；

S50、采用拍摄得到的第一图像以及所有第二图像拼接成全景图像。

本实施例通过将虚拟现实技术与全景技术的融合，摆脱了完全依靠用户维持拍摄角度水平的不足，让拍摄技术自动为用户校准，基于增强现实交互全景技术拍摄，这样，用户可以基于某一图形去对齐水平位置，且当用户在拍摄图像时移动设备处于静止状态拍摄，极大保障了画面的画质，为后续图像拼接高质量的图像。

具体来说，在所述步骤S10中，所述AR全景相机模式指的是预先设置在终端设备中的全景相机模式。其中，所述全景相机模式包括AR全景相机模式和普通全景相机模式。所述AR全景相机模式融合了增强显示技术，即采用ARkit技术进行全景拍摄。所述ARKit称为的“World Tracking”使用的技术名为“visual-inertial odometry”(视觉惯性测程法)。使用iPhone和iPad的相机和动作传感器，ARKit能够在环境中寻找几个点，然后当你移动手机的时候也能够进行保持追踪，构造出的虚拟物体会被钉在原处，即便用户把手机移开，但当用户再次对准原区域，虚拟物体仍然存在原区域中。在实际应用中，可以采用普通单目摄像头+ARkit、双目摄像头+ARkit、3D摄像头+ARkit等来实现AR全景相机模式。在所述普通全景相机模式中，把图像录入设备(例如相机、具有摄像功能的手机、平板电脑等)按照X轴或Y轴方向移动或者旋转，按移动的方向由用户手动或设备自动获取一系列具有重叠部分的图像，经过图像处理把重叠部分进行拼接处理，进而获取一副全景照片。因此，在本实施例中，所述步骤S10之前还包括：当监听到用户开启全景拍照的操作时，根据所述操作对应的控制指令开启相应的全景相机模式，其中，所述全景相机模式包括普通全景相机模式和AR全景相机模式。这样，可以通过监听用户的操作对应的控制指令来开启相应的全景相机模式，使得用户可以自主选择不同的全景相机模式来进行全景拍摄，满足了用户的个性化需求。

在本实施例中，所述默认目标框与默认校准框均为预先设置的用户校准拍摄区域的框。如图2所述，当终端设备开启AR全景相机模式时，在终端设备100的拍摄界面呈现默认目标框200和默认校准框300，用户可以通过校准所述默认目标框200和默认校准框300来完成第一张图像的拍摄，以确定摄像机的初始位置。在实际应用中，所述目标框和校准框可以是任意图形，例如：方形、圆形甚至卡通形状。只要用户将手机屏幕上的框形与基于虚拟现实技术投射出的相同形状的虚拟框位置对应上即可。

示例性的，所述当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框具体包括：

S11、当终端设备开启AR全景相机模式时，获取预设的默认目标框和默认校准框；

S12、将所述默认目标框和默认校准框显示于拍摄界面，并提示用户通过移动终端设备以对准所述默认目标框和默认校准框。

具体来说，当进入AR全景相机模式时，获取预先设置的默认目标框和默认校准框，并将二者分别显示于拍摄界面。其中，所述默认校准框可以随着用户移动和晃动终端设备的操作而改变其所处的位置。因此，拍摄界面还可以给出提示用户通过移动终端设备来对准所述默认目标框和默认校准框的信息，以引导用户开始拍摄图像。在实际应用中，为了便于区分所述默认目标框和默认校准框，可以将二者设置为不同的颜色。

在所述步骤S20中，感应用户移动终端设备的操作，根据所述操作来调整所述默认校准框的位置，然后实时判断默认校准框和默认目标框是否对准。其具体过程可以包括：

S21、接收用户的移动操作，并通过终端设备配置的G-sensor传感器采集所述终端设备的移动方向；

S22、根据所述移动方向调整所述默认校准框的位置，并实时判断所述默认校准框是否与所述默认目标框对准。

具体来说，可以通过终端设备配置的G-sensor，捕捉终端设备的晃动、上升、下降等运动，根据捕捉到的运动方向调整所述默认校准框的位置。例如，当感应到终端设备向上偏转时，所述默认校准框的在拍摄界面上向上移动。然后通过实时检测默认校准框的位置来判断其是否与目标框重合，其具体过程可以包括：

S221、根据所述移动方向调整所述默认校准框的位置，并实时获取所述默认校准框对应的第一坐标集；

S222、将是第一坐标集与所述默认目标框对应的第二坐标集进行比对；

S223、当所述第一坐标集与所述第二坐标集中相同的坐标个数大于预设个数阈值时，判定所述默认校准框与所述默认目标框对准。

具体的来说，所述第一坐标集指的是所述默认校准框的各边上的所有点的坐标组成的集合，其为实时获取得到的。所述第二坐标集指的是所述默认目标框各边上的所有点的坐标组成的集合，由于所述默认目标框的位置保持不变，因此所述第二坐标集为生成所述默认目标框时采集的，并保存在预设数据库内，以便后续比对。当所述第一坐标集与所述第二坐标集中相同的坐标个数大于预设个数阈值时，判定所述默认校准框与所述默认目标框对准，此时默认目标框和默认校准框已经重合，将默认校准框的颜色由原来的蓝色变为绿色，并提示用户触发拍照指令。

在所述步骤S30中，所述初始位置信息指的是拍摄第一图像时摄像机所处的位置，后续可以根据这个位置建立用户指引用户拍摄的虚拟球面。

示例性的，所述当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息具体包括：

S31、当对准时，调整所述默认校准框的颜色以提示用户对准成功，并监听用户触发的拍摄指令；

S32、当接收到所述拍摄指令时，拍摄第一图像，并通过终端设备配置的陀螺仪获取摄像头所处的初始位置信息。

在所述步骤S40中，预设规则指的是以所述初始位置信息对应的位置为圆形，创建一预设半径的虚拟圆面，并在所述虚拟圆面中设置若干各目标框。所述目标框用于后续拍摄各个第二图像时，与校准框对准。所述步骤S40具体包括：

S41、以所述初始位置为圆点生成一预设半径的水平圆面，并沿所述水平圆面的边缘生成若干目标框；

S42、在显示界面显示校准框，并根据接收到的移动操作调整所述校准框的位置；

S43、判断所述校准框是否与所述若干目标框中的一个对准，当对准时，接收用户触发的拍摄指令以生成对准的目标框对应的第二图像，其中，所述第二图像携带摄像头当前所处的位置信息；

S44、重复执行对准校准框的步骤以拍摄预设数量的第二图像。

具体来说，在AR相机模式被开启后，实时对位置信息进行捕获，目标框与校准框时刻处于重合阶段，当第一张照片被拍摄后，增强现实指引系统的圆面位置被固定，一个半径一定的圆面组成，当组成全景图片的第一张原始图片被拍摄时，即可通过位置捕获系统确定摄像头所处位置，圆面以此时摄像头所在位置为圆点，此时摄像头的正中角度为初始方向。目标框则以距此圆心半径为R的圆周按照角度α均匀分布。也就是说当第一张照片被拍摄后，此圆面将以此位置固定不动。如图3所示，所述虚拟圆面圆心为摄像头位置，此圆面与地面水平，此后圆面不再移动，增强现实的目标框将在初始角度基础上均匀的以α角大小分布在圆面边缘处，图像识别技术会实时识别目标框与校准框是否重合，当摄像头转动角度α后，用户将目标框与校准框重合即完成第二张图片拍摄，以此类推。增强现实指引系统和图像识别技术彼此引导。直到用户完成取景后，结束拍摄。

本实施例通过全球面的交互，把移动拍摄转化为基于某一时间点的静态拍摄，不仅可减少全景图片拍摄过程中的角度定位问题，更可减少画质的损坏。这样有效避免了现有平移旋转的拍摄技术，使用者在拍摄过程中，仅可通过观察取景框中拍摄场景随轴线移动变化情况，若偏离移动轴线，会对全景图片最后的显示效果造成较大影响；另一个更为严重的问题是，基于轴线移动的拍摄方式，在拍摄过程中若有物体移动，那么在画面中呈现会出现多个移动物体、物体模糊甚至物体支离破碎的画面感。

在所述步骤S50中，由于所述第一图像以及所有第二图像均携带有相应的位置信息，因此在拼接过程中可以结合位置信息来定位图像中的各特征信息：获取拍摄得到的第一图像以及所有第二图像，并分别获取各图像携带的位置信息；提取各图像中的特征信息，并根据所述特征信息和位置信息拼接获取到的图像以生成全景图像。现有的全景拼接技术是基于现有的平移旋转拍摄得到的图片进行拼接，其拼接算法仅能根据拍摄图片中的特征点信息(具体包含像素亮度信息、色度信息、周边像素关联度、颜色特征、纹理特征、形状特征等)。而本实施例在虚拟现实全景交互的基础上，进而获取图片中特征点的位置信息，基于位置信息来优化球面，可进行反畸变处理，由于特征点信息获取更为完备，将更有利于拼接算法的完善。

本发明还提供了一种存储介质，其存储有多条指令，所述指令适于由处理器加载并执行如上任一所述的全景图像的拍摄方法。

本发明还提供了一种终端设备，如图4所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种全景图像的拍摄方法，其特征在于，其包括：

当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框；

接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准；

当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息；

根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准生成的目标框以拍摄相应的第二图像；

采用拍摄得到的第一图像以及所有第二图像拼接成全景图像；

所述根据所述初始位置信息按照预设规则生成若干个目标框以指引全景拍摄，并依次提示用户对准所述若干目标框以拍摄相应的若干第二图像具体包括：

以所述初始位置信息为圆点生成一预设半径的水平圆面，并沿所述水平圆面的边缘生成若干目标框；

在显示界面显示校准框，并根据接收到的移动操作调整所述校准框的位置；

判断所述校准框是否与所述若干目标框中的一个对准，当对准时，接收用户触发的拍摄指令以生成对准的目标框对应的第二图像，其中，所述第二图像携带摄像头当前所处的位置信息；

重复执行对准校准框的步骤以拍摄预设数量的第二图像。

2.根据权利要求1所述全景图像的拍摄方法，其特征在于，所述当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框具体包括：

当终端设备开启AR全景相机模式时，获取预设的默认目标框和默认校准框；

将所述默认目标框和默认校准框显示于拍摄界面，并提示用户通过移动终端设备以对准所述默认目标框和默认校准框。

3.根据权利要求1所述全景图像的拍摄方法，其特征在于，所述接收用户的移动操作，并根据所述移动操作调整所述默认校准框，并实时判断所述默认校准框是否与所述默认目标框对准具体包括：

接收用户的移动操作，并通过终端设备配置的G-sensor传感器采集所述终端设备的移动方向；

根据所述移动方向调整所述默认校准框的位置，并实时判断所述默认校准框是否与所述默认目标框对准。

4.根据权利要求3所述全景图像的拍摄方法，其特征在于，所述根据移动方向调整所述默认校准框的位置，并实时判断所述默认校准框是否与所述默认目标框对准具体包括：

根据所述移动方向调整所述默认校准框的位置，并实时获取所述默认校准框对应的第一坐标集；

将是第一坐标集与所述默认目标框对应的第二坐标集进行比对；

当所述第一坐标集与所述第二坐标集中相同的坐标个数大于预设个数阈值时，判定所述默认校准框与所述默认目标框对准。

5.根据权利要求1所述全景图像的拍摄方法，其特征在于，所述当对准时，接收拍摄指令以拍摄第一图像，其中，所述第一图像携带摄像头所处的初始位置信息具体包括：

当对准时，调整所述默认校准框的颜色以提示用户对准成功，并监听用户触发的拍摄指令；

当接收到所述拍摄指令时，拍摄第一图像，并通过终端设备配置的陀螺仪获取摄像头所处的初始位置信息。

6.根据权利要求1所述全景图像的拍摄方法，其特征在于，所述采用拍摄得到的第一图像以及所述若干第二图像拼接成全景图像具体包括：

获取拍摄得到的第一图像以及所有第二图像，并分别获取各图像携带的位置信息；

提取各图像中的特征信息，并根据所述特征信息和位置信息拼接获取到的图像以生成全景图像。

7.根据权利要求1所述全景图像的拍摄方法，其特征在于，所述当终端设备开启AR全景相机模式时，在拍摄界面显示预设的默认目标框和默认校准框之前还包括：

当监听到用户开启全景拍照的操作时，根据所述操作对应的控制指令开启相应的全景相机模式，其中，所述全景相机模式包括普通全景相机模式和AR全景相机模式。

8.一种存储介质，其特征在于，其存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一所述全景图像的拍摄方法。

9.一种终端设备的软件升级装置，其特征在于，其包括：

处理器，适于实现各指令；以及

存储设备，适于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7任一所述全景图像的拍摄方法。

Images