CN105827978A - 一种半球形全景图的拍摄方法、装置及终端 - Google Patents
一种半球形全景图的拍摄方法、装置及终端 Download PDFInfo
- Publication number
- CN105827978A CN105827978A CN201610278136.8A CN201610278136A CN105827978A CN 105827978 A CN105827978 A CN 105827978A CN 201610278136 A CN201610278136 A CN 201610278136A CN 105827978 A CN105827978 A CN 105827978A
- Authority
- CN
- China
- Prior art keywords
- picture
- hemispherical
- shooting
- terminal
- splicing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 17
- 230000005484 gravity Effects 0.000 claims description 15
- 238000013386 optimize process Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种半球形全景图的拍摄方法、装置及终端，属于电子摄影技术领域。方法流程包括：初始化终端的方向坐标；进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息；根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图；根据预设的方案对所述半球形全景图进行优化处理。采用本发明，通过初始化终端的方向坐标，可以获取拍摄图片的访问信息，然后通过利用方位信息将各图片进行全景拼接生成半球形全景图，提高了球状全景图片的合成效率。
Description
技术领域
本发明涉及领域摄影技术领域，尤其涉及一种半球形全景图的拍摄方法、装置及终端。
背景技术
随着智能设备的不断发展，全景摄影在智能设备上渐渐兴起，其中一种常见的全景图为半球形全景图，该类全景图将地景或空景投影为球状，剩余部分景物投影为环装，十分新颖有趣，但是该全景图的拍摄较为专业，因此普通人拍摄难度较大。
目前，市场上出现的众多智能设备全景摄影软件，只有少部分支持拍摄或合成类半球形全景图片。这些软件大致分为两类，一类为完整球形全景拍摄软件，另一类为伪半球形全景图片加工处理软件。
第一类软件对全景建立完整球状图片模型，靠用户滑动切换球状模型视角，再进行选取保存，所以能够合成类似半球形全景图片。但是采用该类软件时，球状模型视角不能对半球形全景照片进行特定区分，也没有采用适合半球形全景图片的投影方式，生成的半球形全景图片难以调整为合适球状效果，用户难以掌控。
第二类类软件没有直接拍摄全景图片，而是将已拍摄好的水平状全景图片拉伸为圆环状，从而形成类似半球全景图的效果，故这种方案生成的图片效果很大取决于图片源的内容。其缺点是：地景(空景)在源图片中比例高度会直接影响合成图片中球状区域的大小，容易造成球状主体过小或过大，即使进行一定缩放操作也丢失了图片细节。
因此有必要提供一种半球形全景图的拍摄方法、装置及终端，以帮助用户通过简单的操作，拍摄出效果真实自然的半球形全景图。
发明内容
本发明的主要目的在于提出一种半球形全景图的拍摄方法、装置及终端，旨在帮助用户通过简单的操作，拍摄出效果真实自然的半球形全景图。
为实现上述目的，本发明提供的一种半球形全景图的拍摄方法，所述方法包括步骤：
初始化终端的方向坐标；
进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息；
根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图；
根据预设的方案对所述半球形全景图进行优化处理。
在一个优选的方案中，所述初始化终端的方向坐标，包括：
利用所述终端的加速度传感器与磁力传感器计算所述终端的方位信息；
以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系；
在所述终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示所述三维坐标系的极坐标系。
在一个优选的方案中，所述初始化终端的方向坐标之前，所述方法还包括：
根据用户的选择锁定拍摄区域：当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
在一个优选的方案中，所述进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息，包括：
终端保持在水平方向时，360度旋转拍摄图片；
检测拍摄的图片的重合内容，并根据预设规则随俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
在一个优选的方案中，所述根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图时，所述方法还包括：
进行拼接时，在所述半球形全景图的中心设置拼接留白区域，所述拼接留白区域为根据所述方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
在一个优选的方案中，所述根据预设的方案对所述半球形全景图进行优化处理，包括：
当所述半球形全景图中存在无内容的空白区域时，选取所述空白区域相邻的区域的图片内容，将所述图片内容进行模糊处理后填充所述空白区域；或者
当所述半球形全景图中存在拼接留白时，将所述拼接留白区域的圆周上的图片内容进行拉伸直至所述拼接留白的圆心处；或者
当所述半球形全景图以正方形的形式输出时，将所述拼接图片的圆环状空景中与所述正方形的拼接图片的四角对应的区域进行拉伸填充所述四角的空白区域，并在所述拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
在一个优选的方案中，所述方法还包括：将所述半球形全景图输出在终端屏幕上，并根据终端的朝向旋转所述拼接图片的方向。
此外，为实现上述目的，本发明还提出一种半球形全景图的拍摄装置，所述装置包括：
初始化单元，用于初始化终端的方向坐标；
拍摄单元，用于进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息；
拼接单元，用于根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图；
优化单元，用于根据预设的方案对所述半球形全景图进行优化处理。
在一个优选的方案中，所述初始化单元，还用于利用所述终端的加速度传感器与磁力传感器计算所述终端的方位信息，以及以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系；
所述装置，还包括：
显示单元，用于在所述终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示所述三维坐标系的极坐标系。
在一个优选的方案中，所述装置还包括拍摄区域锁定单元，用于在初始化终端的方向坐标之前，根据用户的选择锁定拍摄区域：当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
在一个优选的方案中，所述拍摄单元，包括：
拍摄模块，用于在终端保持在水平方向时，360度旋转拍摄图片；
方向确定模块，用于根据所述极坐标系追踪拍摄的图片的拍摄方向；
选择模块，用于检测所述拍摄的图片的重合内容，并根据预设规则及俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
在一个优选的方案中，所述根据拼接单元，还用于在进行拼接时，在所述半球形全景图的中心设置拼接留白区域，所述拼接留白区域为根据所述方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
在一个优选的方案中，所述优化单元，还用于在当所述半球形全景图中存在无内容的空白区域时，选取所述空白区域相邻的区域的图片内容，将所述图片内容进行模糊处理后填充所述空白区域；或者用于在所述半球形全景图中存在拼接留白时，将所述拼接留白区域的圆周上的图片内容进行拉伸直至所述拼接留白的圆心处；或者用于在半球形全景图以正方形的形式输出时，将所述拼接图片的圆环状空景中与所述正方形的拼接图片的四角对应的区域进行拉伸填充所述四角的空白区域，并在所述拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
在一个优选的方案中，所述显示单元，还用于将所述半球形全景图输出在终端屏幕上，并根据终端的朝向旋转所述拼接图片的方向。
此外，为实现上述目的，本发明还提出一种终端，所述终端包括摄像头、加速传感器、磁力传感器以及如上所述的拍摄装置，所述拍摄装置，用于锁定拍摄区域，并控制所述摄像头在所述拍摄区域内进行360度旋转拍摄，以及利用所述加速度传感器及所述磁力传感器计算手机的方位信息，并根据所述方位信息对拍摄的图片进行拼接生成半球形全景图。
本发明提出的半球形全景图的拍摄方法、装置及终端，通过初始化终端的方向坐标，可以获取拍摄图片的访问信息，然后通过利用方位信息将各图片进行全景拼接生成半球形全景图，提高了球状全景图片的合成效率。并且可以根据预设的方案对全景图进行优化处理，提高了用户的体验
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图；
图2为本发明实施例一提供的一种半球形全景图的拍摄方法的流程图；
图3为本发明实施例二提供的一种半球形全景图的拍摄装置的模块结构示意图；
图4为本发明实施例三提供的一种半球形全景图的拍摄方法的流程图；
图5为图4所示方法中步骤S401的示意图；
图6为图4所示方法中步骤S402的示意图；
图7-1、图7-2为图4所示方法中步骤S404的示意图；
图8为图4所示方法中步骤S407的示意图；
图9为图4所示方法中步骤S408的示意图；
图10为图4所示方法中步骤S409中对拼接留白进行优化的示意图；
图11为图4所示方法中步骤S409中对四角空白区域进行优化的示意图；
图12为本发明实施例四提供的一种半球形全景图的拍摄装置的模块结构示意图；
图13为本发明实施例五提供的终端的模块结构示意图。
图14至图15为本发明实施例的效果图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，″模块″与″部件″可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图。
移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
A/V输入单元120用于接收音频或视频信号。A/V输入单元120可以包括相机121和麦克风1220，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机1210。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。
输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100通过相机121进行图像捕获或图像处理时，显示单元151可以显示捕获的图像和/或处理后的图像、示出视频或图像以及相关功能的UI或GUI等等。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，己经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
基于上述移动终端硬件结构，提出本发明的各个实施例。
如图2所示，本发明第一实施例提出一种半球形全景图的拍摄方法，包括如下步骤：
S201、初始化终端的方向坐标；
S202、进行360度旋转拍摄，并根据该方向坐标记录拍摄的各图片的方位信息；
S203、根据该各图片的方位信息以及该方向坐标将该各图片进行全景拼接生成半球形全景图；
S204、根据预设的方案对该半球形全景图进行优化处理。
本实施例的一种半球形全景图的拍摄方法，通过初始化终端的方向坐标，可以获取拍摄图片的访问信息，然后通过利用方位信息将各图片进行全景拼接生成半球形全景图，提高了球状全景图片的合成效率。并且可以根据预设的方案对全景图进行优化处理，提高了用户的体验。
本发明进一步提供一种半球形全景图的拍摄装置，请参阅图3，该装置包括：
初始化单元301，用于初始化终端的方向坐标；
拍摄单元302，用于进行360度旋转拍摄，并根据该方向坐标记录拍摄的各图片的方位信息；
拼接单元303，用于根据该各图片的方位信息以及该方向坐标将该各图片进行全景拼接生成半球形全景图；
优化单元304，用于根据预设的方案对该半球形全景图进行优化处理。
本实施例的一种半球形全景图的拍摄装置，通过初始化终端的方向坐标，可以获取拍摄图片的访问信息，然后通过利用方位信息将各图片进行全景拼接生成半球形全景图，提高了球状全景图片的合成效率。并且可以根据预设的方案对全景图进行优化处理，提高了用户的体验。
在上述实施例的基础上，本发明实施例三还提供了另一种半球形全景图的拍摄方法，请参阅图4，方法流程包括：
S401、根据用户的选择锁定拍摄区域；
具体的，当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
本步骤中，对拍摄区域进行锁定，由用户选择拍摄地景半球或空景半球，选择之后，竖直反方向上半顶角为45度的球顶椎体区域不再拍摄。如图5，选择拍摄地景半球后，沿水平方向上夹角超过45度角以外的区域不再取景。
S402、初始化终端的方向坐标。
本步骤中，利用移动终端中的加速度传感器与磁力传感器计算手机的方位信息，初始化方向坐标系，如图6，以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系，根据该三维坐标系可以追踪图片方位信息。
S403、以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系。
S404、在该终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示该三维坐标系的极坐标系。
如图7-1图7-2所示，是三维坐标系在屏幕中显示为正北为0°、正西90°、正南180°、正东270°的极坐标系，在终端摄像头朝向正西时，屏幕竖直向上以及屏幕水平时的显示方式。
实际应用中，当停止拍摄后，极坐标不再随摄像头的朝向旋转，而改为手动旋转。此时，可以在用户界面提供再次开启极坐标随摄像头的朝向旋转的选项。
S406、使终端保持水平方向，360度旋转拍摄图片。
本步骤中，在拍摄时，只在锁定的拍摄区域的取景范围内进行拍摄，对于超过锁定的拍摄区域的取景则不再拍摄。
S407、按照预设的方案，检测图片重合内容，根据预设规则随俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
如图8所示，为获取的半球形全景图片中的各个片段。
S408、根据该方位信息对存储的各图片进行拼接生成半球形全景图，并以小行星投影方式将半球形全景图输出到屏幕上，并根据终端的朝向，旋转图片方向。
实际应用中，地景、空景中心区域拼接困难是半球形全景拼接中存在的一个问题，本步骤中，可以对此区域取景做特殊处理：
进行拼接时，在该拼接图片的中心设置拼接留白区域，该拼接留白区域为根据该方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
如图9所示，S1区域为拼接留白，考虑根据方向坐标，根据方位拟定两块固定取景区域A、B，且A、B设定有一定重合区域，从而能够生成畸变十分小的地景。
具体的，如果拍摄的是地景半球，则使对应的地面景物在屏幕沿重力竖直向上的方向上，如果拍摄的是空景则相反。
实际应用中，该步骤完成合成后，也可以不进行显示，而是在执行步骤S409之后进行显示。在该步骤中进行显示，可以使已拍摄与未拍摄的区域投影在球形区域中，降低了拍摄难度。并且确定输出全景图片的投影方式为小行星投影，避免了复杂的变换，简化了拍摄过程，提高了图片存储与显示的效率。
S408、存储半球形全景图内容，并记录方位信息。
本步骤中，存储的半球形全景图为圆形图片。
S409、根据预设的方案对该半球形全景图进行优化处理。
实际应用中，对半球形全景图进行优化处理，包括如下几种情况：
1、对未拍摄区域补偿当该半球形全景图中存在无内容的空白区域时，选取该空白区域相邻的区域的图片内容，将该图片内容进行模糊处理后填充该空白区域。
具体的，由于图片中同时显示已拍摄与未拍摄区域，而未拍摄区域即为空白区域，因该区域无内容呈现显得突兀生硬，可以采用预设方案填充未拍摄区域显示内容。比如，取未拍摄区域相邻的已拍摄区域的图片内容，以一定的方式进行模糊处理，并填充该未拍摄区域，如此循环处理图片所有区域，使所有区域均有内容填充。
2、当该半球形全景图中存在拼接留白时，将该拼接留白区域的圆周上的图片内容进行拉伸直至该拼接留白的圆心处。
实际应用中在某些场景下，地景、空景中心区域拼接困难，输出效果差，故提供一种可选的地景补偿模式，如图10，白色区域为拼接留白，拍摄至此步骤后不再取景，将留白区域的圆周图片内容进行拉伸，直至圆心，从而形成较好的合成效果。
3、当该半球形全景图以正方形的形式输出时，将该拼接图片的圆环状空景中与该正方形的拼接图片的四角对应的区域进行拉伸填充该四角的空白区域，并在该拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
具体的，在图片拍摄完毕后，由于采用小行星投影方案输出的图片为圆形，故在输出的正方形图片的四角区域并无内容，故采用一种方案来补偿四角区域。如图11，方形区域为输出区域，S1区域为合成图片地景，S2区域为圆环状空景，取四角对应的S3区域进行拉伸用以填充空白内容，并且在图片旋转时根据选取填充区域的变化动态改变填充内容。
S410、根据用户的操作以不同的查看模式显示半球形全景图。
具体的，本实施例的查看模式包括手动模式和指南针模式。
手动模式：坐标中正北方向默认指向屏幕上方，用户可通过控制手势缩放旋转半球形全景图，可选的，用户可以自定义打开四角补偿的状态，动态填充四角空缺区域，但在打开四角补偿的状态下半球形全景图中心固定在屏幕中央不可偏移。
指南针模式：利用终端的磁力传感器手机以及加速度传感器计算终端的朝向，固定半球形全景图中心，使半球形全景图对应正确的方向而旋转，可选的，用户可以自定义打开四角补偿的状态，动态填充四角空缺区域。
本实施例的半球形全景图的拍摄方法，能够在拍摄过程便捷地获取图像方位信息，从而使球状全景合成更加简易高效。确定了输出图片的投影方式为小行星投影，避免了复杂的变换，简化了拍摄过程，提高了图片存储与显示的效率。对半球形全景图片进行拼接时，同时显示已拍摄与未拍摄的区域投影在球形区域中，降低了拍摄难度，同时对未拍摄区域进行一定地优化显示，并且拍摄过程中显示内容根据终端设备朝向而作出反馈，在保存后再查看图片同样可根据方位而变化，具备一定的趣味性与良好的用户体验：
(1)通过利用方位信息使球状全景图片合成效率高；
(2)固定了球形全景输出时的投影方式，输出效率高；
(3)新颖的交互逻辑、显示界面与图片优化方式，易用性高，体验好；
(4)照片在查看模式下根据手机方位朝向呈罗盘式旋转跟随，用户代入感强。
在上述实施例的基础上，本发明实施例四提供了一种半球形全景图的拍摄装置，请参阅图12，该装置包括：
拍摄区域锁定单元1201，用于在初始化终端的方向坐标之前，根据用户的选择锁定拍摄区域：当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
初始化单元1202，利用该终端的加速度传感器与磁力传感器计算该终端的方位信息，以及以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系。
具体的，该初始化单元1202，还用于利用该终端的加速度传感器与磁力传感器计算该终端的方位信息，以及以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系。
显示单元1203，用于在该终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示该三维坐标系的极坐标系。
拍摄单元1204，用于在锁定的拍摄区域内进行360度旋转拍摄，并根据该方向坐标记录拍摄的各图片的方位信息。具体的，该拍摄单元包括：
拍摄模块，用于在终端保持在水平方向时，360度旋转拍摄图片；
方向确定模块，用于根据该极坐标系追踪拍摄的图片的拍摄方向；
选择模块，用于检测该拍摄的图片的重合内容，并根据预设规则及俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
拼接单元1026，用于根据该各图片的方位信息以及该方向坐标将该各图片进行全景拼接生成半球形全景图。
具体的，拼接单元1026还可以在进行拼接时，在该半球形全景图的中心设置拼接留白区域，该拼接留白区域为根据该方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
实际应用中，该显示单元1023，还用于以小行星投影方式将半球形全景图输出到屏幕上，并根据终端的朝向旋转图片方向。
存储单元1027，用于存储半球形全景图内容，并记录方位信息、
优化单元1028，用于根据预设的方案对该半球形全景图进行优化处理。
具体的，该优化单元1028，还用于在当该半球形全景图中存在无内容的空白区域时，选取该空白区域相邻的区域的图片内容，将该图片内容进行模糊处理后填充该空白区域；或者用于在该半球形全景图中存在拼接留白时，将该拼接留白区域的圆周上的图片内容进行拉伸直至该拼接留白的圆心处；或者用于在半球形全景图以正方形的形式输出时，将该拼接图片的圆环状空景中与该正方形的拼接图片的四角对应的区域进行拉伸填充该四角的空白区域，并在该拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
在一个可选的方案中，显示单元1203，还用于根据用户的操作以不同的查看模式显示半球形全景图。
具体的，本实施例的查看模式包括手动模式和指南针模式。
手动模式：坐标中正北方向默认指向屏幕上方，用户可通过控制手势缩放旋转半球形全景图，可选的，用户可以自定义打开四角补偿的状态，动态填充四角空缺区域，但在打开四角补偿的状态下半球形全景图中心固定在屏幕中央不可偏移。
指南针模式：利用终端的磁力传感器手机以及加速度传感器计算终端的朝向，固定半球形全景图中心，使半球形全景图对应正确的方向而旋转，可选的，用户可以自定义打开四角补偿的状态，动态填充四角空缺区域。
本实施例的半球形全景图的拍摄装置，能够在拍摄过程便捷地获取图像方位信息，从而使球状全景合成更加简易高效。确定了输出图片的投影方式为小行星投影，避免了复杂的变换，简化了拍摄过程，提高了图片存储与显示的效率。对半球形全景图片进行拼接时，同时显示已拍摄与未拍摄的区域投影在球形区域中，降低了拍摄难度，同时对未拍摄区域进行一定地优化显示，并且拍摄过程中显示内容根据终端设备朝向而作出反馈，在保存后再查看图片同样可根据方位而变化，具备一定的趣味性与良好的用户体验：
(1)通过利用方位信息使球状全景图片合成效率高；
(2)固定了球形全景输出时的投影方式，输出效率高；
(3)新颖的交互逻辑、显示界面与图片优化方式，易用性高，体验好；
(4)照片在查看模式下根据手机方位朝向呈罗盘式旋转跟随，用户代入感强。
本发明实施例五提供了一种终端。请参阅图13，该终端包括拍摄装置1301、摄像头1302、加速传感器1303及磁力传感器1304。
拍摄装置1301可以采用实施例二或实施例四的拍摄装置，此处不再赘述。
拍摄装置1301，分别与摄像头1302、加速传感器1303、磁力传感器1304连接，用于锁定拍摄区域，并控制该摄像头在该拍摄区域内进行360度旋转拍摄，以及利用该加速度传感器及该磁力传感器计算手机的方位信息，并根据该方位信息对拍摄的图片进行拼接生成半球形全景图。
本实施例的终端，通过初始化终端的方向坐标，可以获取拍摄图片的访问信息，然后通过利用方位信息将各图片进行全景拼接生成半球形全景图，基于本发明实施例的终端可以根据预设的方案对全景图进行优化处理，如图14、图15所示，为本发明实施例拍摄装置的一种拍照效果图。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (15)
1.一种半球形全景图的拍摄方法，其特征在于，所述方法包括步骤：
初始化终端的方向坐标；
进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息；
根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图；
根据预设的方案对所述半球形全景图进行优化处理。
2.根据权利要求1所述的方法，其特征在于，所述初始化终端的方向坐标，包括：
利用所述终端的加速度传感器与磁力传感器计算所述终端的方位信息；
以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系；
在所述终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示所述三维坐标系的极坐标系。
3.根据权利要求1所述的方法，其特征在于，所述初始化终端的方向坐标之前，所述方法还包括：
根据用户的选择锁定拍摄区域：当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
4.根据权利要求3所述的方法，其特征在于，所述进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息，包括：
终端保持在水平方向时，360度旋转拍摄图片；
检测拍摄的图片的重合内容，并根据预设规则随俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图时，所述方法还包括：
进行拼接时，在所述半球形全景图的中心设置拼接留白区域，所述拼接留白区域为根据所述方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
6.根据权利要求5所述的方法，其特征在于，所述根据预设的方案对所述半球形全景图进行优化处理，包括：
当所述半球形全景图中存在无内容的空白区域时，选取所述空白区域相邻的区域的图片内容，将所述图片内容进行模糊处理后填充所述空白区域；或者
当所述半球形全景图中存在拼接留白时，将所述拼接留白区域的圆周上的图片内容进行拉伸直至所述拼接留白的圆心处；或者
当所述半球形全景图以正方形的形式输出时，将所述拼接图片的圆环状空景中与所述正方形的拼接图片的四角对应的区域进行拉伸填充所述四角的空白区域，并在所述拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：将所述半球形全景图输出在终端屏幕上，并根据终端的朝向旋转所述拼接图片的方向。
8.一种半球形全景图的拍摄装置，其特征在于，所述装置包括：
初始化单元，用于初始化终端的方向坐标；
拍摄单元，用于进行360度旋转拍摄，并根据所述方向坐标记录拍摄的各图片的方位信息；
拼接单元，用于根据所述各图片的方位信息以及所述方向坐标将所述各图片进行全景拼接生成半球形全景图；
优化单元，用于根据预设的方案对所述半球形全景图进行优化处理。
9.根据权利要求8所述的装置，其特征在于，所述初始化单元，还用于利用所述终端的加速度传感器与磁力传感器计算所述终端的方位信息，以及以正东、正北、沿重力竖直向上方向为正方向建立三维坐标系；
所述装置，还包括：
显示单元，用于在所述终端的屏幕中沿重力竖直向上的方向上根据后置摄像头的朝向旋转显示所述三维坐标系的极坐标系。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括拍摄区域锁定单元，用于在初始化终端的方向坐标之前，根据用户的选择锁定拍摄区域：当用户选择拍摄地景半球时，锁定拍摄区域为沿水平方向上45度角以内的区域为拍摄区域；或者当用户选择拍摄空景半球时，锁定拍摄区域为沿水平方向上45度角以外的区域为拍摄区域。
11.根据权利要求10所述的装置，其特征在于，所述拍摄单元，包括：
拍摄模块，用于在终端保持在水平方向时，360度旋转拍摄图片；
方向确定模块，用于根据所述极坐标系追踪拍摄的图片的拍摄方向；
选择模块，用于检测所述拍摄的图片的重合内容，并根据预设规则及俯仰角度的变化选取不同数量的图片进行保存，并记录每个图片的拍摄方向。
12.根据权利要求11所述的装置，其特征在于，所述根据拼接单元，还用于在进行拼接时，在所述半球形全景图的中心设置拼接留白区域，所述拼接留白区域为根据所述方向坐标拟定的两个固定取景区域的图片的图案重合的圆形区域。
13.根据权利要求12所述的装置，其特征在于，所述优化单元，还用于在当所述半球形全景图中存在无内容的空白区域时，选取所述空白区域相邻的区域的图片内容，将所述图片内容进行模糊处理后填充所述空白区域；或者用于在所述半球形全景图中存在拼接留白时，将所述拼接留白区域的圆周上的图片内容进行拉伸直至所述拼接留白的圆心处；或者用于在半球形全景图以正方形的形式输出时，将所述拼接图片的圆环状空景中与所述正方形的拼接图片的四角对应的区域进行拉伸填充所述四角的空白区域，并在所述拼接图片旋转时根据选取填充区域的变化动态改变填充内容。
14.根据权利要求10至13任一项所述的装置，其特征在于，所述显示单元，还用于将所述半球形全景图输出在终端屏幕上，并根据终端的朝向旋转所述拼接图片的方向。
15.一种终端，其特征在于，所述终端包括摄像头、加速传感器、磁力传感器以及如权利要求8至14任一项所述的拍摄装置，所述拍摄装置，用于锁定拍摄区域，并控制所述摄像头在所述拍摄区域内进行360度旋转拍摄，以及利用所述加速度传感器及所述磁力传感器计算手机的方位信息，并根据所述方位信息对拍摄的图片进行拼接生成半球形全景图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610278136.8A CN105827978B (zh) | 2016-04-28 | 2016-04-28 | 一种半球形全景图的拍摄方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610278136.8A CN105827978B (zh) | 2016-04-28 | 2016-04-28 | 一种半球形全景图的拍摄方法、装置及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105827978A true CN105827978A (zh) | 2016-08-03 |
| CN105827978B CN105827978B (zh) | 2020-07-03 |
Family
ID=56527786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610278136.8A Expired - Fee Related CN105827978B (zh) | 2016-04-28 | 2016-04-28 | 一种半球形全景图的拍摄方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105827978B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791395A (zh) * | 2016-12-20 | 2017-05-31 | 暴风集团股份有限公司 | 视频的半球面播放方法和系统 |
| CN107516294A (zh) * | 2017-09-30 | 2017-12-26 | 百度在线网络技术（北京）有限公司 | 拼接图像的方法和装置 |
| CN108702445A (zh) * | 2017-03-03 | 2018-10-23 | 华为技术有限公司 | 一种图像显示方法及电子设备 |
| CN110049226A (zh) * | 2018-01-16 | 2019-07-23 | 飞狐信息技术（天津）有限公司 | 一种全景图片素材的拍摄方法及系统 |
| CN114007056A (zh) * | 2021-10-28 | 2022-02-01 | 幻境虚拟现实科技(广州)有限公司 | 一种立体全景图像的生成方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102984453A (zh) * | 2012-11-01 | 2013-03-20 | 深圳大学 | 利用单摄像机实时生成半球全景视频图像的方法及系统 |
| CN103020900A (zh) * | 2012-11-15 | 2013-04-03 | 北京小米科技有限责任公司 | 一种图像处理方法及装置 |
| CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术（北京）有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
| WO2014043814A1 (en) * | 2012-09-21 | 2014-03-27 | Tamaggo Inc. | Methods and apparatus for displaying and manipulating a panoramic image by tiles |
| CN103942754A (zh) * | 2013-01-18 | 2014-07-23 | 深圳市腾讯计算机系统有限公司 | 全景图像补全方法及装置 |
| US9310987B2 (en) * | 2013-08-19 | 2016-04-12 | Google Inc. | Projections to fix pose of panoramic photos |
-
2016
- 2016-04-28 CN CN201610278136.8A patent/CN105827978B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术（北京）有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
| WO2014043814A1 (en) * | 2012-09-21 | 2014-03-27 | Tamaggo Inc. | Methods and apparatus for displaying and manipulating a panoramic image by tiles |
| CN102984453A (zh) * | 2012-11-01 | 2013-03-20 | 深圳大学 | 利用单摄像机实时生成半球全景视频图像的方法及系统 |
| CN103020900A (zh) * | 2012-11-15 | 2013-04-03 | 北京小米科技有限责任公司 | 一种图像处理方法及装置 |
| CN103942754A (zh) * | 2013-01-18 | 2014-07-23 | 深圳市腾讯计算机系统有限公司 | 全景图像补全方法及装置 |
| US9310987B2 (en) * | 2013-08-19 | 2016-04-12 | Google Inc. | Projections to fix pose of panoramic photos |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106791395A (zh) * | 2016-12-20 | 2017-05-31 | 暴风集团股份有限公司 | 视频的半球面播放方法和系统 |
| CN108702445A (zh) * | 2017-03-03 | 2018-10-23 | 华为技术有限公司 | 一种图像显示方法及电子设备 |
| CN108702445B (zh) * | 2017-03-03 | 2021-01-15 | 华为技术有限公司 | 一种图像显示方法、电子设备及计算机可读存储介质 |
| US11134191B2 (en) | 2017-03-03 | 2021-09-28 | Huawei Technologies Co., Ltd. | Image display method and electronic device |
| CN107516294A (zh) * | 2017-09-30 | 2017-12-26 | 百度在线网络技术（北京）有限公司 | 拼接图像的方法和装置 |
| CN107516294B (zh) * | 2017-09-30 | 2020-10-13 | 百度在线网络技术（北京）有限公司 | 拼接图像的方法和装置 |
| CN110049226A (zh) * | 2018-01-16 | 2019-07-23 | 飞狐信息技术（天津）有限公司 | 一种全景图片素材的拍摄方法及系统 |
| CN110049226B (zh) * | 2018-01-16 | 2021-01-29 | 飞狐信息技术（天津）有限公司 | 一种全景图片素材的拍摄方法及系统 |
| CN114007056A (zh) * | 2021-10-28 | 2022-02-01 | 幻境虚拟现实科技(广州)有限公司 | 一种立体全景图像的生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105827978B (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11516381B2 (en) | Display device and operating method thereof with adjustments related to an image display according to bending motion of the display device | |
| CN105827978A (zh) | 一种半球形全景图的拍摄方法、装置及终端 | |
| EP3786894A1 (en) | Method, device and apparatus for repositioning in camera orientation tracking process, and storage medium | |
| US8773502B2 (en) | Smart targets facilitating the capture of contiguous images | |
| US10484602B2 (en) | Camera arrangements for wide-angle imaging | |
| CN105447864B (zh) | 图像的处理方法、装置及终端 | |
| US20150363922A1 (en) | Super-resolution from handheld camera | |
| CN105430263A (zh) | 长曝光全景图像拍摄装置和方法 | |
| CN105791701B (zh) | 图像拍摄装置及方法 | |
| CN108141511A (zh) | 图像处理装置、摄像装置、图像处理方法以及程序 | |
| JP2017058812A (ja) | 画像表示装置、画像表示方法及びプログラム | |
| CN102207674A (zh) | 全景图像拍摄装置及方法 | |
| CN105959565A (zh) | 一种全景拍照方法及移动终端 | |
| WO2017088714A1 (zh) | 移动终端及其三维形象的生成方法 | |
| CN107770452A (zh) | 一种拍照方法及终端和相关介质产品 | |
| CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
| CN105120164B (zh) | 连拍照片的处理装置及方法 | |
| CN106357966A (zh) | 全景图像拍摄装置及全景图像获取方法 | |
| CN110795019B (zh) | 软键盘的按键识别方法、装置及存储介质 | |
| KR20220005087A (ko) | 촬영 방법 및 단말 | |
| CN106534406A (zh) | 一种终端、拍摄装置及方法 | |
| CN105407275B (zh) | 照片合成装置及方法 | |
| CN108012073A (zh) | 一种实现全景拍摄的方法及装置 | |
| CN106648150A (zh) | 图片调整装置及方法 | |
| CN112116530B (zh) | 鱼眼图像畸变矫正方法、装置和虚拟显示系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200605 Address after: 200030 room 506, building 2, No. 20, Xuhong Middle Road, Xuhui District, Shanghai Applicant after: Shanghai two orange Culture Communication Co.,Ltd. Address before: 518000 Guangdong Province, Shenzhen high tech Zone of Nanshan District City, No. 9018 North Central Avenue's innovation building A, 6-8 layer, 10-11 layer, B layer, C District 6-10 District 6 floor Applicant before: NUBIA TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200703 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |