CN106791454A - 一种拍摄的方法、终端及服务器 - Google Patents

一种拍摄的方法、终端及服务器 Download PDF

Info

Publication number
CN106791454A
CN106791454A CN201710150343.XA CN201710150343A CN106791454A CN 106791454 A CN106791454 A CN 106791454A CN 201710150343 A CN201710150343 A CN 201710150343A CN 106791454 A CN106791454 A CN 106791454A
Authority
CN
China
Prior art keywords
wide
eye camera
image
angle fish
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710150343.XA
Other languages
English (en)
Inventor
孙立新
丁颖哲
周明宇
何星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baicells Technologies Co Ltd
Original Assignee
Baicells Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baicells Technologies Co Ltd filed Critical Baicells Technologies Co Ltd
Priority to CN201710150343.XA priority Critical patent/CN106791454A/zh
Publication of CN106791454A publication Critical patent/CN106791454A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供了一种拍摄的方法、终端及服务器,涉及通信技术领域,可以通过终端内置广角鱼眼摄像头完成全景拍摄,所述终端的屏幕所在面以及屏幕所在面的相对面各内置至少一个广角鱼眼摄像头,且当前置广角鱼眼摄像头和后置广角鱼眼摄像头均为一个时,两个广角鱼眼摄像头的视角均不小于180°,该方法包括,获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像;根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像;拼合所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像;输出所述拼合后的图像。本发明实施例提供的技术方案适用于图像拍摄过程中。

Description

一种拍摄的方法、终端及服务器
【技术领域】
本发明涉及通信技术领域,尤其涉及一种拍摄的方法、终端及服务器。
【背景技术】
近年来随着科技的快速发展,出现了可以拍摄全景照片或视频的insta360全景相机,满足了人们旅游、记录、直播等的全景拍摄需求。并且针对iPhone手机,insta360科技工作者还生产出了外置卡座式的insta360全景摄像头,人们通过insta360全景摄像头和iPhone手机也可以拍摄出全景照片或视频。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
目前的Insta360全景摄像头,以外置卡座的形式安装在手机上,需要手机和外置卡座式insta360全景摄像头协作才能完成全景拍摄,用户携带麻烦,操作冗杂,体验欠佳。
【发明内容】
有鉴于此,本发明实施例提供了一种拍摄的方法、终端及服务器,可以通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
第一方面,本发明实施例提供了一种终端,所述终端的屏幕所在面内置至少一个前置广角鱼眼摄像头,且所述终端的屏幕所在面的相对面内置至少一个后置广角鱼眼摄像头。
第二方面,本发明实施例提供了一种拍摄的方法,适用于终端,所述方法包括:
获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像;
根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像;
拼合所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像;
输出所述拼合后的图像。
第三方面,本发明实施例提供了一种拍摄的方法,适用于终端,所述方法包括:
获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像;
根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像;
向服务器发送所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像;
获取所述服务器返回的图像;
输出所述服务器返回的图像。
第四方面,本发明实施例提供了一种拍摄的方法,适用于服务器,所述方法包括:
获取终端发送的图像;
拼合所述终端发送的图像;
发送所述拼合后的图像至所述终端。
第五方面,本发明实施例提供了一种服务器,所述服务器包括:
获取单元,用于获取终端发送的图像;
拼合单元,用于拼合所述终端发送的图像;
发送单元,用于发送所述拼合后的图像至所述终端。
本发明实施例提供了一种拍摄的方法、终端及服务器,所述终端至少内置一个前置广角鱼眼摄像头和一个后置广角鱼眼摄像头,通过校准数组处理前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像,并拼合处理后的图像以完成全景图像输出,通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1a是本发明实施例提供的一种终端的实体装置结构图;
图1b是本发明实施例提供的另一种终端的实体装置结构图;
图2是本发明实施例提供的一种拍摄的方法流程图;
图3是本发明实施例提供的另一种拍摄的方法流程图;
图4是本发明实施例提供的另一种拍摄的方法流程图;
图5是本发明实施例提供的另一种拍摄的方法流程图;
图6是本发明实施例提供的另一种拍摄的方法流程图;
图7是本发明实施例提供的另一种拍摄的方法流程图;
图8是本发明实施例提供的另一种拍摄的方法流程图;
图9是本发明实施例提供的另一种拍摄的方法流程图;
图10是本发明实施例提供的另一种拍摄的方法流程图;
图11是本发明实施例提供的另一种拍摄的方法流程图;
图12是本发明实施例提供的另一种拍摄的方法流程图;
图13是本发明实施例提供的另一种拍摄的方法流程图;
图14是本发明实施例提供的另一种拍摄的方法流程图;
图15是本发明实施例提供的另一种拍摄的方法流程图;
图16是本发明实施例提供的另一种拍摄的方法流程图;
图17是本发明实施例提供的另一种拍摄的方法流程图;
图18是本发明实施例提供的另一种拍摄的方法流程图;
图19是本发明实施例提供的另一种拍摄的方法流程图;
图20是本发明实施例提供的一种服务器的组成框图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本发明实施例提供了一种终端,用于拍摄过程中,如图1a和图1b所示,所述终端的屏幕所在面内置至少一个前置广角鱼眼摄像头11,且所述终端的屏幕所在面的相对面内置至少一个后置广角鱼眼摄像头12。
其中,所述终端指的是手机、平板电脑、PC等各类可以内置摄像头进行图像拍摄的个人电子设备。
其中,广角鱼眼摄像头指的是拍摄角度广、可视范围大、焦距为16mm或更短的摄像头,其视角可达到200°以上。
可选的是,当所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12均为一个时,两个广角鱼眼摄像头的视角均不小于180°。
可选的是,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12的分辨率不同。
其中,所述分辨率指的是广角鱼眼摄像头拍摄图像的分辨率,是图像单位英寸中所包含的像素点数。
可选的是,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12的分辨率相同。
为了满足用户不同分辨率要求的拍摄需求,本发明实施例提供了前置广角鱼眼摄像头11和后置广角鱼眼摄像头12的分辨率不同和相同两种实现方式。
可选的是,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12的中心位置连线不垂直于终端的屏幕所在面。
由于美观性,现在终端厚度一般都设计的超薄,考虑到终端厚度问题,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12一般在水平方向上错位安装,其中心位置连线与终端的屏幕所在面不垂直。
可选的是,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12的中心位置连线垂直于终端的屏幕所在面。
当终端没有设计规格限制时,所述前置广角鱼眼摄像头11和后置广角鱼眼摄像头12可以对齐安装,其中心位置连线与终端的屏幕所在面垂直。
本发明实施例提供了一种终端,所述终端至少内置一个前置广角鱼眼摄像头和一个后置广角鱼眼摄像头,通过校准数组处理前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像,并拼合处理后的图像以完成全景图像输出,通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
本发明实施例提供了一种拍摄的方法,适用于上述终端,应用于全景拍摄过程中。
其中,所述终端的屏幕所在面内置至少一个前置广角鱼眼摄像头,所述终端的屏幕所在面的相对面内置至少一个后置广角鱼眼摄像头,且当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头均为一个时,两个广角鱼眼摄像头的视角均不小于180°
其中,所述终端的解释说明与前文一致,此处不再赘述。
其中,广角鱼眼摄像头的解释说明与前文一致,此处不再赘述。
如图2所示,所述方法包括:
201、获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像。
其中,所述校准数组指的是通过对样本图像进行拼合处理,计算出来后储存在终端中,用于对图像进行校准处理的数组。
所述校准数组至少包括鱼眼校正参数、分辨率调整参数和位置对齐参数。
其中,分辨率的解释说明与前文一致,此处不再赘述。
202、根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像。
其中,步骤202对所述前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像进行的处理至少包括鱼眼校正、分辨率调整以及位置对齐处理。
203、拼合所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像。
步骤203指的是,将处理后的前置广角鱼眼摄像头拍摄的图像和后置广角鱼眼摄像头拍摄的图像进行拼合,以拼合出全景图像。
204、输出所述拼合后的图像。
本发明实施例提供了一种拍摄的方法,适用于终端,所述终端至少内置一个前置广角鱼眼摄像头和一个后置广角鱼眼摄像头,通过校准数组处理前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像,并拼合处理后的图像以完成全景图像输出,通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
进一步来说,结合前述方法流程,为了增加用户体验,本发明实施例还为用户提供了三种处理拼合后图像的方式,执行在步骤204之后:
第一种方式,如图3所示,包括以下具体步骤:
205、通过网络传输所述拼合后的图像。
用户可以通过网络将所述拼合后的图像传输到微信朋友圈、脸书、QQ空间、网络直播间、视频CDN服务商等网络平台。
其中,CDN全称是Content Delivery Network,即内容分发网络,其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。
第一种方式,可以为用户提供分享的功能,用户可以实时把所见所闻直接分享。
第二种方式,如图4所示,包括以下具体步骤:
206、储存所述拼合后的图像。
第二种方式,当用户不想直接分享所述拼合后的图像时,为用户提供存储功能,用户可以将所述拼合后的图像储存至本地终端或其它位置。
第三种方式,如图5所示,包括以下具体步骤:
207、显示所述拼合后的图像。
第三种方式,终端可以直接显示所述拼合后的图像。
进一步来说,结合前述方法流程,为了能够更加清晰的描述如何获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像,本发明实施例的另一种可能的实现方式,针对步骤201的实现,如图6所示,还提供了以下具体步骤:
2011、获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的视频流。
其中,所述视频流指的是视频数据,例如,它能够被作为一个稳定的和连续的流。
2012、将所述获取的前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的视频流分别进行解码处理,得到对应的图像队列。
对视频流进行解码处理指的是把所述视频流转变成若干图像,并按照视频流的实时顺序形成图像队列。
其中,所述图像队列指的是依旧保持视频连续性的若干图像形成的队列。
进一步来说,结合前述方法流程,由于广角鱼眼摄像头拍摄出的鱼眼图像畸变较大,需要将鱼眼图像校正为平面图像,以增强视觉效果以及减小图像拼合困难,因此本发明实施例的另一种可能的实现方式,针对步骤202的实现,如图7所示,还提供了以下具体步骤:
2021、根据所述获取的校准数组,将所述图像队列中的图像进行鱼眼校正,以把所述图像队列中的图像转换为平面图像。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率不同时,需要将所述图像队列中图像的分辨率调整为相同,以消除图像拼合时的分辨率跳变,因此本发明实施例的另一种可能的实现方式,针对步骤202的实现,如图8所示,还提供了以下具体步骤:
2022、根据所述获取的校准数组,将所述图像队列中的图像调整为指定分辨率。
其中,所述指定分辨率指的是,根据所述校准数组确定的图像分辨率。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线不垂直于终端的屏幕所在面时,图像队列中次序相同图像在拼合时会出现图像角度、景深、景物大小不兼容,也就是图像错位的情况,因此需要对所述图像对列中次序相同的图像进行位置对齐,本发明实施例的另一种可能的实现方式,针对步骤202的实现,如图9所示,还提供了以下具体步骤:
2023、根据所述获取的校准数组,将各个图像队列中次序相同的图像进行位置对齐。
其中,当所述前置广角鱼眼摄像头和后置鱼眼摄像头拍摄的图像实时对应时,其在图像队列中的次序相同。
其中,所述位置对齐指的是通过图像校正完成图像中心位置以及图像角度、景深、景物大小调整的图像处理方式。
进一步来说,结合前述方法流程,通过对视频流进行解码处理获取前置广角鱼眼摄像头和后置广角鱼眼摄像头的图像后,本发明实施例的另一种可能的实现方式,针对步骤203的实现,如图10所示,还提供了以下具体步骤:
2031、将各个图像队列中次序相同的图像进行拼合,以建立新的图像队列。
其中,将各个图像队列中次序相同的图像进行拼合后形成全景图像,将全景图像按照次序建立新的图像队列,新的图像队列中依旧保持视频连续性。
进一步来说,结合前述方法流程,在所述将各个图像队列中次序相同的图像进行拼合,建立新的图像队列之后,还需将新的图像队列组成全景视频流以完成全景视频流的最终输出,因此本发明实施例的另一种可能的实现方式还提供了以下具体步骤流程,如图11所示,包括:
208、将新的图像队列编码成视频流。
对图像进行编码指的是把图像队列中的图像按照实时顺序转变成视频流。
则所述输出所述拼合后的图像,包括:
2041、输出新的图像队列编码成的视频流。
进一步来说,结合前述方法流程,为了增强用户体验,本发明实施例还为用户提供了三种处理新的图像队列编码成视频流的方式,执行在步骤2041之后:
第一种方式,如图12所示,包括以下具体步骤:
209、通过网络传输所述新的图像队列编码成的视频流。
第一种方式,可以为用户提供分享的功能,用户可以实时把所见所闻直接分享,比如可以进行直播。
第二种方式,如图13所示,包括以下具体步骤:
210、储存所述新的图像队列编码成的视频流。
第二种方式,当用户不想直接分享所述新的图像队列编码成的视频流时,为用户提供存储功能,用户可以将所述新的图像队列编码成的视频流储存至本地终端或其他位置。
第三种方式,如图14所示,包括以下具体步骤:
211、显示所述新的图像队列编码成的视频流。
第三种方式,终端可以直接显示或播放所述新的图像队列编码成的视频流。
进一步来说,结合前述方法流程,在获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组之前,需要通过对样本图像进行处理获取图像拼合效果,来计算所述校准数组,因此本发明实施例的另一种可能的实现方式还提供了以下流程,执行在步骤201之前,如图15所示,包括以下具体步骤:
212、获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的参数以及各自拍摄的至少一帧样本图像。
其中,所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的参数至少包括摄像头的鱼眼参数、分辨率参数以及摄像头位置参数。
其中,所述样本图像指的是广角鱼眼摄像头的原始图像,前置广角鱼眼摄像头的样本图像和后置广角鱼眼摄像头的样本图像实时对应。
213、根据所述获取的前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的参数,分别对获取的至少两帧样本图像进行处理。
其中,步骤213至少包括对样本图像进行鱼眼校正、分辨率调整以及位置对齐处理。
214、通过对所述获取的至少两帧样本图像进行处理,计算出所述校准数组。
通过对所述获取的至少两帧样本图像进行处理,完成样本图像的鱼眼校正、分辨率调整以及位置对齐处理,以获得样本图像拼合的最优效果过程中,对样本图像进行处理的数组作为校准数组。
215、储存所述校准数组。
进一步来说,结合前述方法流程,首先需要把所述样本图像由鱼眼图像校正为平面图像,如图16所示,针对步骤213的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
2131、根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的鱼眼参数,将所述获取的至少两帧样本图像进行鱼眼校正,以把所述获取的至少两帧样本图像转换为平面图像。
通过步骤2131可以获取所述校准数组中的鱼眼校正参数。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率不同时,还需要把所述样本图像的分辨率调整为一致,如图17所示,针对步骤213的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
2132、根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的分辨率参数,将所述获取的至少两帧样本图像调整为相同的分辨率。
通过步骤2132可以获取所述校准数组中的分辨率调整参数。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线不垂直于终端的屏幕所在面时,还需要将所述样本图像进行位置对齐,如图18所示,针对步骤213的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
2133、根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的摄像头位置参数,将所述获取的至少两帧图像进行位置对齐。
通过步骤2133可以获取所述校准数组中的位置对齐参数。
本发明实施例提供了一种拍摄的方法,适用于上述终端,应用于基于服务器处理图像进行全景拍摄的过程中,通过终端和服务器交互完成全景拍摄。
其中,本实施中曾在前文出现的名词,均与前文的解释说明一致,不再赘述。
其中,所述终端的屏幕所在面内置至少一个前置广角鱼眼摄像头,所述终端的屏幕所在面的相对面内置至少一个后置广角鱼眼摄像头,且当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头均为一个时,两个广角鱼眼摄像头的视角均不小于180°
其中,所述服务器指的是至少可以完成图像拼合的云服务端。
如图19所示,所述方法包括:
301、所述终端获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像。
其中,所述校准数组的解释数目与前文一致,此处不再赘述,所述校准数组至少包括鱼眼校正参数、分辨率调整参数和位置对齐参数。
其中,分辨率的解释说明与前文一致,此处不再赘述。
302、所述终端根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像。
其中,步骤302对所述前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像进行的处理至少包括鱼眼校正、分辨率调整以及位置对齐处理。
303、所述终端向所述服务器发送所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像。
所述终端将所述处理后的图像发送给所述服务器,以使所述服务器对图像进行拼合。
304、所述服务器拼合所述终端发送的图像。
步骤304指的是,所述服务器将处理后的图像进行拼合,以拼合出全景图像。
305、所述服务器发送所述拼合后的图像至所述终端。
306、所述终端输出所述服务器返回的拼合后的图像。
本发明实施例提供了一种拍摄的方法,通过终端和服务器交互完成全景拍摄。所述终端至少内置一个前置广角鱼眼摄像头和一个后置广角鱼眼摄像头,通过校准数组处理前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像,所服务器获取并拼合处理后的图像,通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
进一步来说,结合前述方法流程,为了增加用户体验,本发明实施例的另一种可能的实现方式还提供了三种处理拼合后图像的方式,执行在步骤306之后:
第一种方式,包括以下具体步骤:
307、所述终端通过网络传输所述服务器返回的图像。
第二种方式,包括以下具体步骤:
308、所述终端储存所述服务器返回的图像。
第三种方式,包括以下具体步骤:
309、所述终端显示所述服务器返回的图像。
需要说明的是,步骤307和步骤309中通过网络传输和显示所述服务器拼合后的图像,也可以在所述服务器中进行。
进一步来说,结合前述方法流程,为了能够更加清晰的描述终端如何获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像,本发明实施例的另一种可能的实现方式,针对步骤301的实现,还提供了以下具体步骤:
3011、所述终端获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的视频流。
3012、所述终端将所述获取的前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的视频流分别进行解码处理,得到对应的图像队列。
所述终端对视频流进行解码处理指的是把所述视频流转变成若干图像,并按照视频流的实时顺序形成图像队列。
进一步来说,结合前述方法流程,由于广角鱼眼摄像头拍摄出的鱼眼图像畸变较大,需要将鱼眼图像校正为平面图像,以增强视觉效果以及减小图像拼合困难,因此本发明实施例的另一种可能的实现方式,针对步骤302的实现,还提供了以下具体步骤:
3021、所述终端根据所述获取的校准数组,将所述图像队列中的图像进行鱼眼校正,以把所述图像队列中的图像转换为平面图像。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率不同时,需要将所述图像队列中图像的分辨率调整为相同,以消除图像拼合时的分辨率跳变,因此本发明实施例的另一种可能的实现方式,针对步骤302的实现,还提供了以下具体步骤:
3022、所述终端根据所述获取的校准数组,将所述图像队列中的图像调整为指定分辨率。
其中,所述指定分辨率指的是,根据所述校准数组确定的图像分辨率。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线不垂直于终端的屏幕所在面时,图像队列中次序相同图像在拼合时会出现图像角度、景深、景物大小不兼容,也就是图像错位的情况,因此需要对所述图像对列中次序相同的图像进行位置对齐,本发明实施例的另一种可能的实现方式,针对步骤302的实现,还提供了以下具体步骤:
3023、所述终端根据所述获取的校准数组,将各个图像队列中次序相同的图像进行位置对齐。
进一步来说,结合前述方法流程,通过对视频流进行解码处理获取前置广角鱼眼摄像头和后置广角鱼眼摄像头的图像后,本发明实施例的另一种可能的实现方式,针对步骤303的实现,还提供了以下具体步骤:
3031、所述终端向所述服务器发送处理后的图像队列。
则所述服务器拼合所述终端发送的图像,包括:
3041、所述服务器将各个图像队列中次序相同的图像进行拼合,以建立新的图像队列。
其中,所述服务器将各个图像队列中次序相同的图像进行拼合后形成全景图像,将全景图像按照次序建立新的图像队列,新的图像队列中依旧保持视频连续性。
进一步来说,结合前述方法流程,针对步骤305的实现,本发明实施例的另一种可能的实现方式,还提供了以下具体步骤:
3051、所述服务器发送所述新的图像队列至所述终端。
进一步来说,结合前述方法流程,在所述终端获取所述服务器发送的新的图像队列之后,还需将新的图像队列组成全景视频流以完成全景视频流的最终输出,因此本发明实施例的另一种可能的实现方式还提供了以下具体步骤流程,包括:
310、所述终端将所述新的图像队列编码成视频流;
则所述终端输出所述服务器返回的图像,包括:
3061、所述终端输出所述新的图像队列编码成的视频流。
进一步来说,结合前述方法流程,为了增强用户体验,本发明实施例还为用户提供了三种处理新的图像队列编码成视频流的方式,执行在步骤3061之后:
第一种方式,包括以下具体步骤:
311、所述终端通过网络传输所述新的图像队列编码成的视频流。
第二种方式,包括以下具体步骤:
312、所述终端储存所述新的图像队列编码成的视频流。
第三种方式,包括以下具体步骤:
313、所述终端显示所述新的图像队列编码成的视频流。
需要说明的是,步骤311和步骤313中通过网络传输和显示所述新的图像队列编码成的视频流,也可以在所述服务器中进行。
进一步来说,结合前述方法流程,在所述终端获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组之前,需要通过对样本图像进行处理获取图像拼合效果,来计算所述校准数组,因此本发明实施例的另一种可能的实现方式还提供了以下流程,执行在步骤301之前,包括以下具体步骤:
314、所述终端获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的参数以及各自拍摄的至少一帧样本图像。
315、所述终端根据所述获取的前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的参数,分别对获取的至少两帧样本图像进行处理。
316、所述终端通过对所述获取的至少两帧样本图像进行处理,计算出所述校准数组。
317、所述终端储存所述校准数组。
进一步来说,结合前述方法流程,首先需要把所述样本图像由鱼眼图像校正为平面图像,针对步骤315的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
3151、所述终端根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的鱼眼参数,将所述获取的至少两帧样本图像进行鱼眼校正,以把所述获取的至少两帧样本图像转换为平面图像。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率不同时,还需要把所述样本图像的分辨率调整为一致,针对步骤315的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
3152、所述终端根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的分辨率参数,将所述获取的至少两帧样本图像调整为相同的分辨率。
进一步来说,结合前述方法流程,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线不垂直于终端的屏幕所在面时,还需要将所述样本图像进行位置对齐,针对步骤315的实现,本发明实施例的另一种可能的实现方式还提供了以下步骤流程:
3153、所述终端根据所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自的摄像头位置参数,将所述获取的至少两帧图像进行位置对齐。
本发明实施例提供了一种服务器,如图20所示,所述服务器包括:
获取单元41,用于获取终端发送的图像。
拼合单元42,用于拼合所述终端发送的图像。
发送单元43,用于发送所述拼合后的图像至所述终端。
可选的是,所述获取单元41包括:
获取模块411,用于获取终端发送的图像队列。
则所述拼合单元42具体用于:
将各个图像队列中次序相同的图像进行拼合,以建立新的图像队列。
可选的是,所述发送单元43包括:
发送模块431,用于发送所述新的图像队列至所述终端。
本发明实施例提供了一种服务器,通过终端和服务器交互完成全景拍摄。所述终端通过校准数组处理前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像,所服务器获取并拼合处理后的图像,通过终端内置广角鱼眼摄像头完成全景拍摄,用户携带容易,操作简捷,体验度高。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种终端,其特征在于,所述终端的屏幕所在面内置至少一个前置广角鱼眼摄像头,且所述终端的屏幕所在面的相对面内置至少一个后置广角鱼眼摄像头。
2.根据权利要求1所述的终端,其特征在于,当所述前置广角鱼眼摄像头和后置广角鱼眼摄像头均为一个时,两个广角鱼眼摄像头的视角均不小于180°。
3.根据权利要求1所述的终端,其特征在于,所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率不同。
4.根据权利要求1所述的终端,其特征在于,所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的分辨率相同。
5.根据权利要求1所述的终端,其特征在于,所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线不垂直于终端的屏幕所在面。
6.根据权利要求1所述的终端,其特征在于,所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的中心位置连线垂直于终端的屏幕所在面。
7.一种拍摄的方法,适用于如权利要求1至6中任一权利要求所述的终端,其特征在于,所述方法包括:
获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像;
根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像;
拼合所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像;
输出所述拼合后的图像。
8.一种拍摄的方法,适用于如权利要求1至6中任一权利要求所述的终端,其特征在于,所述方法包括:
获取所述前置广角鱼眼摄像头和后置广角鱼眼摄像头的校准数组以及各自拍摄的图像;
根据所述获取的校准数组,处理所述前置广角鱼眼摄像头和后置广角鱼眼摄像头各自拍摄的图像;
向服务器发送所述处理后的前置广角鱼眼摄像头和后置广角鱼眼摄像头拍摄的图像;
获取所述服务器返回的图像;
输出所述服务器返回的图像。
9.一种拍摄的方法,适用于服务器,其特征在于,所述方法包括:
获取终端发送的图像;
拼合所述终端发送的图像;
发送所述拼合后的图像至所述终端。
10.一种服务器,其特征在于,所述服务器包括:
获取单元,用于获取终端发送的图像;
拼合单元,用于拼合所述终端发送的图像;
发送单元,用于发送所述拼合后的图像至所述终端。
CN201710150343.XA 2017-03-14 2017-03-14 一种拍摄的方法、终端及服务器 Pending CN106791454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710150343.XA CN106791454A (zh) 2017-03-14 2017-03-14 一种拍摄的方法、终端及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710150343.XA CN106791454A (zh) 2017-03-14 2017-03-14 一种拍摄的方法、终端及服务器

Publications (1)

Publication Number Publication Date
CN106791454A true CN106791454A (zh) 2017-05-31

Family

ID=58961498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710150343.XA Pending CN106791454A (zh) 2017-03-14 2017-03-14 一种拍摄的方法、终端及服务器

Country Status (1)

Country Link
CN (1) CN106791454A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270951A (zh) * 2017-07-07 2018-07-10 深圳市莲石科技有限公司 智能电子设备生成全景照片的方法及相应的智能电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200258A (zh) * 2013-03-28 2013-07-10 广东威创视讯科技股份有限公司 分布式图像拼接方法、拼接服务器和终端
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法
CN106210547A (zh) * 2016-09-05 2016-12-07 广东欧珀移动通信有限公司 一种全景拍摄的方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200258A (zh) * 2013-03-28 2013-07-10 广东威创视讯科技股份有限公司 分布式图像拼接方法、拼接服务器和终端
JP2015227115A (ja) * 2014-05-30 2015-12-17 日本電産コパル株式会社 車載カメラ制御装置
CN105554478A (zh) * 2016-02-24 2016-05-04 深圳市车米云图科技有限公司 视频监控系统及方法
CN106210547A (zh) * 2016-09-05 2016-12-07 广东欧珀移动通信有限公司 一种全景拍摄的方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108270951A (zh) * 2017-07-07 2018-07-10 深圳市莲石科技有限公司 智能电子设备生成全景照片的方法及相应的智能电子设备
CN108270951B (zh) * 2017-07-07 2021-07-30 李丹 智能电子设备生成全景照片的方法及相应的智能电子设备

Similar Documents

Publication Publication Date Title
CN105357542B (zh) 直播方法、装置及系统
CN102761702B (zh) 用于移动通信设备中的图像重叠的方法以及成像系统
CN103974135B (zh) 一种视频分享方法及系统
TW201207768A (en) Combining data from multiple image sensors
US20110088068A1 (en) Live media stream selection on a mobile device
JP2009194687A (ja) 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
US20130141550A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
TW201210314A (en) Combining data from multiple image sensors
US9143727B2 (en) Dual-axis image equalization in video conferencing
US20090237490A1 (en) System and method for stereoscopic image creation and transmission
WO2013186056A1 (en) Method and apparatus for fusion of images
WO2012109831A1 (zh) 一种可视电话中拍照的方法及移动终端
US9185345B2 (en) Video conference system and method for performing the same
CN103078924A (zh) 视野共享方法及设备
WO2018039071A1 (en) Method and system for showing remote meeting sites from user-dependent viewpoints
CN106454138A (zh) 一种变焦全景摄像头
CN105959620A (zh) 一种全景视频的同步显示方法及设备
US20130293671A1 (en) Systems and methods for stitching and sharing panoramas
CN107071268A (zh) 一种多目全景相机全景拼接方法及系统
CN105635675A (zh) 一种全景播放方法和装置
CN106210525A (zh) 用于实现视频直播的相机及方法
CN105898283A (zh) 同步拍摄电路、装置和方法
JP4309280B2 (ja) ビューファインダとしてストリーミングビデオを使用する遠隔高解像度写真撮影およびビデオ記録方法
CN106791454A (zh) 一种拍摄的方法、终端及服务器
CN109756683B (zh) 全景音视频录制方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531