CN108270959B - 全景成像的方法、终端设备和全景成像装置 - Google Patents

全景成像的方法、终端设备和全景成像装置 Download PDF

Info

Publication number
CN108270959B
CN108270959B CN201611257745.1A CN201611257745A CN108270959B CN 108270959 B CN108270959 B CN 108270959B CN 201611257745 A CN201611257745 A CN 201611257745A CN 108270959 B CN108270959 B CN 108270959B
Authority
CN
China
Prior art keywords
camera
rotating
picture
terminal device
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611257745.1A
Other languages
English (en)
Other versions
CN108270959A (zh
Inventor
吕林军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611257745.1A priority Critical patent/CN108270959B/zh
Publication of CN108270959A publication Critical patent/CN108270959A/zh
Application granted granted Critical
Publication of CN108270959B publication Critical patent/CN108270959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

本申请公开了一种全景成像的方法、终端设备和全景成像装置,能够提高拍摄效果。该方法应用于包括该终端设备和旋转设备的全景成像装置中,该终端设备包括至少一个摄像头和处理器,该旋转设备用于带动该终端设备绕该旋转设备的中心轴旋转,该至少一个摄像头中任意一个摄像头的光轴与该旋转设备的中心轴垂直,该方法包括:在旋转的过程中,获取至少一个摄像头当前拍摄到的多张照片;确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度,该第一区域所呈现的图像与该第二区域所呈现的图像至少包括对同一拍摄物拍摄得到的图像;根据第一区域的像素点与第二区域的像素点的相似度,确定是否调整旋转设备的转速。

Description

全景成像的方法、终端设备和全景成像装置
技术领域
本申请涉及图像处理领域,并且更具体地,涉及一种全景成像的方法、终端设备和全景成像装置。
背景技术
全景成像(或者说,宽景成像),是将拍摄的多张图片拼成一张全景图片。专业的全景成像照相机价格昂贵,普及率低,并且装备复杂,不适合日常携带。
随着智能设备的普及,越来越多的终端设备都配置了相机的全景拍摄功能。全景拍摄,即,将拍摄到的多个图像通过终端设备的处理器进行图像处理,经拼接合成得到全景图像。
但是,在用户拿着终端设备转动进行全景拍摄过程中,人手的抖动、转动的不规律导致摄像头在转动过程中具有不稳定性。例如,人手抖动,可能会造成图像模糊,多个图像拼接存在严重的变形;转动速度过快,可能会造成感光时间太短,图像模糊;转动速度过慢,可能会由于环境变化较快造成多个图像在拼接时产生伪影。因此,通过用户操作进行全景拍照时,拼接后得到的全景图像失真严重,拍摄效果非常差。
发明内容
本申请提供一种全景成像的方法、终端设备和全景成像装置,以提高成像质量,提高拍摄效果。
第一方面,提供了一种全景成像的方法,应用于包括终端设备和旋转设备的全景成像装置中,所述终端设备包括至少一个摄像头和处理器,所述旋转设备用于带动所述终端设备绕所述旋转设备的中心轴旋转,所述至少一个摄像头中任意一个摄像头的光轴与所述旋转设备的中心轴垂直,所述方法包括:
所述终端设备在旋转的过程中,获取所述至少一个摄像头拍摄到的多张照片;
所述终端设备确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度,所述第一区域所呈现的图像与所述第二区域所呈现的图像至少包括对同一拍摄物拍摄得到的图像,所述第一照片和所述第二照片与所述至少一个摄像头在预设的时间间隔内拍摄到的两张照片对应;
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令。
作为一种可能的实现方式,所述第一照片和所述第二照片可以与同一个摄像头在相邻的拍摄时刻拍摄的照片对应,或者,与不同的摄像头在相邻的拍摄时刻拍摄的照片对应。
因此,本申请实施例的全景成像的方法,通过采用旋转设备带动终端设备旋转,在拍摄过程中根据具有重叠区域的两张照片中重叠区域的像素点的相似度随时调节旋转设备的转速,以避免不稳定因素造成的图像失真、变形等质量问题,提高图像质量,提高拍摄效果。
应理解,本申请并不限于基于两张照片的像素点的相似度来确定如何调整转速,还可以基于更多的照片,对满足预设时间间隔内拍摄的照片两两进行比较,确定每两张照片的像素点的相似度,以确定对旋转设备转速的调整策略。
结合第一方面,在第一方面的第一种可能的实现方式中,所述转速调整指令包括第一转速调整指令,所述第一转速调整指令用于指示所述旋转设备提高转速,以及
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令,包括:
所述终端设备在所述第一区域的像素点与所述第二区域的像素点的相似度小于第一预设门限时,确定需要提高所述旋转设备的转速,并向所述旋转设备发送所述第一转速调整指令。
结合第一方面或其上述可能的实现方式,在第一方面的第二种可能的实现方式中,所述转速调整指令包括第二转速调整指令,所述第二转速调整指令用于指示所述旋转设备降低转速,以及
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令,包括:
所述终端设备在所述第一区域的像素点与所述第二区域的像素点的相似度大于或等于第二预设门限时,确定需要降低所述旋转设备的转速,并向所述旋转设备发送所述第二转速调整指令。
因此,能够在两张照片的重叠区域的像素点的相似度较低时,提高转速,以避免产生伪影;在两张照片的重叠区域的像素点的相似度较高时,降低转速,以保证充足的感光时间,降低图像的模糊度,最终达到提高拍摄质量的效果。
结合第一方面或其上述可能的实现方式,在第一方面的第三种可能的实现方式中,所述方法还包括:
所述终端设备向所述旋转设备发送暂停指令,所述暂停指令中携带时间序列和时间长度值的指示信息,所述时间序列指示所述摄像头的感光时刻,所述时间长度值指示所述摄像头的感光时间长度,所述暂停指令用于指示所述旋转设备在所述时间序列所指示的感光时刻暂停旋转,并在暂停时长达到所述时间长度值时恢复旋转。
需要说明的是,在全景成像装置中,任意两个摄像头的感光时刻相同,任意两个摄像头的感光时间长度相同。
因此,旋转设备能够基于摄像头的感光时间暂停旋转,以保证充足的感光时间,提高拍摄质量。
可选地,在所述第一照片与所述第二照片分别由所述至少一个摄像头中的第一摄像头和第二摄像头拍摄得到的情况下,在所述终端设备确定所述第一区域的像素点与所述第二区域的像素点的相似度之前,所述方法还包括:
所述终端设备采用以下至少一种算法对所述第一照片与所述第二照片进行分辨率归一化处理:插值算法或采样算法。
因此,通过对不同摄像头的分辨率进行归一化处理,以便于能够准确地确定两张照片之间的相似度,从而准确地判断是否需要调整转速以及如何调整转速。
结合第一方面或其上述可能的实现方式,在第一方面的第四种可能的实现方式中,在所述终端设备确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度之前,所述方法还包括:
所述终端设备将获取到的多张照片转换至目标平面,所述目标平面是与所述预设参考点相对应的成像平面;
所述终端设备根据所述多张照片中每张照片的感光时刻或所对应的摄像头,从转换至所述目标平面的照片中确定所述第一照片和所述第二照片;
所述终端设备根据所述预设的时间间隔、所述旋转设备的转速以及与所述第一照片对应的摄像头的摄像范围、与所述第二照片对应的摄像头的摄像范围,确定所述第一照片的第一区域和所述第二照片的第二区域。
再进一步地,所述终端设备将获取到的多张照片转换至目标平面,包括:
所述终端设备根据所述至少一个摄像头中的第i个摄像头相对于所述预设参考点的角度校正值,确定与所述第i个摄像头对应的变换矩阵;
所述终端设备根据与所述第i个摄像头对应的变换矩阵,将所述第i个摄像头拍摄得到的、成像在zi平面的照片转换至所述目标平面,所述zi平面是与所述第i个摄像头的光轴垂直的成像平面,其中,i遍历[1,N],N为摄像头的数量,i、N为自然数。
通过将多个摄像头在不同方向拍摄的照片通过角度修正值转换到同一个预设参考点,再通过圆柱投影算法投影到目标平面,然后进行相似度的计算,可以准确地确定两张照片之间的相似度,从而准确地判断是否需要调整转速以及如何调整转速。
结合第一方面或其上述可能的实现方式,在第一方面的第五种可能的实现方式中,所述终端设备确定第一照片的第一区域中的像素点与所述第二照片的第二区域中的像素点的相似度,包括:
所述终端设备确定所述第一照片的第一区域中的全部像素点与所述第二照片的第二区域中的全部像素点的相似度。
结合第一方面或其上述可能的实现方式,在第一方面的第六种可能的实现方式中,所述终端设备确定第一照片的第一区域中的像素点与所述第二照片的第二区域中的像素点的相似度,包括:
所述终端设备确定所述第一照片的第一区域中的空间高频像素点与所述第二照片的第二区域中的空间高频像素点的相似度。
结合第一方面或其上述可能的实现方式,在第一方面的第七种可能的实现方式中,所述方法还包括:
所述终端设备获取所述至少一个摄像头拍摄到的照片,并对获取到的照片进行拼接处理,以生成全景照片。
第二方面,提供了一种终端设备,用于执行第一方面,第一方面的任意一种的可能实现方式。具体地,该终端设备可以包括用于执行第一方面及第一方面的任意一种可能的实现方式中的方法的单元。
第三方面,提供了一种终端设备,包括:至少一个摄像头、处理器、收发器、存储器和总线系统。其中,所述至少一个摄像头、所述处理器、所述收发器和所述存储器通过所述总线系统相连。其中,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,并且对所述存储器中存储的指令的执行使得所述处理器执行第一方面及第一方面的任意一种可能的实现方式。
第四方面,提供了一种全景成像装置,包括:旋转设备和第二方面及第二方面的任意一种可能的实现方式中的终端设备,或者,旋转设备和第三方面及第三方面的任意一种可能的实现方式中的终端设备。
第五方面,提供了一种计算机可读存储介质,用于存储计算机程序,该计算机程序包括用于执行第一方面及第一方面的任意一种可能的实现方式中的方法的指令。
本申请实施例的全景成像的方法、终端设备和全景成像装置,通过采用旋转设备带动终端设备旋转,在拍摄过程中根据具有重叠区域的两张照片中重叠区域的像素点的相似度随时调节旋转设备的转速,以避免不稳定因素造成的图像失真、变形等质量问题,提高图像质量,提高拍摄效果。
附图说明
图1a至图1c示出了根据本申请实施例的全景拍摄装置的示意图。
图2示出了全景拍摄过程中的图像合成处理的示意性流程图。
图3示出了根据本申请实施例的全景拍摄的方法的示意性流程图。
图4示出了第一摄像头、第二摄像头以及预设参考点的视角范围的示意图。
图5示出了平面转换的示意图。
图6示出了第一照片和第二照片的重叠区域的示意图。
图7示出了根据本申请实施例的终端设备的示意性框图。
图8示出了根据本申请实施例的终端设备的另一示意性框图。
图9示出了根据本申请实施例的全景拍摄装置的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述。
为便于理解,首先结合图1a至图1c,简单介绍本申请实施例的全景拍摄装置。图1a至图1c示出了根据本申请实施例的全景拍摄装置100的示意图。在本申请实施例中,该全景拍摄装置可以包括终端设备和旋转设备。例如图1a所示,该全景拍摄装置100可以为手机110和旋转台121;又例如图1b所示,该全景拍摄装置100可以为手机110和无人机122;再例如图1c所示,该全景拍摄装置100可以为手机110和自拍杆123。
其中,该终端设备中配置有至少一个摄像头,每个摄像头的光轴与旋转设备的中心轴垂直,即,与旋转轴垂直。可以理解的是,在终端设备配置有多两个或两个以上摄像头的情况下,配置于同一个终端设备中的任意两个摄像头的光轴是平行于同一平面的,这个平面也就是旋转设备带动终端设备旋转时构成的旋转平面。
另外,该两个或多个摄像头可以同时配置于终端设备的同一平面或者不同平面。例如,假设该终端设备配置有两个摄像头(为便于区分和说明,分别记作摄像头#1和摄像头#2),摄像头#1和摄像头#2可以均配置于该终端设备的正面(即,配置有屏幕的面),也可以均配置于该终端设备的背面,还可以是摄像头#1配置在正面,摄像头#2配置在背面。本申请对于摄像头的数量以及摄像头配置在终端设备中的位置不作限定。
这里,需要说明的是,光轴,即穿过摄像头镜片中心的线。摄像头位置固定之后,镜头中心也就固定下来,因此,光轴也就固定下来。通常情况下,配置于终端设备中的摄像头的光轴可以与终端设备的正面或背面垂直。
应理解,上文仅为便于理解,示出了几种将终端设备和旋转设备组合用于进行全景拍摄的可能的实现方式,但这不应对本申请构成任何限定,例如,该终端设备还可以为平板电脑,该旋转设备还可以为背杆等。
在本申请实施例中,旋转设备可以带动终端设备在360°范围内旋转,在终端设备旋转的过程中,摄像头基于预配置的感光时刻对外界景物(即,拍摄物)进行拍照,然后将所拍摄的多张照片拼接在一起,合成为一张全景照片。在拼接过程中,配置于该终端设备中的图片处理器搜索两张照片的边缘部分,并将成像效果最为接近的区域加以重合,以完成图片的拼接。可以理解,上文所提及的图像处理器可以理解为用于图像处理的一个功能模块,其可以为配置于该终端设备中一个独立的专用于图像处理的处理器,也可以为现有的终端设备的处理器中的一个专用于图像处理的处理单元,本申请对此不作限定。
这里,为便于理解本申请实施例在图像处理过程中的步骤,以及涉及到的图像处理相关的术语,首先结合图2简单介绍图像处理器对多张照片的图像进行合成处理的过程。
图2示出了全景拍摄过程中的图像合成处理的示意性流程图。如图2所示,图像合成处理的过程包括:
S201、原始拜耳输入图像转换为伽马(Gamma)纠错红绿蓝(Red,Green,Blue,简称“RGB”)通道。
目前,大部分相机采用拜耳(Bayer)的方案。拜耳提出采用单电荷耦合元件(Charge-coupled Device,简称“CCD”)表面覆盖1个只含红、绿、蓝3色的马赛克滤镜来获得彩色图像的方法,这种滤镜被称为拜尔模板(bayer pattern)或者色彩滤镜矩阵(ColorFilter Array,简称“CFA”)。
S202、各图像进行渐晕补偿。
由于角度相干的光感应器引起图像边缘色彩暗淡或者饱和现象。可采用渐晕消除显微镜或者后期图像处理来弥补。
S203、各图像进行Gamma和色调(tone)曲线处理。
相比于相机而言,人眼对暗色和亮色的变化更敏感,Gamma就定义了人眼或者相机对环境色彩敏感关系,用数学来说就是实际输入亮度和输出亮度之间的关系。
Gamma就定义了人眼或者相机对环境色彩敏感关系,用数学来说就是实际输入亮度和输出亮度之间的关系。Gamma定义:Vout=Vin gamma,当gamma<1时,即gamma压缩一般在图像存贮采用;gamma>1,即gamma扩展一般在图像显示时采用。其中,Vout表示输出电压,Vin表示输入电压。
S204、各图像进行图像打磨。
通过图像打磨,可同时提高图像的锐度和精细细节(即,分辨率),使图像变得更清晰。图像打磨常用的反卷积算法例如有理查森-露西(Richardson-Lucy,简称“R-L”)反卷积算法。
S205、各图像进行像素去混叠。
混叠是由于感光器的分辨率低于图像的空间频率导致的。
去混叠技术原理是:假定红色、绿色、蓝色的通道都有相近的空间频率响应。红色和蓝色通道的空间高频部分由绿色通道的空间高频替换。
S206、所有参与拼接的图像都以圆柱投影算法转换至目标平面。
由于终端设备在旋转过程中拍摄照片,所得到的照片随着旋转平面构成一个圆柱形,在拼接时,首先需要将分布于圆柱形侧表面的照片投影到平面(为便于说明,记作目标平面)上,才能拼接得到最终呈现给用户的全景照片。
考虑到在同一个终端设备中可以配置有两个或两个以上的摄像头,由于摄像头所处的位置不同,其对应的视角范围也可能是没有重叠或者仅部分重叠,因此,在进行图像拼接时,需要将不同摄像头的视角范围转换至同一预设参考点,例如,可以根据终端设备在出厂时预配置的角度校正值进行视角范围的转换。
后文中会结合实施例以及附图对步骤206进行详细说明。
S207、图像拼接。
图像拼接过程可以进一步分为:对应性估算、图像混成处理以及合成三个步骤。
具体地,对应性估算即可以理解为寻找两张照片的重叠区域。重叠区域可以这样理解:若两张照片(为方便区分和说明,记作照片#1和照片#2,即,第一照片的一例和第二照片的一例)呈现有对同一拍摄物的图像,或者说,对拍摄景物中相同位置的景物的拍摄图像,则可以将这两张照片进行拼接,拼接时可以将照片#1中呈现有同一拍摄物图像的区域(为方便区分和说明,记作区域#1,即,第一区域的一例)和照片#2中呈现有同一拍摄物图像的区域(为方便区分和说明,记作区域#2,即,第二区域的一例)重叠在一起,即构成了该两张照片的重叠区域。
这里,需要说明的是,这里所说的同一拍摄物并不是指某个完整的物体,它可以为某个物体的全部或部分,例如,在照片#1中呈现有一个人的完整图像,在照片#2中呈现有这个人的左半边(例如,左手和左脚)和另一个人,则照片#1和照片#2的重叠区域即为呈现有这个人的左半边的图像的区域。
另一方面,这里仅为便于理解重叠区域,以同一拍摄物为例进行说明,本申请对于同一拍摄物的数量并未特别限定,例如,在照片#1中呈现有一台电脑的主机、两个显示屏、一个键盘和一个鼠标,而在照片2#中呈现有这台电脑的两个显示屏、一个键盘、一个鼠标和一台电话,则照片#1和照片#2的重叠区域即为呈现有这台电脑的两个显示屏、一个键盘和一个鼠标的图像的区域。
以上,为便于理解,通过两个例子来进一步说明了重叠区域,但这不应对本申请构成任何限定,本领域的技术人员可以理解其含义。
还需要说明的是,以上仅以两张照片的重叠区域为例进行说明,但这不应对本申请构成任何限定。在实际的拍摄过程中,由于在终端设备的同一平面可能设置有两个或两个以上的摄像头,并且终端设备是在旋转过程中拍摄照片的,因此,可能会有三张或者更多张照片存在重叠区域的可能,但这不应对本申请构成任何限定。可以理解的是,若使用更多张照片来确定重叠区域,则重叠区域的范围大小会随着照片的数量的增加而减小。
图像混成处理,可以包括简单混成和双尺度混成。其中双尺度混成为常用算法,由图像平滑和突变两种方法组合使用。将图像的空间高频和低频识别出来,低频部分进行平滑处理,纠正照相之间的曝光偏差;高频部分进行突变处理,保持锐变特性。
合成主要应用于虚拟现实(Virtual Reality,简称“VR”)和视频。即,应用光学流技术计算左右眼立体图像的不同,合成具有左右眼有视觉差异的立体图像。
以上,结合图2简单介绍了图像处理器进行图像合成处理的过程。应理解,上文仅为便于理解本申请实施例,简单介绍了对图像进行处理的过程,其中所列举的在对图像进行处理的过程中所使用的步骤、算法等均为示例性说明,而并非本申请的核心所在,因此,不应对本申请构成任何限定。
以下,结合图3至图6详细说明本申请实施例的全景拍摄的方法。
图3是从设备交互的角度描述的根据本申请实施例的全景拍摄的方法300的示意性流程图。应理解,图3示出了本发明实施例的全景拍摄的方法的通信步骤或操作,但这些步骤或操作仅是示例,本发明实施例还可以执行其它操作或者图3中的各种操作的变形。此外,图3中的各个步骤可以按照与图3呈现的不同的顺序来执行,并且有可能并非要执行图3中的全部操作。
如图3所示,该方法300包括:
S310、终端设备在旋转的过程中,获取所述至少一个摄像头当前拍摄到的多张照片。
旋转设备带动终端设备旋转的过程中,配置于终端设备中的各摄像头基于预设的感光时刻拍摄照片,并发送至配置于终端设备中的处理器(可以理解,该处理器可以对应于上文中所描述的图像处理器),以便于处理器根据拍摄到的照片的质量实时地调整旋转设备的转速。
作为一种可能的实现方式,处理器可以将拍摄到的多张照片分别给予标记,以区分不同的摄像头、不同的时刻拍摄的照片。也就是为每张照片分配一个标识,这个标识可以用摄像头、拍摄时刻来区分,任意两张照片的摄像头和拍摄时刻中是至少有一项是不同的。例如,可通过Pj,i来标识,其中,j代表拍摄时刻的顺序号、i代表摄像机编号。
举例说明,假设摄像头的拍摄时刻(即,感光时刻)的序列为T1,T2,…,TN。该终端设备配置有S个摄像头,对应的编号分别为1,2,…,S。则Pj,i表示在第Tj时刻由编号为i摄像头拍摄得到的照片。
可选地,在S310之前,该方法300还包括:
S320,该终端设备向旋转设备发送旋转指令。
在一种可能的实现方式中,用户在准备拍摄全景照片时,可以先将终端设备固定于旋转设备的连接处,然后通过直接操作终端设备显示屏所呈现的拍摄图标,或者,通过蓝牙或线控等方式间接控制终端设备等方式向终端设备发送拍摄指令,该拍摄指令用于指示终端设备开始进行全景拍摄。终端设备基于该拍摄指令,向旋转设备发送旋转指令,以指示旋转设备带动终端设备旋转。
可选地,该旋转指令中携带有第一旋转速度的指示信息。旋转设备可以基于该旋转速度带到终端设备旋转。
在本申请实施例中,为便于区分说明,将该旋转指令指示的旋转速度记作第一旋转速度。该第一旋转速度可以为一个默认值,在启动全景拍摄模式后,处理器可以自动将该默认值发送给旋转设备,以使旋转设备基于该第一旋转速度来旋转。
进一步可选地,该第一旋转速度也可以为多个可选择的默认值。具体地,可以由用户根据所处的拍摄环境中被拍摄物变化速度的快慢来选择,例如,若拍摄物为静止不动的,可以使用较慢的转速;若拍摄物为运动的,可以使用较快的转速。终端设备可以预先配置有两档或者更多当可供用户选择的转速,以便于用户根据实际情况进行选择。例如,可以通过终端设备的显示屏呈现给用户,以转速的数值形式呈现、或者以“快”、“慢”等较直观的文字表达的方式呈现。
应理解,以上示出的通过终端设备控制旋转设备的方法仅为一种可能的实现方式,而不应对本申请构成任何限定。
例如,在另一种可能的实现方式中,用户在准备拍摄全景照片时,可以先将终端设备固定于旋转设备的连接处,然后直接操作旋转设备旋转,在旋转开始后,通过蓝牙或线控等方式间接控制终端设备开始进行全景拍摄。
在这种实现方式中,该旋转设备可以由用户根据所处的拍摄环境中被拍摄物变化速度的快慢设置旋转速度。
但是,在拍摄前根据被拍摄物的变化速度来确定旋转速度仅仅是为了适应拍摄环境,而无法预测拍摄到的照片的成像质量。因此,在拍摄过程中,处理器可以根据当前拍摄到的照片实时地调整转速,以提高下一个时刻拍摄到的照片的成像质量。
S330,该终端设备确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度。
在本申请实施例中,该第一照片与第二照片可以对应于同一摄像头或不同摄像头在预设的时间间隔内拍摄到的两张照片。作为一种可能的实现方式,该第一照片和该第二照片可以与同一个摄像头在相邻的拍摄时刻拍摄的照片对应,或者,与不同的摄像头在相邻的拍摄时刻拍摄的照片对应。
需要说明的是,把每个摄像头进行一次拍摄记作一个周期,或者说,一个帧,预设的时间间隔可以为一个或多个周期,或者说一个或多个帧。相邻的拍摄时刻,即时间间隔为一个周期,或者说,一个帧。可以理解的是,时间间隔越短,所得到的两张照片的重叠区域的像素点的相似度越高。
在本申请实施例中,第一照片的第一区域中的像素点所构成的图像(为便于区分和说明,记作第一图像)和第二照片的第二区域中的像素点所构成的图像(为便于区分和说明,记作第二图像)可以至少包括同一拍摄物的图像,或者说,包括至少一个同一拍摄物的图像。也就是说,假设被拍摄物是静止不动的,理想情况下,若将第一照片的部分像素点与第二照片的部分像素点重叠在一块,所构成的该同一拍摄物的图像是完全重合的,或者说,该第一图像与第二图像完全重合。应注意,至少一个同一拍摄物,是指在第一图像所呈现的拍摄物和第二图形中所呈现的拍摄物中,重合的拍摄物的数量可以为一个或多个,例如,第一图像中呈现有拍摄物A、拍摄物B,第二图像中呈现有拍摄物A、拍摄物B和拍摄物C,则该至少一个同一拍摄物是指拍摄物A和拍摄物B。
但是在实际拍摄过程中,被拍摄物并不一定是静止不动的,因此,第一图像和第二图像可能部分重合或者完全没有重合,因此,需要根据该两个图像的像素点的相似度来确定图像的重合情况,进而调整转速,以适应当前拍摄环境的快速变化。
这里,需要说明的是,终端设备最终根据第一照片的第一区域的像素点和第二照片的第二区域的像素点的相似度来确定如何调整转速,而这里所说的第一照片和第二照片并不是由各摄像头直接拍摄得到的照片,而是将各摄像头拍摄到的照片#1(为便于区分和说明,将与第一照片对应的照片记作照片#1)和照片#2(为便于区分和说明,将与第二照片对应的照片记作照片#2)进行目标平面的转换处理后得到的。应注意,第一照片与照片#1对应,但不一定完全相同,照片#1可能经过拉伸、平移、投影等处理得到第一照片。相似地,第二照片与照片#2对应,但不一定完全相同,照片#1可能经过拉伸、平移、投影等处理得到第一照片。
可选地,在S330之前,该方法300还包括:
该终端设备将获取到的当前拍摄的多张照片转换至目标平面,该目标平面是与该预设参考点相对应的成像平面;
该终端设备根据该多张照片中每张照片的感光时刻或多对应的摄像头,从转换至该目标平面的照片中确定该第一照片和该第二照片;
该终端设备根据该预设的时间间隔、该旋转设备的转速,以及与该第一照片对应的摄像头的摄像范围、与该第二照片对应的摄像头的摄像范围,确定该第一照片的第一区域和该第二照片的第二区域。
其中,所述终端设备将获取到的当前拍摄的多张照片转换至目标平面,进一步包括:
该终端设备根据该至少一个摄像头中的第i个摄像头相对于该预设参考点的角度校正值,确定与该第i个摄像头对应的变换矩阵;
该终端设备根据与该第i个摄像头对应的变换矩阵,将该第i个摄像头拍摄得到的、成像在zi平面的照片转换至该目标平面,该zi平面是与该第i个摄像头的光轴垂直的成像平面,其中,i遍历[1,N],N为摄像头的数量,i、N为自然数。
下面,结合图4至图6,以相邻的摄像头在相邻的拍摄时刻的情况为例,说明终端设备如何确定第一照片的第一区域和第二照片的第二区域。
可以理解的是,第一照片和第二照片可以分别由不同的两个摄像头(例如,第一摄像头和第二摄像头)拍摄得到,也可以由同一摄像头拍摄得到。
这里,假设摄像头的数量为两个,均位于终端设备的背面。为便于区分和说明,将拍摄得到第一照片的摄像头记作第一摄像头,拍摄得到第二照片的摄像头记作第二摄像头。
首先,需要将第一摄像头与第二摄像头相对于预设参考点进行角度校正。图4示出了第一摄像头、第二摄像头以及预设参考点的视角范围的示意图。如图4所示,第一摄像头的视角范围为w1,在z平面(为便于区分和说明,记作z1平面)所对应的范围为A1B1,第二摄像头的视角范围为w2,所对应的z平面(为便于区分和说明,记作z2平面)的范围为A2B2。根据终端设备出厂预设的各摄像头的角度校正值,可以获知第一摄像头和第二摄像头分别对应于预设参考点的角度校正值,例如分别可以记作Θ1和Θ2。由于摄像头的拍摄距离是一定的,因此在角度和距离确定的情况下,可以分别得到第一摄像头的视角范围相对于预设参考点的平面C1D1,以及第二摄像头的视角范围相对于预设参考点的平面C2D2。也就是说,由第一摄像头拍摄到的照片#1可以先转换至C1D1平面,由第二摄像头拍摄得到的照片#2可以先转换至C2D2平面。
这里,需要说明的是,z平面可以理解为与摄像头的光轴垂直的面,每个摄像头有对应的z平面,其范围与视角相关。
其后,将平面C1D1和平面C2D2通过圆柱投影算法投影至目标平面。图5示出了平面转换的示意图。根据圆柱投影算法可知,通过对照片中的任意一个像素点的坐标位置进行变换,便可以得到目标平面上的坐标,即,确定了每个像素点在目标平面的位置。也就是将平面C1D1和平面C2D2上的照片投影至目标平面。可以理解,该目标平面可以理解为预设参考点的z平面(为便于区分和说明,记作z0平面)。
平面转换的具体计算公式可以参考下面的公式:
Figure BDA0001198554120000141
其中,w表示摄像头距离对应的z平面的距离,u'、v'表示在目标平面的坐标,
Figure BDA0001198554120000142
表示变换矩阵。
通过计算,可以将不同方位的z平面进行相互转换,投影至目标平面。应理解,圆柱投影算法已经是一种非常成熟的算法,而非本申请的核心,这里为了简洁,省略对该算法及计算过程的详细说明。
上文中的照片#1和照片#2经过角度校正和平面转换后,可以在转换得到的照片中搜索可能具有重叠区域的第一照片和第二照片。
在本申请实施例中,该第一照片和第二照片可以由终端设备搜索各张照片,可以根据照片标识中的摄像头编号和拍摄时刻的顺序号,确定可能具有重叠区域的第一照片和第二照片。
在上文中已经描述,处理器获取到的当前拍摄的照片可以通过拍摄时刻(或者说,感光时刻)和摄像头编号进行标识。同一摄像头在相邻的拍摄时刻,相邻的摄像头在同一拍摄时刻,以及相邻的摄像头在相邻的拍摄时刻均有可能得到具有重叠区域的照片。其后,终端设备可以根据预设的时间间隔、旋转设备当前的旋转速度以及摄像头的摄像范围,确定第一照片的第一区域和第二照片的第二区域。
可以理解的是,上述第一照片的第一区域和第二照片的第二区域也就是将第一照片和第二照片拼接时得到的重叠区域。
在本申请实施例中,该预设的时间间隔可以理解为运动时间,当前的旋转速度可以理解为运动速度,根据该预设的时间间隔、当前的旋转速度以及摄像头的摄像范围,可以得到在该预设的时间间隔内,与第一拍摄时刻(即,与第一照片对应的拍摄时刻)和第二拍摄时刻(即,与第二照片对应的拍摄时刻)对应的摄像范围,由此可以确定第一照片与第二照片的重叠区域。可以理解的是,第一拍摄时刻和第二拍摄时刻的时间间隔即为预设的时间间隔。
图6示出了第一照片和第二照片的重叠区域的示意图。假设第一摄像头在拍摄照片#1时的第一方向φ1上的摄像范围是Range1={(x,y)|x1-h1≤x≤x1+h1,y1-m1≤y≤y1+m1},其中,(x1,y1)表示在第一方向φ1上的像素点在目标平面的坐标,(h1,m1)表示第一摄像头的摄像范围。第二摄像头在拍摄照片#2时的第二方向φ2上的摄像范围是Range2={(x,y)|x2-h2≤x≤x2+h2,y2-m2≤y≤y2+m2},其中,(x2,y2)标识在第二方向φ2上的像素点在目标平面的坐标,(h2,m2)表示第二摄像头的摄像范围。则第一照片与第二照片的重叠区域(或者第一照片的第一区域,或者第二照片的第二区域)就是Rangeo=Range1∩Range2。第一区域中的全部像素点构成的图像即为第一图像,第二区域中的全部像素点构成的图像即为第二图像。其中,(h1,m1)和(h2,m2)可以根据预设的时间间隔、当前旋转速度以及与第一照片对应的摄像头的摄像范围、与第二照片对应的摄像头的摄像范围计算,或者,根据先验模型确定。
由上述步骤,终端设备可以确定第一照片的第一区域和第二照片的第二区域。
可以理解,若与第一照片对应的照片#1和与第二照片对应的照片#2是由同一个摄像头在相邻的时刻拍摄得到的,则终端设备可以通过上述相同的方法来确定第一照片的第一区域和第二照片的第二区域。
在确定了第一照片的第一区域和第二照片的第二区域后,该终端设备可以进一步确定第一区域的像素点与第二区域的像素点的相似度。
可选地,该终端设备确定第一照片的第一区域中的像素点与该第二照片的第二区域中的像素点的相似度,包括:
该终端设备确定该第一照片的第一区域中的全部像素点与该第二照片的第二区域中的全部像素点的相似度。
可选地,该终端设备确定第一照片的第一区域中的像素点与该第二照片的第二区域中的像素点的相似度,包括:
该终端设备确定该第一照片的第一区域中的空间高频像素点与该第二照片的第二区域中的空间高频像素点的相似度。
也就是说,终端设备可以根据重叠区域中全部像素点的相似度来确定如何调整转速,也可以仅根据重叠区域中空间高频像素点的相似度来确定如何调整转速。
假定第一图像中第p个像素点的R、G、B感应值为R1,p、G1,p、B1,p;第二图像中第p个像素点的R,G,B感应值为R2,p、G2,p、B2,p
若仅确定全部像素点的相似度,则,第一图像对应有三个像素向量:红色像素向量R1=(R1,1,R1,2,R1,3,…,R1,N);绿色像素向量G1=(G1,1,G1,2,G1,3,…,G1,N);蓝色像素向量B1=(B1,1,B1,2,B1,3,…,B1,N)。
第二图像对应有三个像素向量:红色像素向量R2=(R2,1,R2,2,R2,3,…,R1,N);绿色像素向量G2=(G2,1,G2,2,G2,3,…,G2,N);蓝色像素向量B2=(B2,1,B2,2,B2,3,…,B2,N)。
可以通过SR=Similar(R1,R2)表示两个图像红色部分相似度,SB=Similar(B1,B2)表示两个图像蓝色部分相似度,SG=Similar(G1,G2)表示两个图像绿色部分相似度。
像素点的相似度计算可以采用任何向量相似度的计算方法。例如,计算两个向量的内积:
Figure BDA0001198554120000161
Figure BDA0001198554120000162
Figure BDA0001198554120000163
由于在原始拜耳输入中,4个像素感应点中,红色占2个,所以红色像素点的感应准确度要高一些。因此,可以仅根据红色的相似度SR=Similar(R1,R2)来确定如何调整转速。
或者,也可以计算三个色彩相似度的融合函数S=Fusion(SR,SB,SG)。该融合函数具体可以为求平均值,即,
Figure BDA0001198554120000164
或者,求加权平均,即,
Figure BDA0001198554120000165
若仅确定空间高频像素点的相似度,则可以首先对第一图像和第二图像进行小波变换或者三角变换,根据变换可以识别空间高频像素点。空间高频像素点,即可以理解为像素值变化较快的区域,或者图像细节较丰富的区域。由于空间高频像素点对环境变化更敏感,所以更能反映环境变化快慢。
应理解,上述示例的计算像素点的相似度的算法仅为示例性说明,不应对本申请构成任何限定。像素点的相似度计算可以通过现有技术中各种用于计算相似度的算法来实现,本申请对此并未特别限定。
还应理解,上述示例的确定空间高频像素点的方法仅为示例性说明,不应对本申请构成任何限定。
由于相似度计算、小波变换和三角变换均可以通过现有技术来实现,也并非本申请的核心,为了简洁,这里省略对其详细过程的说明。
可选地,若该终端设备配置有多个摄像头,在该终端设备确定第一照片的第一区域中的像素点与该第二照片的第二区域中的像素点的相似度之前,该方法300还包括:
终端设备采用以下至少一种算法对该第一照片与该第二照片进行分辨率归一化处理:插值算法或采样算法。
在同一终端设备配置有两个或两个以上的摄像头的情况下,任意两个摄像头的分辨率可能是不同的,例如,后置摄像头的分辨率大于前置摄像头的分辨率。因此,在拼接前,可以将各摄像头的分别率进行归一化处理。例如,可以采用插值算法,使低分辨率的摄像头拍摄的照片与高分辨率的摄像头拍摄的照片具有相同的分辨率;或者,采用采样算法,使高分辨率的摄像头拍摄的照片与低分辨率的摄像头拍摄的照片具有相同的分辨率;或者,采用插值和采样算法,选取一个中间值将低分辨率,采用插值算法使低分辨率的摄像头拍摄的照片的分辨率统一到该中间值,采用采样算法使高分辨率的摄像头拍摄的照片的分辨率也统一到该中间值,从而保证所有摄像头拍摄得到的照片具有相同的分辨率。
通过上述步骤,终端设备可以确定出第一图像与第二图像的相似度。
S340,终端设备根据确定第一照片的第一区域中的像素点与第二照片的第二区域中的像素点的相似度,确定是否需要调整旋转设备的转速,并在确定需要调整该旋转设备的转速时,向该旋转设备发送转速调整指令。
在旋转设备旋转的过程中,有可能因为转速过慢不能适应拍摄环境的快速变化,在相邻时刻拍摄到的两张照片拼接时就有可能产生伪影。因此,可以通过相邻两张照片重叠区域的相似度来确定转速是否需要提高。
可选地,该转速调整指令包括第一转速调整指令,该第一转速调整指令用于指示该旋转设备提高转速。
对应地,S340具体包括:
终端设备在确定第一照片的第一区域中的像素点与第二照片的第二区域中的像素点的相似度小于第一预设门限时,确定需要提高该旋转设备的转速,并向旋转设备发送该第一转速调整指令。
也就是说,当第一照片的第一区域中的像素点与第二照片的第二区域中的像素点的相似度小于该第一预设门限时,该第一照片与第二照片在拼接时可能产生伪影,图形质量不好。因此,可以提高转速以适应拍摄环境的快速变化。
进一步地,该第一转速调整指令可以携带第二旋转速度(为便于区分和说明,记作第二旋转速度)的指示信息。终端设备可以同时向旋转设备指示需要调整所至的旋转速度。在一种可能的实现方式中,该旋转速度可以由终端设备根据当前确定的相邻两张照片重叠区域的相似度确定。
在本申请实施例中,该第二旋转速度大于第一旋转速度。
终端设备在确定相邻两张照片的重叠区域的相似度较高时,便可以保持在当前的转速不变,或者,稍微降低转速,以保证足够的感光时间。
可选地,该转速调整指令包括第二转速调整指令,该第二转速调整指令用于指示该旋转设备降低转速。
对应地,S340具体包括:
终端设备在确定第一照片的第一区域中的像素点与第二照片的第二区域中的像素点的相似度大于或等于第二预设门限时,确定需要降低该旋转设备的转速,并向旋转设备发送该第二转速调整指令。
在本申请实施例中,该第二预设门限大于第一预设门限。
可选地,该第二转速调整指令也可以携带第三旋转速度(为便于区分和说明,记作第三旋转速度)的指示信息。
在本申请实施例中,该第三旋转速度小于第一旋转速度。
以上转速调整指令虽然考虑到拍摄环境变化过快可能带来的图像伪影的问题,但是转速过快有可能导致拍摄时感光时刻不够,造成图像模糊。
相机存在刚光时间,例如,帧率可达120帧每秒(frame per second,简称“fps”)的相机的感光时间最短为1/120秒,若旋转速度较快,以相机感光时间为1/120秒为例,若旋转速度大于120度/分钟,便不能保证足够的感光时间,使得图像模糊。
可选地,该方法300还包括:
S350,向所述旋转设备发送暂停指令,所述暂停指令中携带时间序列和时间长度值的指示信息,所述时间序列指示所述至少一个摄像头中任意一个摄像头的感光时刻,所述时间长度值指示感光时间长度,所述暂停指令用于指示所述旋转设备在所述时间序列所指示的感光时刻暂停旋转,并在暂停时长达到所述时间长度值时恢复旋转。
也就是说,旋转设备可以在拍摄时刻停止转动,以保证足够的感光时间,这样既能够获得图像清晰的照片,同时又避免了转速过慢造成的伪影。
需要说明的是,对于同一个用于全景拍摄的终端设备来说,所配置的摄像头的数量若为至少两个,则任意两个摄像头的感光时刻是相同的,并且任意两个摄像头的感光时长也是相同的。
S360,旋转设备根据接收到的指令,调整当前旋转速度。
具体地说,旋转设备可以根据接收到的第一转速调整指令,提高转速;根据接收到的第二转速调整指令,降低转速;或者,根据接收到的暂停指令,在所指示的时刻暂停旋转。
由此,终端设备可以获得拍摄质量较高的图像。
进一步地,该方法300还包括:
终端设备根据下一个时刻拍摄得到的照片,确定具有重叠区域的两张照片之间的相似度,并在满足预设条件时,向旋转设备发送转速调整指令。
也就是说,终端设备根据相似度调整旋转设备转速是一个实时、动态的过程,随时根据拍摄环境的变化情况,以及拍摄得到的照片的质量,调整当前的旋转速度,直到旋转设备在预定的角度范围内完成旋转,也就是终端设备完成了本次全景拍摄,随后执行S370。
S370,终端设备根据获取到的照片,进行拼接处理,合成全景照片。
终端设备可以将获取到的本次全景拍摄过程中的全部照片进行拼接处理,最终合成全景照片。具体过程在上文中方法200已经做了介绍,全景拍摄过程中的图像合成处理与现有技术相同,为了简洁,在本申请中省略对该过程的详细说明。
因此,本申请实施例的全景成像的方法,通过采用旋转设备带动终端设备旋转,在拍摄过程中根据具有重叠区域的两张照片中重叠区域的像素点的相似度随时调节旋转设备的转速,以避免不稳定因素造成的图像失真、变形等质量问题,提高图像质量,提高拍摄效果。
需要说明的是,获取到的第一照片和第二照片也有可能不具有重叠区域,即,有可能是对静态拍摄物进行拍摄时,旋转速度过快,造成第一照片和第二照片之间不具有重叠区域,此时需要降低转速,或者,有可能是动态拍摄物的运动较快,而旋转速度较慢,造成第一照片和第二照片之间不具有重叠区域,此时需要提高转速。在第一照片和第二照片不具有重叠区域的情况下,相似度较低,甚至为零。
在这种情况下,用户可以根据拍摄物的运动状态,在终端设备中预先设置拍摄物的运动状态为动态或静态,由此,终端设备可以根据运动状态以及相似度相应地调整转速。
应理解,上文中以第一照片的第一区域所呈现的第一图像和第二照片的第二区域所呈现的第二图像的相似度作为示例,来详细说明根据相似度向旋转设备发送转速调整指令的具体过程,但这不应对本申请构成任何限定。在本申请实施例中,终端设备可以对获取到的多张照片进行相同的处理,以确定多张照片中的任意两张具有重叠区域的照片的像素点的相似度。可以理解的是,在确定任意两张具有重叠区域的照片的像素点的相似度时,该任意两张具有重叠区域的照片可以对应于上文中所描述的第一照片和第二照片。
可选地,S340具体包括:
所述终端设备根据所述第一照片的部分像素点与所述第二照片的部分像素点的相似度,以及第三照片的部分像素点与第四照片的部分像素点的相似度,确定是否调整所述旋转设备的转速,其中,所述第三照片和所述第四照片与所述至少一个摄像头在预设的时间间隔内拍摄到的两张照片对应。
即,终端设备可以如上文所述的根据当前获取到的多张照片中任意两张具有重叠区域的照片的像素点的相似度来确定如何调整转速,也可以将当前获取到的多张照片作为一个组,对组内的所有具有重叠区域的照片全部进行处理,确定组内的每两张具有重叠区域的照片的像素点的相似度,然后通过取平均值、最大值或最小值等方法,将得到的值确定为这一组照片的像素点的相似度。在这种情况下,终端设备可以根据这一组照片的像素点的相似度是否满足预设条件,来确定是否向旋转设备发送转速调整指令。其中,该预设条件可以与上文中描述的预设条件(例如,小于第一预设门限,或者,大于或等于第二预设门限)相同。本申请对于预设条件的具体内容并未特别限定。
以上,结合图3至图6详细说明了根据本申请实施例的全景拍摄的方法。以下,结合图7和图8详细说明根据本申请实施例的终端设备。
图7是根据本申请实施例的终端设备700的示意性框图。如图7所示,该终端设备700包括:摄像单元710、处理单元720、收发单元730。
具体地,终端设备700可以对应于上述方法300中描述的终端设备,并且,该终端设备700中各模块或单元分别用于执行上述方法300中终端设备所执行的各动作或处理过程。这里,为了避免赘述,省略其详细说明。
图8是根据本申请实施例的终端设备800的示意性框图。如图8所示,该终端设备800包括:至少一个摄像头810、处理器820、收发器830和存储器840。其中,该至少一个摄像头810、处理器820、收发器830和存储器840通过总线系统850相连,该存储器840用于存储指令,该处理器820用于执行该存储器840存储的指令,以控制收发器830收发信号。其中,存储器840可以集成在处理器820中,也可以独立于处理器820。
具体地,终端设备800可以对应于上述方法300中描述的终端设备,并且,该终端设备800中各模块或单元分别用于执行上述方法800中终端设备所执行的各动作或处理过程。这里,为了避免赘述,省略其详细说明。
图9示出了根据本申请实施例的全景成像装置的示意性框图。如图9所示,该全景成像装置10包括:终端设备20和旋转设备30。
具体地,该终端设备20可以对应于上述方法300中描述的终端设备,或者对应于上述终端设备700或终端设备800。
因此,本申请实施例的全景成像装置,通过采用旋转设备带动终端设备旋转,在拍摄过程中根据具有重叠区域的两张照片中重叠区域的像素点的相似度随时调节旋转设备的转速,以避免不稳定因素造成的图像失真、变形等质量问题,提高图像质量,提高拍摄效果。
应理解,本发明实施例中的处理器可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是中央处理单元(Central Processing Unit,简称“CPU”)、该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,简称“DSP”)、专用集成电路(Application Specific Integrated Circuit,简称“ASIC“)、现成可编程门阵列(Field Programmable Gate Array,简称“FPGA”)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件器组合执行完成。软件器可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
还应理解,本发明实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,简称“ROM”)、可编程只读存储器(Programmable ROM,简称“PROM”)、可擦除可编程只读存储器(Erasable PROM,简称“EPROM”)、电可擦除可编程只读存储器(Electrically EPROM,简称“EEPROM”)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,简称“RAM”),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,简称“SRAM”)、动态随机存取存储器(Dynamic RAM,简称“DRAM”)、同步动态随机存取存储器(Synchronous DRAM,简称“SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,简称“DDRSDRAM”)、增强型同步动态随机存取存储器(Enhanced SDRAM,简称“ESDRAM”)、同步连接动态随机存取存储器(Synchlink DRAM,简称“SLDRAM”)和直接内存总线随机存取存储器(Direct Rambus RAM,简称“DR RAM”)。应注意,本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
还应理解,该总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统。
在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的用于数据传输的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件器组合执行完成。软件器可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种全景成像的方法,其特征在于,应用于包括终端设备和旋转设备的全景成像装置中,所述终端设备包括至少一个摄像头和处理器,所述旋转设备用于带动所述终端设备绕所述旋转设备的中心轴旋转,所述至少一个摄像头中任意一个摄像头的光轴与所述旋转设备的中心轴垂直,所述方法包括:
所述终端设备在旋转的过程中,获取所述至少一个摄像头拍摄到的多张照片;
所述终端设备确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度,所述第一区域所呈现的图像与所述第二区域所呈现的图像至少包括对同一拍摄物拍摄得到的图像,所述第一照片和所述第二照片与所述至少一个摄像头在预设的时间间隔内拍摄到的两张照片对应;
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令。
2.根据权利要求1所述的方法,其特征在于,所述转速调整指令包括第一转速调整指令,所述第一转速调整指令用于指示所述旋转设备提高转速,以及
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令,包括:
所述终端设备在所述第一区域的像素点与所述第二区域的像素点的相似度小于第一预设门限时,确定需要提高所述旋转设备的转速,并向所述旋转设备发送所述第一转速调整指令。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述终端设备向所述旋转设备发送暂停指令,所述暂停指令中携带时间序列和时间长度值的指示信息,所述时间序列指示所述摄像头的感光时刻,所述时间长度值指示所述摄像头的感光时间长度,所述暂停指令用于指示所述旋转设备在所述时间序列所指示的感光时刻暂停旋转,并在暂停时长达到所述时间长度值时恢复旋转。
4.根据权利要求1所述的方法,其特征在于,所述转速调整指令包括第二转速调整指令,所述第二转速调整指令用于指示所述旋转设备降低转速,以及
所述终端设备根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速,并在确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令,包括:
所述终端设备在所述第一区域的像素点与所述第二区域的像素点的相似度大于或等于第二预设门限时,确定需要降低所述旋转设备的转速,并向所述旋转设备发送所述第二转速调整指令。
5.根据权利要求1所述的方法,其特征在于,在所述第一照片与所述第二照片分别由所述至少一个摄像头中的第一摄像头和第二摄像头拍摄得到的情况下,在所述终端设备确定所述第一区域的像素点与所述第二区域的像素点的相似度之前,所述方法还包括:
所述终端设备采用以下至少一种算法对所述第一照片与所述第二照片进行分辨率归一化处理:插值算法或采样算法。
6.根据权利要求1所述的方法,其特征在于,在所述终端设备确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度之前,所述方法还包括:
所述终端设备将获取到的多张照片转换至目标平面,所述目标平面是与预设参考点相对应的成像平面;
所述终端设备根据所述多张照片中每张照片的感光时刻或所对应的摄像头,从转换至所述目标平面的照片中确定所述第一照片和所述第二照片;
所述终端设备根据所述预设的时间间隔、所述旋转设备的转速以及与所述第一照片对应的摄像头的摄像范围、与所述第二照片对应的摄像头的摄像范围,确定所述第一照片的第一区域和所述第二照片的第二区域。
7.根据权利要求6所述的方法,其特征在于,所述终端设备将获取到的多张照片转换至目标平面,包括:
所述终端设备根据所述至少一个摄像头中的第i个摄像头相对于所述预设参考点的角度校正值,确定与所述第i个摄像头对应的变换矩阵;
所述终端设备根据与所述第i个摄像头对应的变换矩阵,将所述第i个摄像头拍摄得到的、成像在zi平面的照片转换至所述目标平面,所述zi平面是与所述第i个摄像头的光轴垂直的成像平面,其中,i遍历[1,N],N为摄像头的数量,i、N为自然数。
8.根据权利要求1所述的方法,其特征在于,所述终端设备确定第一照片的第一区域中的像素点与所述第二照片的第二区域中的像素点的相似度,包括:
所述终端设备确定所述第一照片的第一区域中的全部像素点与所述第二照片的第二区域中的全部像素点的相似度。
9.根据权利要求1所述的方法,其特征在于,所述终端设备确定第一照片的第一区域中的像素点与所述第二照片的第二区域中的像素点的相似度,包括:
所述终端设备确定所述第一照片的第一区域中的空间高频像素点与所述第二照片的第二区域中的空间高频像素点的相似度。
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述方法还包括:
所述终端设备获取所述至少一个摄像头拍摄到的照片,并对获取到的照片进行拼接处理,以生成全景照片。
11.一种终端设备,其特征在于,配置于包括旋转设备的全景成像装置中,所述旋转设备用于带动所述终端设备绕所述旋转设备的中心轴旋转,所述终端设备包括:
至少一个摄像头,用于在所述旋转设备带动所述终端设备旋转的过程中拍摄照片,所述至少一个摄像头中的任意一个摄像头的光轴与所述旋转设备的中心轴垂直;
处理器,用于获取所述至少一个摄像头拍摄到的多张照片;
所述处理器还用于确定第一照片中的第一区域的像素点与第二照片中的第二区域的像素点的相似度,所述第一区域所呈现的图像与所述第二区域所呈现的图像至少包括对同一拍摄物拍摄得到的图像,所述第一照片和所述第二照片与所述至少一个摄像头在预设的时间间隔内拍摄到的两张照片对应;
所述处理器还用于根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整旋转设备的转速;
收发器,用于在所述处理器确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令。
12.根据权利要求11所述的终端设备,其特征在于,所述转速调整指令包括第一转速调整指令,所述第一转速调整指令用于指示所述旋转设备提高转速;
所述处理器具体用于在所述第一区域的像素点与所述第二区域的像素点的相似度小于第一预设门限时,确定提高所述旋转设备的转速;
所述收发器具体用于向所述旋转设备发送所述第一转速调整指令。
13.根据权利要求12所述的终端设备,其特征在于,所述收发器还用于向所述旋转设备发送暂停指令,所述暂停指令中携带时间序列和时间长度值的指示信息,所述时间序列指示所述摄像头的感光时刻,所述时间长度值指示所述摄像头的感光时间长度,所述暂停指令用于指示所述旋转设备在所述时间序列所指示的感光时刻暂停旋转,并在暂停时长达到所述时间长度值时恢复旋转。
14.根据权利要求11所述的终端设备,其特征在于,所述转速调整指令包括第二转速调整指令,所述第二转速调整指令用于指示所述旋转设备降低转速;
所述处理器具体用于在所述第一区域的像素点与所述第二区域的像素点的相似度大于或等于第二预设门限时,确定降低所述旋转设备的转速;
所述收发器具体用于向所述旋转设备发送所述第二转速调整指令。
15.根据权利要求11所述的终端设备,其特征在于,在所述第一照片与所述第二照片分别由所述至少一个摄像头中的第一摄像头和第二摄像头拍摄得到的情况下,所述处理器还用于采用以下至少一种算法对所述第一照片与所述第二照片进行分辨率归一化处理:插值算法或采样算法。
16.根据权利要求11所述的终端设备,其特征在于,所述处理器还用于:
将获取到的多张照片转换至目标平面,所述目标平面是与预设参考点相对应的成像平面;
根据所述多张照片中每张照片的感光时刻或所对应的摄像头,从转换至所述目标平面的照片中确定所述第一照片和所述第二照片;
根据所述预设的时间间隔、所述旋转设备的转速,以及与所述第一照片对应的摄像头的摄像范围、与所述第二照片对应的摄像头的摄像范围,确定所述第一照片的第一区域和所述第二照片的第二区域。
17.根据权利要求16所述的终端设备,其特征在于,所述处理器用于将获取到的当前拍摄的多张照片转换至目标平面时,具体用于:
根据所述至少一个摄像头中的第i个摄像头相对于所述预设参考点的角度校正值,确定与所述第i个摄像头对应的变换矩阵;
根据与所述第i个摄像头对应的变换矩阵,将所述第i个摄像头拍摄得到的、成像在zi平面的照片转换至所述目标平面,所述zi平面是与所述第i个摄像头的光轴垂直的成像平面,其中,i遍历[1,N],N为摄像头的数量,i、N为自然数。
18.根据权利要求11所述的终端设备,其特征在于,所述处理器具体用于确定所述第一照片的第一区域中的全部像素点与所述第二照片的第二区域中的全部像素点的相似度。
19.根据权利要求11所述的终端设备,其特征在于,所述处理器具体用于确定所述第一照片的第一区域中的空间高频像素点与所述第二照片的第二区域中的空间高频像素点的相似度。
20.根据权利要求11至19中任一项所述的终端设备,其特征在于,所述处理器还用于获取所述至少一个摄像头拍摄到的照片,并对获取到的照片进行拼接处理,以生成全景照片。
21.一种全景拍摄装置,其特征在于,包括旋转设备和如权利要求11至20中任一项所述的终端设备,其中,
所述旋转设备用于带动所述终端设备绕所述旋转设备的中心轴旋转;
所述终端设备包括:
至少一个摄像头,用于在所述终端设备旋转过程中拍摄多张照片,所述至少一个摄像头中的任意一个摄像头的光轴与所述旋转设备的中心轴垂直;
处理器,用于获取所述至少一个摄像头拍摄到的多张照片;
所述处理器还用于确定第一照片中的第一区域的像素点与第二照片中的第一区域的像素点的相似度,所述第一区域所呈现的图像与所述第二区域所呈现的图像至少包括对同一拍摄物拍摄得到的图像,所述第一照片和所述第二照片与所述至少一个摄像头在预设的时间间隔内拍摄到的两张照片对应;
所述处理器还用于根据所述第一区域的像素点与所述第二区域的像素点的相似度,确定是否调整所述旋转设备的转速;
收发器,用于在所述处理器确定需要调整所述旋转设备的转速时,向所述旋转设备发送转速调整指令。
CN201611257745.1A 2016-12-30 2016-12-30 全景成像的方法、终端设备和全景成像装置 Active CN108270959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611257745.1A CN108270959B (zh) 2016-12-30 2016-12-30 全景成像的方法、终端设备和全景成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611257745.1A CN108270959B (zh) 2016-12-30 2016-12-30 全景成像的方法、终端设备和全景成像装置

Publications (2)

Publication Number Publication Date
CN108270959A CN108270959A (zh) 2018-07-10
CN108270959B true CN108270959B (zh) 2020-05-08

Family

ID=62754753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611257745.1A Active CN108270959B (zh) 2016-12-30 2016-12-30 全景成像的方法、终端设备和全景成像装置

Country Status (1)

Country Link
CN (1) CN108270959B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254488A (zh) * 2018-09-27 2019-01-22 深圳市眼界科技有限公司 全景成像装置的投影方法和装置
CN109660723B (zh) * 2018-12-18 2021-01-08 维沃移动通信有限公司 一种全景拍摄方法及装置
CN113077413A (zh) * 2020-01-06 2021-07-06 苏州宝时得电动工具有限公司 自移动设备及其控制方法
CN111669495B (zh) * 2020-05-29 2021-11-12 维沃移动通信有限公司 拍照方法、拍照装置和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344891A (ja) * 2002-05-23 2003-12-03 Canon Inc 撮影モード自動設定カメラ
CN102629140A (zh) * 2012-03-22 2012-08-08 圆展科技股份有限公司 摄影机定位系统及其控制方法
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端
CN104320581A (zh) * 2014-10-28 2015-01-28 广东欧珀移动通信有限公司 一种全景拍摄的方法
CN104601892A (zh) * 2015-01-30 2015-05-06 深圳酷派技术有限公司 一种终端、图像拍摄方法及装置
CN104639832A (zh) * 2015-01-23 2015-05-20 广东欧珀移动通信有限公司 一种全景拍照方法及终端
CN104902170A (zh) * 2015-05-19 2015-09-09 广东欧珀移动通信有限公司 一种拍照方法及终端
CN104917960A (zh) * 2015-05-19 2015-09-16 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
CN105072326A (zh) * 2015-05-19 2015-11-18 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
CN105657257A (zh) * 2015-12-29 2016-06-08 广东欧珀移动通信有限公司 全景照片的拍摄方法、装置、系统、移动终端及自拍杆
CN106210546A (zh) * 2016-08-24 2016-12-07 Tcl集团股份有限公司 一种全景照片拍摄系统、全景照片拍摄方法及移动终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129971B2 (en) * 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344891A (ja) * 2002-05-23 2003-12-03 Canon Inc 撮影モード自動設定カメラ
CN102629140A (zh) * 2012-03-22 2012-08-08 圆展科技股份有限公司 摄影机定位系统及其控制方法
CN102905079A (zh) * 2012-10-16 2013-01-30 北京小米科技有限责任公司 用于全景拍摄的方法、装置及移动终端
CN104320581A (zh) * 2014-10-28 2015-01-28 广东欧珀移动通信有限公司 一种全景拍摄的方法
CN104639832A (zh) * 2015-01-23 2015-05-20 广东欧珀移动通信有限公司 一种全景拍照方法及终端
CN104601892A (zh) * 2015-01-30 2015-05-06 深圳酷派技术有限公司 一种终端、图像拍摄方法及装置
CN104902170A (zh) * 2015-05-19 2015-09-09 广东欧珀移动通信有限公司 一种拍照方法及终端
CN104917960A (zh) * 2015-05-19 2015-09-16 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
CN105072326A (zh) * 2015-05-19 2015-11-18 广东欧珀移动通信有限公司 一种控制摄像头旋转的方法及终端
CN105657257A (zh) * 2015-12-29 2016-06-08 广东欧珀移动通信有限公司 全景照片的拍摄方法、装置、系统、移动终端及自拍杆
CN106210546A (zh) * 2016-08-24 2016-12-07 Tcl集团股份有限公司 一种全景照片拍摄系统、全景照片拍摄方法及移动终端

Also Published As

Publication number Publication date
CN108270959A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP6263623B2 (ja) 画像生成方法及びデュアルレンズ装置
US10825146B2 (en) Method and device for image processing
CN110166695B (zh) 摄像头防抖方法、装置、电子设备和计算机可读存储介质
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
JP4957759B2 (ja) 撮像装置及び撮像方法
CN110456967B (zh) 信息处理方法、信息处理设备以及程序
JP5036599B2 (ja) 撮像装置
JP4356621B2 (ja) 撮像装置及び撮像方法
CN108270959B (zh) 全景成像的方法、终端设备和全景成像装置
KR102229811B1 (ko) 단말기를 위한 촬영 방법 및 단말기
US9961272B2 (en) Image capturing apparatus and method of controlling the same
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
TWI420901B (zh) 攝像裝置、攝像方法及攝像程式
US9871964B2 (en) Photographing apparatus, photographing controller, photographing control method, and photographing control program
TWI520604B (zh) 攝像裝置及其影像預覽系統及影像預覽方法
JP6833801B2 (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
KR20160137289A (ko) 촬영 장치 및 촬영 장치의 동작방법
JP2015126389A (ja) 撮像装置およびその制御方法
JP2021005831A (ja) 撮像システム、画像処理装置、撮像装置およびプログラム
WO2021258249A1 (zh) 图像获取方法、电子设备和可移动设备
TWI620440B (zh) 產生包含旋轉軌跡的相片的方法及相關攝影裝置
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant