CN107079104A - 广角照片拍摄方法、装置、云台、无人飞行器及机器人 - Google Patents

广角照片拍摄方法、装置、云台、无人飞行器及机器人 Download PDF

Info

Publication number
CN107079104A
CN107079104A CN201680003183.XA CN201680003183A CN107079104A CN 107079104 A CN107079104 A CN 107079104A CN 201680003183 A CN201680003183 A CN 201680003183A CN 107079104 A CN107079104 A CN 107079104A
Authority
CN
China
Prior art keywords
angle
camera lens
photo
head
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680003183.XA
Other languages
English (en)
Other versions
CN107079104B (zh
Inventor
陶冶
杨秉臻
胡攀
王岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Osmo Technology Co Ltd
Original Assignee
SZ DJI Osmo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Osmo Technology Co Ltd filed Critical SZ DJI Osmo Technology Co Ltd
Publication of CN107079104A publication Critical patent/CN107079104A/zh
Application granted granted Critical
Publication of CN107079104B publication Critical patent/CN107079104B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Abstract

一种广角照片拍摄方法、装置、云台(20,70,1004)、无人飞行器及机器人。获取广角照片的方法包括：控制镜头(22，1005,2005)在多个方位角拍照，多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将镜头(22，1005,2005)在多个方位角拍摄的照片合成为超广角照片。通过控制镜头(22，1005,2005)在多个方位角拍照，并将镜头(22，1005,2005)在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄，不会出现如鱼眼镜头的畸变问题，提高了超广角照片的质量。

Description

广角照片拍摄方法、装置、云台、无人飞行器及机器人
技术领域
本发明实施例涉及无人机领域，尤其涉及一种广角照片拍摄方法、装置、云台、无人飞行器及机器人。
背景技术
拍摄设备已经成为日趋普遍的设备，用户通过拍摄设备具体如手机上的摄像头、数码相机拍摄其感兴趣的照片，另外，拍摄设备还可以用于无人机领域，通过无人机的云台承载拍摄设备进行航拍。
现有技术中拍摄设备的视角是有限的，即拍摄设备的镜头所能覆盖的范围是有限的，导致拍摄设备拍摄出的照片中的景象面积受限，为了拍摄出更广视角的照片，可在拍摄设备上安装鱼眼镜头，鱼眼镜头是一种视角接近或等于180°的镜头。因为人眼在实际生活中看见的景物是有规则或有固定形态的，而鱼眼镜头与人眼中的真实世界的景象存在很大的差别，通过鱼眼镜头产生的画面效果超出了人眼视觉的正常范围，导致鱼眼镜头拍摄出的照片存在畸变问题。
因此，现有技术中缺少一种超广角、高质量照片的拍摄方法。
发明内容
本发明实施例提供一种广角照片拍摄方法、装置、云台、无人飞行器及机器人，以实现超广角、高质量照片的拍摄方法。
本发明实施例的一个方面是提供一种广角照片拍摄方法，包括：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例的另一个方面是提供一种镜头控制装置，包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例的另一个方面是提供一种云台，包括：
电机，用于控制所述云台转动；
镜头控制装置，与所述电机电连接，用于控制镜头拍照；所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例的另一个方面是提供一种无人飞行器，包括：机身、电机、螺旋桨、姿态传感器、飞行控制器、电子调速器以及云台；
所述电子调速器与所述飞行控制器连接，用于根据所述飞行控制器发送的油门控制信号控制所述电机转动；
所述电机与所述螺旋桨连接，以在所述电子调速器的控制下驱动所述螺旋桨转动；
所述姿态传感器集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；
所述云台，与所述电机电连接，所述电机还用于控制所述云台转动；
所述云台包括：镜头控制装置，与所述电机电连接，用于控制镜头拍照；
所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例的另一个方面是提供一种无人飞行器，包括：机身、电机、螺旋桨、姿态传感器、飞行控制器、电子调速器以及固定装置；
所述电子调速器与所述飞行控制器连接，用于根据所述飞行控制器发送的油门控制信号控制所述电机转动；
所述电机与所述螺旋桨连接，以在所述电子调速器的控制下驱动所述螺旋桨转动；
所述姿态传感器集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；
所述固定装置，与所述机身连接，用于固定拍摄设备；
所述飞行控制器包括一个或多个MCU，所述MCU用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例的另一个方面是提供一种机器人，包括：
机身；
移动装置，与机身连接，用于提供所述机身移动的动力；
拍摄设备，安装在所述机身，所述拍摄设备设有镜头；
镜头控制装置，与所述拍摄设备连接，用于控制镜头拍照；所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
本发明实施例提供的广角照片拍摄方法、装置、云台、无人飞行器及机器人，通过获取镜头的参数信息，根据镜头的参数信息，计算出镜头拍摄照片的多个方位角，具体为控制镜头在水平方向的转动次数，每次在水平方向转动的角度，以及控制镜头在竖直方向的的转动次数，每次在竖直方向转动的角度，镜头在水平方向和竖直方向转动时，镜头可位于多个方位角，且在多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的广角照片拍摄方法流程图；
图2A为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；
图2B为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；
图2C为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；
图3为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；
图4为本发明实施例一提供的镜头视角的示意图；
图5为本发明实施例二提供的广角照片拍摄方法的流程图；
图6为本发明实施例二提供的镜头拍摄照片的示意图；
图7A为本实施例二提供的pitch角为30°，yaw角为-45°的照片；
图7B为本实施例二提供的pitch角为30°，yaw角为-45°的照片的投影图像；
图8A为本实施例二提供的pitch角为0°，yaw角为0°的照片；
图8B为本实施例二提供的pitch角为0°，yaw角为0°的照片的投影图像；
图9A为本实施例二提供的pitch角为-30°，yaw角为45°的照片；
图9B为本实施例二提供的pitch角为-30°，yaw角为45°的照片的投影图像；
图10为本发明实施例三提供的广角照片拍摄方法流程图；
图11为本发明实施例四提供的广角照片拍摄方法流程图；
图12为本发明实施例四提供的修正方位角的方法流程图；
图13为本实施例四提供的投影图像拼接的示意图；
图14为本实施例四提供的投影图像拼接的示意图；
图15为本实施例四提供的拼接完成的投影图像的裁剪示意图；
图16为本发明实施例五提供的镜头控制装置的结构图；
图17为本发明实施例七提供的镜头控制装置的结构图；
图18为本发明实施例九提供的云台的结构图；
图19为本发明实施例十提供的云台的结构图；
图20为本发明实施例十一提供的无人飞行器的结构示意图；
图21为本发明实施例十三提供的机器人的结构示意图。
附图标记：
20-云台 21-拍摄设备 22-镜头
23-连接部件 24-无人机的机身 24-手柄
51-处理器 52-图像传感器 53-硬件接口
54-无线收发器 55-姿态传感器 60-电机
50-镜头控制装置 70-云台 61-承载部件
62-手机支架 63-稳定器 64-控制开关
65-手柄 66-调焦按钮 1001-电机
1002-螺旋桨 1003-电子调速器 1004-云台
1005-镜头 2002-拍摄设备 2001-移动装置
2003-机身 2004-顶部 2005-镜头
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体地实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例一提供一种广角照片拍摄方法。图1为本发明实施例一提供的广角照片拍摄方法流程图；如图1所示，本实施例提供的广角照片拍摄方法的具体步骤如下：
步骤S101、控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数。
本实施例中的方法可以应用于航拍或手持云台拍照。图2A为本发明实施例一提供的广角照片拍摄方法适用的设备示意图。如图2A所示，云台20上安装有拍摄设备21，具体地，云台20和拍摄设备21通过连接部件23连接，拍摄设备21可以是带有摄像功能的手机，也可以是相机。云台20可以在水平方向和竖直方向发生转动，云台20转动的同时带动拍摄设备21发生转动，拍摄设备21跟随云台20转动的过程中，拍摄设备21上的镜头22的拍摄角度也可以在水平方向和竖直方向发生变化。若本实施例中的方法应用于航拍，则图2A所示的24表示无人机的机身，若本实施例中的方法应用于手持云台拍照，则图2A所示的24表示手持云台的手柄。
另外，云台20还可以控制连接部件23扭转，由于拍摄设备21与连接部件23连接，连接部件23扭转的同时拍摄设备21发生转动，同时，拍摄设备21上的镜头22的拍摄角度发生变化。具体地，云台20控制连接部件23在水平方向和竖直方向发生扭转，连接部件23带动拍摄设备21在水平方向和竖直方向发生转动，同时，拍摄设备21上的镜头22的拍摄角度也可以在水平方向和竖直方向发生变化。图2B为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；图2C为本发明实施例一提供的广角照片拍摄方法适用的设备示意图；如图2A、2B、2C所示，镜头22的拍摄角度在竖直方向上发生变化，具体的，如图2A所示，镜头22仰视拍照；如图2B所示，镜头22平视拍照；如图2C所示，镜头22俯视拍照。
图3为本发明实施例一提供的广角照片拍摄方法适用的设备示意图。如图3所示，云台20还可自带镜头22，云台20和镜头22通过云台20内部的硬件接口连接，且该硬件接口可用于传输镜头的参数。云台20在水平方向和竖直方向发生转动时，镜头22随着云台20的转动而转动，同时镜头22的拍摄角度发生变化。
在本实施例中，云台每次转动的角度可以是固定的角度，云台每转动一次，控制镜头拍摄一张照片。另外，云台20还可预先存储有镜头22的参数。云台还可以在控制镜头拍摄照片之前，根据镜头22的参数，计算控制所述镜头拍摄照片的所述多个方位角。
此外，云台还可以在控制镜头拍摄照片之前，获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。云台获取镜头参数信息的方法，可以是通过无线传输方式获取，也可以通过硬件接口方式获取。
具体地，拍摄设备21预先存储有镜头22的参数，镜头的参数包括镜头的视角、镜头的像素、镜头的光圈和镜头的焦距。拍摄设备21在拍摄照片之前，通过无线传输方式将镜头的参数发送给云台20。或者，如图3所示，云台20和镜头22通过云台20内部的硬件接口连接，镜头22通过该硬件接口，将镜头的参数传输给云台20。
云台20内部可设置有处理器或微控制单元(Microcontroller Unit，简称MCU)，处理器或MCU获取到镜头22的参数信息后，计算云台20控制镜头22拍摄照片的多个方位角，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数，所述多个方位角包括n*m个角度信息，镜头22在每个方位角拍摄一张照片，在该多个方位角分别拍摄照片后获得n*m张照片，该n*m张照片组成一个n行m列的阵列。
图4为本发明实施例一提供的镜头视角的示意图。如图4所示，光源O表示镜头的中心，ABCD是镜头所能覆盖的范围，对于焦距可调的镜头，ABCD的大小可以随着焦距改变而改变，镜头的视角包括水平视角和竖直视角，如图4所示，角AOB表示水平视角，角BOC表示竖直视角，且镜头的焦距越长，镜头的视角越小，镜头的焦距越短，镜头的视角越大。在本实施例中，镜头22的焦距可以是可变的，也可以是固定的。
例如，镜头22拍摄单张照片的水平视角为θhor，竖直视角为θver。为了将镜头22拍摄的多张照片合成一张超广角照片，需要镜头22拍摄的相邻两张照片有一定的重合区域，重合区域的水平视角为Δθhor，重合区域的竖直视角为Δθver。另外，最终合成的广角照片需要达到的水平视角为θHOR，需要达到的竖直视角为θVER，其中，θHOR大于θhor，θVER大于θver。
云台20内的处理器或MCU可根据θhor、Δθhor、θHOR计算出云台20在水平方向的转动次数，以及在水平方向每次转动的角度；处理器或MCU还可根据θver、Δθver、θVER计算出云台20在竖直方向的转动次数，以及在竖直方向每次转动的角度。在本实施例中，云台20可按照先仰视、再平视、后俯视的方式控制镜头22转动，同时按照先左后右的方式控制镜头22水平摆动，即云台20可控制镜头22转动到多个方位角分别进行拍照。换句话说，云台20可以先在仰视状态先左后右的方式控制镜头22水平摆动，然后再在平视状态先左后右的方式控制镜头22水平摆动，最后在俯视状态先左后右的方式控制镜头22水平摆动，从而实现云台20控制镜头22转动到多个方位角分别进行拍照。
可以理解的是，在其他实施方式中云台20也可以先俯视、再平视、后仰视的方式控制镜头22转动；云台20也可按照先左后右、再先右后左这种循环的方式控制镜头22水平摆动。
步骤S102、将所述镜头在多个方位角拍摄的照片合成为超广角照片。
镜头22在云台20控制的每个方位角拍照结束后，云台20内的处理器或MCU可将镜头22在每个方位角拍照的照片合成为超广角照片，或者由拍摄设备21将镜头22在每个方位角拍照的照片合成为超广角照片。其中，将镜头22在每个方位角拍照的照片合成为超广角照片具体可实现为：从多种照片中选取一张图作为基准图，对该基准图进行投影生成第一投影图像，选取该基准图的相邻图，并将该相邻图的第二投影图像与该第一投影图像进行拼接，第一投影图像和第二投影图像拼接后生成已拼接图像，按照预设组合方式，从剩余的照片中选取与已拼接图像有重合区域的照片，并将该照片的第三投影图像拼接到已拼接图像，构成新的已拼接图像，依次类推，将镜头22在每个方位角拍照的照片都拼接在一起构成最终的超广角照片。
另外，在其他实施例中，本实施例中的方法还可以应用于多轴的无人飞行器，应用于多轴的无人飞行器时，本实施例中的方法可以不限定于云台控制或带动镜头转动。无人飞行器的一个轴或多个轴可以搭载云台，云台上固定拍摄设备，云台可固定不动，该无人飞行器的飞行控制器包括一个或多个微控制单元(Micro Controller Unit，简称MCU),MCU通过硬件接口或无线通信方式获取拍摄设备的镜头的参数信息，并根据镜头的参数信息，计算控制所述镜头拍摄照片的多个方位角。MCU将该多个方位角传输给无人飞行器的电机，电机可控制螺旋桨转动，无人飞行器在电机和螺旋桨的控制下可以处于不同的姿态角，该姿态角具体包括俯仰角、航向角和横滚角。拍摄设备可随着无人飞行器的姿态角的变化而处于不同的方位角，即无人飞行器所处的姿态角与拍摄设备所处的方位角一致，另外，无人飞行器还包括姿态传感器(Inertial Measurement Unit,简称IMU)，IMU可集成在所述飞行控制器中，用于感测所述无人飞行器的姿态，当IMU感测的无人飞行器的姿态角与前述MCU计算出的方位角一致时，MCU控制所述镜头在该方位角拍照，并将所述镜头在多个方位角拍摄的照片合成为超广角照片。
此外，在其他实施例中，本实施例中的方法还可以应用于可移动的机器人，应用于可移动的机器人时，本实施例中的方法可以不限定于云台控制或带动镜头转动。拍摄设备可安装在可移动机器人机身的顶部，拍摄设备可随着可移动机器人的移动而移动，拍摄设备的镜头可以在可移动机器人的移动过程中拍摄到不同地点的照片。若可移动机器人机身的顶部可以转动，则拍摄设备还可以随着机身顶部的转动而转动，机身顶部的转动包括水平方向的转动和竖直方向的转动。当机身顶部在水平方向转动以及竖直方向转动过程中，拍摄设备的镜头可处于不同的方位角，可移动机器人控制所述镜头在不同的方位角分别拍照，并将所述镜头在多个方位角拍摄的照片合成为超广角照片，超广角照片的合成过程可以由拍摄设备执行，也可以由可移动机器人内的图像处理器执行。
本实施例通过获取镜头的参数信息，根据镜头的参数信息，计算出镜头拍摄照片的多个方位角，具体为控制镜头在水平方向的转动次数，每次在水平方向转动的角度，以及控制镜头在竖直方向的的转动次数，每次在竖直方向转动的角度，镜头在水平方向和竖直方向转动时，镜头可位于多个方位角，且在多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
实施例二
本发明实施例二提供一种广角照片拍摄方法。本实施例是在实施例一提供的技术方案的基础上，所述镜头的参数信息具体为镜头的视角，云台20内的处理器或MCU可根据视角计算云台20的转动角度和转动次数。图5为本发明实施例二提供的广角照片拍摄方法的流程图。如图5所示，本实施例中的方法，可以包括如下步骤：
步骤S201、获取镜头的视角。
步骤S202、根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度。
具体地，云台的转动角度包括云台在水平方向转动的角度间隔和云台在竖直方向转动的角度间隔。
在本实施例中，所述镜头的视角包括第一水平视角和第一竖直视角；所述相邻两张照片重合区域的预设视角包括第二水平视角和第二竖直视角；所述超广角照片预期达到的视角包括第三水平视角和第三竖直视角。结合实施例一，第一水平视角为镜头22拍摄单张照片的水平视角θhor，第一竖直视角为镜头22拍摄单张照片的竖直视角θver；第二水平视角为Δθhor，第二竖直视角为Δθver；第三水平视角为θHOR，第三竖直视角为θVER。
云台20内的处理器或MCU根据第一水平视角θhor和第二水平视角Δθhor，可计算出云台在水平方向转动的角度间隔，具体地，可根据公式(1)计算出云台在水平方向转动的角度间隔：
θhor-Δθhor (1)
另外，云台20内的处理器或MCU根据第一竖直视角θver和第二竖直视角Δθver，可计算出云台在竖直方向转动的角度间隔，具体地，可根据公式(2)计算出云台在竖直方向转动的角度间隔：
θver-Δθver (2)
步骤S203、根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
具体地，云台的转动次数包括云台在水平方向转动的次数和云台在竖直方向转动的次数。
云台20内的处理器或MCU根据第一水平视角θhor、第二水平视角Δθhor、第三水平视角θHOR，计算出云台在水平方向转动的次数，具体地，可根据公式(3)计算云台在水平方向转动的次数N：
N＝[(θHOR-Δθhor)/(θhor-Δθhor)] (3)
此外，云台20内的处理器或MCU还可根据第一竖直视角θver、第二竖直视角Δθver、第三竖直视角θVER，计算出云台在竖直方向转动的次数，具体地，可根据公式(4)计算云台在竖直方向转动的次数M：
M＝[(θVER-Δθver)/(θver-Δθver)] (4)
步骤S204、根据所述云台在水平方向转动的角度间隔、所述云台在竖直方向转动的角度间隔、所述云台在水平方向转动的次数、以及所述云台在竖直方向转动的次数，控制所述镜头位于不同的方位角。
在本实施例中，镜头的视角可根据拍摄设备21的不同而不同，对于同一拍摄设备，镜头的视角还可根据焦距的不同而不同。另外，并不限定相邻两张照片重合区域的预设水平视角和预设竖直视角。此外，也不限定最终拼接成的超广角照片可达到的水平视角和竖直视角。
例如，镜头22的视角为84×66°，表示镜头22拍摄单张照片的水平视角为84°，镜头22拍摄单张照片的竖直视角为66°，相邻两张照片重合区域的预设水平视角为39°，重合区域的预设竖直视角为36°，要求最终拼接成的超广角照片的水平视角达到174°，竖直视角达到126°；根据前述具体数值，利用公式(1)可计算出云台在水平方向转动的角度间隔是84°-39°即45°；根据公式(2)可计算出出云台在竖直方向转动的角度间隔是66°-36°即30°。根据公式(3)可计算云台在水平方向转动的次数N＝(174°-39°)/(84°-39°)＝3，根据公式(4)可计算云台在竖直方向转动的次数M＝(126°-36°)/(66°-36°)＝3。由于云台转动可带动镜头转动，且云台转动的角度可用于表示镜头转动的角度，随着云台在水平方向、竖直方向的同时转动，镜头也可在水平方向、竖直方向的同时转动。具体的，云台需要在水平方向转动3次，在竖直方向转动3次，因此镜头需要拍摄3*3张照片，即横向拍摄3行，每行3张图片。
步骤S205、控制所述镜头在各个方位角分别拍摄照片。
图6为本发明实施例二提供的镜头拍摄照片的示意图，如图6所示，镜头按照从左向右、从上到下的顺序在9个不同的方位角拍照，每个方位角拍摄一张照片，获得9张不同角度的照片，且相邻的两张照片具有一定的重合区域。如图9所示，镜头位于不同的方位角时，表示镜头位于不同的姿态，同时，云台也位于不同的姿态，按照从左向右、从上到下的顺序对镜头或云台所处的姿态进行标号，可得到镜头或云台9个不同的姿态。另外，在本实施例中，镜头拍摄每张照片时的方位角包括俯仰角、航向角和横滚角，其中，俯仰角用pitch表示，航向角用yaw表示，横滚角用roll表示，俯仰角表示镜头或云台在竖直方向即Y轴的转动角度，航向角表示镜头或云台在水平方向即X轴的转动角度，横滚角表示镜头或云台在Z轴的转动角度，本实施例中，镜头或云台在Z轴的转动角度可以忽略不计。表1所示为镜头或云台位于各个姿态时，镜头或云台的航向角和俯仰角的对应关系：
表1
另外，本实施例不限定镜头拍摄的照片的数量，例如，镜头还可以拍摄4*4张照片，或5*5张照片。
此外，当镜头的视角、相邻两张照片重合区域的视角、以及最终拼接成的超广角照片预期达到的视角中有一组视角发送改变，镜头拍摄的照片的数量可能也会改变。
再者，结合图6和表1可知，姿态序号为5的照片和其他8张照片均有重合区域，即姿态序号为5的照片与其周围照片的重合区域的数量较多，姿态序号为1、3、7、9的照片与各自周围照片的重合区域的数量较少，姿态序号为2、4、6、8的照片与各自周围照片的重合区域的数量居中，可见镜头或云台的航向角和俯仰角不同时，镜头拍摄的照片与其周围照片的重合区域的数量不同。
步骤S206、将所述镜头在多个方位角拍摄的照片合成为超广角照片。
将所述镜头在多个方位角拍摄的照片合成为超广角照片的方法具体实现为：选取姿态序号为1的照片为基准图，由于镜头拍摄姿态序号为1的照片时，镜头或云台的pitch角为30°，yaw角为-45°，roll角忽略为0，根据镜头的内参数矩阵、以及基准图对应的角度信息(pitch，yaw，roll)，将基准图进行equirectangular方式的投影，投影的球面半径为相机以像素为单位的focal length，图7A为本实施例二提供的pitch角为30°，yaw角为-45°的照片，图7B为本实施例二提供的pitch角为30°，yaw角为-45°的照片的投影图像。然后按照预设组合方式，选取该基准图的相邻照片，对该基准图的相邻照片进行equirectangular方式的投影，得到相邻照片的投影图像，将相邻照片的投影图像与基准图的投影图像进行拼接，得到由两个投影图像拼接成的已拼接图像，按照预设组合方式，从剩余的照片中选取与已拼接图像有重合区域的照片，并将该照片的第三投影图像拼接到已拼接图像，构成新的已拼接图像，依次类推，将镜头22在每个方位角拍照的照片都拼接在一起构成最终的超广角照片。
另外，镜头或云台在不同的pitch角和yaw角时，镜头拍摄的照片的投影图像也不同，图8A为本实施例二提供的pitch角为0°，yaw角为0°的照片，图8B为本实施例二提供的pitch角为0°，yaw角为0°的照片的投影图像。图9A为本实施例二提供的pitch角为-30°，yaw角为45°的照片，图9B为本实施例二提供的pitch角为-30°，yaw角为45°的照片的投影图像。
根据图7A-图9B可知，镜头或云台在不同的pitch角和yaw角时，镜头拍摄的照片不同，照片的投影图像不同，另外，投影图像的形状也不同。为了保证相邻两张照片之间有足够的重合区域，可以调节镜头的焦距，调整镜头焦距的本质即是调整公式(1)和(2)中的θver和θhor，同时还可以调节公式(3)和(4)中的Δθhor、Δθver，如此可以改变云台在水平方向转动的角度间隔、在竖直方向转动的角度间隔、云台在水平方向转动的次数、以及在竖直方向转动的次数。或者，还可以调整公式(3)和(4)中的M和N，以使相邻两张照片之间有足够的重合区域。
本实施例中，云台根据镜头的视角计算出云台在水平方向的转动次数，每次在水平方向转动的角度间隔，以及云台在竖直方向的的转动次数，每次在竖直方向转动的角度间隔，云台根据自身的转动次数、转动角度控制镜头位于不同的方位角，提高了云台对镜头的控制精度。
实施例三
本发明实施例三提供一种将镜头在多个方位角拍摄的照片合成为超广角照片的方法。本实施例是在上述任一实施例提供的技术方案的基础上，提供将所述镜头在多个方位角拍摄的照片合成为超广角照片的方法。图10为本发明实施例三提供的广角照片拍摄方法流程图。如图10所示，本实施例提供的将所述镜头在多个方位角拍摄的照片合成为超广角照片的方法，可以包括如下步骤：
步骤S301、获取所述云台中的姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角。
云台内设置有电机，电机可以精确控制云台到达指定的角度，从而控制镜头保持与云台一致的姿态，但是，镜头在拍摄过程中转动，导致镜头实际拍摄到的照片并不是在云台指定的角度拍摄的，例如，云台指定镜头在pitch角为30°，yaw角为-45°的姿态拍摄第一张照片，但镜头实际拍摄到的第一张照片，可能是在pitch角为29.5°，yaw角为-44.5°时拍摄的，即云台指定的角度和镜头实际拍摄的角度之间可能会有误差。
步骤S302、根据所述姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，修正所述镜头拍摄每张照片时所述云台的俯仰角、航向角和横滚角。
为了降低云台指定的角度和镜头实际拍摄的角度之间的误差，在本实施例中，云台内设置有姿态传感器，姿态传感器可以感测镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，即镜头每拍摄一张照片，姿态传感器均感测镜头拍摄这张照片时的俯仰角、航向角和横滚角，并且根据姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，修正所述镜头拍摄每张照片时所述云台的俯仰角、航向角和横滚角。
根据图7A-图9B可知，镜头或云台在不同的pitch角和yaw角时，镜头拍摄的照片不同，照片的投影图像不同，另外，投影图像的形状也不同，通过云台内设置姿态传感器，姿态传感器感测镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，通过姿态传感器可精确获得镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，精确获得镜头的角度信息(pitch，yaw，roll)后，对每张照片进行equirectangular方式的投影时，可提高投影的准确度。
步骤S303、从所述镜头在多个方位角拍摄的照片中选取一张照片作为基准图。
步骤S304、根据所述镜头拍摄所述基准图时所述镜头的方位角和所述镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，将所述第一投影图像作为拼接图像。
步骤S305、遍历剩余的照片，采用预设组合方式，获取与所述拼接图像有重合区域的照片，并将所述照片的第二投影图像拼接到所述拼接图像。
步骤S303-步骤S305的原理与步骤S206的原理一致，此处不再赘述。
本实施例中，由于对照片进行equirectangular方式的投影时，得到的投影图像与镜头拍摄该张照片的角度信息有关，对照片进行投影时采用的照片的角度信息与镜头实际拍摄该张照片时的角度信息越一致，得到的投影图像将越精确，因此，通过云台内的姿态传感器感测镜头拍摄每张照片时该镜头的俯仰角、航向角和横滚角，可提高每张照片的投影图像的精确度。
实施例四
本发明实施例四提供一种将镜头在多个方位角拍摄的照片合成为超广角照片的方法。本实施例是在上述任一实施例提供的技术方案的基础上，提供将所述镜头在多个方位角拍摄的照片合成为超广角照片的方法。图11为本发明实施例四提供的广角照片拍摄方法流程图。如图11所示，本实施例提供的将所述镜头在多个方位角拍摄的照片合成为超广角照片的方法，可以包括如下步骤：
步骤S401、从所述镜头在多个方位角拍摄的照片中选取一张照片作为基准图。
在本实施例中，从镜头在多个方位角拍摄的照片中选取的基准图可以不是镜头拍摄的第一张图。另外，本实施例不限定基准图的具体选取方法。
步骤S402、根据所述镜头拍摄所述基准图时所述镜头的方位角和所述镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，将所述第一投影图像作为拼接图像。
本实施例的执行主体可以是云台20内的处理器或MCU，也可以是拍摄设备21，本实施例以云台20内的MCU为例，云台20内的MCU根据镜头拍摄该基准图时位于的方位角和镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，镜头拍摄该基准图时位于的方位角可以是云台指定的角度信息，本实施例将第一投影图像作为拼接图像。
步骤S403、遍历剩余的照片，采用预设组合方式，获取与所述拼接图像有重合区域的照片，以及所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角。
遍历镜头拍摄的剩余照片，采用预设组合方式，获取与该拼接图像有重合区域的照片，例如，选取出基准图的一个相邻照片，并获取该相邻照片对应的俯仰角、航向角和横滚角，镜头拍摄该相邻照片时的俯仰角、航向角和横滚角可以是云台指定的角度信息。
步骤S404、对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理，获得所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度。
由于云台指定的角度和镜头实际拍摄的角度之间可能会有误差，为了降低云台指定的角度和镜头实际拍摄的角度之间的误差，本实施例提供了一种不同于实施例三所述的姿态传感器感测方位角的方法，图12为本发明实施例四提供的修正方位角的方法流程图。如图12所示，对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理的方法可以包括如下步骤S501-S507：
步骤S501、根据预设的搜索步长和第一搜索步数，确定偏离所述航向角在第一预设范围内的多个第一角度。
步骤S502、根据预设的搜索步长和第二搜索步数，确定偏离所述俯仰角在第二预设范围内的多个第二角度。
步骤S503、根据预设的搜索步长和第三搜索步数，确定偏离所述横滚角在第三预设范围内的多个第三角度。
以步骤S403所述的基准图的一个相邻照片为例，该相邻照片对应的航向角记为αi，该相邻照片对应的俯仰角记为βi，该相邻照片对应的横滚角记为γi，本实施例在αi周围搜索镜头实际拍摄该相邻照片时的航向角，在βi周围搜索镜头实际拍摄该相邻照片时的俯仰角，在γi周围搜索镜头实际拍摄该相邻照片时的横滚角。具体地，航向角、俯仰角、横滚角的搜索步长均设定为δ，航向角的搜索步数设定为n1，俯仰角的搜索步数设定为n2，横滚角的搜索步数设定为n3。
航向角的搜索范围是αi±n1δ，αi±n1δ范围内的角度记为第一角度，αi±n1δ范围内的第一角度有n1+1个。
俯仰角的搜索范围是βi±n2δ，βi±n2δ范围内的角度记为第二角度，βi±n2δ范围内的第二角度有n2+1个。
横滚角的搜索范围是γi±n3δ，γi±n3δ范围内的角度记为第三角度，γi±n3δ范围内的第三角度有n3+1个。
步骤S504、根据所述多个第一角度、所述多个第二角度和所述多个第三角度，确定多个待测角度，每个待测角度包括一个第一角度、一个第二角度和一个第三角度。
根据n1+1个第一角度、n2+1个第二角度、n3+1个第三角度，可以组合构成(n1+1)*(n2+1)*(n3+1)种方位角，该(n1+1)*(n2+1)*(n3+1)种方位角作为待测角度，每个待测角度包括一个第一角度、一个第二角度和一个第三角度。
步骤S505、遍历每个待测角度，根据所述待测角度和所述镜头的内参数矩阵，对所述照片进行投影生成待测投影图像。
遍历上述(n1+1)*(n2+1)*(n3+1)个待测角度，对于每个待测角度，根据该待测角度和镜头的内参数矩阵，对基准图的一个相邻照片进行投影生成待测投影图像。
步骤S506、计算所述待测投影图像与所述拼接图像的相似度。
根据现有的相似度算法计算待测投影图像与上述拼接图像的相似度。
步骤S507、根据所述相似度，确定所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度。
具体地，将最大的相似度对应的待测角度包括的第一角度确定为所述云台的所述俯仰角的修正角度；将最大的相似度对应的待测角度包括的第二角度确定为所述云台的所述航向角的修正角度；将最大的相似度对应的待测角度包括的第三角度确定为所述云台的所述横滚角的修正角度。
由于每个待测投影图像对应一个相似度，根据相似度的大小，可确定出相似度最大时对应的待测投影图像，获得该待测投影图像时对应有一个待测角度，将该待测角度对应的第一角度确定为所述云台的所述俯仰角的修正角度，将该待测角度对应的第二角度确定为所述云台的所述航向角的修正角度，将该待测角度对应的第三角度确定为所述云台的所述横滚角的修正角度。
步骤S405、根据所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，对所述照片进行投影生成所述第二投影图像。
根据所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，对基准图的一个相邻照片进行投影生成第二投影图像。
步骤S406、将所述第二投影图像拼接到所述拼接图像。
将基准图的一个相邻照片的第二投影图像与基准图的第一投影图像进行拼接得到拼接图像。
图13为本实施例四提供的投影图像拼接的示意图。如图13所示，左上角为基准图的第一投影图像，右上角为基准图的一个相邻照片的第二投影图像，正下方为第一投影图像和第二投影图像拼接后的拼接图像。
执行完步骤S406之后，返回到步骤S403，继续获取剩余照片中与拼接图像有重合区域的照片，以及所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角，对所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角进行步骤S501-S507的修正处理，根据修正处理后的俯仰角、航向角和横滚角，将该照片进行投影，将该照片的投影图像与图13所示的拼接图像进行拼接，重复执行步骤S402-步骤S406，直到将镜头在不同方位角拍摄的照片的投影图像均拼接在一起。
图14为本实施例四提供的投影图像拼接的示意图。如图14所示，在图13的基础上，继续拼接后续的与已经拼接好投影图像的照片，本实施例采用的照片是表1所示的，镜头位于不同的方位角时，镜头拍摄的3*3张照片，拼接的方法与前述方法一致，拼接的过程和结果具体参见图14。
此外，还可以对图14所示拼接完成的投影图像进行裁剪，裁剪出一张规则的照片，这张规则的照片即使最终获得的超广角照片。图15为本实施例四提供的拼接完成的投影图像的裁剪示意图。如图15所示，右边的照片即为最终获得的超广角照片。
本实施例通过搜索遍历待拼接照片对应的俯仰角周围的角度、航向角周围的角度、横滚角周围的角度，从俯仰角周围的角度、航向角周围的角度、横滚角周围的角度中搜索出一个与镜头实际拍摄该张待拼接照片时的角度信息最为接近的角度，进一步提高了每张照片的投影图像的精确度，同时也提高了最终获得的超广角照片的质量。
实施例五
本发明实施例五提供一种镜头控制装置。图16为本发明实施例五提供的镜头控制装置的结构图，如图16所示，镜头控制装置50包括：一个或多个处理器51、一个或多个处理器51可单独地或共同地工作，处理器51用于：控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将所述镜头在多个方位角拍摄的照片合成为超广角照片。
在本发明实施例中，所述镜头的参数信息包括如下至少一种：所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
处理器51还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
所述镜头的焦距是可变的；或者所述镜头的焦距是固定的。
如图16所示，镜头控制装置50还包括与所述处理器51通讯连接的图像传感器52，图像传感器52用于捕捉图像信息，并将所述图像信息传送给所述处理器51。
另外，如图16所示，镜头控制装置50还包括与所述处理器51通讯连接的硬件接口53或无线收发器54，硬件接口53或无线收发器54用于接收拍摄设备发送的所述镜头的参数信息。
本发明实施例五提供的镜头控制装置的具体原理和实现方式均与实施例一类似，此处不再赘述。
本实施例通过获取镜头的参数信息，根据镜头的参数信息，计算出镜头拍摄照片的多个方位角，具体为控制镜头在水平方向的转动次数，每次在水平方向转动的角度，以及控制镜头在竖直方向的的转动次数，每次在竖直方向转动的角度，镜头在水平方向和竖直方向转动时，镜头可位于多个方位角，且在多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
实施例六
本发明实施例六提供一种镜头控制装置。在实施例五提供的技术方案的基础上，所述参数信息为视角；所述处理器51具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
具体地，所述镜头的视角包括第一水平视角和第一竖直视角；所述相邻两张照片重合区域的预设视角包括第二水平视角和第二竖直视角；所述超广角照片预期达到的视角包括第三水平视角和第三竖直视角。
另外，所述云台的转动角度包括所述云台在水平方向转动的角度间隔和所述云台在竖直方向转动的角度间隔；所述处理器51具体根据所述第一水平视角和所述第二水平视角，计算所述云台在水平方向转动的角度间隔；根据所述第一竖直视角和所述第二竖直视角，计算所述云台在竖直方向转动的角度间隔。
此外，所述云台的转动次数包括所述云台在水平方向转动的次数和所述云台在竖直方向转动的次数；所述处理器51具体根据所述第一水平视角、所述第二水平视角和所述第三水平视角，计算所述云台在水平方向转动的次数；根据所述第一水平视角、所述第二水平视角和所述第三水平视角，计算所述云台在水平方向转动的次数。
进一步地，所述处理器51具体根据所述云台在水平方向转动的角度间隔、所述云台在竖直方向转动的角度间隔、所述云台在水平方向转动的次数、以及所述云台在竖直方向转动的次数，控制所述镜头位于不同的方位角；控制所述镜头在各个方位角分别拍摄照片。
本发明实施例六提供的镜头控制装置的具体原理和实现方式均与实施例二类似，此处不再赘述。
本实施例中，云台根据镜头的视角计算出云台在水平方向的转动次数，每次在水平方向转动的角度间隔，以及云台在竖直方向的的转动次数，每次在竖直方向转动的角度间隔，云台根据自身的转动次数、转动角度控制镜头位于不同的方位角，提高了云台对镜头的控制精度。
实施例七
本发明实施例七提供一种镜头控制装置。在实施例六提供的技术方案的基础上，所述处理器51具体从所述镜头在多个方位角拍摄的照片中选取一张照片作为基准图；根据所述镜头拍摄所述基准图时所述镜头的方位角和所述镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，将所述第一投影图像作为拼接图像；遍历剩余的照片，采用预设组合方式，获取与所述拼接图像有重合区域的照片，并将所述照片的第二投影图像拼接到所述拼接图像。所述镜头拍摄每张照片时的方位角包括俯仰角、航向角和横滚角。
图17为本发明实施例七提供的镜头控制装置的结构图，如图17所示，镜头控制装置50还包括：与所述处理器51通讯连接的姿态传感器55，姿态传感器55用于感测所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角；所述处理器51还用于根据所述姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，修正所述镜头拍摄每张照片时所述云台的俯仰角、航向角和横滚角。
本发明实施例七提供的镜头控制装置的具体原理和实现方式均与实施例三类似，此处不再赘述。
本实施例中，由于对照片进行equirectangular方式的投影时，得到的投影图像与镜头拍摄该张照片的角度信息有关，对照片进行投影时采用的照片的角度信息与镜头实际拍摄该张照片时的角度信息越一致，得到的投影图像将越精确，因此，通过云台内的姿态传感器感测镜头拍摄每张照片时该镜头的俯仰角、航向角和横滚角，可提高每张照片的投影图像的精确度。
实施例八
本发明实施例八提供一种镜头控制装置。在实施例七提供的技术方案的基础上，所述处理器51具体获取与所述拼接图像有重合区域的照片，以及所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角；对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理，获得所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度；根据所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，对所述照片进行投影生成所述第二投影图像；将所述第二投影图像拼接到所述拼接图像。
具体地，所述处理器51具体根据预设的搜索步长和第一搜索步数，确定偏离所述俯仰角在第一预设范围内的多个第一角度；根据预设的搜索步长和第二搜索步数，确定偏离所述航向角在第二预设范围内的多个第二角度；根据预设的搜索步长和第三搜索步数，确定偏离所述横滚角在第三预设范围内的多个第三角度；根据所述多个第一角度、所述多个第二角度和所述多个第三角度，确定多个待测角度，每个待测角度包括一个第一角度、一个第二角度和一个第三角度；遍历每个待测角度，根据所述待测角度和所述镜头的内参数矩阵，对所述照片进行投影生成待测投影图像；计算所述待测投影图像与所述拼接图像的相似度；根据所述相似度，确定所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度。
进一步地，所述处理器51具体将最大的相似度对应的待测角度包括的第一角度确定为所述云台的所述俯仰角的修正角度；将最大的相似度对应的待测角度包括的第二角度确定为所述云台的所述航向角的修正角度；将最大的相似度对应的待测角度包括的第三角度确定为所述云台的所述横滚角的修正角度。
本发明实施例八提供的镜头控制装置的具体原理和实现方式均与实施例四类似，此处不再赘述。
本实施例通过搜索遍历待拼接照片对应的俯仰角周围的角度、航向角周围的角度、横滚角周围的角度，从俯仰角周围的角度、航向角周围的角度、横滚角周围的角度中搜索出一个与镜头实际拍摄该张待拼接照片时的角度信息最为接近的角度，进一步提高了每张照片的投影图像的精确度，同时也提高了最终获得的超广角照片的质量。
实施例九
本发明实施例九提供一种云台。图18为本发明实施例九提供的云台的结构图，如图18所示，云台70包括电机60和镜头控制装置50，镜头控制装置50和电机60电连接，电机60用于控制所述云台70转动。镜头控制装置50用于控制镜头拍照；镜头控制装置50包括一个51或多个处理器51，处理器51用于：控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将所述镜头在多个方位角拍摄的照片合成为超广角照片。
进一步地，所述处理器51还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
所述镜头的参数信息包括如下至少一种：所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
所述镜头的焦距是可变的；或者所述镜头的焦距是固定的。
镜头控制装置50还包括：与所述处理器51通讯连接的图像传感器52，所述图像传感器52用于捕捉图像信息，并将所述图像信息传送给所述处理器51。
另外，云台70还包括承载部件61，承载部件61与所述电机60电连接，用于承载拍摄设备，所述拍摄设备安装有所述镜头。
或者，云台70还手机支架62，手机支架62与所述电机60电连接，用于承载手机，所述手机安装有所述镜头。
进一步地，所述镜头控制装置50还包括：与所述处理器51通讯连接的硬件接口53或无线收发器54，所述硬件接口53或所述无线收发器54用于接收所述拍摄设备发送的所述镜头的参数信息。
具体地，所述参数信息为视角；所述处理器51具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
所述电机60具体根据所述云台的转动角度、以及所述云台的转动次数控制所述云台转动。
本实施例通过云台获取镜头的参数信息，根据镜头的参数信息，计算出镜头拍摄照片的多个方位角，具体为控制镜头在水平方向的转动次数，每次在水平方向转动的角度，以及控制镜头在竖直方向的的转动次数，每次在竖直方向转动的角度，镜头在水平方向和竖直方向转动时，镜头可位于多个方位角，且在多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
实施例十
本发明实施例十提供一种云台。图19为本发明实施例十提供的云台的结构图，如图19所示，在实施例九提供的技术方案的基础上，云台70还包括稳定器63，稳定器63与所述电机60电连接，用于控制所述云台70在转动过程中稳定平衡。
进一步地，云台70还控制开关64，控制开关64与所述镜头控制装置50连接，用于控制所述镜头启动拍照。
另外，云台70还包括手柄65，所述控制开关64设置在所述手柄65上。
此外，云台70还包括调焦按钮66，调焦按钮66与所述镜头控制装置50连接，用于调节所述镜头的焦距。
本实施例，通过在云台内设置稳定器，提高了云台在转动过程中稳定性，可防止镜头在拍摄时出现抖动；通过在云台的手柄上设置控制开关，可使拍摄者无需按压拍摄设备的快门或手机的拍照按钮，拍摄者只要按压手柄上的控制开关即可控制拍摄设备开始拍摄，提高了用户操作的方便性。
实施例十一
本发明实施例十一提供一种无人飞行器。图20为本发明实施例十一提供的无人飞行器的结构示意图。如图20所示，本实施例中的无人飞行器可以包括：机身、电机1001、螺旋桨1002、姿态传感器(IMU)、飞行控制器、电子调速器1003、以及云台1004；电子调速器1003与飞行控制器连接，用于根据飞行控制器发送的油门控制信号控制电机1001转动；电机1001与螺旋桨1002连接，以在所述电子调速器的控制下驱动所述螺旋桨1002转动；所述姿态传感器集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；云台1004与电机1001电连接，电机1001还用于控制云台1004转动；云台1004包括上述实施例所述的镜头控制装置50，镜头控制装置50与电机1001电连接，用于控制镜头1005拍照；镜头控制装置50包括一个或多个处理器51，所述处理器51用于：控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将所述镜头在多个方位角拍摄的照片合成为超广角照片。
进一步地，所述处理器51还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
所述镜头的参数信息包括如下至少一种：所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
所述镜头的焦距是可变的；或者所述镜头的焦距是固定的。
云台1004还包括：承载部件61，承载部件61与所述电机1001电连接，用于承载拍摄设备，所述拍摄设备安装有所述镜头。
所述镜头控制装置50还包括：与所述处理器51通讯连接的硬件接口53或无线收发器54，所述硬件接口53或所述无线收发器54用于接收拍摄设备发送的所述镜头的参数信息。
具体地，所述参数信息为视角；所述处理器51具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
所述电机1001具体根据所述云台的转动角度、以及所述云台的转动次数控制所述云台转动。
所述云台1004还包括稳定器63，稳定器63与所述电机1001电连接，用于控制所述云台1004在转动过程中稳定平衡。
本实施例通过无人飞行器的云台控制拍摄设备的拍摄角度，拍摄设备在云台指定的多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的航拍方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
实施例十二
本发明实施例十二提供一种无人飞行器。如图20所示，本实施例中的无人飞行器可以包括：机身、电机1001、螺旋桨1002、姿态传感器(IMU)、飞行控制器、电子调速器1003、以及固定装置1004；电子调速器1003与飞行控制器连接，用于根据飞行控制器发送的油门控制信号控制电机1001转动；电机1001与螺旋桨1002连接，以在所述电子调速器的控制下驱动所述螺旋桨1002转动；姿态传感器(IMU)集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；固定装置1004与机身电连接，固定装置1004用于固定拍摄设备1005；所述飞行控制器包括一个或多个MCU，所述MCU用于：控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将所述镜头在多个方位角拍摄的照片合成为超广角照片；或者，所述MCU控制拍摄设备1005将所述镜头在多个方位角拍摄的照片合成为超广角照片。
进一步地，所述MCU还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。所述MCU将所述多个方位角传输给电机1001，电机1001根据所述多个方位角，控制所述无人飞行器的姿态。
进一步地，所述飞行控制器还包括：与所述MCU通讯连接的硬件接口53或无线收发器54，所述硬件接口53或所述无线收发器54用于接收拍摄设备发送的所述镜头的参数信息。
所述参数信息为视角；所述MCU具体根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算控制所述镜头拍摄照片的所述多个方位角。
本实施例通过无人飞行器的电机控制无人飞行器位于不同的姿态角，拍摄设备在无人飞行器所处多个姿态角时分别进行拍照，最后将镜头在每个姿态角拍摄的照片合成为一张超广角照片，实现了超广角照片的航拍方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
实施例十三
本发明实施例十三提供一种机器人。图21为本发明实施例十三提供的机器人的结构示意图。如图21所示，机器人包括包括机身2003、移动装置2001、拍摄设备2002、以及镜头控制装置，移动装置2001与机身2003连接，用于提供所述机身2003移动的动力；拍摄设备2002安装在所述机身2003，拍摄设备2002设有镜头2005；镜头控制装置与拍摄设备2002连接，用于控制镜头2005拍照；镜头控制装置包括一个或多个处理器，所述处理器用于：控制镜头2005在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；将所述镜头2005在多个方位角拍摄的照片合成为超广角照片。
进一步地，所述处理器还用于：获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
具体地，拍摄设备2002安装在机身2003的顶部2004。所述镜头控制装置还用于根据所述多个方位角，控制所述机身2003的顶部2004在水平方向及/或竖直方向上转动。
本实施例中，拍摄设备设置在可移动机器人的机身，拍摄设备可随着可移动机器人的移动而移动，若可移动机器人机身的顶部可以转动，则拍摄设备还可以随着机身顶部的转动而转动，机身顶部的转动包括水平方向的转动和竖直方向的转动。当机身顶部在水平方向转动以及竖直方向转动过程中，拍摄设备的镜头可处于不同的方位角，当镜头的方位角与控制所述镜头拍摄照片的角度信息一致时，可移动机器人控制所述镜头在该方位角拍照，并将所述镜头在多个方位角拍摄的照片合成为超广角照片，实现了超广角照片的航拍方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
综上所述，本发明实施例通过获取镜头的参数信息，根据镜头的参数信息，计算出镜头拍摄照片的多个方位角，具体为控制镜头在水平方向的转动次数，每次在水平方向转动的角度，以及控制镜头在竖直方向的的转动次数，每次在竖直方向转动的角度，镜头在水平方向和竖直方向转动时，镜头可位于多个方位角，且在多个方位角分别进行拍照，最后将镜头在每个方位角拍摄的照片合成为一张超广角照片，实现了超广角照片的拍摄方法，相比于现有技术中的鱼眼镜头，画面效果在人眼视觉的正常范围，不会出现例如鱼眼镜头的畸变问题，同时提高了超广角照片的质量。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (65)

1.一种广角照片拍摄方法，其特征在于，包括：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
2.根据权利要求1所述的方法，其特征在于，所述控制镜头在多个方位角拍照之前，还包括：
获取镜头的参数信息；
根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
3.根据权利要求2所述的方法，其特征在于，所述镜头的参数信息包括如下至少一种：
所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
4.根据权利要求1所述的方法，其特征在于，所述镜头的焦距是可变的；或者
所述镜头的焦距是固定的。
5.根据权利要求1所述的方法，其特征在于，所述镜头设置在云台。
6.根据权利要求1所述的方法，其特征在于，所述镜头设置在拍摄设备，所述拍摄设备与云台固定连接。
7.根据权利要求2所述的方法，其特征在于，所述获取镜头的参数信息，包括：
所述云台通过无线通信方式接收所述拍摄设备发送的所述镜头的参数信息。
8.根据权利要求7所述的方法，其特征在于，所述参数信息为视角；
所述根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角，包括：
根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；
根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
9.根据权利要求8所述的方法，其特征在于，所述镜头的视角包括第一水平视角和第一竖直视角；
所述相邻两张照片重合区域的预设视角包括第二水平视角和第二竖直视角；
所述超广角照片预期达到的视角包括第三水平视角和第三竖直视角。
10.根据权利要求9所述的方法，其特征在于，所述云台的转动角度包括所述云台在水平方向转动的角度间隔和所述云台在竖直方向转动的角度间隔；
所述根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度，包括：
根据所述第一水平视角和所述第二水平视角，计算所述云台在水平方向转动的角度间隔；
根据所述第一竖直视角和所述第二竖直视角，计算所述云台在竖直方向转动的角度间隔。
11.根据权利要求9所述的方法，其特征在于，所述云台的转动次数包括所述云台在水平方向转动的次数和所述云台在竖直方向转动的次数；
所述根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数，包括：
根据所述第一水平视角、所述第二水平视角和所述第三水平视角，计算所述云台在水平方向转动的次数；
根据所述第一竖直视角、所述第二竖直视角和所述第三竖直视角，计算所述云台在竖直方向转动的次数。
12.根据权利要求10或11所述的方法，其特征在于，所述控制镜头在多个方位角拍照，包括：
根据所述云台在水平方向转动的角度间隔、所述云台在竖直方向转动的角度间隔、所述云台在水平方向转动的次数、以及所述云台在竖直方向转动的次数，控制所述镜头位于不同的方位角；
控制所述镜头在各个方位角分别拍摄照片。
13.根据权利要求12所述的方法，其特征在于，所述将所述镜头在多个方位角拍摄的照片合成为超广角照片，包括：
从所述镜头在多个方位角拍摄的照片中选取一张照片作为基准图；
根据所述镜头拍摄所述基准图时所述镜头的方位角和所述镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，将所述第一投影图像作为拼接图像；
遍历剩余的照片，采用预设组合方式，获取与所述拼接图像有重合区域的照片，并将所述照片的第二投影图像拼接到所述拼接图像。
14.根据权利要求13所述的方法，其特征在于，所述镜头拍摄每张照片时的方位角包括俯仰角、航向角和横滚角。
15.根据权利要求14所述的方法，其特征在于，所述将所述镜头在多个方位角拍摄的照片合成为超广角照片之前，还包括：
获取所述云台中的姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角；
根据所述姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，修正所述镜头拍摄每张照片时所述云台的俯仰角、航向角和横滚角。
16.根据权利要求14所述的方法，其特征在于，所述获取与所述拼接图像有重合区域的照片，并将所述照片的第二投影图像拼接到所述拼接图像，包括：
获取与所述拼接图像有重合区域的照片，以及所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角；
对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理，获得所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度；
根据所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，对所述照片进行投影生成所述第二投影图像；
将所述第二投影图像拼接到所述拼接图像。
17.根据权利要求16所述的方法，其特征在于，所述对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理，获得所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，包括：
根据预设的搜索步长和第一搜索步数，确定偏离所述航向角在第一预设范围内的多个第一角度；
根据预设的搜索步长和第二搜索步数，确定偏离所述俯仰角在第二预设范围内的多个第二角度；
根据预设的搜索步长和第三搜索步数，确定偏离所述横滚角在第三预设范围内的多个第三角度；
根据所述多个第一角度、所述多个第二角度和所述多个第三角度，确定多个待测角度，每个待测角度包括一个第一角度、一个第二角度和一个第三角度；
遍历每个待测角度，根据所述待测角度和所述镜头的内参数矩阵，对所述照片进行投影生成待测投影图像；
计算所述待测投影图像与所述拼接图像的相似度；
根据所述相似度，确定所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度。
18.根据权利要求17所述的方法，其特征在于，所述根据所述相似度，确定所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，包括：
将最大的相似度对应的待测角度包括的第一角度确定为所述云台的所述俯仰角的修正角度；
将最大的相似度对应的待测角度包括的第二角度确定为所述云台的所述航向角的修正角度；
将最大的相似度对应的待测角度包括的第三角度确定为所述云台的所述横滚角的修正角度。
19.一种镜头控制装置，其特征在于，包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
20.根据权利要求19所述的镜头控制装置，其特征在于，所述镜头的参数信息包括如下至少一种：
所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距；
所述处理器还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
21.根据权利要求19所述的镜头控制装置，其特征在于，所述镜头的焦距是可变的；或者
所述镜头的焦距是固定的。
22.根据权利要求19所述的镜头控制装置，其特征在于，还包括：
与所述处理器通讯连接的图像传感器，所述图像传感器用于捕捉图像信息，并将所述图像信息传送给所述处理器。
23.根据权利要求20所述的镜头控制装置，其特征在于，还包括：
与所述处理器通讯连接的硬件接口或无线收发器，所述硬件接口或所述无线收发器用于接收拍摄设备发送的所述镜头的参数信息。
24.根据权利要求23所述的镜头控制装置，其特征在于，所述参数信息为视角；
所述处理器具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
25.根据权利要求24所述的镜头控制装置，其特征在于，所述镜头的视角包括第一水平视角和第一竖直视角；
所述相邻两张照片重合区域的预设视角包括第二水平视角和第二竖直视角；
所述超广角照片预期达到的视角包括第三水平视角和第三竖直视角。
26.根据权利要求25所述的镜头控制装置，其特征在于，所述云台的转动角度包括所述云台在水平方向转动的角度间隔和所述云台在竖直方向转动的角度间隔；
所述处理器具体根据所述第一水平视角和所述第二水平视角，计算所述云台在水平方向转动的角度间隔；根据所述第一竖直视角和所述第二竖直视角，计算所述云台在竖直方向转动的角度间隔。
27.根据权利要求25所述的镜头控制装置，其特征在于，所述云台的转动次数包括所述云台在水平方向转动的次数和所述云台在竖直方向转动的次数；
所述处理器具体根据所述第一水平视角、所述第二水平视角和所述第三水平视角，计算所述云台在水平方向转动的次数；根据所述第一水平视角、所述第二水平视角和所述第三水平视角，计算所述云台在水平方向转动的次数。
28.根据权利要求26或27所述的镜头控制装置，其特征在于，所述处理器具体根据所述云台在水平方向转动的角度间隔、所述云台在竖直方向转动的角度间隔、所述云台在水平方向转动的次数、以及所述云台在竖直方向转动的次数，控制所述镜头位于不同的方位角；控制所述镜头在各个方位角分别拍摄照片。
29.根据权利要求28所述的镜头控制装置，其特征在于，所述处理器具体从所述镜头在多个方位角拍摄的照片中选取一张照片作为基准图；根据所述镜头拍摄所述基准图时所述镜头的方位角和所述镜头的内参数矩阵，对所述基准图进行投影生成第一投影图像，将所述第一投影图像作为拼接图像；遍历剩余的照片，采用预设组合方式，获取与所述拼接图像有重合区域的照片，并将所述照片的第二投影图像拼接到所述拼接图像。
30.根据权利要求29所述的镜头控制装置，其特征在于，所述镜头拍摄每张照片时的方位角包括俯仰角、航向角和横滚角。
31.根据权利要求30所述的镜头控制装置，其特征在于，还包括：
与所述处理器通讯连接的姿态传感器，所述姿态传感器用于感测所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角；
所述处理器还用于根据所述姿态传感器感测的所述镜头拍摄每张照片时所述镜头的俯仰角、航向角和横滚角，修正所述镜头拍摄每张照片时所述云台的俯仰角、航向角和横滚角。
32.根据权利要求30所述的镜头控制装置，其特征在于，所述处理器具体获取与所述拼接图像有重合区域的照片，以及所述镜头拍摄所述照片时所述云台的俯仰角、航向角和横滚角；对所述镜头拍摄所述照片时所述云台的所述俯仰角、所述航向角和所述横滚角进行修正处理，获得所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度；根据所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度，对所述照片进行投影生成所述第二投影图像；将所述第二投影图像拼接到所述拼接图像。
33.根据权利要求32所述的镜头控制装置，其特征在于，所述处理器具体根据预设的搜索步长和第一搜索步数，确定偏离所述俯仰角在第一预设范围内的多个第一角度；根据预设的搜索步长和第二搜索步数，确定偏离所述航向角在第二预设范围内的多个第二角度；根据预设的搜索步长和第三搜索步数，确定偏离所述横滚角在第三预设范围内的多个第三角度；根据所述多个第一角度、所述多个第二角度和所述多个第三角度，确定多个待测角度，每个待测角度包括一个第一角度、一个第二角度和一个第三角度；遍历每个待测角度，根据所述待测角度和所述镜头的内参数矩阵，对所述照片进行投影生成待测投影图像；计算所述待测投影图像与所述拼接图像的相似度；根据所述相似度，确定所述云台的所述俯仰角的修正角度、所述航向角的修正角度和所述横滚角的修正角度。
34.根据权利要求33所述的镜头控制装置，其特征在于，所述处理器具体将最大的相似度对应的待测角度包括的第一角度确定为所述云台的所述俯仰角的修正角度；将最大的相似度对应的待测角度包括的第二角度确定为所述云台的所述航向角的修正角度；将最大的相似度对应的待测角度包括的第三角度确定为所述云台的所述横滚角的修正角度。
35.一种云台，其特征在于，包括：
电机，用于控制所述云台转动；
镜头控制装置，与所述电机电连接，用于控制镜头拍照；所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
36.根据权利要求35所述的云台，其特征在于，所述处理器还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
37.根据权利要求36所述的云台，其特征在于，所述镜头的参数信息包括如下至少一种：
所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
38.根据权利要求35所述的云台，其特征在于，所述镜头的焦距是可变的；或者
所述镜头的焦距是固定的。
39.根据权利要求35所述的云台，其特征在于，所述镜头控制装置还包括：
与所述处理器通讯连接的图像传感器，所述图像传感器用于捕捉图像信息，并将所述图像信息传送给所述处理器。
40.根据权利要求35所述的云台，其特征在于，还包括：
承载部件，与所述电机电连接，用于承载拍摄设备，所述拍摄设备安装有所述镜头。
41.根据权利要求35所述的云台，其特征在于，还包括：
手机支架，与所述电机电连接，用于承载手机，所述手机安装有所述镜头。
42.根据权利要求40所述的云台，其特征在于，所述镜头控制装置还包括：
与所述处理器通讯连接的硬件接口或无线收发器，所述硬件接口或所述无线收发器用于接收所述拍摄设备发送的所述镜头的参数信息。
43.根据权利要求42所述的云台，其特征在于，所述参数信息为视角；
所述处理器具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
44.根据权利要求43所述的云台，其特征在于，所述电机具体根据所述云台的转动角度、以及所述云台的转动次数控制所述云台转动。
45.根据权利要求44所述的云台，其特征在于，还包括：
稳定器，与所述电机电连接，用于控制所述云台在转动过程中稳定平衡。
46.根据权利要求45所述的云台，其特征在于，还包括：
控制开关，与所述镜头控制装置连接，用于控制所述镜头启动拍照。
47.根据权利要求46所述的云台，其特征在于，还包括：
手柄，所述控制开关设置在所述手柄上。
48.根据权利要求47所述的云台，其特征在于，还包括：
调焦按钮，与所述镜头控制装置连接，用于调节所述镜头的焦距。
49.一种无人飞行器，其特征在于，包括：机身、电机、螺旋桨、姿态传感器、飞行控制器、电子调速器以及云台；
所述电子调速器与所述飞行控制器连接，用于根据所述飞行控制器发送的油门控制信号控制所述电机转动；
所述电机与所述螺旋桨连接，以在所述电子调速器的控制下驱动所述螺旋桨转动；
所述姿态传感器集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；
所述云台，与所述电机电连接，所述电机还用于控制所述云台转动；
所述云台包括：镜头控制装置，与所述电机电连接，用于控制镜头拍照；
所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
50.根据权利要求49所述的无人飞行器，其特征在于，所述处理器还用于获取镜头的参数信息；根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
51.根据权利要求50所述的无人飞行器，其特征在于，所述镜头的参数信息包括如下至少一种：
所述镜头的视角、所述镜头的像素、所述镜头的光圈和所述镜头的焦距。
52.根据权利要求49所述的无人飞行器，其特征在于，所述镜头的焦距是可变的；或者
所述镜头的焦距是固定的。
53.根据权利要求49所述的无人飞行器，其特征在于，所述云台还包括：
承载部件，与所述电机电连接，用于承载拍摄设备，所述拍摄设备安装有所述镜头。
54.根据权利要求50所述的无人飞行器，其特征在于，所述镜头控制装置还包括：
与所述处理器通讯连接的硬件接口或无线收发器，所述硬件接口或所述无线收发器用于接收拍摄设备发送的所述镜头的参数信息。
55.根据权利要求54所述的无人飞行器，其特征在于，所述参数信息为视角；
所述处理器具体根据所述镜头的视角和相邻两张照片重合区域的预设视角，计算所述云台的转动角度；根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算所述云台的转动次数。
56.根据权利要求55所述的无人飞行器，其特征在于，所述电机具体根据所述云台的转动角度、以及所述云台的转动次数控制所述云台转动。
57.根据权利要求56所述的无人飞行器，其特征在于，所述云台还包括：
稳定器，与所述电机电连接，用于控制所述云台在转动过程中稳定平衡。
58.一种无人飞行器，其特征在于，包括：机身、电机、螺旋桨、姿态传感器、飞行控制器、电子调速器以及固定装置；
所述电子调速器与所述飞行控制器连接，用于根据所述飞行控制器发送的油门控制信号控制所述电机转动；
所述电机与所述螺旋桨连接，以在所述电子调速器的控制下驱动所述螺旋桨转动；
所述姿态传感器集成在所述飞行控制器中，用于感测所述无人飞行器的姿态；
所述固定装置，与所述机身连接，用于固定拍摄设备；
所述飞行控制器包括一个或多个MCU，所述MCU用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
59.根据权利要求58所述的无人飞行器，其特征在于，所述MCU还用于：
获取镜头的参数信息；
根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角；
将所述多个方位角传输给所述电机，以使所述电机根据所述多个方位角，控制所述无人飞行器的姿态。
60.根据权利要求58所述的无人飞行器，其特征在于，所述飞行控制器还包括：
与所述MCU通讯连接的硬件接口或无线收发器，所述硬件接口或所述无线收发器用于接收所述拍摄设备发送的所述镜头的参数信息。
61.根据权利要求60所述的无人飞行器，其特征在于，所述参数信息为视角；
所述MCU具体根据所述镜头的视角、相邻两张照片重合区域的预设视角和所述超广角照片预期达到的视角，计算控制所述镜头拍摄照片的所述多个方位角。
62.一种机器人，其特征在于，包括：
机身；
移动装置，与机身连接，用于提供所述机身移动的动力；
拍摄设备，安装在所述机身，所述拍摄设备设有镜头；
镜头控制装置，与所述拍摄设备连接，用于控制镜头拍照；所述镜头控制装置包括一个或多个处理器，所述处理器用于：
控制镜头在多个方位角拍照，所述多个方位角包括n个纬度信息和m个经度信息，n是大于或等于2的整数，m是大于或等于1的整数；
将所述镜头在多个方位角拍摄的照片合成为超广角照片。
63.根据权利要求62所述的机器人，其特征在于，所述处理器还用于：
获取镜头的参数信息；
根据所述参数信息，计算控制所述镜头拍摄照片的所述多个方位角。
64.根据权利要求63所述的机器人，其特征在于，所述拍摄设备安装在所述机身的顶部。
65.根据权利要求64所述的机器人，其特征在于，所述镜头控制装置还用于根据所述多个方位角，控制所述机身的顶部在水平方向及/或竖直方向上转动。
CN201680003183.XA 2016-08-24 2016-08-24 广角照片拍摄方法、装置、云台、无人飞行器及机器人 Expired - Fee Related CN107079104B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/096594 WO2018035764A1 (zh) 2016-08-24 2016-08-24 广角照片拍摄方法、装置、云台、无人飞行器及机器人

Publications (2)

Publication Number Publication Date
CN107079104A true CN107079104A (zh) 2017-08-18
CN107079104B CN107079104B (zh) 2019-03-08

Family

ID=59624269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680003183.XA Expired - Fee Related CN107079104B (zh) 2016-08-24 2016-08-24 广角照片拍摄方法、装置、云台、无人飞行器及机器人

Country Status (2)

Country Link
CN (1) CN107079104B (zh)
WO (1) WO2018035764A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108680145A (zh) * 2018-05-17 2018-10-19 北京林业大学 一种避障无人机抵近林冠处观测林分结构的方法
CN109660734A (zh) * 2019-02-14 2019-04-19 南京泓众电子科技有限公司 一种全景照片拍摄方法及装置
EP3496388A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
CN110213475A (zh) * 2019-02-14 2019-09-06 南京泓众电子科技有限公司 一种全景图像的拍摄方法
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
WO2020037615A1 (zh) * 2018-08-23 2020-02-27 深圳市大疆创新科技有限公司 云台系统及其图像处理方法、无人机
CN111891356A (zh) * 2020-08-17 2020-11-06 成都市玄上科技有限公司 一种无人机无头自旋飞行倾斜摄影航拍方法
CN112173149A (zh) * 2020-10-30 2021-01-05 南方电网数字电网研究院有限公司 一种具有边缘计算能力的增稳云台、无人机及目标识别方法
WO2021026748A1 (zh) * 2019-08-13 2021-02-18 深圳市大疆创新科技有限公司 拍摄检测方法、装置、云台、系统及存储介质
WO2021184326A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 电子装置的控制方法、装置、设备及系统
WO2021195941A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种云台的控制方法、云台及可移动平台
CN113542460A (zh) * 2021-06-04 2021-10-22 桂林智神信息技术股份有限公司 一种基于稳定器的远程控制手机的方法及系统
CN113744339A (zh) * 2021-11-05 2021-12-03 贝壳技术有限公司 生成全景图像的方法、装置、电子设备和存储介质
CN114084361A (zh) * 2020-08-24 2022-02-25 瞰景科技发展(上海)有限公司 一种单镜头倾斜摄影航测装置和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197867A1 (en) * 2005-03-02 2006-09-07 Peter Johnson Imaging head and imaging system
CN101420525A (zh) * 2007-10-26 2009-04-29 鸿富锦精密工业（深圳）有限公司 拍照装置及方法
CN101782713A (zh) * 2009-01-21 2010-07-21 北京华旗资讯数码科技有限公司 全景影像拍摄装置
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010026684A1 (en) * 2000-02-03 2001-10-04 Alst Technical Excellence Center Aid for panoramic image creation
CN1589050A (zh) * 2004-09-23 2005-03-02 美博通信设备（北京）有限公司 一种使用移动终端拍摄和浏览全景照片的方法
CN202166819U (zh) * 2011-08-23 2012-03-14 郭彦斌 一种全景摄影云台
CN102495522A (zh) * 2011-12-01 2012-06-13 天津曙光敬业科技有限公司 基于无人直升机航拍的360°空中全景互动漫游系统的制作方法
CN102984453B (zh) * 2012-11-01 2015-10-28 深圳大学 利用单摄像机实时生成半球全景视频图像的方法及系统
CN103813089A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种获得图像的方法、电子设备以及辅助旋转装置
JP2016054423A (ja) * 2014-09-04 2016-04-14 キヤノン株式会社 撮像装置、その制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060197867A1 (en) * 2005-03-02 2006-09-07 Peter Johnson Imaging head and imaging system
CN101420525A (zh) * 2007-10-26 2009-04-29 鸿富锦精密工业（深圳）有限公司 拍照装置及方法
CN101782713A (zh) * 2009-01-21 2010-07-21 北京华旗资讯数码科技有限公司 全景影像拍摄装置
CN102207674A (zh) * 2010-03-30 2011-10-05 鸿富锦精密工业（深圳）有限公司 全景图像拍摄装置及方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095920B2 (en) 2017-12-05 2021-08-17 InterDigital CE Patent Holdgins, SAS Method and apparatus for encoding a point cloud representing three-dimensional objects
EP3496388A1 (en) * 2017-12-05 2019-06-12 Thomson Licensing A method and apparatus for encoding a point cloud representing three-dimensional objects
WO2019110405A1 (en) * 2017-12-05 2019-06-13 Interdigital Ce Patent Holdings A method and apparatus for encoding a point cloud representing three-dimensional objects
KR102692926B1 (ko) 2017-12-05 2024-08-08 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 3차원 객체들을 나타내는 포인트 클라우드를 인코딩하기 위한 방법 및 장치
CN111656762A (zh) * 2017-12-05 2020-09-11 交互数字Ce专利控股公司 编码表示三维对象的点云的方法和装置
KR20200096575A (ko) * 2017-12-05 2020-08-12 인터디지털 씨이 페이튼트 홀딩스 3차원 객체들을 나타내는 포인트 클라우드를 인코딩하기 위한 방법 및 장치
CN108680145A (zh) * 2018-05-17 2018-10-19 北京林业大学 一种避障无人机抵近林冠处观测林分结构的方法
WO2020037615A1 (zh) * 2018-08-23 2020-02-27 深圳市大疆创新科技有限公司 云台系统及其图像处理方法、无人机
CN110213475A (zh) * 2019-02-14 2019-09-06 南京泓众电子科技有限公司 一种全景图像的拍摄方法
CN110248079A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像生成系统及全景图像生成方法
CN110248078A (zh) * 2019-02-14 2019-09-17 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
WO2021012856A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像的拍摄方法
WO2021012855A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像生成系统及全景图像生成方法
WO2021012854A1 (zh) * 2019-02-14 2021-01-28 南京泓众电子科技有限公司 一种全景图像的曝光参数获取方法
CN109660734A (zh) * 2019-02-14 2019-04-19 南京泓众电子科技有限公司 一种全景照片拍摄方法及装置
CN110223233A (zh) * 2019-06-11 2019-09-10 西北工业大学 一种基于图像拼接的无人机航拍建图方法
CN110223233B (zh) * 2019-06-11 2022-04-05 西北工业大学 一种基于图像拼接的无人机航拍建图方法
WO2021026748A1 (zh) * 2019-08-13 2021-02-18 深圳市大疆创新科技有限公司 拍摄检测方法、装置、云台、系统及存储介质
WO2021184326A1 (zh) * 2020-03-20 2021-09-23 深圳市大疆创新科技有限公司 电子装置的控制方法、装置、设备及系统
WO2021195941A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 一种云台的控制方法、云台及可移动平台
CN113767354A (zh) * 2020-03-31 2021-12-07 深圳市大疆创新科技有限公司 一种云台的控制方法、云台及可移动平台
CN111891356A (zh) * 2020-08-17 2020-11-06 成都市玄上科技有限公司 一种无人机无头自旋飞行倾斜摄影航拍方法
CN114084361A (zh) * 2020-08-24 2022-02-25 瞰景科技发展(上海)有限公司 一种单镜头倾斜摄影航测装置和方法
CN112173149A (zh) * 2020-10-30 2021-01-05 南方电网数字电网研究院有限公司 一种具有边缘计算能力的增稳云台、无人机及目标识别方法
CN113542460A (zh) * 2021-06-04 2021-10-22 桂林智神信息技术股份有限公司 一种基于稳定器的远程控制手机的方法及系统
CN113744339A (zh) * 2021-11-05 2021-12-03 贝壳技术有限公司 生成全景图像的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN107079104B (zh) 2019-03-08
WO2018035764A1 (zh) 2018-03-01

Similar Documents

Publication Publication Date Title
CN107079104B (zh) 广角照片拍摄方法、装置、云台、无人飞行器及机器人
CN207113871U (zh) 一种用于航空器的反射式单镜头转盘倾斜摄影装置
CN205263655U (zh) 一种用于自动生成全景照片的系统、无人飞行器及地面站
CN106029501B (zh) Uav全景成像
CN103873758B (zh) 全景图实时生成的方法、装置及设备
CN105045279A (zh) 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN113794840B (zh) 一种视频处理方法、设备、无人机及系统
CN105242685A (zh) 一种伴飞无人机航拍系统及方法
CN109952755A (zh) 飞行路径生成方法、飞行路径生成系统、飞行体、程序以及记录介质
WO2020063059A1 (zh) 一种可动视觉系统的立体标定方法
CN105045293B (zh) 云台控制方法、外部载体控制方法及云台
CN113273172A (zh) 全景拍摄方法、装置、系统及计算机可读存储介质
CN104202531B (zh) 一种手机空中拍照摄影的方法
CN113875222B (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
US20210004005A1 (en) Image capture method and device, and machine-readable storage medium
CN107133918A (zh) 一种在三维场景中任意位置生成全景图的方法
CN111780682B (zh) 一种基于伺服电机的3d图像采集控制方法
WO2021217371A1 (zh) 可移动平台的控制方法和装置
CN105759535B (zh) 无人飞机的镜头模组的光轴变动补偿装置及其补偿方法
CN105159321A (zh) 一种基于无人飞行器的拍照方法和无人飞行器
CN110337668A (zh) 图像增稳方法和装置
CN106973261A (zh) 以第三方视角观察无人机的设备、系统和方法
WO2021174391A1 (zh) 比赛画面的获取方法和装置及拍摄装置的控制方法和装置
CN108646776A (zh) 一种基于无人机的成像系统和方法
WO2020191665A1 (zh) 旋转式拍摄方法、控制装置、可移动平台及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190308