CN110730287A - 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 - Google Patents
一种可拆换的云台相机、飞行器、系统及其云台拆换方法 Download PDFInfo
- Publication number
- CN110730287A CN110730287A CN201911018698.9A CN201911018698A CN110730287A CN 110730287 A CN110730287 A CN 110730287A CN 201911018698 A CN201911018698 A CN 201911018698A CN 110730287 A CN110730287 A CN 110730287A
- Authority
- CN
- China
- Prior art keywords
- pan
- tilt
- image
- aircraft
- parameter data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 56
- 230000003068 static effect Effects 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000001931 thermography Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
- G03B17/561—Support related camera accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Toxicology (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Accessories Of Cameras (AREA)
Abstract
本发明涉及飞行器技术领域,公开了一种可拆换的云台相机、飞行器、系统及其云台拆换方法,该可拆换的云台相机,应用于飞行器,飞行器设置有机身和云台,该可拆换的云台相机包括图像采集模块、静态存储模块以及图像处理模块,静态存储模块用于存储参数数据;图像处理模块用于读取静态存储模块存储的参数数据,当云台被拆换后,图像处理模块读取拆换后的云台的参数数据,为拆换后的云台的图像采集模块配置相应的参数数据。通过一台飞行器搭配多个可拆换的云台相机,能够降低用户的成本,并且,将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
Description
技术领域
本发明涉及飞行器技术领域,特别是涉及一种可拆换的云台相机、飞行器、系统及其云台拆换方法。
背景技术
飞行器,如无人飞行器(Unmanned Aerial Vehicle,UAV),也称无人机,以其具有体积小、重量轻、机动灵活、反应快速、无人驾驶、操作要求低等优点,得到了越来越广泛的应用。无人飞行器的各个动作(或姿态)通常是通过控制无人飞行器的动力系统中的多个驱动电机不同转速实现的。无人飞行器上一般安装有云台相机,用于拍摄图像或视频。
对于航拍用户来讲,有的希望拍摄大场面大分辨率图像,有的希望拍摄专业细腻化的图像,有的期望拍摄夜景效果好的影像,有的则期望能拍摄红外热成像的影像。当前消费航拍无人机市面上,没有可拆换的云台相机,这样用户需要去买不同的无人机型号,来满足不同场景的需求。
基于此,当前急需一种可拆换的云台相机。
发明内容
本发明实施例提供一种可拆换的云台相机、飞行器、系统及其云台拆换方法,通过一台飞行器搭配多个可拆换的云台相机,能够降低用户的成本,并且,将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种可拆换的云台相机,应用于飞行器,所述飞行器设置有机身和云台,所述云台为可拆换的云台,所述云台相机包括:
图像采集模块,设置于所述云台,用于采集图像;
静态存储模块,用于存储参数数据;
图像处理模块,设置于所述机身,通信连接所述静态存储模块,用于读取所述静态存储模块存储的参数数据,当所述云台被拆换后,所述图像处理模块读取所述拆换后的云台的参数数据,为所述拆换后的云台的图像采集模块配置相应的参数数据。
在一些实施例中,所述图像采集模块,包括:
镜头,设置于所述云台,用于获取原始图像;
图像传感器,设置于所述云台,连接所述镜头,用于将所述镜头获取的原始图像转换为数字图像信号。
在一些实施例中,所述参数数据被压缩成云台参数文件,所述云台参数文件存储于所述静态存储模块,所述图像处理模块通过解压所述云台参数文件,读取所述云台参数文件中的参数数据。
在一些实施例中,所述静态存储模块设置于云台,每一所述可拆换的云台均设置有静态存储模块,用于存储参数数据,以使所述云台相机从所述云台的静态存储模块中读取所述参数数据。
在一些实施例中,所述云台相机设置有Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口,每一所述云台均包括Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口。
在一些实施例中,所述可拆换的云台包括8K云台、8K镜头和8K传感器,其中,所述8K镜头和8K传感器设置于所述8K云台,所述8K传感器通过Mipi线与所述图像处理模块通信连接,所述云台相机通过两线式串行总线控制所述8K镜头自动变焦和8K传感器的曝光。
在一些实施例中,所述可拆换的云台包括双光云台、8K可见光镜头、8K可见光传感器、红外热成像镜头以及红外热成像传感器,其中,所述8K可见光镜头、8K可见光传感器、红外热成像镜头以及红外热成像传感器设置于所述双光云台,所述红外热成像传感器通过USB数据线与所述图像处理模块通信连接,所述云台相机通过第二串口线控制所述红外热成像传感器的参数。
在一些实施例中,所述可拆换的云台包括一英寸云台、一英寸镜头以及一英寸传感器,其中,所述一英寸镜头以及一英寸传感器设置于所述一英寸云台,所述一英寸传感器通过SLVS-EC串行总线与所述图像处理模块通信连接,所述云台相机通过第二串口线控制所述一英寸镜头的自动变焦和自动光圈,所述云台相机通过第一串口线控制所述一英寸云台的运动。
在一些实施例中,所述云台相机还包括:
编码模块,设置于所述机身,连接所述图像处理模块,用于对所述图像采集模块采集的图像进行编码,以生成编码后的图像;
拍照录像模块,设置于所述机身,用于拍照和/或录像;
图传模块,设置于所述机身,用于将编码后的图像传输给图像接收端。
在一些实施例中,所述参数数据包括:所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数。
第二方面,本发明实施例提供一种飞行器,包括:
上述的云台相机;
机身;
可拆换的云台,与所述机身相连;
机臂,与所述机身相连;
动力装置,设于所述机身和/或所述机臂,用于为所述飞行器提供飞行的动力;以及
飞行控制器,设于所述机身。
第三方面,本发明实施例提供一种飞行器系统,包括:
上述的飞行器,其中,所述飞行器包括多个可拆换的云台;
服务器,用于存储多个可拆换的云台的参数数据;
图像接收端,用于接收所述图传模块发送的图像。
第四方面,本发明实施例提供一种飞行器的云台拆换方法,应用于上述的飞行器系统,所述方法包括:
预先通过每一可拆换的云台存储云台相机的参数数据;
当所述云台被拆换后,获取所述飞行器当前安装的云台的参数数据;
将所述参数数据配置到所述飞行器的镜头以及图像传感器。
在一些实施例中,所述方法还包括:
将所述云台相机的参数数据压缩成云台参数文件;
向所述可拆换的云台发送所述云台参数文件,以使所述可拆换的云台的静态存储模块存储所述云台参数文件。
在一些实施例中,所述方法还包括:
向所述服务器发送所述云台相机的参数数据,以使所述服务器保存所述云台相机的参数数据。
第五方面,本发明实施例提供一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被飞行器执行时,使所述飞行器执行上述的飞行器的云台拆换方法。
本发明通过提供一种可拆换的云台相机,应用于飞行器,所述飞行器设置有机身和云台,所述云台为可拆换的云台,所述云台相机包括:图像采集模块,用于采集图像;静态存储模块,用于存储参数数据,所述参数数据包括所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数;图像处理模块,设置于所述机身,通信连接所述静态存储模块,用于读取所述静态存储模块存储的参数数据,当所述云台被拆换后,所述图像处理模块读取所述拆换后的云台的参数数据,为所述拆换后的云台的图像采集模块配置相应的参数数据。通过一台飞行器搭配多个可拆换的云台相机,能够降低用户的成本,并且,将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供的一种飞行器的结构示意图;
图2是本发明实施例提供的一种拍摄组件的立体图;
图3是图2所示的拍摄组件的爆炸图;
图4是本发明实施例提供的一种可拆换的云台相机的结构示意图;
图5是本发明实施例提供的另一种可拆换的云台相机的结构示意图;
图6是本发明实施例提供的又一种可拆换的云台相机的结构示意图;
图7是本发明实施例提供的一种接口的示意图;
图8是本发明实施例提供的一种工厂校准与用户使用的示意图;
图9是本发明实施例提供的一种飞行器的云台拆换方法的流程示意图;
图10是本发明实施例提供的一种飞行控制器的硬件结构示意图;
图11是本发明实施例提供的一种飞行控制器的连接框图;
图12是图11中的动力系统的示意图;
图13是本发明实施例提供的一种飞行器系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的可拆换的云台相机可以应用到各种通过电机或马达驱动的可移动物体上,包括但不限于飞行器、机器人等。其中飞行器可包括无人飞行器(unmannedaerial vehicle,UAV),无人飞船等。
请参阅图1,图1是本发明实施例提供的一种飞行器的结构示意图;
如图1所示,该飞行器10包括:机身11、与所述机身11相连的机臂12、设置于所述机臂12的动力装置13,连接至该机身11底部的云台14,安装在云台14上的拍摄组件15以及设置于机身11内的飞行控制器(图未示)。
其中,飞行控制器与动力装置13连接,动力装置13安装在所述机身11上,用于为所述飞行器10提供飞行动力。
其中,机身11包括:中心壳体以及与中心壳体连接的一个或多个机臂,一个或多个机臂呈辐射状从中心壳体延伸出。机臂与中心壳体的连接可以是一体连接或者固定连接。动力装置安装于机臂上。
飞行控制器用于生成控制指令,并将该控制指令发送给动力装置的电调,以便电调通过该控制指令控制动力装置的驱动电机。控制器为具有一定逻辑处理能力的器件,如控制芯片、单片机、微控制单元(Micro Controller Unit,MCU)等。
动力装置13包括:电调,驱动电机和螺旋桨。电调位于机臂或中心壳体所形成的空腔内。电调分别与控制器及驱动电机连接。具体的,电调与驱动电机电连接,用于控制所述驱动电机。驱动电机安装在机臂上,驱动电机的转动轴连接螺旋桨。螺旋桨在驱动电机的驱动下产生使得飞行器10移动的力,例如,使得飞行器10移动的升力或者推力。
飞行器10完成各个规定速度、动作(或姿态)是通过电调控制驱动电机以实现的。电调全称电子调速器,根据控制信号调节飞行器10的驱动电机的转速。电调控制驱动电机的原理大致为:驱动电机是将电脉冲信号转变为角位移或线位移的开环控制元件。在非超载的情况下,驱动电机的转速、停止的位置只取决于脉冲信号的频率和脉冲数,而不受负载变化的影响,当驱动器接收到一个脉冲信号,它就驱动动力装置的驱动电机按设定的方向转动一个固定的角度,它的旋转是以固定的角度运行的。因此,电调可以通过控制脉冲个数来控制角位移量,从而达到准确定位的目的;同时可以通过控制脉冲频率来控制驱动电机转动的速度和加速度,从而达到调速的目的。
目前飞行器10主要功能为航拍、影像实时传输、高危地区探测等。为了实现航拍、影像实时传输、高危地区探测等功能,飞行器10上会连接有摄像组件。具体的,飞行器10和拍摄组件15通过连接结构,如减振球等进行连接。该拍摄组件15用于在飞行器10进行航拍的过程中,获取拍摄画面。
具体的,拍摄组件15包括:云台及拍摄装置。云台与飞行器10连接。其中,拍摄装置搭载于所述云台上,拍摄装置可以为图像采集装置,用于采集图像,该拍摄装置包括但不限于:相机、摄影机、摄像头、扫描仪、拍照手机等。云台用于搭载拍摄装置,以实现拍摄装置的固定、或随意调节拍摄装置的姿态(例如,改变拍摄装置的高度、倾角和/或方向)以及使所述拍摄装置稳定保持在设定的姿态上。例如,当飞行器10进行航拍时,云台主要用于使所述拍摄装置稳定保持在设定的姿态上,防止拍摄装置拍摄画面抖动,保证拍摄画面的稳定。
云台14与飞行控制器连接,以实现云台14与飞行控制器之间的数据交互。其中,云台14包括:云台电机及云台基座。其中,云台电机安装于云台基座。飞行控制器也可通过动力装置13的电调来控制云台电机,具体的,飞行控制器与电调连接,电调与云台电机电连接,飞行控制器生成云台电机控制指令,电调通过云台电机控制指令以控制云台电机。
云台基座与飞行器的机身连接,用于将拍摄组件15固定安装于飞行器的机身上。
云台电机分别与云台基座及拍摄装置连接。该云台可以为多轴云台,与之适应的,云台电机为多个,也即每个轴设置有一个云台电机。云台电机一方面可带动拍摄装置的转动,从而满足拍摄转轴的水平旋转和俯仰角度的调节,通过手动远程控制云台电机旋转或利用程序让电机自动旋转,从而达到全方位扫描监控的作用;另一方面,在飞行器进行航拍的过程中,通过云台电机的转动实时抵消拍摄装置受到的扰动,防止拍摄装置抖动,保证拍摄画面的稳定。
拍摄装置搭载于云台上,拍摄装置上设置有惯性测量单元(Inertialmeasurement unit,IMU),该惯性测量单元用于测量物体三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU内会装有三轴的陀螺仪和三个方向的加速度计,来测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。为了提高可靠性,还可以为每个轴配备更多的传感器。一般而言IMU要安装在飞行器的重心上。
此外,无人飞行器上还可以添加有一种或者多种功能模块,令无人飞行器能够实现更多的功能,如进行航拍测绘等。
例如,在一些实施例中,该无人飞行器至少具备一个用于采集图像的图像采集装置,以通过该图像采集装置获取原始图像。在另一些实施例中,该无人飞行器还可以提供用于固定安装图像采集设备的固定支架,从而可以使用户根据自身的需要,更换安装在无人飞行器上的图像采集设备。
在一些实施例中,该无人飞行器还可以包括存储空间,该存储空间用于存储该原始图像,以便于后续在需要时调用该原始图像。其中,该存储控制可以为无人飞行器内置或者外部的存储空间。例如,无人飞行器上设置有外接SD卡接口,SD卡等记忆设备可插入该接口中,以存储所获取的原始图像。并且,若干帧连续的原始图像形成视频或录像,在一些实例中,也可以将由若干帧连续的原始图像所形成视频或录像存储于无人飞行器的内置或者外部的存储空间。
此外,无人飞行器还至少具备一个图像处理模块及图传模块,该图像处理模块用于对图像采集装置所采集的原始图像进行处理,并通过图传模块将处理后的图像发送给图像接收端,以实现图像的实时传输。
在一些实施例中,图像采集装置、图像处理模块及图传模块均可集成于无人飞行器的一个组件中,例如,集成于无人飞行器的拍摄组件中,该拍摄组件可以作为图像发送端,以通过图像发送端实现将所采集的图像实时传输给图像接收端的功能。
图像接收端可以是任何类型的用户交互设备。图像接收端可以装配有一种或者多种不同的用户交互设备,用以采集用户指令或者向用户展示或者反馈信息,所述用户交互设备包括但不限于:按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如,图像接收端可以装配有触控显示屏,通过该触控显示屏接收用户的触摸指令并通过触控显示屏向用户展示信息,如展示图像。
在一些实施例中,图像接收端可以为智能终端设备,例如,手机、平板、个人计算机、可穿戴设备等等。该图像接收端上可以安装有与无人飞行器相匹配的软件应用程序(APP)。用户可以通过该软件应用程序,将接收到的无人飞行器发送的图像显示于触控显示屏上。
在另一些实施例中,图像接收端还可以是与无人飞行器配套的专用控制设备,例如,无人飞行器的遥控器等,其可以接收来自无人飞行器的图像并通过内置或者外部连接的显示屏显示。
可以理解的是,上述对于无人飞行器的各组成部分的命名仅是出于标识的目的,并不应理解为对本发明的实施例的限制。此外,本发明实施例提供的图像传输方法还可以进一步的拓展到其他合适的应用环境中,而不限于图1中所示的应用环境。在实际应用过程中,该应用环境还可以包括更多的图像接收端。
请参阅图2和图3,为本发明其中一实施例提供的一种拍摄组件15,其设置于如图1所示的飞行器10,所述飞行器10可以作为摄影、拍照、检测、采样的辅助装置,所述飞行器10可以为无人飞行器、无人飞行船、无人车等。
所述拍摄组件15包括云台组件151以及设置于所述云台组件151的拍摄装置152,所述拍摄装置152用于摄影、拍照、检测、采样等,所述拍摄装置152可以为摄像机、照相机、红外传感器等。
所述云台组件152包括快拆组件153以及设置于所述快拆组件153的云台主体154,所述云台主体154通过所述快拆组件153设置于所述无人机,所述云台主体154用以实现所述拍摄装置152的固定、随意调节所述拍摄装置152的姿态,例如,改变所述拍摄装置152的高度、倾角、方向等。
其中,本发明实施例中的拍摄装置152为可拆换的云台相机,由于每款云台相机,图像分辨率、帧率、图像质量参数、校准参数都不一样,如何确保拆换云台相机后,相机能够加载正确参数,是本发明需要解决的问题。
因此,基于上述问题,本发明实施例主要目的在于提供一种可拆换的云台相机。
请参阅图4,图4是本发明实施例提供的一种可拆换的云台相机的结构示意图;
如图4所示,该可拆换的云台相机152,应用于飞行器,所述飞行器设置有机身和云台,所述云台为可拆换的云台,所述云台相机152包括:图像采集模块1521、图像处理模块1522以及静态存储模块1523,其中,所述图像处理模块1522通信连接所述图像采集模块1521以及所述静态存储模块1523。
具体的,所述图像采集模块1521,通信连接所述图像处理模块1522,用于采集图像,并将采集到的图像发送到所述图像处理模块1522。
在本发明实施例中,所述图像采集模块1521包括:
镜头,设置于所述云台,用于获取原始图像;
图像传感器,设置于所述云台,连接所述镜头,用于将所述镜头获取的原始图像转换为数字图像信号。
在本发明实施例中,所述镜头包括:8K镜头、8K可见光镜头、一英寸大镜头等镜头,所述图像传感器包括8K传感器、8K可见光传感器、红外热成像传感器等传感器。
其中,所述图像传感器将所述数字图像信号发送到所述图像处理模块1522,以使所述图像处理模块1522接收所述数字图像信号,并对所述数字图像信号进行处理,例如:ISP处理。
具体的,所述图像处理模块1522,连接所述图像采集模块1521,用于接收所述图像采集模块1522发送的采集到的图像,对所述采集到的图像进行ISP处理,例如:图像去噪、增强、色彩还原等,其中,所述图像处理模块1522设置于所述飞行器的机身,所述图像处理模块1522还通信连接所述静态存储模块1523,用于读取所述静态存储模块1523存储的参数数据,并且,当所述云台被拆换后,所述图像处理模块1522读取所述拆换后的云台的参数数据,并为所述拆换后的云台的图像采集模块配置相应的参数数据。在本发明实施例中,所述图像处理模块1522为图形处理器。
具体的,所述静态存储模块1523,设置于所述云台,即所述静态存储模块1523设置于每一所述可拆换的云台,每一所述可拆换的云台均包括一个静态存储模块1523,用于存储所述图像采集模块的参数数据,例如:所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数等,其中,所述静态存储模块1523通信连接所述图像处理模块1522,所述图像处理模块1522通过读取所述静态存储模块1523中存储的参数数据,例如:所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数等,为所述云台相机配置相应的参数。
在本发明实施例中,所述静态存储模块1523可以为静态存储器(Random AccessMemory,RAM),例如:静态随机存储器(Static Random Access Memory,SRAM)、动态随机存储器(Dynamic Random Access Memory,DRAM)等。
请再参阅图5,图5是本发明实施例提供的另一种可拆换的云台相机的结构示意图;
如图5所示,该可拆换的云台相机152,包括:镜头15211、图像传感器15212、镜头存储器1523,其中,所述镜头15211、图像传感器15212、镜头存储器1523均设置于云台,所述云台为可拆换的云台,所述可拆换的云台相机152还包括图像处理模块1522、编码模块1524、拍照录像模块1525以及图传模块1526,其中,所述图像处理模块1522、编码模块1524、拍照录像模块1525以及图传模块1526均设置于所述飞行器的机身。
其中,所述镜头15211,包括不同的尺寸以及分辨率,镜头的尺寸一般指镜头可以搭配多大的图像传感器使用,而图像传感器的尺寸则是对角线的长度。平时我们看到的图像就是图像传感器的最大范围,在选购镜头时要注意标称的尺寸要大于或等于图像传感器尺寸,否则会出现暗角,镜头的分辩率是指在成像平面上1毫米间距内能分辨开的黑白相间的线条对数,单位是“线对/毫米”(lp/mm,line-pairs/mm)。在本发明实施例中,所述镜头包括:8K镜头、8K可见光镜头、一英寸镜头等,不同的镜头用于不同场景的需求,例如:8K镜头用于普通自然场景的拍摄,8K可见光镜头用于夜视侦查的拍摄,一英寸镜头用于专业的拍摄摄影。
其中,所述图像传感器15212,由许多感光元件组成,每一个元件称为一个像素。像素的数量对图像质量有很大影响,像素数越多,对细节的展示越明显,图像的清晰程度越好,像素数是图像传感器的主要性能标准,决定了显示图像的清晰程度,分辨率越高,图像的细节表现越好。在本发明实施例中,所述图像传感器15212包括8K传感器、8K可见光传感器、一英寸传感器等,所述8K传感器用于配合所述8K镜头,实现普通自然场景的拍摄,所述8K可见光传感器,用于配合所述8K可见光镜头,实现夜视侦查的拍摄,所述一英寸传感器用于配合所述一英寸镜头,实现专业的拍摄摄影。
可以理解的是,本发明实施例还可以包括其他摄像头以及图传传感器,在此不作限定。
其中,所述编码模块1524,设置于所述机身,连接所述图像处理模块1522,用于对所述图像采集模块采集的图像进行编码,以生成编码后的图像,其中,所述编码模块1524还连接拍照录像模块1525以及图传模块1526,所述编码模块1524还用于将所述编码后的图像发送到所述拍照录像模块1525和图传模块1526,以使所述拍照录像模块1525根据所述编码后的图像,生成相应的图像数据或视频数据,或者,以使所述图传模块1526将所述编码后的图像传输到图像接收端。在本发明实施例中,所述编码模块1524包括但不限于编码器。
其中,所述拍照录像模块1525,连接所述编码模块1524,用于将所述编码模块1524发送的编码后的图像进行处理,以生成图像数据或视频数据。在本发明实施例中,所述拍照录像模块1525包括拍照模组与录像模组,分别用于拍照功能和录像功能。
其中,所述图传模块1526,设置于所述机身,连接所述编码模块1524,用于将所述编码模块1524发送的编码后的图像传输给图像接收端,以使所述图像接收端接收所述编码后的图像。
请一并参阅图6和图7,图6是本发明实施例提供的又一种可拆换的云台相机的结构示意图,图7是本发明实施例提供的一种接口的示意图;
如图7所示,所述云台相机设置有Mipi接口、SLVS-EC串行接口、两线式串行总线接口、第一串口、第二串口以及USB接口,其中,
每一所述云台均包括mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口,所述云台相机和所述云台通过所述云台相机的Mipi接口和所述云台的Mipi接口进行通信。
其中,所述Mipi接口,又称为移动行业处理器接口MIPI(Mobile IndustryProcessor Interface,MIPI)是MIPI联盟发起的为移动应用处理器制定的开放标准,目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,MIPI联盟下面有不同的WorkGroup,分别定义了一系列的手机内部接口标准,其规范也在不断修改和改进,目前比较成熟的接口应用有DSI(显示接口)和CSI(摄像头接口)。CSI/DSI分别是指其承载的是针对Camera或Display应用,都有复杂的协议结构。
其中,所述SLVS-EC串行接口,(Scalable LowVoltage Signaling EmbeddedClock,SLVS-EC),是索尼今年开发串行总线,每一个通道拥有独立的时针,单个通道带宽为2.3Gbps,远高于MIPI的1.44Gbps或是Sub LVDS的0.576Gbps。不过IMX410没有采用堆栈技术,像素也不高,说不定索尼相机部门会基于此推出“新入门”全幅微单。
其中,所述两线式串行总线,(Inter-Integrated Circuit,i2c),i2c总线是由Philips公司开发的一种简单、双向二线制同步串行总线。它只需要两根线即可在连接于总线上的器件之间传送信息。主器件用于启动总线传送数据,并产生时钟以开放传送的器件,此时任何被寻址的器件均被认为是从器件在总线上主和从、发和收的关系不是恒定的,而取决于此时数据传送方向。如果主机要发送数据给从器件,则主机首先寻址从器件,然后主动发送数据至从器件,最后由主机终止数据传送;如果主机要接收从器件的数据,首先由主器件寻址从器件.然后主机接收从器件发送的数据,最后由主机终止接收过程。在这种情况下.主机负责产生定时时钟和终止数据传送。
其中,所述USB接口(Universal Serial Bus,USB),通用串行总线,用于主控制器管理主机与USB设备之间的数据传输、电量传输、信号传输等,在本发明实施例中,所述USB接口包括USB TypeA接口、USB TypeB接口、USB TypeC接口等。
其中,所述第一串口和第二串口均为单片机上的串行通讯接口,分别对应串口1和串口2,其中,所述云台相机上设置有第一串口和第二串口,并且,每一所述云台均包括第一串口和第二串口,所述云台相机和云台之间的第一串口通过第一串口线进行通信,所述云台相机和所述云台之间的第二串口通过第二串口线进行通信。
如图6所示,所述8K云台上安装有8K镜头和8K传感器,所述8K传感器通过Mipi线将图像数据传输到无人机机身上的相机的图像处理模块,实现8K传感器和图像处理模块的通信连接,所述无人机机身上的相机通过两线式串行总线(i2c线)控制所述8K镜头的自动变焦以及8K传感器的曝光;
所述双光云台上安装有8K可见光镜头、8K可见光传感器、红外热成像镜头以及红外热成像传感器,所述8K可见光传感器通过Mipi线将图像数据传输到无人机机身上的相机的图像处理模块,实现8K可见光传感器和所述图像处理模块的通信连接,所述无人机机身上的相机通过i2c线控制所述8K可见光镜头的自动变焦以及8K可见光传感器的曝光,并且,所述红外热成像传感器通过USB数据线传输图像数据给无人机机身上的相机的图像处理模块,实现所述红外热成像传感器和所述图像处理模块的通信连接,所述无人机机身上的相机通过第一串口控制云台的运动,通过第二串口(串口2)控制红外热成像传感器的参数,例如:图像分辨率、图像质量参数、校准参数等。
所述一英寸云台上安装有一英寸镜头、一英寸传感器,所述一英寸传感器通过SLVS-EC串行接口将图像数据传输到所述无人机机身上的相机的图像处理模块,所述无人机机身上的相机通过第二串口(串口2)控制所述一英寸镜头的自动变焦和自动光圈,并且,所述无人机机身上的相机通过第一串口(串口1)来控制云台的运动。
可以理解的是,为了实现云台的可拆换程度,因此,无人机机身上的相机和云台之间的连线必须满足所述8K云台、双光云台、一英寸云台的所有接口,亦即,所述云台相机设置有Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口,每一所述云台均包括Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口,其中,每个可拆换的云台在连接到无人机机身时,接口定义保持一致,不使用的接口则保留。
由于各个云台相机的分辨率、帧率、图像格式都不一致,即使是同一个型号的云台相机,其图像质量参数、校准参数也存在差异,而由于以往的云台相机往往不可更换,各种参数数据均保存在无人机机身上的相机闪存(Flash)中,导致用户在更换云台时,若各种参数数据仍保存在无人机机身上的相机中,则需要重新进行校准,重新修改参数,操作过程繁琐,并且,需要浪费一定的时间,不符合用户的需求。
请再参阅图8,图8是本发明实施例提供的一种工厂校准与用户使用的示意图;
如图8所示,在工厂校准时,用于校准云台相机的图像处理模块从镜头与图像传感器中获取到图像参数之后,进行校准,得到校准参数,将当前的校准参数、图像质量参数、传感器型号等参数数据压缩成一个带云台序列号名称的压缩文件,保存到静态存储器中。通过将参数数据进行压缩,能够让参数数据的文件的内存占用更小,有利于快速保存。其中,通过校准工序,得到校准参数,并将校准参数保存在云台中,具体的,将校准参数保存在云台的静态存储器中,用户需要使用时,通过图像处理模块从云台的静态存储器中获取所述校准参数,再将所述校准参数加载入所述云台相机的镜头和图像传感器中。
在本发明实施例中,带云台序列号名称的压缩文件还被保存到服务器中,其中,保存到服务器中的目的是为了万一需要维修云台相机或者查找云台相机图像等问题时,开发人员能够从服务器中根据云台序列号找到对应参数,重新保存压缩文件,或者定位图像问题。具体的,若图像出现问题,则根据云台序列号,通过服务器获取到对应的型号,根据所述型号,查找对应的校准参数,从而定位图像问题。
其中,用户在使用云台相机时,每次上电,所述云台相机的图像处理模块就从静态存储器读出压缩文件,再进行解压,得到所述云台相机的镜头和图像传感器的参数,再把这些参数配置给所述云台相机当前的镜头和图像传感器。通过将云台相机的镜头和图像传感器的参数数据保存到云台的静态存储器中,无论云台相机如何拆换,都能保证云台相机自适应不同的镜头和图像传感器,从而满足云台可拆换的要求。
在本发明实施例中,通过提供一种可拆换的云台相机,包括图像采集模块、静态存储模块以及图像处理模块,静态存储模块用于存储参数数据;图像处理模块用于读取静态存储模块存储的参数数据,当云台被拆换后,图像处理模块读取拆换后的云台的参数数据,为拆换后的云台的图像采集模块配置相应的参数数据。通过一台飞行器搭配多个可拆换的云台相机,能够降低用户的成本,并且,将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
请再参阅图9,图9是本发明实施例提供的一种飞行器的云台拆换方法的流程示意图;
本发明实施例提供的飞行器的云台拆换方法可以应用到各种通过电机或马达驱动的可移动物体上,包括但不限于飞行器、机器人等。其中飞行器可包括无人飞行器(unmanned aerial vehicle,UAV),无人飞船等。其中,本发明实施例的飞行器的云台拆换方法,应用于飞行器的飞行控制器,即该飞行器的云台拆换方法的执行主体是飞行控制器。
如图9所示,该飞行器的云台拆换方法,包括:
步骤S10:预先通过每一可拆换的云台存储云台相机的参数数据;
具体的,所述云台相机的参数数据包括所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数等,所述云台包括静态存储器,通过所述云台的静态存储器存储所述云台相机的参数数据。
在本发明实施例中,所述方法还包括:
将所述云台相机的参数数据压缩成云台参数文件;
向所述可拆换的云台发送所述云台参数文件,以使所述可拆换的云台的静态存储模块存储所述云台参数文件。
具体的,通过将参数数据进行压缩,能够让参数数据的文件的内存占用更小,有利于快速保存。
步骤S20:当所述云台被拆换后,获取所述飞行器当前安装的云台的参数数据;
具体的,当所述飞行器的云台被更换后,所述飞行控制器将获取所述飞行器当前安装的云台的参数数据,具体的,通过所述云台的静态存储器,获取所述当前安装的云台的参数数据,例如:所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数等。
步骤S30:将所述参数数据配置到所述飞行器的镜头以及图像传感器。
具体的,根据获取到的所述云台的静态存储器中保存的参数数据,将所述参数数据配置到所述飞行器的镜头以及图像传感器,例如配置所述图像分辨率、帧率、图像质量参数以及校准参数等参数。
在本发明实施例中,所述方法还包括:
向所述服务器发送所述云台相机的参数数据,以使所述服务器保存所述云台相机的参数数据。
其中,所述飞行器通信连接服务器,所述飞行器向所述服务器发送所述云台相机的参数数据,具体的,所述云台相机的参数数据被压缩成云台参数文件,所述飞行器向所述服务器发送所述云台参数文件,以使所述服务器保存所述云台参数文件,通过将所述云台相机的参数数据保存到服务器中,能够在需要维修云台相机或者查找云台相机图像等问题时,开发人员能够从服务器中根据云台序列号找到对应参数,重新保存压缩文件,或者定位图像问题。具体的,若图像出现问题,则根据云台序列号,通过服务器获取到对应的型号,根据所述型号,查找对应的校准参数,从而定位图像问题。
在本发明实施例中,通过提供一种飞行器的云台拆换方法,应用于飞行器系统,所述方法包括:预先通过每一可拆换的云台存储云台相机的参数数据;当所述云台被拆换后,获取所述飞行器当前安装的云台的参数数据;将所述参数数据配置到所述飞行器的镜头以及图像传感器。通过将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
请参阅图10,图10是本发明实施例提供一种飞行器的硬件结构示意图。其中,该飞行器可以是无人飞行器(unmanned aerial vehicle,UAV),无人飞船等电子设备。
如图10所示,该飞行器100包括一个或多个处理器101以及存储器102。其中,图10中以一个处理器101为例。
处理器101和存储器102可以通过总线或者其他方式连接,图10中以通过总线连接为例。
存储器102作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器101通过运行存储在存储器102中的非易失性软件程序、指令以及模块,从而执行飞行器的云台拆换方法的各种功能应用以及数据处理。
存储器102可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器102可选包括相对于处理器101远程设置的存储器,这些远程存储器可以通过网络连接至处理器101。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述模块存储在所述存储器102中,当被所述一个或者多个处理器101执行时,执行上述任意方法实施例中的飞行器的云台拆换方法。
请参阅图11和图12,所述飞行器100还包括动力系统103,所述动力系统103用于飞行器提供飞行动力,所述动力系统1403与处理器1401连接。所述动力系统1403包括:驱动电机1031及电调1032,所述电调1032与驱动电机1031电连接,用于控制所述驱动电机1031。具体的,所述电调1032基于处理器101执行上述飞行器的云台拆换方法,生成控制指令,通过控制指令控制该驱动电机1031。
所述飞行器100可执行本发明实施例一所提供的飞行器的云台拆换方法,具备执行方法相应的功能模块和有益效果。未在飞行器实施例中详尽描述的技术细节,可参见本发明实施例一所提供的飞行器的云台拆换方法。
请再参阅图13,图13是本发明实施例提供的一种飞行器系统的结构示意图;
如图13所示,该飞行器系统130,包括:飞行器131、服务器132以及图像接收端133,其中,所述飞行器131通信连接所述服务器132,所述飞行器131通信连接所述图像接收端133。
具体的,所述飞行器131,包括:飞行控制器1311、图传模块1312以及图像采集模块1313,其中,所述飞行控制器1311通信连接所述图传模块1312以及图像采集模块1313。
在本发明实施例中,飞行控制器1311、图传模块1312以及图像采集模块1313均可集成于飞行器的一个组件中,例如,集成于飞行器的摄像组件中,该摄像组件可以作为图像发送端,以通过图像发送端实现将所采集的图像实时传输给图像接收端的功能,其中,图像接收端133可以是任何类型的用户交互设备。图像接收端133可以装配有一种或者多种不同的用户交互设备,用以采集用户指令或者向用户展示或者反馈信息。所述用户交互设备包括但不限于:按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如,图像接收端133可以装配有触控显示屏,通过该触控显示屏接收用户的触摸指令并通过触控显示屏向用户展示信息,如展示图像。
在一些实施例中,图像接收端133可以为智能终端设备,例如,手机、平板、个人计算机、可穿戴设备等等。所述图像接收端133上可以安装有与飞行器相匹配的软件应用程序(APP)。用户可以通过该软件应用程序,将接收到的飞行器发送的图像显示于触控显示屏上。
在另一些实施例中,图像接收端133还可以是与飞行器配套的专用控制设备,例如,无人飞行器的遥控器等,其可以接收来自无人飞行器的图像并通过内置或者外部连接的显示屏显示。
在本发明实施例中,通过提供一种飞行器系统,包括上述的飞行器、服务器以及图像接收端,其中,所述飞行器包括多个可拆换的云台、飞行控制器、图像采集模块以及图传模块;所述服务器用于存储多个可拆换的云台的参数数据;所述图像接收端用于接收所述图传模块发送的图像。通过一台飞行器搭配多个可拆换的云台相机,能够降低用户的成本,并且,将参数数据保存在云台相机,在更换云台之后能够快速读取参数数据进行配置,解决飞行器适配不同云台相机的参数问题,从而满足不同场景的拍摄需求。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上所述的飞行器的云台拆换方法。例如,执行以上描述的图9中的方法步骤S10至步骤S30。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图10中的一个处理器101,可使得上述一个或多个处理器可执行上述任意方法实施例中的飞行器的云台拆换方法,例如,执行上述任意方法实施例中的飞行器的云台拆换方法,例如,执行以上描述的图9所示的各个步骤。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用直至得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (16)
1.一种可拆换的云台相机,其特征在于,应用于飞行器,所述飞行器设置有机身和云台,所述云台为可拆换的云台,所述云台相机包括:
图像采集模块,设置于所述云台,用于采集图像;
静态存储模块,用于存储参数数据;
图像处理模块,设置于所述机身,通信连接所述静态存储模块,用于读取所述静态存储模块存储的参数数据,当所述云台被拆换后,所述图像处理模块读取所述拆换后的云台的参数数据,为所述拆换后的云台的图像采集模块配置相应的参数数据。
2.根据权利要求1所述的云台相机,其特征在于,所述图像采集模块,包括:
镜头,设置于所述云台,用于获取原始图像;
图像传感器,设置于所述云台,连接所述镜头,用于将所述镜头获取的原始图像转换为数字图像信号。
3.根据权利要求1所述的云台相机,其特征在于,所述参数数据被压缩成云台参数文件,所述云台参数文件存储于所述静态存储模块,所述图像处理模块通过解压所述云台参数文件,读取所述云台参数文件中的参数数据。
4.根据权利要求1所述的云台相机,其特征在于,所述静态存储模块设置于云台,每一所述可拆换的云台均设置有静态存储模块,用于存储参数数据,以使所述云台相机从所述云台的静态存储模块中读取所述参数数据。
5.根据权利要求1所述的云台相机,其特征在于,所述云台相机设置有Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口,每一所述云台均包括Mipi接口、两线式串行总线接口、第一串口、第二串口、SLVS-EC串行接口以及USB接口。
6.根据权利要求5所述的云台相机,其特征在于,所述可拆换的云台包括8K云台、8K镜头和8K传感器,其中,所述8K镜头和8K传感器设置于所述8K云台,所述8K传感器通过Mipi线与所述图像处理模块通信连接,所述云台相机通过两线式串行总线控制所述8K镜头自动变焦和8K传感器的曝光。
7.根据权利要求5所述的云台相机,其特征在于,所述可拆换的云台包括双光云台、8K可见光镜头、8K可见光传感器、红外热成像镜头以及红外热成像传感器,其中,所述8K可见光镜头、8K可见光传感器、红外热成像镜头以及红外热成像传感器设置于所述双光云台,所述红外热成像传感器通过USB数据线与所述图像处理模块通信连接,所述云台相机通过第二串口线控制所述红外热成像传感器的参数。
8.根据权利要求5所述的云台相机,其特征在于,所述可拆换的云台包括一英寸云台、一英寸镜头以及一英寸传感器,其中,所述一英寸镜头以及一英寸传感器设置于所述一英寸云台,所述一英寸传感器通过SLVS-EC串行总线与所述图像处理模块通信连接,所述云台相机通过第二串口线控制所述一英寸镜头的自动变焦和自动光圈,所述云台相机通过第一串口线控制所述一英寸云台的运动。
9.根据权利要求1所述的云台相机,其特征在于,所述云台相机还包括:
编码模块,设置于所述机身,连接所述图像处理模块,用于对所述图像采集模块采集的图像进行编码,以生成编码后的图像;
拍照录像模块,设置于所述机身,用于拍照和/或录像;
图传模块,设置于所述机身,用于将编码后的图像传输给图像接收端。
10.根据权利要求1-9任一项所述的云台相机,其特征在于,所述参数数据包括:所述云台相机的型号、图像分辨率、帧率、图像质量参数以及校准参数。
11.一种飞行器,其特征在于,包括:
如权利要求1-10任一项所述的云台相机;
机身;
可拆换的云台,与所述机身相连;
机臂,与所述机身相连;
动力装置,设于所述机身和/或所述机臂,用于为所述飞行器提供飞行的动力;以及
飞行控制器,设于所述机身。
12.一种飞行器系统,其特征在于,包括:
如权利要求11所述的飞行器,其中,所述飞行器包括多个可拆换的云台以及图传模块;
服务器,用于存储多个可拆换的云台的参数数据;
图像接收端,用于接收所述图传模块发送的图像。
13.一种飞行器的云台拆换方法,其特征在于,应用于如权利要求12所述的飞行器系统,所述方法包括:
预先通过每一可拆换的云台存储云台相机的参数数据;
当所述云台被拆换后,获取所述飞行器当前安装的云台的参数数据;
将所述参数数据配置到所述飞行器的镜头以及图像传感器。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
将所述云台相机的参数数据压缩成云台参数文件;
向所述可拆换的云台发送所述云台参数文件,以使所述可拆换的云台的静态存储模块存储所述云台参数文件。
15.根据权利要求13或14所述的方法,其特征在于,所述方法还包括:
向所述服务器发送所述云台相机的参数数据,以使所述服务器保存所述云台相机的参数数据。
16.一种非易失性计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被飞行器执行时,使所述飞行器执行如权利要求13-15任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911018698.9A CN110730287B (zh) | 2019-10-24 | 2019-10-24 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
EP20878602.0A EP4050877A4 (en) | 2019-10-24 | 2020-10-23 | DETACHABLE/REPLACEABLE GOD CAMERA, AERIAL VEHICLE, GOD DETACHMENT/REPLACEMENT SYSTEM AND METHOD |
PCT/CN2020/123319 WO2021078270A1 (zh) | 2019-10-24 | 2020-10-23 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
US17/660,255 US20220247898A1 (en) | 2019-10-24 | 2022-04-22 | Replaceable gimbal camera, aircraft, aircraft system, and gimbal replacement method for aircraft |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911018698.9A CN110730287B (zh) | 2019-10-24 | 2019-10-24 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110730287A true CN110730287A (zh) | 2020-01-24 |
CN110730287B CN110730287B (zh) | 2021-07-30 |
Family
ID=69221953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911018698.9A Active CN110730287B (zh) | 2019-10-24 | 2019-10-24 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220247898A1 (zh) |
EP (1) | EP4050877A4 (zh) |
CN (1) | CN110730287B (zh) |
WO (1) | WO2021078270A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021078270A1 (zh) * | 2019-10-24 | 2021-04-29 | 深圳市道通智能航空技术有限公司 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
CN113302569A (zh) * | 2020-09-25 | 2021-08-24 | 深圳市大疆创新科技有限公司 | 云台控制方法、装置、可移动平台和存储介质 |
CN113544060A (zh) * | 2020-09-10 | 2021-10-22 | 深圳市大疆创新科技有限公司 | 传感器组件、成像设备、可移动平台及传感器的标定方法 |
CN114009004A (zh) * | 2020-09-22 | 2022-02-01 | 深圳市大疆创新科技有限公司 | 图像信号处理方法、云台、图像传输装置、云台系统及存储介质 |
CN114449144A (zh) * | 2022-01-04 | 2022-05-06 | 航天科工智慧产业发展有限公司 | 多路相机的抓拍联动装置及方法 |
CN114489103A (zh) * | 2022-01-21 | 2022-05-13 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
CN114697512A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 配置方法及装置 |
CN115442517A (zh) * | 2022-07-26 | 2022-12-06 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN115499591A (zh) * | 2022-09-20 | 2022-12-20 | 重庆紫光华山智安科技有限公司 | 一种监控装置预置点迁移方法、系统、设备及介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11549637B2 (en) * | 2020-05-11 | 2023-01-10 | Honeywell International Inc. | Multi-rotation gimbal assembly and mobile platform incorporating the same |
CN113985907B (zh) * | 2021-10-28 | 2024-02-02 | 国网江苏省电力有限公司泰州供电分公司 | 一种基于无人机多载荷数据的树障风险预测和优化方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581546A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备及其控制方法以及镜头单元 |
CN206162501U (zh) * | 2016-09-18 | 2017-05-10 | 深圳市大疆创新科技有限公司 | 数据转换设备、芯片、及影像系统 |
CN106814742A (zh) * | 2016-12-29 | 2017-06-09 | 湖南创动智能科技有限公司 | 一种无人机的控制方法、控制装置及无人机 |
CN107256037A (zh) * | 2017-07-14 | 2017-10-17 | 深圳市凌亚达电子有限公司 | 适应不同终端调整参数的方法、装置、云台及存储介质 |
CN206960926U (zh) * | 2017-08-02 | 2018-02-02 | 张天一 | 航摄数据采集装置及无人机 |
CN207340042U (zh) * | 2017-09-28 | 2018-05-08 | 深圳市大疆灵眸科技有限公司 | 成像装置 |
CN207367004U (zh) * | 2017-10-13 | 2018-05-15 | 普宙飞行器科技(深圳)有限公司 | 一种无人机外挂设备识别处理装置 |
CN108401495A (zh) * | 2017-10-31 | 2018-08-14 | 深圳市大疆创新科技有限公司 | 一种云台相机、云台装置及无人飞行器 |
US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
CN109155819A (zh) * | 2017-12-27 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 拍摄系统、承载装置、拍摄装置以及它们的控制方法 |
CN208412168U (zh) * | 2018-06-26 | 2019-01-22 | 深圳市大疆创新科技有限公司 | 无人机及其机身、云台相机 |
CN110083180A (zh) * | 2019-05-22 | 2019-08-02 | 深圳市道通智能航空技术有限公司 | 云台控制方法、装置、控制终端及飞行器系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140132787A1 (en) * | 2012-11-14 | 2014-05-15 | Chip Goal Electronics Corporation | Motion Detection Device and Motion Detection Method Having Rotation Calibration Function |
US20160352992A1 (en) * | 2015-05-27 | 2016-12-01 | Gopro, Inc. | Image Stabilization Mechanism |
US20170126969A1 (en) * | 2015-11-04 | 2017-05-04 | Chia-Jung Lee | Image shooting module and system thereof |
US10465840B2 (en) * | 2017-03-22 | 2019-11-05 | Gopro, Inc. | Calibration for image stabilization mechanism |
JP6399498B1 (ja) * | 2017-06-28 | 2018-10-03 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置、撮像システム、移動体、制御方法、及びプログラム |
CN108769531B (zh) * | 2018-06-21 | 2020-10-23 | 深圳市道通智能航空技术有限公司 | 控制拍摄装置的拍摄角度的方法、控制装置及遥控器 |
CN110730287B (zh) * | 2019-10-24 | 2021-07-30 | 深圳市道通智能航空技术股份有限公司 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
-
2019
- 2019-10-24 CN CN201911018698.9A patent/CN110730287B/zh active Active
-
2020
- 2020-10-23 WO PCT/CN2020/123319 patent/WO2021078270A1/zh unknown
- 2020-10-23 EP EP20878602.0A patent/EP4050877A4/en active Pending
-
2022
- 2022-04-22 US US17/660,255 patent/US20220247898A1/en active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103581546A (zh) * | 2012-07-20 | 2014-02-12 | 佳能株式会社 | 摄像设备及其控制方法以及镜头单元 |
US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
CN206162501U (zh) * | 2016-09-18 | 2017-05-10 | 深圳市大疆创新科技有限公司 | 数据转换设备、芯片、及影像系统 |
CN106814742A (zh) * | 2016-12-29 | 2017-06-09 | 湖南创动智能科技有限公司 | 一种无人机的控制方法、控制装置及无人机 |
CN107256037A (zh) * | 2017-07-14 | 2017-10-17 | 深圳市凌亚达电子有限公司 | 适应不同终端调整参数的方法、装置、云台及存储介质 |
CN206960926U (zh) * | 2017-08-02 | 2018-02-02 | 张天一 | 航摄数据采集装置及无人机 |
CN207340042U (zh) * | 2017-09-28 | 2018-05-08 | 深圳市大疆灵眸科技有限公司 | 成像装置 |
CN207367004U (zh) * | 2017-10-13 | 2018-05-15 | 普宙飞行器科技(深圳)有限公司 | 一种无人机外挂设备识别处理装置 |
CN108401495A (zh) * | 2017-10-31 | 2018-08-14 | 深圳市大疆创新科技有限公司 | 一种云台相机、云台装置及无人飞行器 |
CN109155819A (zh) * | 2017-12-27 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 拍摄系统、承载装置、拍摄装置以及它们的控制方法 |
CN208412168U (zh) * | 2018-06-26 | 2019-01-22 | 深圳市大疆创新科技有限公司 | 无人机及其机身、云台相机 |
CN110083180A (zh) * | 2019-05-22 | 2019-08-02 | 深圳市道通智能航空技术有限公司 | 云台控制方法、装置、控制终端及飞行器系统 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021078270A1 (zh) * | 2019-10-24 | 2021-04-29 | 深圳市道通智能航空技术有限公司 | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 |
CN113544060A (zh) * | 2020-09-10 | 2021-10-22 | 深圳市大疆创新科技有限公司 | 传感器组件、成像设备、可移动平台及传感器的标定方法 |
CN114009004A (zh) * | 2020-09-22 | 2022-02-01 | 深圳市大疆创新科技有限公司 | 图像信号处理方法、云台、图像传输装置、云台系统及存储介质 |
CN113302569A (zh) * | 2020-09-25 | 2021-08-24 | 深圳市大疆创新科技有限公司 | 云台控制方法、装置、可移动平台和存储介质 |
WO2022061772A1 (zh) * | 2020-09-25 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 云台控制方法、装置、可移动平台和存储介质 |
CN114697512B (zh) * | 2020-12-25 | 2023-03-24 | 华为技术有限公司 | 配置方法及装置 |
CN114697512A (zh) * | 2020-12-25 | 2022-07-01 | 华为技术有限公司 | 配置方法及装置 |
CN114449144A (zh) * | 2022-01-04 | 2022-05-06 | 航天科工智慧产业发展有限公司 | 多路相机的抓拍联动装置及方法 |
CN114449144B (zh) * | 2022-01-04 | 2024-03-05 | 航天科工智慧产业发展有限公司 | 多路相机的抓拍联动装置及方法 |
CN114489103A (zh) * | 2022-01-21 | 2022-05-13 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
CN114489103B (zh) * | 2022-01-21 | 2023-09-08 | 西南交通大学 | 一种耦合单轴云台的手机无人机及控制方法 |
CN115442517A (zh) * | 2022-07-26 | 2022-12-06 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN115499591A (zh) * | 2022-09-20 | 2022-12-20 | 重庆紫光华山智安科技有限公司 | 一种监控装置预置点迁移方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021078270A1 (zh) | 2021-04-29 |
EP4050877A1 (en) | 2022-08-31 |
CN110730287B (zh) | 2021-07-30 |
US20220247898A1 (en) | 2022-08-04 |
EP4050877A4 (en) | 2022-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110730287B (zh) | 一种可拆换的云台相机、飞行器、系统及其云台拆换方法 | |
US10139822B2 (en) | Unmanned aerial vehicles | |
US11140332B2 (en) | Imaging control method, imaging device and unmanned aerial vehicle | |
US11523085B2 (en) | Method, system, device for video data transmission and photographing apparatus | |
CN108924520B (zh) | 传输控制方法、装置、控制器、拍摄设备及飞行器 | |
WO2020181494A1 (zh) | 参数同步方法、拍摄装置和可移动平台 | |
US20210149280A1 (en) | Image capturing apparatus, handheld gimbal and movable platform | |
WO2020227998A1 (zh) | 图像增稳控制方法、拍摄设备和可移动平台 | |
CN110720209B (zh) | 一种图像处理方法及设备 | |
CN110383810B (zh) | 信息处理设备、信息处理方法和信息处理程序 | |
CN109949381B (zh) | 图像处理方法、装置、图像处理芯片、摄像组件及飞行器 | |
KR20180065439A (ko) | 드론용 초소형 영상 카메라 모듈 | |
CN110720210B (zh) | 照明设备控制方法、设备、飞行器及系统 | |
US20220345607A1 (en) | Image exposure method and device, unmanned aerial vehicle | |
WO2020237429A1 (zh) | 遥控设备的控制方法和遥控设备 | |
JP2018078433A (ja) | 移動撮像装置およびその制御方法、ならびに撮像装置およびその制御方法、無人機、プログラム、記憶媒体 | |
CN106060357B (zh) | 成像设备、无人机及机器人 | |
CN113452925B (zh) | 高动态范围图像自动曝光方法及无人飞行器 | |
CN110708473B (zh) | 高动态范围图像曝光控制方法、航拍相机及无人飞行器 | |
RU2802978C1 (ru) | Устройство видеонаблюдения беспилотного воздушного судна, узел видеокамеры для такого устройства видеонаблюдения | |
JP6998921B2 (ja) | アダプタ、撮像装置、支持機構および移動体 | |
CN114009004A (zh) | 图像信号处理方法、云台、图像传输装置、云台系统及存储介质 | |
Lin | An Active Vision System for Tracking and Mosaicking on UAV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd. Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Applicant before: AUTEL ROBOTICS Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |