CN114026356B - 附着物去除方法及装置、云台及其控制方法及可移动平台 - Google Patents
附着物去除方法及装置、云台及其控制方法及可移动平台 Download PDFInfo
- Publication number
- CN114026356B CN114026356B CN202080045266.1A CN202080045266A CN114026356B CN 114026356 B CN114026356 B CN 114026356B CN 202080045266 A CN202080045266 A CN 202080045266A CN 114026356 B CN114026356 B CN 114026356B
- Authority
- CN
- China
- Prior art keywords
- image
- attachment
- attachments
- tilt
- pan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 159
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000000977 initiatory effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 81
- 238000003702 image correction Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000005096 rolling process Methods 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 12
- 239000004576 sand Substances 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000009966 trimming Methods 0.000 claims description 6
- 230000001464 adherent effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000003672 processing method Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 239000012535 impurity Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 2
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 235000015110 jellies Nutrition 0.000 description 1
- 239000008274 jelly Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B08—CLEANING
- B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
- B08B7/00—Cleaning by methods not provided for in a single other subclass or a single group in this subclass
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供一种附着物去除方法及装置、云台及其控制方法及可移动平台。该附着物去除方法应用于可移动平台,可移动平台包括平台主体及安装于平台主体上的相机。该方法包括:在可移动平台的运行过程中,对相机镜头上的附着物进行检测;以及至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。从而自动去除相机镜头上的附着物。
Description
技术领域
本发明实施例涉及附着物去除技术领域,尤其涉及一种附着物去除方法及装置、云台及其控制方法及可移动平台。
背景技术
在可移动平台的工作场景中,特别是远程航拍、巡检、救灾等可移动平台的远距离控制场景中,由于可移动平台工作的空气中存在雾气、水汽、雨滴、雪粒、灰尘,或者是意外飞来的砂粒、小石、沙尘等杂质,可能出现这些环境杂质附着在可移动平台挂载的相机上的情况。现有技术中对这些附着在相机特别是镜头上的附着物没有很好的去除方法,只能在可移动平台停止工作并返回时人工擦除。
然而,如果不去除相机镜头上的附着物会大大影响成像效果,在救灾时还会进一步影响到救援进度。此外,频繁返航去除镜头上的附着物还会降低可移动平台的远程操控效率。而人工去除镜头附着物的效率则比较低。
发明内容
本发明提供一种附着物去除方法及装置、云台及其控制方法及可移动平台,旨在能够自动去除相机镜头上的附着物。
根据本发明实施例的一个方面,提供一种附着物去除方法。所述附着物去除方法应用于可移动平台,所述可移动平台包括平台主体及安装于所述平台主体上的相机。所述方法包括:在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测;以及至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
根据本发明实施例的另一个方面,提供一种附着物去除装置,其应用于可移动平台。所述可移动平台包括平台主体及安装于所述平台主体上的相机。所述附着物去除装置包括检测装置及控制装置。所述检测装置用于在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测。所述控制装置用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
根据本发明实施例的另一个方面,提供一种云台的控制方法。所述云台用于搭载相机。所述方法包括:获得所述相机镜头上的附着物的检测结果;及至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物。
根据本发明实施例的另一个方面,提供一种云台,用于承载相机。所述云台包括轴臂、设置于所述轴臂上用于安装所述相机的相机安装部以及控制装置。所述控制装置用于获得所述相机镜头上的附着物的检测结果,并至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物。
根据本发明实施例的另一个方面,提供一种可移动平台。所述可移动平台包括平台主体及安装于所述平台主体上的相机。所述可移动平台还包括附着物去除装置,所述附着物去除装置包括检测装置及控制装置。所述检测装置用于在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测。所述控制装置用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作。
根据本发明实施例的另一个方面,提供一种附着物去除方法,其应用于可移动平台,所述可移动平台包括平台主体及安装于所述平台主体上的相机。所述方法包括:在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作。
根据本发明实施例的另一个方面,提供一种附着物去除装置,其应用于可移动平台,所述可移动平台包括平台主体及安装于所述平台主体上的相机。所述附着物去除装置包括控制装置。所述控制装置用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作。
根据本发明实施例的另一个方面,提供一种云台的控制方法,所述云台用于搭载相机。所述方法包括:在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物。
根据本发明实施例的另一个方面,提供一种云台,用于承载相机。所述云台包括轴臂、设置于所述轴臂上用于安装所述相机的相机安装部、以及控制装置。所述控制装置用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物。
本发明一个或多个实施例能够自动去除相机镜头上的附着物,有效解决镜头外表面附着物影响成像效果且难以人工去除的技术问题,减小航拍、救灾等场景中的准备工作和使用负担,提高复杂环境中的成像效果,并且,具有高效的去除效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的附着物去除装置的示意性框图;
图2为本发明一个实施例的为相机镜头设置镜头罩的示意图;
图3为本发明一个实施例的云台绕云台偏航轴旋转的示意图;
图4为本发明一个实施例的云台绕云台横滚轴旋转的示意图;
图5为本发明一个实施例的图像处理装置的示意性框图;
图6为本发明一个实施例的图像裁切方案的示意图;
图7为本发明另一个实施例的图像裁切方案的示意图;
图8为图7所示的图像裁切方案中感光元件CMOS的控制示意图;
图9为本发明另一个实施例的图像处理装置的示意性框图;
图10为本发明一个实施例的图像配准后的图像的缺失部分的示意图;
图11为本发明又一个实施例的图像处理装置的示意性框图;
图12为本发明一个实施例的附着物去除方法的流程;
图13为本发明一个实施例的图像处理方法的流程图;
图14为本发明另一个实施例的图像处理方法的流程图;
图15为本发明一个实施例的通过附着物成像去除算法将附着物从拍摄的图像中去除的流程图;
图16为图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的一个实施例的详细步骤;
图17为图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的另一个实施例的详细步骤;
图18为图15所示的将附着物从图像中去除的又一个实施例的详细步骤;
图19为本发明一个实施例的云台的控制方法的流程图;
图20为本发明一个实施例的云台的示意图;
图21为本发明一个实施例的附着物去除装置的应用场景示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。除非另行指出,“前部”、“后部”、“下部”和/或“上部”等类似词语只是为了便于说明,而并非限于一个位置或者一种空间定向。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而且可以包括电性的连接,不管是直接的还是间接的。在本发明中“能够”可以表示具有能力。
下面结合附图,对本发明的各个实施例进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
图1揭示了本发明一个实施例的附着物去除装置10的示意性框图。如图1所示,该附着物去除装置10可以应用于可移动平台,可移动平台包括平台主体及安装于平台主体上的相机。如图1所示,本发明一个实施例的附着物去除装置10包括检测装置11和控制装置12。在可移动平台的运行过程中,检测装置11可以对相机镜头上的附着物进行检测。控制装置12与检测装置11连接,控制装置12可以至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。
以下将详细介绍检测装置11对相机镜头上的附着物进行检测的几个实施例。可以理解的是,可以同时采用下述实施例中的一个或几个以检测附着物,从而提高检测效果。
图2揭示了本发明一个实施例的为相机20的相机镜头201设置镜头罩202的示意图。如图2所示,在一些实施例中,可以在相机镜头201上设置镜头罩202,本发明实施例的检测装置11可以包括附着于镜头罩202表面透光孔处的压电薄膜111,其中,检测装置11通过压电薄膜111,例如透明柔性PZT(锆钛酸铅)压电薄膜等来检测相机镜头201上的附着物。压电薄膜111可以对各种动态力、机械冲击和振动进行测量,在附着物(例如固态的沙粒、小石、雪粒、灰尘,液态的雨滴、水等)击打镜头罩202时将会产生压力峰值。因此,检测装置11在检测到压电薄膜111输出压力峰值时,可以判定镜头罩202上有附着物。从而,可以检测相机镜头201上的附着物。
在另一些实施例中,本发明实施例的检测装置11可以包括设置于可移动平台和/或相机上的湿度传感器(未图示),检测装置11可以通过湿度传感器来检测相机镜头201上的附着物。在湿度传感器检测到的湿度大于预定湿度阈值时,则检测装置11可以判定相机镜头201上有附着物。例如,在湿度传感器检测到的湿度大于80%等阈值时则默认为雨天,进而可以判定相机镜头201上有附着物。
在另一些实施例中,本发明实施例的检测装置11可以通过可移动平台和/或相机的控制端的天气预报信息应用程序接口接收可移动平台运行区域内的天气状况,并根据可移动平台运行区域内的天气状况来检测相机镜头上的附着物。例如,在可移动平台运行区域内的天气状况为雨、雪或风沙天气时,则检测装置11判定相机镜头201上有附着物。
以上仅作为示意性示例,列举出本发明实施例的检测装置11对相机镜头201上的附着物进行检测的三个实施例,然而,本发明实施例的附着物检测方案并不局限于此。本发明实施例的检测装置11还可以采用其他类似的方式来对相机镜头201上的附着物进行检测。
以下将详细介绍控制装置12是如何至少部分地基于附着物的检测结果来启动对附着物进行去除的操作。可以理解的是,可以同时采用下述实施例中的一个或几个以去除附着物,从而提高去除效果。
可移动平台可以包括用于搭载相机20的云台30,如图2所示。在本发明的一个实施例中,控制装置12可以至少部分地基于附着物的检测结果来控制云台30相对于可移动平台运动,从而通过物理性去除方式来去除相机镜头201上的附着物。
在一些实施例中,控制装置12可以控制云台30绕轴线进行例如360度等旋转以利用离心力将附着物甩离相机镜头201。例如,在一个实施例中,如图3所示,控制装置12可以控制云台30绕云台偏航(yaw)轴A1旋转。从而,附加物受yaw轴A1周向的离心力作用向外甩出时,不会击打或附着到其挂载的可移动平台上。由于云台30整体围绕云台偏航轴A1旋转,处于旋转周向的相机镜头201外表面所受的离心力更大,从而有利于短时间内去除附加物。同时,围绕相机镜头201中轴线的较大的旋转半径所产生的离心力较大,有利于保证附着物去除的成功率和减少去除时间。可选地,在云台30绕云台偏航轴A1旋转时,控制装置12还可以控制相机镜头201始终保持朝向下方。从而,附加物受离心力作用向外甩出时,其运动方向朝向可移动平台下方,不会击打或附着到其挂载的可移动平台上。
在另一个实施例中,如图4所示,控制装置12可以控制云台30绕云台横滚(roll)轴A2旋转。可选地,在云台30绕云台横滚轴A2进行旋转的过程中,控制装置12还可以控制相机20持续进行图像拍摄。从而,可以在附着物去除的过程中持续拍摄图像并维持图像拍摄的稳定性。同时,围绕相机镜头201中轴线的较小的旋转半径也无需太大的驱动力矩,有利于保证云台30的姿态稳定及降低附着物去除过程中的功率消耗。
可选地,在云台30绕云台横滚轴A2进行旋转的过程中,控制装置12还可以控制相机20的快门速度以配合云台进行调整,从而可以减少或去除云台20旋转过程中成像的果冻效应。
如图1所示,本发明实施例的附着物去除装置10还可以包括与控制装置12连接的图像处理装置13,图像处理装置13可以对拍摄的图像进行图像处理。以下将结合图5至图10来详细介绍图像处理装置在云台30绕云台横滚轴A2旋转的过程中对持续拍摄的图像进行处理的方案。
图5揭示了本发明一个实施例的图像处理装置131的示意性框图。如图5所示,在一些实施例中,图像处理装置131包括图像裁切装置1311、与图像裁切装置1311连接的图像旋转装置1312、与图像旋转装置1312连接的图像配准装置1313、以及与图像配准装置1313连接的图像校正装置1314。
图像裁切装置1311可以在图像旋转装置1312对图像旋转之前,首先对拍摄的图像进行图像裁切。从而,可以便于后期进行图像配准。当然,在图像裁切的过程中还可以相应地进行图像拉伸、图像变换等操作。而且,先进行图像裁切,可以减少后续图像处理的运算量,提高图像处理效率。图像裁切装置1311可以采用统一的图像裁切方案来对图像进行裁切,统一的图像裁切方案可以提高裁切处理的效率。
在一个实施例中,图像裁切装置1311可以按照1:1的比例将图像裁切为正方形图像。如图6所示,图像裁切装置1311可以将拍摄的图像I0的长宽比由原始的4:3、16:9等裁切出长宽一致的图像即正方形图像。这样的处理裁切难度较低,后期出片的效果也较好。特别地,在拍摄的图像I0中取较短边的长度作为裁切后正方形的边长,即在4:3的图像中裁切出3:3的正方形图像,或是在16:9的图像中裁切出9:9的正方形图像,能够更好地保留拍摄的图像I0中的大部分内容。可以将上述正方形图像统称为长宽比1:1的图像。
在另一个实施例中,如图7所示,图像裁切装置1311可以对拍摄的图像I0做最大内切圆以将图像裁切为圆形图像,裁切留下内切圆内的图像内容。
在另一个实施例中,在开始附着物去除操作时,如图8所示,可以阻止感光元件CMOS最大内切圆之外的像素的成像,例如可以对其进行遮罩或切断供电,进而直接令CMOS输出圆形图像,从而实现对图像的裁切。
返回参照图5所示,在图像裁切装置1311裁切出画幅一致的图像后,图像旋转装置1312可以基于图像裁切装置1311裁切后的图像进行图像旋转以保证图像方向的一致性。图像旋转装置1312可以基于拍摄图像时云台30和/或相机20的运动信息进行图像旋转。例如,云台30绕roll轴A2顺时针旋转180°时,则图像相应需要逆时针旋转180°以保证方向正确。
因为搭载云台30的可移动平台自身可能产生的抖动和漂移,因此,图像配准装置1313可以对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准装置1313可以基于可移动平台的自身姿态和云台30的姿态进行图像配准的计算。可选地,在图像配准之后且图像校正之前,图像裁切装置1311还可能进一步对配准后的图像进行二次图像裁切,以达到图像增稳的要求。
图像校正装置1314可以对完成图像裁切、旋转和配准后的图像进行图像校正。在配准后对图像进行二次图像裁切的情况下,则图像校正装置1314可以基于图像裁切装置1311二次图像裁切后的图像进行图像校正。将图像校正装置1314放在图像配准装置1313下游的好处是可以降低校正处理的数据量,而经过配准的图像由于已经对齐,能够带来更好的畸变校正效果。而将图像校正步骤放在图像裁切、旋转和配准之后,可以进一步降低图像校正处理所需的处理时间和处理资源。
可选地,图像处理装置131还可以对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。较佳的,可以将这些后处理放在图像裁切、旋转、配准和校正之后,以获得统一的后图像处理效果。
图9揭示了本发明另一个实施例的图像处理装置132的示意性框图。如图9所示,在另一些实施例中,图像处理装置132包括图像旋转装置1321、与图像旋转装置1321连接的图像配准装置1322、与图像配准装置1322连接的图像校正装置1323、以及与图像校正装置1323连接的图像裁切装置1324。将图像裁切装置1324放在图像配准装置1322或图像校正装置1323的下游,由于图像裁切会带来画幅的损失和图像内容的丢失,因而图像配准和校正针对的是未经裁切的拍摄图像时能够带来更好的图像配准和校正效果。
图像旋转装置1321可以对拍摄的图像I0进行图像旋转以保证图像方向的一致性。图像旋转装置1321可以基于拍摄图像时云台30和/或相机20的运动信息进行图像旋转。例如,云台30绕roll轴A2顺时针旋转180°时,则图像相应需要逆时针旋转180°以保证方向正确。
因为搭载云台30的可移动平台自身可能产生的抖动和漂移,因此,图像配准装置1322可以对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准装置1322可以基于可移动平台的自身姿态和云台30的姿态进行图像配准的计算。
图像校正装置1323可以对完成图像旋转和配准的图像进行校正。将图像校正装置1323放在图像配准装置1322下游的好处是可以降低校正处理的数据量,而经过配准的图像由于已经对齐,能够带来更好的畸变校正效果。
在图像校正装置1323进行图像校正之后,图像裁切装置1324可以对图像配准和校正后的图像进行图像裁切,从而能够带来更好的图像配准和矫正效果,也避免了二次裁切及图像拉伸带来的信息丢失问题。当然,在图像裁切的过程中还可以相应地进行图像拉伸、图像变换等操作。同样地,图像裁切装置1324也可以采用上述图6至图8所示的几种方式对图像裁切。
如图10所示,在配准后的图像I1可能不满足图像裁切的条件时,例如,图10中的阴影部分为配准后图像的缺失部分,在配准后的图像I1的缺失部分大于30%等预定阈值时,图像裁切装置1311可判定配准后的图像I1不满足图像裁切的条件,此时,则图像裁切装置1311可以选择丢弃相关帧的图像以维持图像的稳定性。
在本发明物理性去除方式的另一个实施例中,控制装置12可以控制云台30绕云台偏航轴A1、云台横滚轴A2和云台俯仰轴A3(如图20所示)中的至少一个轴在一定角度范围内往复转动,从而产生抖动以通过物理性去除方式去除相机镜头201上的附着物。这种控制方式可以直接运用于现有市面上的大部分云台产品,而且,可以适配云台开机自检的算法,对电机的需求也相应较低。当然,当云台30绕特定轴在一定角度范围内往复转动时,其上的相机20也可以保持拍摄,并对持续拍摄的图像进行处理,具体方法可以参见上述图5至图10的说明部分。
以上是以物理性去除方式对相机镜头201上的附着物去除进行了详细说明。然而,本发明实施例的附着物去除方案并不局限于此,在本发明的其他实施例中,还可以采用成像去除方法来去除相机镜头201上的附着物。以下将结合图11来解释说明如何通过成像去除的方式来去除相机镜头201上的附着物。
本发明实施例的控制装置12还可以在可移动平台的运行过程中,控制相机20进行图像拍摄。返回参照图1所示,附着物去除装置10除了包括检测装置11和控制装置12之外,还包括与控制装置12连接的图像处理装置13。控制装置12可以控制图像处理装置13通过附着物成像去除算法来将附着物从拍摄的图像中去除。
图11揭示了本发明又一个实施例的图像处理装置133的示意性框图。如图11所示,图像处理装置133包括识别装置1332和去除装置1333。识别装置1332可以从拍摄的图像中识别出附着物。去除装置1333与识别装置1332连接,可以将识别出的附着物从图像中去除。
在本发明的一些实施例中,图像处理装置131还包括存储装置1331,存储装置1331可以用来存储预先为附着物设置的多个附着物图像模板。识别装置1332可以对拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像,并基于分割后的多个局部图像与存储装置1331预先存储的附着物图像模板的匹配率来识别出附着物。例如,附着物在相机镜头201的周边聚集的可能性大于镜头中心,固态附着物在镜头的下部聚集的可能性大于镜头上部,因此,可以通过图像区域分割来识别附着物。识别装置1332可以通过例如卷积神经网络(Convolutional Neural Networks,CNN)等神经网络算法、遗传算法、聚类算法等来对图像进行分割。去除装置1333可以基于附着物图像模板对多个局部图像进行分层,其中,识别出的附着物可以单独建立附着物图像层,并去除附着物图像层以得到去除附着物后的图像。
在本发明的另一些实施例中,识别装置1332可以基于拍摄的图像中的相邻帧图像的各像素点的差值来识别出附着物。具体地,识别装置1332可以通过例如卷积神经网络等神经网络算法、遗传算法、聚类算法等计算相邻帧图像中各像素点的差值,对各像素点时间序列上的差值求均方值,并基于均方值来识别出附着物。去除装置1333可以进一步基于均方值对图像进行分层,其中,识别出的附着物可以单独建立附着物图像层,并去除附着物图像层以得到去除附着物后的图像。
经分析发现,固态的灰尘、细沙、雪粒和液态的液滴等都具有类似水雾的成像效果,镜头上有附着物的部分成像后其暗通道(dark channel)效应与水雾类似。因此,在本发明的其他实施例中,在识别装置1332识别出附着物后,去除装置1333可以利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分,并基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除附着物后的图像。
在本发明的另一些实施例中,附着物去除装置10也可以不包括检测装置11,附着物去除装置10中的控制装置12可以在接收到对相机镜头201上的附着物进行去除的外部指令时,启动对附着物进行去除的操作。外部指令可以来源于各种检测装置,也可以来源于用户手工触发,或是由多种方法判定获得。
本发明实施例的附着物去除装置10可应用于可移动平台工作,特别是无人机航拍、救援或救灾的技术领域。然而,本发明实施例的附着物去除装置10并不局限应用于可移动平台,事实上,本发明实施例的附着物去除装置10也可以应用于固定平台,例如室外大型操作平台、自然监控站、野外电塔电站等,但凡操作人员远离相机镜头难以手动去除镜头附着物的场合均可以采用本发明实施例的附着物去除装置10,特别是周围天气恶劣,人类难以驻扎的环境下效果较佳。
本发明实施例的附着物去除装置10能够自动去除相机镜头上的附着物,有效解决镜头外表面附着物影响成像效果且难以人工去除的技术问题,减小航拍、救灾等场景中的准备工作和使用负担,提高复杂环境中的成像效果。本发明实施例的附着物去除装置10具有高效的去除效率。
本发明实施例还提供了一种附着物去除方法。图12揭示了本发明一个实施例的附着物去除方法的流程图。本发明实施例的附着物去除方法可以应用于可移动平台,当然,本发明实施例的附着物去除方法也可以应用于搭载相机且难以手动去除相机镜头附着物的固定平台。以下将以附着物去除方法应用于可移动平台为例来进行说明。该可移动平台包括平台主体及安装于平台主体上的相机。如图12所示,本发明一个实施例的附着物去除方法可以包括步骤S11和步骤S12。
在步骤S11中,在可移动平台的运行过程中,对相机镜头上的附着物进行检测。
在一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过附着于镜头罩表面透光孔处的压电薄膜来检测相机镜头上的附着物,其中,镜头罩设置于相机镜头上。在压电薄膜输出压力峰值时,则可以判定镜头罩上有附着物。
在另一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过设置于可移动平台和/或相机上的湿度传感器来检测相机镜头上的附着物。在湿度传感器检测到的湿度大于预定湿度阈值时,则判定相机镜头上有附着物。
在又一个实施例中,步骤S11的对相机镜头上的附着物进行检测可以包括:通过可移动平台的控制端的天气预报信息应用程序接口接收可移动平台运行区域内的天气状况;及根据可移动平台运行区域内的天气状况来检测相机镜头上的附着物。在可移动平台运行区域内的天气状况为雨、雪或风沙天气时,则判定相机镜头上有附着物。
在步骤S12中,至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。
在本发明的一些实施例中,可移动平台还包括用于搭载相机的云台,步骤S12的启动对附着物进行去除的操作包括:控制云台相对于可移动平台运动以去除相机镜头上的附着物。从而,可以通过物理性去除方式来去除附着物。
在一个实施例中,控制云台相对于可移动平台运动包括:控制云台绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,可以控制云台绕云台偏航轴旋转。可选地,本发明实施例的附着物去除方法还可以包括:在云台绕云台偏航轴旋转时,控制相机镜头始终保持朝向下方。
或者,也可以控制云台绕云台横滚轴旋转。可选地,本发明实施例的附着物去除方法还可以包括:在云台绕云台横滚轴进行旋转的过程中,控制相机持续进行图像拍摄。进一步可选地,本发明实施例的附着物去除方法还可以包括:对拍摄的图像进行图像处理。
图13揭示了本发明一个实施例的图像处理方法的流程图。如图12所示,本发明实施例的图像处理方法可以包括步骤S21至S24。
在步骤S21中,对拍摄的图像进行图像裁切,从而将拍摄的图像裁切成画幅一致的图像。例如,可以参照图6所示的图像裁切方式,将拍摄的图像按照1:1的比例统一裁切为正方形图像。或者,也可以参照图7和图8所示的图像裁切方式,对拍摄的图像做最大内切圆以将拍摄的图像统一裁切为圆形图像。
在步骤S22中,对裁切后的图像进行图像旋转以保证图像方向的一致性。图像旋转可以基于拍摄图像时云台和/或相机的运动信息进行。
在步骤S23中,对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准可以基于可移动平台的自身姿态和云台的姿态进行计算。可选地,在图像配准之后图像校正之前,还可能进一步对配准后的图像进行二次图像裁切,以达到图像增稳的要求。
在步骤S24中,对配准后的图像进行图像校正。在配准后对图像进行二次图像裁切的情况下,则可以基于二次图像裁切后的图像进行图像校正。
本发明实施例的图像处理方法先进行图像裁切,从而,可以减少后续图像处理的运算量,提高图像处理效率。
可选地,本发明实施例的图像处理方法还可以包括步骤S25。在步骤S25中,还可以对图像进行其他处理,例如包括但不限于白平衡、色温调节及曝光调节等中的至少一种后处理。
图14揭示了本发明另一个实施例的图像处理方法的流程图。如图13所示,本发明实施例的图像处理方法可以包括步骤S31至S34。
在步骤S31中,对拍摄的图像进行图像旋转以保证图像方向的一致性。图像旋转可以基于拍摄图像时云台和/或相机的运动信息进行。
在步骤S32中,对旋转后的图像进行图像配准以防止相邻输出帧之间的跳变。图像配准可以基于可移动平台的自身姿态和云台的姿态进行计算。
在步骤S33中,对配准后的图像进行图像校正。
在步骤S34中,对校正后的图像进行图像裁切,从而将校正后的图像裁切成画幅一致的图像。例如,可以参照图6所示的图像裁切方式,将校正后的图像按照1:1的比例统一裁切为正方形图像。或者,也可以参照图7和图8所示的图像裁切方式,对校正后的图像做最大内切圆以将校正后的图像统一裁切为圆形图像。
可选地,步骤S34的对校正后的图像进行图像裁切还可以包括:在配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。例如,可以参照图10所示,在配准后的图像的缺失部分大于30%等预定阈值时,则判定配准后的图像不满足图像裁切的条件。
本发明实施例的图像处理方法将图像裁切放在图像旋转、图像配准和图像校正之后,未经裁切的拍摄图像能够带来更好的图像配准和校正效果。
可选地,本发明实施例的图像处理方法还可以包括步骤S35。在步骤S35中,还可以对图像进行其他处理,例如包括但不限于白平衡、色温调节及曝光调节等中的至少一种后处理。
在另一个实施例中,控制云台相对于可移动平台运动包括:控制云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,从而产生抖动以通过物理性去除方式去除相机镜头上的附着物。
以上介绍了通过物理性去除方法将相机镜头上的附着物从相机镜头上去除。
返回参照图12所示,在本发明的另一些实施例中,本发明实施例的附着物去除方法还可以包括步骤S13。在步骤S13中,在可移动平台的运行过程中,控制相机进行图像拍摄。在这种情况下,步骤S12的启动对附着物进行去除的操作可以包括:通过附着物成像去除算法将附着物从拍摄的图像中去除。从而,可以通过图像去除的方法将附着物去除掉。
图15揭示了本发明一个实施例的通过附着物成像去除算法将附着物从拍摄的图像中去除的流程图。如图15所示,通过附着物成像去除算法将附着物从拍摄的图像中去除可以进一步包括步骤S41和步骤S42。
在步骤S41中,从拍摄的图像中识别出附着物。
在步骤S42中,在识别出附着物之后,将附着物从图像中去除。
图16揭示了图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的一个实施例的详细步骤。如图16所示,步骤S41的从拍摄的图像中识别出附着物可以包括步骤S51至步骤S53。
在步骤S51中,预先为附着物设置多个附着物图像模板。
在步骤S52中,对拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像。
在步骤S53中,基于分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出附着物。
步骤S42的将附着物从图像中去除可以包括步骤S54至步骤S55。
在步骤S54中,基于附着物图像模板对多个局部图像进行分层,其中,识别出的附着物单独建立附着物图像层。
在步骤S55中,去除附着物图像层以得到去除附着物后的图像。
图17揭示了图15所示的通过附着物成像去除算法将附着物从拍摄的图像中去除的另一个实施例的详细步骤。如图17所示,步骤S41的从拍摄的图像中识别出附着物可以包括步骤S60。在步骤S60中,可以基于拍摄的图像中的相邻帧图像的各像素点的差值来识别出附着物。步骤S60可以进一步包括步骤S61至步骤S63。
在步骤S61中,计算相邻帧图像中各像素点的差值。
在步骤S62中,对各像素点时间序列上的差值求均方值。
在步骤S63中,基于均方值来识别出附着物。
步骤S42的将附着物从图像中去除可以包括步骤S64至步骤S65。
在步骤S64中,基于均方值对图像进行分层,其中,识别出的附着物单独建立附着物图像层。
在步骤S65中,去除附着物图像层以得到去除附着物后的图像。
图18揭示了图15所示的将附着物从图像中去除的又一个实施例的详细步骤。如图18所示,步骤S42的将附着物从图像中去除可以进一步包括步骤S71和步骤S72。在步骤S71中,可以利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分。在步骤S72中,可以基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除附着物后的图像。
在本发明的另一些实施例中,附着物去除方法也可以不包括对相机镜头上的附着物进行检测的步骤S11。附着物去除方法可以始于在接收到对相机镜头201上的附着物进行去除的外部指令时,启动对附着物进行去除操作的步骤S12。
本发明实施例的附着物去除方法具有与上述附着物去除装置10相类似的有益技术效果,故,在此不再赘述。
本发明实施例还提供了一种云台的控制方法。图19揭示了本发明一个实施例的云台的控制方法的流程图。如图19所示,云台用于搭载相机,本发明一个实施例的云台的控制方法可以包括步骤S81和步骤S82。
在步骤S81中,获得相机镜头上的附着物的检测结果。
在步骤S82中,至少部分地基于检测结果,控制云台运动以去除相机镜头上的附着物。
在本发明的另一个实施例中,云台的控制方法还可以始于在接收到对相机镜头201上的附着物进行去除的外部指令时,控制云台运动以去除相机镜头201上的附着物。
在一些实施例中,步骤S82的控制云台运动包括:控制云台绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,在一个实施例中,控制云台运动可以包括:控制云台绕云台偏航轴旋转。可选地,本发明实施例的云台的控制方法还可以包括:在云台绕云台偏航轴旋转时,控制云台的云台俯仰轴以使得相机镜头始终保持朝向下方。在另一个实施例中,控制云台运动也可以包括:控制云台绕云台横滚轴旋转。
在一些实施例中,步骤S82的控制云台运动包括:控制云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动。从而产生抖动以将附着物从相机镜头上去除。
本发明实施例的云台的控制方法通过对云台进行相应的控制,从而能够有效去除云台所搭载的相机镜头上的附着物。
本发明实施例还提供了一种云台。图20揭示了本发明一个实施例的云台30的示意图。如图20所示,本发明一个实施例的云台30可以用来承载相机20,该云台包括轴臂、设置于轴臂上用于安装相机20的相机安装部304以及控制装置12。云台30的轴臂包括可绕云台偏航(yaw)轴A1旋转的偏航轴臂301、可绕云台横滚(roll)轴A2旋转的横滚轴臂302、以及可绕云台俯仰(pitch)轴A3旋转的俯仰轴臂(未图示)。控制装置12可以获得相机镜头上的附着物的检测结果,并至少部分地基于检测结果,控制云台运动以去除相机镜头上的附着物。或者,在另一些实施例中,控制装置12可以在接收到对相机镜头201上的附着物进行去除的外部指令时,控制云台运动以去除相机镜头上的附着物。
在一些实施例中,控制装置12可以控制轴臂绕轴线进行旋转以利用离心力将附着物甩离相机镜头。例如,在一个实施例中,控制装置12可以控制偏航轴臂301绕云台偏航轴A1旋转以去除附着物。可选地,在偏航轴臂301旋转时,控制装置12还可以控制俯仰轴臂以使得相机镜头始终保持朝向下方。在另一个实施例中,控制装置12可以控制横滚轴臂302绕云台横滚轴A2旋转以去除附着物。
在另一些实施例中,控制装置12可以控制偏航轴臂301、横滚轴臂302和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除附着物。
本发明实施例的云台30能够有效地用来对云台30所搭载的相机镜头上的附着物进行去除。
本发明实施例还提供了一种可移动平台。本发明上面各个实施例所述的附着物去除装置10能够应用于可移动平台上,可移动平台例如包括但不限于无人车、无人机或无人船等。图21揭示了本发明一个实施例的附着物去除装置10的应用场景示意图,其中,图21中的可移动平台8以一种无人机的形式被示出。如图21所示,可移动平台8包括平台主体80及安装于平台主体80上的相机20。对于无人机来说,平台主体80即为无人机的机身。可移动平台8还包括上面各个实施例所述的附着物去除装置10,用来对相机镜头上的附着物进行去除。附着物去除装置10包括检测装置11及控制装置12。检测装置11可以在可移动平台的运行过程中,对相机镜头上的附着物进行检测。控制装置12可以至少部分地基于附着物的检测结果,启动对附着物进行去除的操作。可选地,控制装置12可以设置于平台主体80上。
在一些实施例中,可移动平台8还可以包括安装于平台主体80上用于搭载相机20的云台30。
本发明实施例的可移动平台8例如可以运用于无法进行人工干预的沙尘暴、洪灾、水域救援等环境杂质较多的场景,用于救灾的目标检测或灾害情报的获取。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的附着物去除方法及装置、云台及其控制方法及可移动平台进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,本说明书内容不应理解为对本发明的限制。同时,对于本领域的一般技术人员,依据本发明的思想,可以在具体实施方式及应用范围上做出任何修改、等同替换或改进等,其均应包含在本发明的权利要求书的范围之内。
Claims (190)
1.一种附着物去除方法,其应用于可移动平台,所述可移动平台包括平台主体、安装于所述平台主体上的相机及用于搭载所述相机的云台,其特征在于,所述方法包括:
在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测;以及
至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作;
所述启动对所述附着物进行去除的操作包括:控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
2.如权利要求1所述的方法,其特征在于,所述启动对所述附着物进行去除的操作包括:
控制所述云台相对于所述可移动平台运动以去除所述相机镜头上的所述附着物。
3.如权利要求2所述的方法,其特征在于,所述控制所述云台相对于所述可移动平台运动包括:
控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
4.如权利要求3所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台偏航轴旋转。
5.如权利要求4所述的方法,其特征在于,还包括:
在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
6.如权利要求3所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台横滚轴旋转。
7.如权利要求6所述的方法,其特征在于,还包括:
在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
8.如权利要求7所述的方法,其特征在于,还包括:
对拍摄的图像进行图像处理。
9.如权利要求8所述的方法,其特征在于,所述图像处理包括:
对所述拍摄的图像进行图像旋转。
10.如权利要求9所述的方法,其特征在于,所述图像旋转基于拍摄图像时所述云台和/或所述相机的运动信息进行。
11.如权利要求9所述的方法,其特征在于,所述图像处理还包括:
对旋转后的图像进行图像配准。
12.如权利要求11所述的方法,其特征在于,所述图像配准基于所述可移动平台的自身姿态和所述云台的姿态进行计算。
13.如权利要求11所述的方法,其特征在于,所述图像处理还包括:
对配准后的图像进行图像校正。
14.如权利要求13所述的方法,其特征在于,所述图像处理还包括:
在所述图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转基于裁切后的图像进行。
15.如权利要求14所述的方法,其特征在于,所述图像处理还包括:
在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正基于二次图像裁切后的图像进行。
16.如权利要求13所述的方法,其特征在于,所述图像处理还包括:
在所述图像校正之后,对校正后的图像进行图像裁切。
17.如权利要求16所述的方法,其特征在于,所述对校正后的图像进行图像裁切还包括:
在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
18.如权利要求17所述的方法,其特征在于,在所述配准后的图像的缺失部分大于预定阈值时,则判定所述配准后的图像不满足图像裁切的条件。
19.如权利要求14或16所述的方法,其特征在于,所述图像裁切包括:
将所述图像按照1:1的比例裁切为正方形图像。
20.如权利要求14或16所述的方法,其特征在于,所述图像裁切包括:
对所述图像做最大内切圆以将所述图像裁切为圆形图像。
21.如权利要求13所述的方法,其特征在于,所述图像处理还包括:对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
22.如权利要求6所述的方法,其特征在于,还包括:
在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
23.如权利要求1所述的方法,其特征在于,还包括:
在所述可移动平台的运行过程中,控制所述相机进行图像拍摄;
其中,所述启动对所述附着物进行去除的操作包括:
通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
24.如权利要求23所述的方法,其特征在于,所述通过附着物成像去除算法将所述附着物从拍摄的图像中去除包括:
从所述拍摄的图像中识别出所述附着物;及
将所述附着物从所述图像中去除。
25.如权利要求24所述的方法,其特征在于,所述从所述拍摄的图像中识别出所述附着物包括:
预先为附着物设置多个附着物图像模板;
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
26.如权利要求25所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
27.如权利要求24所述的方法,其特征在于,所述从所述拍摄的图像中识别出所述附着物包括:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
28.如权利要求27所述的方法,其特征在于,所述基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物包括:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
29.如权利要求28所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
30.如权利要求24所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
31.如权利要求1所述的方法,其特征在于,所述对所述相机镜头上的附着物进行检测包括:
通过附着于镜头罩表面透光孔处的压电薄膜来检测所述相机镜头上的附着物,其中,所述镜头罩设置于所述相机镜头上。
32.如权利要求31所述的方法,其特征在于,在所述压电薄膜输出压力峰值时,判定所述镜头罩上有附着物。
33.如权利要求1所述的方法,其特征在于,所述对所述相机镜头上的附着物进行检测包括:
通过设置于所述可移动平台和/或所述相机上的湿度传感器来检测所述相机镜头上的附着物。
34.如权利要求33所述的方法,其特征在于,在所述湿度传感器检测到的湿度大于预定湿度阈值时,则判定所述相机镜头上有附着物。
35.如权利要求1所述的方法,其特征在于,所述对所述相机镜头上的附着物进行检测包括:
通过所述可移动平台的控制端的天气预报信息应用程序接口接收所述可移动平台运行区域内的天气状况;及
根据所述可移动平台运行区域内的所述天气状况来检测所述相机镜头上的附着物。
36.如权利要求35所述的方法,其特征在于,在所述可移动平台运行区域内的所述天气状况为雨、雪或风沙天气时,则判定所述相机镜头上有附着物。
37.一种附着物去除装置,其应用于可移动平台,所述可移动平台包括平台主体、安装于所述平台主体上的相机及用于搭载所述相机的云台,其特征在于,所述附着物去除装置包括:
检测装置,用于在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测;及
控制装置,用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作;
其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
38.如权利要求37所述的装置,其特征在于,所述控制装置用于控制所述云台相对于所述可移动平台运动以去除所述相机镜头上的所述附着物。
39.如权利要求38所述的装置,其特征在于,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
40.如权利要求39所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台偏航轴旋转。
41.如权利要求40所述的装置,其特征在于,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
42.如权利要求39所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台横滚轴旋转。
43.如权利要求42所述的装置,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
44.如权利要求43所述的装置,其特征在于,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
45.如权利要求44所述的装置,其特征在于,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
46.如权利要求45所述的装置,其特征在于,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
47.如权利要求45所述的装置,其特征在于,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
48.如权利要求47所述的装置,其特征在于,所述图像配准装置基于所述可移动平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
49.如权利要求47所述的装置,其特征在于,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
50.如权利要求49所述的装置,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
51.如权利要求50所述的装置,其特征在于,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
52.如权利要求49所述的装置,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
53.如权利要求52所述的装置,其特征在于,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
54.如权利要求53所述的装置,其特征在于,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
55.如权利要求50或52所述的装置,其特征在于,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
56.如权利要求50或52所述的装置,其特征在于,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
57.如权利要求49所述的装置,其特征在于,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
58.如权利要求42所述的装置,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
59.如权利要求37所述的装置,其特征在于,所述控制装置还用于在所述可移动平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
60.如权利要求59所述的装置,其特征在于,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
61.如权利要求60所述的装置,其特征在于,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
62.如权利要求61所述的装置,其特征在于,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
63.如权利要求60所述的装置,其特征在于,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
64.如权利要求63所述的装置,其特征在于,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
65.如权利要求64所述的装置,其特征在于,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
66.如权利要求60所述的装置,其特征在于,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
67.如权利要求37所述的装置,其特征在于,所述检测装置包括附着于镜头罩表面透光孔处的压电薄膜,其中,所述镜头罩设置于所述相机镜头上,所述检测装置通过附着于镜头罩表面透光孔处的压电薄膜来检测所述相机镜头上的附着物。
68.如权利要求67所述的装置,其特征在于,所述检测装置在检测到所述压电薄膜输出压力峰值时,判定所述镜头罩上有附着物。
69.如权利要求37所述的装置,其特征在于,所述检测装置包括设置于所述可移动平台和/或所述相机上的湿度传感器,所述检测装置通过所述湿度传感器来检测所述相机镜头上的附着物。
70.如权利要求69所述的装置,其特征在于,在所述湿度传感器检测到的湿度大于预定湿度阈值时,则所述检测装置判定所述相机镜头上有附着物。
71.如权利要求37所述的装置,其特征在于,所述检测装置通过所述可移动平台的控制端的天气预报信息应用程序接口接收所述可移动平台运行区域内的天气状况,并根据所述可移动平台运行区域内的所述天气状况来检测所述相机镜头上的附着物。
72.如权利要求71所述的装置,其特征在于,在所述可移动平台运行区域内的所述天气状况为雨、雪或风沙天气时,则所述检测装置判定所述相机镜头上有附着物。
73.一种云台的控制方法,所述云台用于搭载相机,其特征在于,所述方法包括:
获得所述相机镜头上的附着物的检测结果;及
至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物;
所述控制所述云台运动以去除所述相机镜头上的所述附着物包括:控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
74.如权利要求73所述的方法,其特征在于,所述控制所述云台运动包括:
控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
75.如权利要求74所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台偏航轴旋转。
76.如权利要求75所述的方法,其特征在于,还包括:
在所述云台旋转时,控制所述云台的云台俯仰轴以使得所述相机镜头始终保持朝向下方。
77.如权利要求74所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台横滚轴旋转。
78.一种云台,用于承载相机,其特征在于,所述云台包括:
轴臂;所述轴臂包括可绕云台偏航轴旋转的偏航轴臂、可绕云台横滚轴旋转的横滚轴臂及可绕云台俯仰轴旋转的俯仰轴臂;
相机安装部,设置于所述轴臂上,用于安装所述相机;以及
控制装置,用于获得所述相机镜头上的附着物的检测结果,并至少部分地基于所述检测结果,控制所述云台运动以去除所述相机镜头上的所述附着物;
其中,所述控制装置用于控制所述偏航轴臂、所述横滚轴臂和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除所述附着物,以利用离心力将所述附着物甩离所述相机镜头。
79.如权利要求78所述的云台,其特征在于,所述控制装置用于控制所述轴臂绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
80.如权利要求79所述的云台,其特征在于,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂,所述控制装置用于控制所述偏航轴臂绕所述云台偏航轴旋转以去除所述附着物。
81.如权利要求80所述的云台,其特征在于,所述轴臂还包括可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置还用于在所述偏航轴臂旋转时,控制所述俯仰轴臂以使得所述相机镜头始终保持朝向下方。
82.如权利要求79所述的云台,其特征在于,所述轴臂包括可绕云台横滚轴旋转的横滚轴臂,所述控制装置用于控制所述横滚轴臂绕所述云台横滚轴旋转以去除所述附着物。
83.一种可移动平台,其包括平台主体、安装于所述平台主体上的相机及用于搭载所述相机的云台,其特征在于,所述可移动平台还包括附着物去除装置,所述附着物去除装置包括:
检测装置,用于在所述可移动平台的运行过程中,对所述相机镜头上的附着物进行检测;及
控制装置,用于至少部分地基于所述附着物的检测结果,启动对所述附着物进行去除的操作;
其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
84.如权利要求83所述的可移动平台,其特征在于,所述可移动平台还包括用于搭载所述相机的云台,所述控制装置用于控制所述云台相对于所述可移动平台运动以去除所述相机镜头上的所述附着物。
85.如权利要求84所述的可移动平台,其特征在于,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
86.如权利要求85所述的可移动平台,其特征在于,所述控制装置用于控制所述云台绕云台偏航轴旋转。
87.如权利要求86所述的可移动平台,其特征在于,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
88.如权利要求85所述的可移动平台,其特征在于,所述控制装置用于控制所述云台绕云台横滚轴旋转。
89.如权利要求88所述的可移动平台,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
90.如权利要求89所述的可移动平台,其特征在于,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
91.如权利要求90所述的可移动平台,其特征在于,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
92.如权利要求91所述的可移动平台,其特征在于,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
93.如权利要求91所述的可移动平台,其特征在于,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
94.如权利要求93所述的可移动平台,其特征在于,所述图像配准装置基于所述可移动平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
95.如权利要求93所述的可移动平台,其特征在于,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
96.如权利要求95所述的可移动平台,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
97.如权利要求96所述的可移动平台,其特征在于,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
98.如权利要求95所述的可移动平台,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
99.如权利要求98所述的可移动平台,其特征在于,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
100.如权利要求99所述的可移动平台,其特征在于,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
101.如权利要求96或98所述的可移动平台,其特征在于,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
102.如权利要求96或98所述的可移动平台,其特征在于,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
103.如权利要求95所述的可移动平台,其特征在于,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
104.如权利要求88所述的可移动平台,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
105.如权利要求83所述的可移动平台,其特征在于,所述控制装置还用于在所述可移动平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
106.如权利要求105所述的可移动平台,其特征在于,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
107.如权利要求106所述的可移动平台,其特征在于,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
108.如权利要求107所述的可移动平台,其特征在于,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
109.如权利要求107所述的可移动平台,其特征在于,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
110.如权利要求109所述的可移动平台,其特征在于,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
111.如权利要求110所述的可移动平台,其特征在于,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
112.如权利要求106所述的可移动平台,其特征在于,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
113.如权利要求83所述的可移动平台,其特征在于,所述检测装置包括附着于镜头罩表面透光孔处的压电薄膜,其中,所述镜头罩设置于所述相机镜头上,所述检测装置通过附着于镜头罩表面透光孔处的压电薄膜来检测所述相机镜头上的附着物。
114.如权利要求113所述的可移动平台,其特征在于,所述检测装置在检测到所述压电薄膜输出压力峰值时,判定所述镜头罩上有附着物。
115.如权利要求83所述的可移动平台,其特征在于,所述检测装置包括设置于所述可移动平台和/或所述相机上的湿度传感器,所述检测装置通过所述湿度传感器来检测所述相机镜头上的附着物。
116.如权利要求115所述的可移动平台,其特征在于,在所述湿度传感器检测到的湿度大于预定湿度阈值时,则所述检测装置判定所述相机镜头上有附着物。
117.如权利要求83所述的可移动平台,其特征在于,所述检测装置通过所述可移动平台的控制端的天气预报信息应用程序接口接收所述可移动平台运行区域内的天气状况,并根据所述可移动平台运行区域内的所述天气状况来检测所述相机镜头上的附着物。
118.如权利要求117所述的可移动平台,其特征在于,在所述可移动平台运行区域内的所述天气状况为雨、雪或风沙天气时,则所述检测装置判定所述相机镜头上有附着物。
119.如权利要求83所述的可移动平台,其特征在于,所述可移动平台包括无人车、无人机或无人船。
120.如权利要求83所述的可移动平台,其特征在于,所述控制装置设置于所述平台主体上。
121.一种附着物去除方法,其应用于可移动平台,所述可移动平台包括平台主体、安装于所述平台主体上的相机及用于搭载所述相机的云台,其特征在于,所述方法包括:
在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作;
所述启动对所述附着物进行去除的操作包括:控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
122.如权利要求121所述的方法,其特征在于,所述启动对所述附着物进行去除的操作包括:
控制所述云台相对于所述可移动平台运动以去除所述相机镜头上的所述附着物。
123.如权利要求122所述的方法,其特征在于,所述控制所述云台相对于所述可移动平台运动包括:
控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
124.如权利要求123所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台偏航轴旋转。
125.如权利要求124所述的方法,其特征在于,还包括:
在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
126.如权利要求123所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台横滚轴旋转。
127.如权利要求126所述的方法,其特征在于,还包括:
在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
128.如权利要求127所述的方法,其特征在于,还包括:
对拍摄的图像进行图像处理。
129.如权利要求128所述的方法,其特征在于,所述图像处理包括:
对所述拍摄的图像进行图像旋转。
130.如权利要求129所述的方法,其特征在于,所述图像旋转基于拍摄图像时所述云台和/或所述相机的运动信息进行。
131.如权利要求129所述的方法,其特征在于,所述图像处理还包括:
对旋转后的图像进行图像配准。
132.如权利要求131所述的方法,其特征在于,所述图像配准基于所述可移动平台的自身姿态和所述云台的姿态进行计算。
133.如权利要求131所述的方法,其特征在于,所述图像处理还包括:
对配准后的图像进行图像校正。
134.如权利要求133所述的方法,其特征在于,所述图像处理还包括:
在所述图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转基于裁切后的图像进行。
135.如权利要求134所述的方法,其特征在于,所述图像处理还包括:
在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正基于二次图像裁切后的图像进行。
136.如权利要求133所述的方法,其特征在于,所述图像处理还包括:
在所述图像校正之后,对校正后的图像进行图像裁切。
137.如权利要求136所述的方法,其特征在于,所述对校正后的图像进行图像裁切还包括:
在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
138.如权利要求137所述的方法,其特征在于,在所述配准后的图像的缺失部分大于预定阈值时,则判定所述配准后的图像不满足图像裁切的条件。
139.如权利要求134或138所述的方法,其特征在于,所述图像裁切包括:
将所述图像按照1:1的比例裁切为正方形图像。
140.如权利要求134或138所述的方法,其特征在于,所述图像裁切包括:
对所述图像做最大内切圆以将所述图像裁切为圆形图像。
141.如权利要求133所述的方法,其特征在于,所述图像处理还包括:对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
142.如权利要求126所述的方法,其特征在于,还包括:
在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
143.如权利要求121所述的方法,其特征在于,还包括:
在所述可移动平台的运行过程中,控制所述相机进行图像拍摄;
其中,所述启动对所述附着物进行去除的操作包括:
通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
144.如权利要求143所述的方法,其特征在于,所述通过附着物成像去除算法将所述附着物从拍摄的图像中去除包括:
从所述拍摄的图像中识别出所述附着物;及
将所述附着物从所述图像中去除。
145.如权利要求144所述的方法,其特征在于,所述从所述拍摄的图像中识别出所述附着物包括:
预先为附着物设置多个附着物图像模板;
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
146.如权利要求145所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
147.如权利要求144所述的方法,其特征在于,所述从所述拍摄的图像中识别出所述附着物包括:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
148.如权利要求147所述的方法,其特征在于,所述基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物包括:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
149.如权利要求148所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
150.如权利要求144所述的方法,其特征在于,所述将所述附着物从所述图像中去除包括:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
151.一种附着物去除装置,其应用于可移动平台,所述可移动平台包括平台主体、安装于所述平台主体上的相机及用于搭载所述相机的云台,其特征在于,所述附着物去除装置包括:
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,启动对所述附着物进行去除的操作;
其中,所述控制装置用于控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
152.如权利要求151所述的装置,其特征在于,所述控制装置用于控制所述云台相对于所述可移动平台运动以去除所述相机镜头上的所述附着物。
153.如权利要求152所述的装置,其特征在于,所述控制装置用于控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
154.如权利要求153所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台偏航轴旋转。
155.如权利要求154所述的装置,其特征在于,所述控制装置还用于在所述云台旋转时,控制所述相机镜头始终保持朝向下方。
156.如权利要求153所述的装置,其特征在于,所述控制装置用于控制所述云台绕云台横滚轴旋转。
157.如权利要求156所述的装置,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机持续进行图像拍摄。
158.如权利要求157所述的装置,其特征在于,还包括:
图像处理装置,用于对拍摄的图像进行图像处理。
159.如权利要求158所述的装置,其特征在于,所述图像处理装置包括:
图像旋转装置,用于对所述拍摄的图像进行图像旋转。
160.如权利要求159所述的装置,其特征在于,所述图像旋转装置基于拍摄图像时所述云台和/或所述相机的运动信息进行图像旋转。
161.如权利要求159所述的装置,其特征在于,所述图像处理装置还包括:
图像配准装置,用于对旋转后的图像进行图像旋转。
162.如权利要求161所述的装置,其特征在于,所述图像配准装置基于所述可移动平台的自身姿态和所述云台的姿态进行所述图像配准的计算。
163.如权利要求161所述的装置,其特征在于,所述图像处理装置还包括:
图像校正装置,用于对配准后的图像进行图像校正。
164.如权利要求163所述的装置,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像旋转装置进行图像旋转之前,对所述拍摄的图像进行图像裁切,
其中,所述图像旋转装置基于所述图像裁切装置裁切后的图像进行图像旋转。
165.如权利要求164所述的装置,其特征在于,所述图像裁切装置还用于在所述图像配准之后所述图像校正之前,对配准后的图像进行二次图像裁切,
其中,所述图像校正装置基于二次图像裁切后的图像进行图像校正。
166.如权利要求163所述的装置,其特征在于,所述图像处理装置还包括:
图像裁切装置,用于在所述图像校正装置进行图像校正之后,对校正后的图像进行图像裁切。
167.如权利要求166所述的装置,其特征在于,所述图像裁切装置还用于在所述配准后的图像不满足图像裁切的条件时,则选择丢弃相关帧的图像以维持图像的稳定性。
168.如权利要求167所述的装置,其特征在于,在所述配准后的图像的缺失部分大于预定阈值时,则所述图像裁切装置用于判定所述配准后的图像不满足图像裁切的条件。
169.如权利要求164或166所述的装置,其特征在于,所述图像裁切装置用于将所述图像按照1:1的比例裁切为正方形图像。
170.如权利要求164或166所述的装置,其特征在于,所述图像裁切装置用于对所述图像做最大内切圆以将所述图像裁切为圆形图像。
171.如权利要求163所述的装置,其特征在于,所述图像处理装置还用于对图像进行白平衡、色温调节及曝光调节中的至少一种后处理。
172.如权利要求156所述的装置,其特征在于,所述控制装置还用于在所述云台进行旋转的过程中,控制所述相机的快门速度以配合所述云台进行调整。
173.如权利要求151所述的装置,其特征在于,所述控制装置还用于在所述可移动平台的运行过程中,控制所述相机进行图像拍摄,所述附着物去除装置还包括与所述控制装置连接的图像处理装置,
其中,所述控制装置控制所述图像处理装置通过附着物成像去除算法将所述附着物从拍摄的图像中去除。
174.如权利要求173所述的装置,其特征在于,所述图像处理装置包括:
识别装置,用于从所述拍摄的图像中识别出所述附着物;及
去除装置,用于将所述附着物从所述图像中去除。
175.如权利要求174所述的装置,其特征在于,所述图像处理装置还包括:
存储装置,用于存储预先为附着物设置的多个附着物图像模板,
其中,所述识别装置用于:
对所述拍摄的图像中的单帧图像进行图像分割形成分割后的多个局部图像;及
基于所述分割后的多个局部图像与预先存储的附着物图像模板的匹配率来识别出所述附着物。
176.如权利要求175所述的装置,其特征在于,所述去除装置被配置为:
基于所述附着物图像模板对所述多个局部图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
177.如权利要求174所述的装置,其特征在于,所述识别装置被配置为:
基于所述拍摄的图像中的相邻帧图像的各像素点的差值来识别出所述附着物。
178.如权利要求177所述的装置,其特征在于,所述识别装置被进一步配置为:
计算所述相邻帧图像中各像素点的差值;
对各像素点时间序列上的差值求均方值;及
基于所述均方值来识别出所述附着物。
179.如权利要求178所述的装置,其特征在于,所述去除装置被进一步配置为:
基于所述均方值对所述图像进行分层,其中,识别出的所述附着物单独建立附着物图像层;及
去除所述附着物图像层以得到去除所述附着物后的图像。
180.如权利要求174所述的装置,其特征在于,所述去除装置被配置为:
利用暗通道去雾算法从识别出的带有附着物的图像中估算出大气透射率和大气光成分;及
基于带有附着物的图像、估算出的大气透射率和大气光成分得到去除所述附着物后的图像。
181.一种云台的控制方法,所述云台用于搭载相机,其特征在于,所述方法包括:
在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物;
所述控制所述云台运动包括:控制所述云台绕云台偏航轴、云台横滚轴和云台俯仰轴中的至少一个轴在一定角度范围内往复转动,以利用离心力将所述附着物甩离所述相机镜头。
182.如权利要求181所述的方法,其特征在于,所述控制所述云台运动包括:
控制所述云台绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
183.如权利要求182所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台偏航轴旋转。
184.如权利要求183所述的方法,其特征在于,还包括:
在所述云台旋转时,控制所述云台的云台俯仰轴以使得所述相机镜头始终保持朝向下方。
185.如权利要求182所述的方法,其特征在于,所述控制所述云台绕轴线进行旋转包括:
控制所述云台绕云台横滚轴旋转。
186.一种云台,用于承载相机,其特征在于,所述云台包括:
轴臂;所述轴臂包括可绕云台偏航轴旋转的偏航轴臂、可绕云台横滚轴旋转的横滚轴臂及可绕云台俯仰轴旋转的俯仰轴臂;
相机安装部,设置于所述轴臂上,用于安装所述相机;以及
控制装置,用于在接收到对所述相机镜头上的附着物进行去除的外部指令时,控制所述云台运动以去除所述相机镜头上的所述附着物;
其中,所述控制装置用于控制所述偏航轴臂、所述横滚轴臂和俯仰轴臂中的至少一个轴臂绕相应轴在一定角度范围内往复转动以去除所述附着物,以利用离心力将所述附着物甩离所述相机镜头。
187.如权利要求186所述的云台,其特征在于,所述控制装置用于控制所述轴臂绕轴线进行旋转以利用离心力将所述附着物甩离所述相机镜头。
188.如权利要求187所述的云台,其特征在于,所述轴臂包括可绕云台偏航轴旋转的偏航轴臂,所述控制装置用于控制所述偏航轴臂绕所述云台偏航轴旋转以去除所述附着物。
189.如权利要求188所述的云台,其特征在于,所述轴臂还包括可绕云台俯仰轴旋转的俯仰轴臂,所述控制装置还用于在所述偏航轴臂旋转时,控制所述俯仰轴臂以使得所述相机镜头始终保持朝向下方。
190.如权利要求187所述的云台,其特征在于,所述轴臂包括可绕云台横滚轴旋转的横滚轴臂,所述控制装置用于控制所述横滚轴臂绕所述云台横滚轴旋转以去除所述附着物。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2020/117381 WO2022061641A1 (zh) | 2020-09-24 | 2020-09-24 | 附着物去除方法及装置、云台及其控制方法及可移动平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114026356A CN114026356A (zh) | 2022-02-08 |
CN114026356B true CN114026356B (zh) | 2023-08-29 |
Family
ID=80054414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080045266.1A Active CN114026356B (zh) | 2020-09-24 | 2020-09-24 | 附着物去除方法及装置、云台及其控制方法及可移动平台 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114026356B (zh) |
WO (1) | WO2022061641A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002031839A (ja) * | 2000-07-14 | 2002-01-31 | Yokogawa Electric Corp | パンチルトカメラ装置 |
CN104395156A (zh) * | 2012-07-03 | 2015-03-04 | 歌乐株式会社 | 车辆周围监视装置 |
CN108776440A (zh) * | 2018-06-11 | 2018-11-09 | 浙江国自机器人技术有限公司 | 一种云台控制方法、系统以及云台 |
CN109701916A (zh) * | 2018-12-31 | 2019-05-03 | 徐良 | 无人飞行器影像采集装置 |
CN109987240A (zh) * | 2019-02-26 | 2019-07-09 | 郑素英 | 一种基于磁力变换可擦拭内镜的无人机用摄像机 |
CN211223908U (zh) * | 2019-11-14 | 2020-08-11 | 薛梦灵 | 利用无人机遥感技术进行矿山综合治理的动态监测装置 |
CN111572462A (zh) * | 2020-05-29 | 2020-08-25 | 北京百度网讯科技有限公司 | 用于车辆的摄影装置 |
CN213069445U (zh) * | 2020-09-24 | 2021-04-27 | 深圳市大疆创新科技有限公司 | 附着物去除装置、云台相机及平台 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7440025B2 (en) * | 2005-11-15 | 2008-10-21 | Yi-Jen Cheng | Defogging device for a surveillance camera |
US20150029340A1 (en) * | 2013-07-26 | 2015-01-29 | JVC Kenwood Corporation | Water droplet removal apparatus and camera apparatus |
-
2020
- 2020-09-24 WO PCT/CN2020/117381 patent/WO2022061641A1/zh active Application Filing
- 2020-09-24 CN CN202080045266.1A patent/CN114026356B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002031839A (ja) * | 2000-07-14 | 2002-01-31 | Yokogawa Electric Corp | パンチルトカメラ装置 |
CN104395156A (zh) * | 2012-07-03 | 2015-03-04 | 歌乐株式会社 | 车辆周围监视装置 |
CN108776440A (zh) * | 2018-06-11 | 2018-11-09 | 浙江国自机器人技术有限公司 | 一种云台控制方法、系统以及云台 |
CN109701916A (zh) * | 2018-12-31 | 2019-05-03 | 徐良 | 无人飞行器影像采集装置 |
CN109987240A (zh) * | 2019-02-26 | 2019-07-09 | 郑素英 | 一种基于磁力变换可擦拭内镜的无人机用摄像机 |
CN211223908U (zh) * | 2019-11-14 | 2020-08-11 | 薛梦灵 | 利用无人机遥感技术进行矿山综合治理的动态监测装置 |
CN111572462A (zh) * | 2020-05-29 | 2020-08-25 | 北京百度网讯科技有限公司 | 用于车辆的摄影装置 |
CN213069445U (zh) * | 2020-09-24 | 2021-04-27 | 深圳市大疆创新科技有限公司 | 附着物去除装置、云台相机及平台 |
Also Published As
Publication number | Publication date |
---|---|
CN114026356A (zh) | 2022-02-08 |
WO2022061641A1 (zh) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110879601B (zh) | 一种对于未知风机结构的无人机巡检方法 | |
WO2020233683A1 (zh) | 云台控制方法、装置、控制终端及飞行器系统 | |
JP6496323B2 (ja) | 可動物体を検出し、追跡するシステム及び方法 | |
CN111316630B (zh) | 手持云台及其拍摄控制方法 | |
CN105242685B (zh) | 一种伴飞无人机航拍系统及方法 | |
WO2018072717A1 (zh) | 拍摄构图的方法及其装置、可移动物体及计算机可读存储介质 | |
CN108259703A (zh) | 一种云台的跟拍控制方法、装置及云台 | |
CN112585554A (zh) | 无人机巡检方法、装置及无人机 | |
CN213069445U (zh) | 附着物去除装置、云台相机及平台 | |
CN112653844A (zh) | 一种摄像头云台转向自适应跟踪调节方法 | |
TW201249713A (en) | Unmanned aerial vehicle control system and method | |
CN108163203B (zh) | 一种拍摄控制方法、装置及飞行器 | |
JP2017072986A (ja) | 自律飛行装置、自律飛行装置の制御方法及びプログラム | |
WO2019104641A1 (zh) | 无人机、其控制方法以及记录介质 | |
US20220195994A1 (en) | Blade inspection device and a blade condition monitoring system | |
CN111316187B (zh) | 一种云台的控制方法、云台及云台拍摄装置 | |
WO2018053785A1 (en) | Image processing in an unmanned autonomous vehicle | |
CN112154654A (zh) | 比赛拍摄方法、电子设备、无人机与存储介质 | |
CN105739544B (zh) | 云台航向跟随方法及装置 | |
CN109949381A (zh) | 图像处理方法、装置、图像处理芯片、摄像组件及飞行器 | |
CN113949814B (zh) | 一种枪球联动抓拍方法、装置、设备及介质 | |
CN113989124B (zh) | 一种提升云台摄像机定位精度的系统及其控制方法 | |
CN114026356B (zh) | 附着物去除方法及装置、云台及其控制方法及可移动平台 | |
US10308359B2 (en) | Moving device, method of controlling moving device and storage medium | |
WO2021031184A1 (zh) | 图像处理方法、设备和可移动平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |