CN108496352A - 拍摄方法及装置、图像处理方法及装置 - Google Patents
拍摄方法及装置、图像处理方法及装置 Download PDFInfo
- Publication number
- CN108496352A CN108496352A CN201780005467.7A CN201780005467A CN108496352A CN 108496352 A CN108496352 A CN 108496352A CN 201780005467 A CN201780005467 A CN 201780005467A CN 108496352 A CN108496352 A CN 108496352A
- Authority
- CN
- China
- Prior art keywords
- image
- preset quantity
- depth
- depth map
- capture apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 138
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 62
- 238000006073 displacement reaction Methods 0.000 claims description 103
- 230000033001 locomotion Effects 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 50
- 238000012216 screening Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 11
- 238000004040 coloring Methods 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007873 sieving Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
Abstract
一种拍摄方法及装置、图像处理方法及装置。该拍摄方法包括:在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。用户可以在上述第一图像的深度图上选取拍摄对象,最终呈现第一图像的景深效果图。本发明可以简化用户操作,提升拍摄体验。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种拍摄方法及装置、图像处理方法及装置。
背景技术
现代摄影艺术包含一种“一点清”的拍摄手法,即全画图像中仅有目标景物是清晰的,称为“实景”,其余部分是模糊的,称为“虚景”,通过虚实结合相互衬托,使目标景物更突出,从而获取更好的拍摄效果。
用户采用相机或者智能终端调节焦距、光圈或者快门等参数调整景深范围,从而得到上述虚实结合的图像。在使用无人机的场景时,上述拍摄方法受到限制,获取的图像质量无法满足用户需求。
发明内容
本发明提供一种拍摄方法及装置、图像处理方法及装置。
根据本发明的第一方面,提供一种拍摄方法,配置在无人机侧,所述方法包括:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
根据本发明的第二方面,提供一种图像处理方法,配置在移动终端侧,所述方法包括:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
根据本发明的第三方面,提供一种无人机,所述无人机包括处理器,所述处理器用于:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。根据本发明的第四方面,提供一种移动终端,所述移动终端包括处理器,所述处理器用于:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
根据本发明的第五方面,提供一种机器可读存储介质,应用于无人机,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
根据本发明的第六方面,提供一种机器可读存储介质,应用于移动终端,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
由以上本发明实施例提供的技术方案可见,本发明利用无人机在景深模式下拍摄第一预设数量张图像。该第一预设数量张图像中包括第一图像和多张第三图像,利用该第一图像和第三图像可获取第一图像的深度图。用户可以在上述第一图像的深度图上选取拍摄对象,最终呈现第一图像的景深效果图。可见,本发明可以简化用户操作,提升拍摄体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的拍摄方法的流程示意图;
图2是本发明另一实施例提供的拍摄方法的流程示意图;
图3是本发明一实施例提供的检测拍摄环境的流程示意图;
图4~图8是本发明一实施例提供的筛选第三图像的流程示意图;
图9是本发明一实施例提供的拍摄方法的流程示意图;
图10~图11是本发明一实施例提供的获取第一图像的深度图的流程示意图;
图12是第一图像的景深效果图;
图13是本发明一实施例提供的无人机的结构示意图;
图14是本发明一实施例提供的移动终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明实施例提供的拍摄方法和装置进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
现代摄影艺术包含“一点清”的拍摄手法,即全画图像中仅有目标景物是清晰的,称为“实景”,其余部分是模糊的,称为“虚景”,通过虚实结合相互衬托,使目标景物更突出,从而获取更好的拍摄效果。
用户采用相机或者智能终端调节焦距、光圈或者快门等参数调整景深范围,从而得到上述虚实结合的图像。
本发明实施例提供的拍摄方法可以用于飞行器(例如无人机)和移动终端组成的系统中,其中,该移动终端可以是智能手机或者与无人机通信的其他终端(例如遥控器或者智能手表等等)。本发明一实施例中采用无人机和智能手机为例说明上述拍摄方法,当然,将该智能手机替换成其他终端也可以。本发明实施例提供的一种拍摄方法,无人机根据智能手机的景深拍照指令,控制拍摄设备获取第一预设数量张关于目标场景(目标场景可以发送一定的变化,目标场景中的拍摄对象还在变化后的场景中)的图像。上述第一预设数量张图像包括第一图像和多张与第一图像具有至少部分相同内容的第三图像,用于获取第一图像的深度图。并且,该第一预设数量张图像分别是无人机在不同位置时控制拍摄设备拍摄的。
可理解的是,获取深度图的过程可以由智能手机实现,也可以由无人机实现。例如,无人机的计算资源(存储器、处理器、缓存等)主要用于无人机的移动、稳定性以及其他控制情况时,若处理第一预设数量张图像可能会引起无人机死机、无法响应智能手机的控制指令等问题,此时可以由无人机将图像发送到智能手机,由智能手机进行获取深度图。当无人机的计算资源比较富裕时,此时无人机根据第一预设数量张图像获取深度图,然后将上述深度图发送给智能手机。
下面介绍无人机获取第一预设数量张图像并发送给智能手机。然后由智能手机获取深度图的方案。
如图1所示,智能手机10受到用户的触发操作向无人机20发送景深拍照指令(对应步骤101)。无人机20在确定接收到上述景深拍照指令时,控制拍摄设备获取第一预设数量张关于目标场景(目标场景可以发送一定的变化,目标场景中的拍摄对象还在变化后的场景中)的图像(对应步骤102)。上述第一预设数量张图像用于获取深度图。例如,在拍摄完成后,无人机20向智能手机10发送上述第一预设数量张图像(对应步骤103)。
需要说明的是,在拍摄之前,用户需要先确定目标场景,无人机的位置以及搭载拍摄设备的云台的姿态。其中,目标场景中包括拍摄对象和背景,可以根据用户喜好进行选择。无人机的位置可以通过控制手柄控制无人机的移动来实现。当然,控制手柄的功能也可以转移到智能手机上实现,本发明不作限定。云台的姿态角可以由无人机进行调节,也可以由智能手机进行调节。由于调节过程会增加后续计算第一图像的深度图的算法的难度,本发明一实施例中云台的姿态保持不变,且保持拍摄设备的拍摄状态(例如快门、焦距、光圈等)不变。
在无人机起飞前或者前往目标拍摄地点时,如图2所示,智能手机10根据用户触发操作生成景深选择指令并将其发送给无人机20(对应步骤201)。无人机20确认接收到上述景深选择指令后,将拍摄模式调整为景深模式(对应步骤202)。无人机20在调整模式成功后向智能手机10反馈拍摄模式调整成功通知消息(可不反馈),或者拍摄模式调整失败通知消息。当智能手机10显示通知消息时,可以引导用户进行相应的操作,例如显示调整成功通知消息,可以引导用户作下一步的触发操作;当显示拍摄模式调整失败通知消息时,可以引导用户重新进行调整。
或者,智能手机10根据用户触发选择生成景深选择指令,并将该景深选择指令发送给无人机20。无人机20确认接收到上述景深选择指令后,将拍摄模式调整为景深模式。本发明一实施例中,无人机20还进行拍摄环境检测的过程(参见图3)。智能手机10根据用户的操作调整无人机20的拍摄地点和云台姿态,以使得在取景画面中得到期望的拍摄构图。然后智能手机10根据用户的拍摄指令,触发无人机20采用景深模式获取当前取景画面中的构图。该构图即第一图像。
此外,智能手机10根据上述触发操作同时显示关于景深模式的预设内容。上述预设内容可以包括景深模式的适用场景、各场景要求、注意事项等。例如场景要求可以包括层次分明、目标场景中拍摄对象与背景区分度大和有纹理等。或者,也可以不显示相应的内容,即默认用户已经知晓景深模式。或者,也可以直接链接到网络中,供用户自由查看。本领域技术人员可以根据具体使用场景进行设置,本发明实施例不作限定。
本发明一实施例中,无人机20在切换到景深模式后,可以先进行拍摄环境检测。无人机20到达目标拍摄地点时,做好拍摄前准备,如图3所示,首先检测一下当前拍摄环境预设参数的当前值(对应步骤301)。预设参数可以包括目标拍摄地点的当前风速、无人机悬停稳定性以及拍摄设备与目标场景中拍摄对象的距离等。无人机20根据检测的预设参数的当前值,判断该当前值是否满足景深模式的预设要求(对应步骤302),在满足预设要求时,该无人机20生成检测成功消息发送给智能手机10(对应子步骤3021),当不满足预设要求时,该无人机20生成检测警示消息发送给智能手机10(对应子步骤3022)。
例如,上述当前风速可以通过云台的姿态角进行估计,即无人机利用目标拍摄地点悬停时的姿态角即可估算出目标拍摄地点的风速。可理解的是,可以在无人机20中设置姿态角与风速对照表(可通过大量实验数据统计得到),在确定姿态角后直接查表可得。又如,无人机悬停稳定性可以通过悬停时的摆动幅度与频率进行确定。再如,上述拍摄设备与拍摄对象的距离可以通过无人机的前置传感器(双目视觉系统、3D-TOF、激光传感器、超声波传感器)进行测距。为获取更好的拍摄效果,本发明一实施例中上述距离保持在3-10米内。
可知,本发明实施例中无人机20通过拍摄前环境检测,可以在不满足预设要求时,例如风速过大、悬停不稳定等,警示用户不适合拍摄用于获取景深效果图的图像,提升用户使用体验。
在无人机20确定接收到景深拍照指令或者环境检测成功后,无人机20开始获取第一预设数量张图像,包括:
控制拍摄设备在第一分辨率下获取目标场景的第一图像,以及第一图像对应的第二分辨率下的第二图像。
控制拍摄设备在第二分辨率下获取第二预设数量的第三图像。
需要说明的是,上述第一分辨率大于第二分辨率。为获取第二图像,本发明实施例中,拍摄设备在第一分辨率获取第一图像,在存储该第一图像的过程中,同时按照预设算法降低第一图像的像素数量得到第二图像。即,第二图像是第一图像的略缩图,两者包含的目标场景相同,区别仅在于对应的像素数量不同。上述预设算法可以常用的图像处理算法即可实现。或者,第二图像也可以由智能手机10在接收到第一图像后根据上述方法获得。
本发明一实施例中,无人机20可以控制拍摄设备在第一分辨率获取第一图像,然后在同一位置在第二分辨率的情况下获取第二图像,然后存储上述第一图像和第二图像。本领域技术人员可以根据具体场景进行选择,本发明不作限定。
需要说明的是,上述第三图像的张数为第二预设数量,该第二预设数量可以为一张或者多张,并且上述第三图像可以由无人机在同一位置拍摄,也可以由无人机在不同位置拍摄。在同一位置拍摄时,第二预设数量可以是一张,在不同位置拍摄时,第二预设数量可以为多张。
本发明一实施例中,一张第一图像,一张第二图像和一张第三图像即可计算得到第一图像的深度图,此时第一预设数量为3。可理解的是,若第三图像无法使用,需要重新拍摄。从无人机20移动到目标拍摄地点,获取第一图像、第二图像和第三图像可能会浪费用户的宝贵时间,以及增加智能手机和无人机的能量的能量消耗。
为解决上述问题,本发明的另一实施例中,一张第一图像、一张第二图像和第二预设数量的第三图像计算得到第一图像的深度图。此时第一预设数量等于第二预设数量与2之和。然后再从第二预设数量的第三图像中筛选出符合预设条件的第三图像。可见,通过获取多张第三图像可以提高得到第一图像的深度图的概率。
获取用于计算第一图像的深度图的第三图像的方法有多种。
例如,可以在拍完多张第三图像之后,再从该多张第三图像中筛选出可以用于计算第一图像的深度图的第三图像。
又例如,可以以固定的策略在拍摄多张第三图像的过程中,每拍摄完一张第三图像后即判断该第三图像是否可以用于计算第一图像的深度图,若可以,则存储该第三图像,若不可以,则不存储该第三图像,直至拍摄到预设数量的第三图像。其中,该固定的策略可以是:无人机以固定的速度飞行,并在飞行中以在特定时间内连续拍摄特定数量的第三图像的速度来拍摄第三图像。或者,该固定的策略可以是:无人机每飞行固定距离时拍摄一张第三图像。
又例如,无人机以固定的策略在拍摄多张第三图像的的过程中,每拍摄完一张第三图像,即判断该第三图像是否可以用于计算第一图像的深度图,若可以,则存储并以该固定的策略继续拍摄,若不可以,则调整拍摄的策略,以使得接下来可以拍摄到可以用于计算第一图像的深度图的第三图像。
下面将对获取用于计算第一图像的深度图的第三图像的各种方法进行说明。
本发明一实施例中,无人机20按照预设路径移动,然后控制拍摄设备在不同位置(两个位置之间间隔预设距离,或者间隔预设时间)获取一张第三图像。预设路径预先设置在无人机20内,可以为垂直上升、垂直下降、左右平移以及相对目标场景左右、上下或者远近移动等。例如,无人机20获取第一图像后上升,在上升过程中保持拍摄状态,每隔预设距离拍摄一张第三图像,或者在预设时间段内连续拍摄第二预设数量的第三图像。当无人机20获取到第二预设数量的第三图像后再下降回到目标拍摄起点。在上述拍摄过程中,智能手机10可以根据用户触发操作生成停止拍摄指令发送无人机20。无人机20停止拍摄。当然,也可以在控制手柄的控制下进行移动。本领域技术人员可以根据具体场景进行选择,本发明实施例不作限定。
在一实施例中,也可以不是先获取到第二预设数量的第三图像,再从第二预设数量的第三图像中筛选出符合预设条件的第三图像,而是在拍摄第三图像的过程中只保存符合预设条件的第三图像。为确保每张第三图像能够有效使用(也即符合预设条件),本发明一实施例中,无人机20还对拍摄的每一张第三图像进行检测。如图4所示,无人机20在第三图像的张数到达第三预设数量时,从中筛选出满足预设条件的第三图像(对应步骤401)。预设条件可以是相邻两张第三图像的相似度较大、无人机位移大于预设值等,本领域技术人员可以根据具体场景进行设置。
如图5所示,本发明一实施例中,第三图像筛选过程如下:
无人机20以第二图像为参考图像,然后按照获取顺序依次选择第三图像为比较图像(对应步骤501)。计算参考图像和比较图像的相似度,若相似度大于或者等于相似度预设值,说明比较图像与该参考图像相似度较大,此时将第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复计算和比较过程(对应步骤502)。若第三预设数量的第三图像全部完成比较,所有成为参考图像的第三图像即是筛选出的第三图像(对应步骤503)。
需要说明的是,上述相似度是指,比较图像和参考图像的共同特征点的数量需要大于或者等于特征点阈值(例如,共同特征点数量占图像中特征点总量的80%以上)。特征点阈值可以根据具体场景进行设置,本发明实施例不作限定。
本发明一实施例中,上述步骤502之前或之后,筛选过程还可以包括:
先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,比较图像有效。上述位移阈值可以根据具体场景进行设置,本发明实施例不作限定。当所有共同特征点的位移量的平均值小于位移阈值时,说明比较图像不符合预设条件。
本发明一实施例中,计算相似度时需要先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,继续判断参考图像和比较图像之间的共同特征点数量是否大于或者等于特征点阈值,若满足说明比较图像符合预设条件。
本发明一实施例中,计算相似度时先获取参考图像和比较图像之间的共同特征点是否大于或者等于特征点阈值。若共同特征点大于或者等于特征点阈值时,继续计算参考图像和比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,比较图像符合预设条件。本发明一实施例中,计算相似度时需要先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于位移阈值时,继续判断参考图像和比较图像之间的共同特征点数量是否大于特征点阈值,若满足说明比较图像符合预设条件。
若位移量的平均值小于位移阈值则说明无人机20距离拍摄对象过远或者有其他原因。若共同特征点的数量小于特征点阈值,则提示出现未知错误或无法识别场景。
确定筛选出的第三图像的张数(对应步骤402),若筛选出的第三图像的张数大于或者等于第四预设数量,则无人机20按照之前的飞行方向移动下一个拍摄地点并控制拍摄设备继续拍摄第三图像,并且重复上述检测过程,直至第三图像的张数达到第二预设数量(对应子步骤4021)。若筛选出的第三图像的张数小于第四预设数量,说明无法识别场景,则重新执行控制拍摄设备获取第二预设数量的第三图像的步骤(对应子步骤4022)。
需要说明的是,第一预设数量、第二预设数量、第三预设数量依次减小,第三预设数量大于或者等于第四预设数量,第四预设数量大于第五预设数量。例如,无人机20获取3张第三图像,然后根据上述筛选过程筛选第三图像,若筛选出1张第三图像,则无人机20按照之前的飞行方向移动下一个拍摄地点并继续获取第三图像,直至达到第二预计数量(例如,8张)。若筛选后第三图像的数量不满足第五预设数量的要求,无人机20放弃此第三图像,按照之前的飞行方向继续到下一个拍摄地点移动获取第三图像。
又如,无人机20获取1张第三图像,之后根据上述筛选过程确定该第三图像是否满足预设条件。若该第三图像满足预设条件,则无人机20继续获取第三图像,直至达到8张。若不满足预设条件,无人机20放弃此第三图像,保持拍摄设备的拍摄状态不变,按照之前的飞行方向移动到下一个拍摄地点继续获取第三图像。
当然,无人机20还可以调整拍摄设备的拍摄参数,从而调整拍摄设备的拍摄状态。上述拍摄参数是指引起第三图像不满足预设条件对应的参数。当拍摄设备调整完成后,无人机20继续控制拍摄设备获取第三图像。例如,无人机20拍摄第三图像,若相邻两张第三图像中相同特征点在第三图像中的位移量较小,则无人机20调整飞行速度,以期增加相邻两张第三图像中的位移量。若调整速度后获取的第三图像的偏移量大于位移阈值,则满足要求。此时无人机20继续以此飞行速度继续获取第三图像。
又如,无人机20可以保持匀速运动状态,调整两次拍摄间隔的预设时长以增加相邻两个拍摄地点的距离(相当于增加了预设距离),同样可以达到相邻两张第三图像中相同特征点的偏移量。本领域技术人员可以根据具体场景进行设置,本发明不作限定。
实际应用中,无人机20还确定拍摄设备获取的第三图像的当前数量和拍摄时长,若第三图像的当前数量和拍摄时长达到特定时长时,无人机20控制拍摄设备停止获取第三图像。即拍摄设备在特定时长(例如2分钟)内还未获取到第二预设数量的第三图像时,无人机20向智能手机10发送拍摄失败提示消息。
本发明一实施例中采用图像中特征点跟踪的方式确定相似度。如图6所示,拍摄方法包括:
无人机20以第二图像为参考图像,提取该第二图像的特征点(对应步骤601)。例如,选择第二图像的角点作为特征点,采用角点检测算法(Harris Corner DetectionAlgorithms)获取第二图像的角点。然后在第三图像中跟踪上述特征点,计算特征点在每张第三图像上的位置,获取同一个特征点在相邻的两张第三图像中的相对位移。例如采用特征点跟踪算法(Kanade–Lucas–Tomasi feature tracker)。之后,计算每个特征点在第三图像上的位置(可理解为3D相对位置),以及每张第三图对应的拍摄设备位置和姿态。例如,采用Bundle Adjustment算法估算拍摄设备位置。
可知,本发明实施例中无人机20通过检测处理,使第二预设数量的第三图像全部变为有效的图像,可以降低重新拍摄的次数,提升用户的拍摄体验。需要说明的是,鉴于无人机20检测前后第三图像的有效性得到提高,本领域技术人员可以适当调低第二预设数量的取值。例如,在没有检测过程之前,上述第二预设数量可以取值10~15;在设置有检测过程后,上述第二预设数量可以取值5~10。
本发明一实施例中,智能手机10受到用户的触发操作向无人机20发送景深拍照指令。无人机20在确定接收到上述景深拍照指令时,控制拍摄设备获取第一预设数量张目标场景的图像。无人机20在获取第一预设数量张目标场景的图像步骤之前,对当前拍摄环境进行检测(参考图3)。在适合拍摄时,该无人机20获取第一图像(和/或第二图像)和第三图像,可以在获取第三预设数量张第三图像时,对这些第三图像进行检测得到有效的第三图像(检测过程请参考图4、图5和图6)。该无人机20在获取到一张第一图像(和/或第二图像)和第二预设数量张第三图像后,首先确定每张第三图像中对应拍摄设备的位置(参考图6和图7),在排除拍摄对象过近,过远、无人机动作过大(例如受到风速影响)或者拍摄设备未移动等情形后(参考图8和图9),即拍摄设备的位置满足景深模式要求,该无人机20再根据第二图像和第二预设数量的第三图像获取该第二图像的第二深度图(参考图10),最后根据第二图像和第一图像的映射关系,利用上述第二图像的第二深度图获取第一图像的深度图(参考图11)。最后,无人机20再将上述第一图像的深度图发送到智能手机10。
本发明实施例中,智能手机10根据用户触发操作生成景深拍照指令并将其发送给无人机20。无人机20根据上述实施例获取第一预设数量张图像(例如,情况一:第一图像和第二预设数量张第三图像。情况二:第一图像、第二图像和第二预设数量张第三图像。情况三:第一图像、第二预设数量中部分第三图像。情况四:第一图像、第二图像和第二预设数量中部分第三图像。)或者第一图像的深度图。
需要说明的是,第一预设数量张图像包括第一图像和多张与该第一图像具有至少部分相同内容的第三图像。上述第一预设数量张图像是在不同位置处时控制拍摄设备拍摄的。
可理解的是,本发明实施例中相同内容是指两张图像之间具有相同的目标场景,包含相同的拍摄对象。由于第三图像是拍摄设备在不同拍摄地点获取的,因此任意两张第三图像中包含部分相同内容,但是拍摄对象不变。
在一实施例中,当无人机20拍摄完成第一预设数量张图像或者第一图像的深度图后向智能手机10发送图像拍摄完成通知消息,智能手机10显示上述图像拍摄完成通知消息提示用户,无人机已经获取到第一预设数量张图像。智能手机10根据用户触发操作生成确认发送指令发送给无人机20。然后无人机20将第一预设数量张图像全部或者至少部分发送至智能手机10。
本发明一实施例中,若接收到第一图像的深度图,智能手机10根据用户的触发操作生成景深处理指令,然后该智能手机10根据上述景深处理指令获取第一图像的景深效果图。可理解的是,智能手机10利用自带的触摸屏或者按键获取用户的触发操作发送给处理器,由智能手机10的处理器生成景深处理指令,以及该处理器根据上述景深处理指令进行景深处理得到景深效果图。为简化说明,本发明实施例中统一以智能手机10进行说明。
本发明又一实施例中,无人机20对第三图像进行筛选后,可以仅发送第一图像(和/或第二图像)以及部分第三图像给智能手机10。又如,无人机20未对第三图像筛选时,原则上需要将第一预设数量张图像发送给智能手机。当然,第二预设数量足够大(例如需要8张,实际拍摄数量为20张)时,无人机20也可以仅发送部分第三图像(例如15张)。当然,无人机20也可以直接发送至智能手机10。本领域技术人员可以根据具体场景进行设置,本发明实施例不作限定。
智能手机10接收到第一预设数量张图像先进行检测,即筛选第三图像。可理解的是,在无人机20对第三图像进行筛选过之后,该检测过程可以省略,也可以继续筛选,此时智能手机10与无人机20可选用不同的算法实现。本发明实施例以无人机20未对第三图像进行筛选为例继续说明图像的处理过程。
如图7所示,智能手机10从第一预设数量张图像中分别提取第一分辨率下的第一图像、该第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像(对应步骤701)。若第一预设数量张图像中没有第二图像时,此时智能手机10按照预设算法降低第一图像的像素数量得到第二图像。上述预设算法可以常用的图像处理算法即可实现,本发明不作限定。
本发明一实施例中,在无人机20对第三图像未作筛选时,智能手机10还对第三图像进行筛选,筛选过程请参见图5所示步骤,包括:
智能手机10以第二图像为参考图像,按照获取顺序依次选取第三图像作为比较图像(对应步骤702)。将与参考图像的相似度大于或等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤(对应步骤703)。若第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像(对应704)。当筛选出的第三图像的张数小于第五预设数量(例如1张)时,说明上述第一预设数量张图像无法继续计算,此次拍摄失败,智能手机10重新向无人机发送景深拍照指令或者提示用户拍摄失败。
本发明一实施例中,筛选过程可以包括:
先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,比较图像有效。上述位移阈值可以根据具体场景进行设置,本发明实施例不作限定。当所有共同特征点的位移量的平均值小于位移阈值时,说明比较图像不符合预设条件。
本发明一实施例中,计算相似度时需要先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,继续判断参考图像和比较图像之间的共同特征点数量是否大于或者等于特征点阈值,若满足说明比较图像符合预设条件。
本发明一实施例中,计算相似度时先获取参考图像和比较图像之间的共同特征点是否大于或者等于特征点阈值。若共同特征点大于或者等于特征点阈值时,继续计算参考图像和比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于或者等于位移阈值时,比较图像符合预设条件。
本发明一实施例中,计算相似度时需要先计算参考图像与比较图像之间每个共同特征点的位移量,当所有共同特征点的位移量的平均值大于位移阈值时,继续判断参考图像和比较图像之间的共同特征点数量是否大于特征点阈值,若满足说明比较图像符合预设条件。
若位移量的平均值小于位移阈值则说明无人机20距离拍摄对象过远或者有其他原因。若共同特征点的数量小于特征点阈值,则提示出现未知错误或无法识别场景。
确定筛选出的第三图像的张数,若筛选出的第三图像的张数大于或者等于第四预设数量,则无人机20按照之前的飞行方向移动下一个拍摄地点并控制拍摄设备继续拍摄第三图像,并且重复上述检测过程,直至第三图像的张数达到第二预设数量。若筛选出的第三图像的张数小于第四预设数量,则提示无法识别场景。
若智能手机10筛选出的第三图像的张数大于第五预设数量(例如1张),则对剩余图像进行预处理,该预处理的目的是确认根据这些图像能否得到第一图像的深度图。若不能得到深度图,说明此次景深拍摄失败,智能手机10重新向无人机20发送景深拍照指令或者提示用户拍摄失败。若能够得到深度图,说明此次景深拍摄成功。智能手机10的预处理过程(可参考图6)包括:智能手机10以第二图像为参考图像,提取该第二图像的特征点。例如,选择第二图像的角点作为特征点,采用角点检测算法(Harris Corner DetectionAlgorithms)获取第二图像的角点。然后在第三图像中跟踪上述特征点,例如采用特征点跟踪算法(Kanade Lucas Tomasi feature tracker)。之后,计算每个特征点在第三图像上的位置,以及每张第三图像对应的拍摄设备位置和姿态。例如,采用Bundle Adjustment算法估算拍摄设备位置。
本发明一实施例中,如图8所示,智能手机10计算相邻两张第三图像中相同特征点在相邻两张第三图像中的位移量(对应步骤801),若该位移量大于位移最大值或者小于位移最小值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。此时智能手机10重新发送景深拍照指令或者提示用户拍摄失败(对应步骤802)。可选的,智能手机10还可以提示拍摄失败原因,例如说明拍摄设备距离目标场景中拍摄对象过近,过远、无人机动作过大(例如受到风速影响)或者拍摄设备未移动,等等。
本发明一实施例中,如图9所示,智能手机10根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值(对应步骤901);然后确定深度值与深度最大值和深度最小值的大小关系(对应步骤902);若深度值大于深度最大值或者小于深度最小值,则重新发送景深拍照指令或者提示用户拍摄失败(对应步骤903)。
在预处理之后,排除上述距离拍摄距离过远、过近、无人机动作过大或者过小后,智能手机10以第二图像为基准图像,第一张第三图像为校验图像,利用预设深度图算法计算第二图像上每个像素与拍摄对象之间的距离,得到所述第二图像的第一深度图。其中,预设深度图算法可以为平均绝对差算法MAD(Mean Absolute Differences)、误差平方和算法SSD(Sum of Squared Differences)、绝对误差和算法SAD(Sum of AbsoluteDifference)、归一化积相关算法NCC(Normalized Cross Correlation)、序贯相似性检测算法SSDA(Sequential Similiarity Detection Algorithm)或者绝对变换误差和算法SATD(Sum of Absolute Transformed Difference)等。
本发明另一实施例中,如图10所示,智能手机10利用第二图像和其中一张第三图像计算该第二图像的第一深度图(对应步骤1001)。然后,智能手机10从剩余第三图像中再次提取一张第三图像,利用然后利用第二图像、之前的第三图像和新增加的第三图像,重新计算第二图像的第一深度图,这个步骤的执行次数为第二预设数量减去1(对应步骤1002)。最后,从每张第三图像对应的第一深度图中选取位于预设景深范围内的一张第一深度图作为该第二图像的第二深度图。即第二深度图为采用多张第三图像对应第一深度图优化后的深度图(对应步骤1003)。
如图11所示,智能手机10根据第二图像与第一图像的映射关系,将第二深度图上的各像素的深度值映射到第一图像对应的映射像素中(对应步骤1101)。例如,智能手机10将第二图像的深度图放大到与第一图像具有相同的图像尺寸,根据放大后第二图像与第一图像中像素的对应关系即映射关系。其中,映射像素是指,与第二深度图上具有深度值像素相映射的像素,由于存在映射关系此时第二深度图上像素的深度值即是映射像素的深度值。
智能手机10获取第一图像中每个像素的颜色(RGB),将与映射像素相同颜色的像素的深度值更新为映射像素的深度值,即将映射像素的深度值填充到了周围其他像素中去,从而使第一图像中每个像素都具有深度值即(RGBD)。若存在与相邻两个映射像素的颜色都不相同,则将相邻两个映射像素的深度值的平均值填充到该像素中。
智能手机10根据用户的触发操作由显示屏生成景深处理指令,然后处理器响应于上述景深处理指令根据第一图像的深度图获取该第一图像的景深效果图。如图12所示,智能手机10最后显示第一图像的深度图,用户此时可以得到一张拍摄对象(花朵)清楚,周围景物(例如房屋)越来越模糊的深度图。
当上述深度图合成之后,智能手机10还可以根据用户的触发操作,调整拍摄对象,使新的拍摄对象清楚,周围变模糊。当然,智能手机10还可以根据用户的触发操作调整模拟光圈的大小(对应远端物体的模糊程度),对深度图继续调整,在此不再说明。
至此,本发明实施例介绍了智能手机10和无人机20相互配合实现利用无人机20拍摄深度图。可见,本发明实施例无需无人机搭载笨重的相机,也无需用户调整焦距、光圈和快门等操作,简单方便,极大提升用户拍摄体验。
上述实施例的拍摄方法同样适用于无人机20的计算资源比较富裕的场合。此时,上述实施例的方案变换为,无人机20获取图像,并计算图像的深度图,然后将上述深度图发送给智能手机10。下面就变换后的方案进行说明。
本发明另一实施例中,无人机20控制拍摄设备获取图像序列,然后将上述图像序列发送给智能手机10。智能手机10按照上述拍摄方法,获取第一图像、第二图像和第三图像;然后对第三图像进行筛选;之后,利用第二图像和筛选后的第三图像获取第二图像的第二深度图;最后,智能手机10根据第二图像和第一图像的映射关系,利用上述第二深度图获取第一图像的深度图。可见,在无人机20与智能手机10通信链路足够快的情况下,上述方案同样可以实现。
本发明又一实施例中,智能手机10拍摄第一预设数量张图像,即依次获取第一图像、第二图像和第二预设数量张第三图像,然后对第三图像进行筛选,对第一预设数量张图像进行预处理,最后根据剩余第三图像和第二图像获取第一图像的深度图。然后,智能手机10根据用户的触发操作对上述第一图像的深度图进行景深处理得到第一图像的景深效果图(参见图12)。
本发明实施例中还提供了一种无人机,如图13所示,所述无人机1300包括处理器1301和存储器1302,所述处理器用于:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
可理解的是,处理器将获取的第一预设数量张图像存储到存储器1302中。当然也可以存储到拍摄设备的存储卡(例如SD卡)中。
可选地,在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述处理器1301还用于:
控制拍摄设备在第一分辨率下获取所述第一图像;
控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像;所述第二分辨率小于所述第一分辨率。
可选地,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述处理器1301还用于:
获取所述第一图像对应的第二分辨率下的第二图像,所述第一预设数量张图像包括所述第二图像。
可选地,所述处理器1301还用于:
当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像;
若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量;
所述第二预设数量大于所述第三预设数量,所述第三预设数量大于或者等于所述第四预设数量。
可选地,所述处理器1301还用于:
若筛选后所述第三图像的张数小于第四预设数量,则丢弃本组第三预设数量的所述第三图像,控制拍摄设备继续拍摄第三图像。
可选地,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤,所述处理器1301还用于:
按照预设路径移动所述拍摄设备;
控制所述拍摄设备间隔预设距离或间隔预设时长获取一张所述第三图像。
可选地,当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像的步骤,所述处理器1301还用于:
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第三预设数量的第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
可选地,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述处理器1301用于:
保持拍摄设备拍摄状态不变,继续拍摄第三图像。
可选地,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述处理器1301用于:
调整所述拍摄设备的拍摄参数;所述拍摄参数是指引起第三图像不满足预设条件对应的参数;
确认所述拍摄设备调整完成后,继续拍摄第三图像。
可选地,所述处理器1301还用于:
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器1301还用于:
根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态。
可选地,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述处理器1301还用于:
计算已获取到的相邻前两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在提高所述无人机的飞行速度后继续并获取所述相邻两张第三图像的下一张第三图像。
可选地,在移动过程中控制拍摄设备获取第一预设数量张图像,所述处理器1301还用于:
计算已获取到的前相邻两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在增加无人机拍摄时的预设距离后继续并获取所述相邻两张第三图像的下一张第三图像。
可选地,根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态的步骤之后,所述处理器1301还用于:
根据所述特征点在每张第三图像上的位移量和拍摄每张所述第三图像时所述拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
可选地,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤之后,所述处理器1301还用于:
确定所述拍摄设备获取的第三图像的当前数量和拍摄时长;
若所述当前数量小于所述第二预设数量并且所述拍摄时长达到特定时长,则控制所述拍摄设备停止获取第三图像。
可选地,所述处理器1301还用于:
将所述第二预设数量的第三图像中的至少部分和所述第一图像发送给移动终端,所述第一图像和所述第三图像用于所述移动终端对所述第一图像进行景深处理。
可选地,所述处理器1301还用于:
根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端,所述第一图像的深度图用于所述移动终端对所述第一图像进行景深处理。
可选地,根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端的步骤,所述处理器1301用于:
根据所述第二预设数量张第三图像中的至少部分和所述第二图像计算所述第二图像的深度图;
根据所述第二图像的深度图获取所述第一图像的深度图。
可选地,根据所述第二图像的深度图获取所述第一图像的深度图,所述处理器1301用于:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
可选地,所述处理器1301还用于:
确定接收到移动终端的景深拍照指令;
响应于所述景深拍照指令,将当前拍摄模式切换为在景深模式。
可选地,所述处理器1301还用于:
在接收到移动终端的景深选择指令后,检测当前拍摄环境下预设参数的当前值;
若所述预设参数的当前值不满足景深模式的预设要求时,生成检测警示消息发送给所述移动终端。
可选地,所述处理器1301还用于:
向移动终端发送图像拍摄完成通知消息;所述图像拍摄完成通知消息表示已经获取第一预设数量张图像;
在接收到所述移动终端的确认发送指令时,将所述第一预设数量张图像发送至所述移动终端,所述第一预设数量张图像用于所述移动终端获取深度图。
可选地,所述第一预设数量张图像是在保持云台的姿态不变,和/或保持所述拍摄设备的参数不变的情况下拍摄的。
本发明另一实施例中还提供了一种移动终端,如图14所示,所述移动终端1400包括处理器,所述处理器1401用于:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
可选地,所述第一图像为无人机在第一分辨率下获取的,所述第三图像为无人机在第二分辨率下获取的;根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述处理器用于:按照预设算法降低第一图像的像素数量得到第二分辨率的第二图像,所述第二分辨率小于所述第一分辨率;或者,
所述第一预设数量张图像包括第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述处理器1401用于:
根据所述第二图像和所述第三图像计算所述第二图像的深度图;
根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述处理器1401还用于:
从所述多张第三图像中筛选出满足预设条件的第三图像;
所述根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第一图像和所述筛选出的第三图像获取所述第一图像的深度图。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述处理器1401还用于:
当无法从所述多张第三图像中筛选出满足预设条件的第三图像时,重新发送景深拍照指令或者提示用户拍摄失败。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器1401还用于:
从所述第一预设数量张图像中分别提取第一分辨率下的第一图像、所述第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像;
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器1401还用于:
若所述筛选出的第三图像的张数小于第五预设数量,重新发送景深拍照指令或者提示用户拍摄失败。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器1401还用于:
获取第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像;
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器1401还用于:
根据所述特征点在每张第三图像上的位置计算每张第三图像的拍摄设备位置和姿态。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器1401还用于:
计算相邻两张所述第三图像中相同特征点在所述相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器1401还用于:
根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
可选地,根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值的步骤之后,所述处理器1401用于:
确定所述深度值与深度最大值和深度最小值的大小关系;
若所述深度值大于所述深度最大值或者小于深度最小值,则控制拍摄设备重新获取第三图像或者第一预设数量张图像。
可选地,根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图的步骤,所述处理器1401用于:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
可选地,所述处理器1401还用于:
根据触发操作生成景深处理指令;
响应于所述景深处理指令,根据所述第一图像的深度图获取所述第一图像的景深效果图。
可选地,所述处理器1401还用于:
向无人机发送景深拍照指令;
接收无人机发送的第一预设数量张图像,或者接收无人机发送的第一图像的深度图。
本发明一实施例中,还提供了一种机器可读存储介质,应用于无人机,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
可选地,在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述计算机指令被执行时还进行如下处理:
控制拍摄设备在第一分辨率下获取所述第一图像;
控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像;所述第二分辨率小于所述第一分辨率。
可选地,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述计算机指令被执行时还进行如下处理:
获取所述第一图像对应的第二分辨率下的第二图像,所述第一预设数量张图像包括所述第二图像。
可选地,所述计算机指令被执行时还进行如下处理:
当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像;
若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量;
所述第二预设数量大于所述第三预设数量,所述第三预设数量大于或者等于所述第四预设数量。
可选地,所述计算机指令被执行时还进行如下处理:
若筛选后所述第三图像的张数小于第四预设数量,则丢弃本组第三预设数量的所述第三图像,控制拍摄设备继续拍摄第三图像。
可选地,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤,所述计算机指令被执行时还进行如下处理:
按照预设路径移动所述拍摄设备;
控制所述拍摄设备间隔预设距离或间隔预设时长获取一张所述第三图像。
可选地,当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第三预设数量的第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
可选地,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述计算机指令被执行时还进行如下处理:
保持拍摄设备拍摄状态不变,继续拍摄第三图像。
可选地,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述计算机指令被执行时还进行如下处理:
调整所述拍摄设备的拍摄参数;所述拍摄参数是指引起第三图像不满足预设条件对应的参数;
确认所述拍摄设备调整完成后,继续拍摄第三图像。
可选地,所述计算机指令被执行时还进行如下处理:
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态。
可选地,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述计算机指令被执行时还进行如下处理:
计算已获取到的相邻前两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在提高所述无人机的飞行速度后继续并获取所述相邻两张第三图像的下一张第三图像。
可选地,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述计算机指令被执行时还进行如下处理:
计算已获取到的前相邻两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在增加无人机拍摄时的预设距离后继续并获取所述相邻两张第三图像的下一张第三图像。
可选地,根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位移量和拍摄每张所述第三图像时所述拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
可选地,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤之后,所述计算机指令被执行时还进行如下处理:
确定所述拍摄设备获取的第三图像的当前数量和拍摄时长;
若所述当前数量小于所述第二预设数量并且所述拍摄时长达到特定时长,则控制所述拍摄设备停止获取第三图像。
可选地,所述计算机指令被执行时还进行如下处理:
将所述第二预设数量的第三图像中的至少部分和所述第一图像发送给移动终端,所述第一图像和所述第三图像用于所述移动终端对所述第一图像进行景深处理。
可选地,所述计算机指令被执行时还进行如下处理:
根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端,所述第一图像的深度图用于所述移动终端对所述第一图像进行景深处理。
可选地,根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端的步骤,所述计算机指令被执行时还进行如下处理:
根据所述第二预设数量张第三图像中的至少部分和所述第二图像计算所述第二图像的深度图;
根据所述第二图像的深度图获取所述第一图像的深度图。
可选地,根据所述第二图像的深度图获取所述第一图像的深度图,所述计算机指令被执行时还进行如下处理:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
可选地,所述计算机指令被执行时还进行如下处理:
确定接收到移动终端的景深拍照指令;
响应于所述景深拍照指令,将当前拍摄模式切换为在景深模式。
可选地,所述计算机指令被执行时还进行如下处理:
在接收到移动终端的景深选择指令后,检测当前拍摄环境下预设参数的当前值;
若所述预设参数的当前值不满足景深模式的预设要求时,生成检测警示消息发送给所述移动终端。
可选地,所述计算机指令被执行时还进行如下处理:
向移动终端发送图像拍摄完成通知消息;所述图像拍摄完成通知消息表示已经获取第一预设数量张图像;
在接收到所述移动终端的确认发送指令时,将所述第一预设数量张图像发送至所述移动终端,所述第一预设数量张图像用于所述移动终端获取深度图。
可选地,所述第一预设数量张图像是在保持云台的姿态不变,和/或保持所述拍摄设备的参数不变的情况下拍摄的。
本发明一实施例中,提供了一种机器可读存储介质,应用于移动终端,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
可选地,所述第一图像为无人机在第一分辨率下获取的,所述第三图像为无人机在第二分辨率下获取的;根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:按照预设算法降低第一图像的像素数量得到第二分辨率的第二图像,所述第二分辨率小于所述第一分辨率;或者,
所述第一预设数量张图像包括第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述计算机指令被执行时进行如下处理:
根据所述第二图像和所述第三图像计算所述第二图像的深度图;
根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述计算机指令被执行时进行如下处理:
从所述多张第三图像中筛选出满足预设条件的第三图像;
所述根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第一图像和所述筛选出的第三图像获取所述第一图像的深度图。
可选地,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述计算机指令被执行时还进行如下处理:
当无法从所述多张第三图像中筛选出满足预设条件的第三图像时,重新发送景深拍照指令或者提示用户拍摄失败。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
从所述第一预设数量张图像中分别提取第一分辨率下的第一图像、所述第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像;
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
若所述筛选出的第三图像的张数小于第五预设数量,重新发送景深拍照指令或者提示用户拍摄失败。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
获取第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像;
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位置计算每张第三图像的拍摄设备位置和姿态。
可选地,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
计算相邻两张所述第三图像中相同特征点在所述相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。
可选地,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
可选地,根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值的步骤之后,所述计算机指令被执行时还进行如下处理:
确定所述深度值与深度最大值和深度最小值的大小关系;
若所述深度值大于所述深度最大值或者小于深度最小值,则控制拍摄设备重新获取第三图像或者第一预设数量张图像。
可选地,根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图的步骤,所述计算机指令被执行时还进行如下处理:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
可选地,所述计算机指令被执行时还进行如下处理:
根据触发操作生成景深处理指令;
响应于所述景深处理指令,根据所述第一图像的深度图获取所述第一图像的景深效果图。
可选地,所述计算机指令被执行时还进行如下处理:
向无人机发送景深拍照指令;
接收无人机发送的第一预设数量张图像,或者接收无人机发送的第一图像的深度图。
最后需要说明的是,本发明实施例提供的无人机中处理器的处理操作,在上述拍摄方法中已经作过详细描述相关之处参见方法实施例。另外,移动终端中处理的处理操作在上述图像处理方法中已经作过详细描述相关之处参见方法实施例。另外,随着使用场景的变化,拍摄方法或者图像处理方法也会发生变化,相应地,无人机或者移动终端中处理器的处理操作也会相应的调整。此处将不做详细阐述说明。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的检测装置和方法进行了详细介绍,应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (114)
1.一种拍摄方法,其特征在于,配置在无人机侧,所述方法包括:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
2.根据权利要求1所述的拍摄方法,其特征在于,在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,包括:
控制拍摄设备在第一分辨率下获取所述第一图像;
控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像;所述第二分辨率小于所述第一分辨率。
3.根据权利要求2所述的拍摄方法,其特征在于,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,还包括:
获取所述第一图像对应的第二分辨率下的第二图像,所述第一预设数量张图像包括所述第二图像。
4.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像;
若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量;
所述第二预设数量大于所述第三预设数量,所述第三预设数量大于或者等于所述第四预设数量。
5.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
若筛选后所述第三图像的张数小于第四预设数量,则丢弃本组第三预设数量的所述第三图像,控制拍摄设备继续拍摄第三图像。
6.根据权利要求2所述的拍摄方法,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤,包括:
按照预设路径移动所述拍摄设备;
控制所述拍摄设备间隔预设距离或间隔预设时长获取一张所述第三图像。
7.根据权利要求6所述的拍摄方法,其特征在于,当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像的步骤,包括:
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第三预设数量的第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
8.根据权利要求6所述的拍摄方法,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,包括:
保持拍摄设备拍摄状态不变,继续拍摄第三图像。
9.根据权利要求6所述的拍摄方法,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,包括:
调整所述拍摄设备的拍摄参数;所述拍摄参数是指引起第三图像不满足预设条件对应的参数;
确认所述拍摄设备调整完成后,继续拍摄第三图像。
10.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
11.根据权利要求10所述的拍摄方法,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述方法还包括:
根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态。
12.根据权利要求10所述的拍摄方法,其特征在于,所述在移动过程中控制拍摄设备获取第一预设数量张图像,方法还包括:
计算已获取到的相邻前两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在提高所述无人机的飞行速度后继续并获取所述相邻两张第三图像的下一张第三图像。
13.根据权利要求10所述的拍摄方法,其特征在于,所述在移动过程中控制拍摄设备获取第一预设数量张图像,方法还包括:
计算已获取到的前相邻两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在增加无人机拍摄时的预设距离后继续并获取所述相邻两张第三图像的下一张第三图像。
14.根据权利要求11所述的拍摄方法,其特征在于,根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态的步骤之后,所述方法还包括:
根据所述特征点在每张第三图像上的位移量和拍摄每张所述第三图像时所述拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
15.根据权利要求2所述的拍摄方法,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤之后,包括:
确定所述拍摄设备获取的第三图像的当前数量和拍摄时长;
若所述当前数量小于所述第二预设数量并且所述拍摄时长达到特定时长,则控制所述拍摄设备停止获取第三图像。
16.根据权利要求2所述的拍摄方法,其特征在于,所述方法还包括:
将所述第二预设数量的第三图像中的至少部分和所述第一图像发送给移动终端,所述第一图像和所述第三图像用于所述移动终端对所述第一图像进行景深处理。
17.根据权利要求3所述的拍摄方法,其特征在于,所述方法还包括:
根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端,所述第一图像的深度图用于所述移动终端对所述第一图像进行景深处理。
18.根据权利要求17所述的拍摄方法,其特征在于,根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端的步骤,包括:
根据所述第二预设数量张第三图像中的至少部分和所述第二图像计算所述第二图像的深度图;
根据所述第二图像的深度图获取所述第一图像的深度图。
19.根据权利要求18所述的拍摄方法,其特征在于,根据所述第二图像的深度图获取所述第一图像的深度图,包括:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
20.根据权利要求1所述的拍摄方法,其特征在于,所述方法还包括:
确定接收到移动终端的景深拍照指令;
响应于所述景深拍照指令,将当前拍摄模式切换为在景深模式。
21.根据权利要求1所述的拍摄方法,其特征在于,所述方法还包括:
在接收到移动终端的景深选择指令后,检测当前拍摄环境下预设参数的当前值;
若所述预设参数的当前值不满足景深模式的预设要求时,生成检测警示消息发送给所述移动终端。
22.根据权利要求1所述的拍摄方法,其特征在于,所述方法还包括:
向移动终端发送图像拍摄完成通知消息;所述图像拍摄完成通知消息表示已经获取第一预设数量张图像;
在接收到所述移动终端的确认发送指令时,将所述第一预设数量张图像发送至所述移动终端,所述第一预设数量张图像用于所述移动终端获取深度图。
23.根据权利要求1所述的拍摄方法,其特征在于,所述第一预设数量张图像是在保持云台的姿态不变,和/或保持所述拍摄设备的参数不变的情况下拍摄的。
24.一种图像处理方法,其特征在于,配置在移动终端侧,所述方法包括:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
25.根据权利要求24所述的图像处理方法,其特征在于,所述第一图像为无人机在第一分辨率下获取的,所述第三图像为无人机在第二分辨率下获取的;根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:按照预设算法降低第一图像的像素数量得到第二分辨率的第二图像,所述第二分辨率小于所述第一分辨率;或者,
所述第一预设数量张图像包括第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像。
26.根据权利要求25所述的图像处理方法,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第二图像和所述第三图像计算所述第二图像的深度图;
根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图。
27.根据权利要求24所述的图像处理方法,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,还包括:
从所述多张第三图像中筛选出满足预设条件的第三图像;
所述根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第一图像和所述筛选出的第三图像获取所述第一图像的深度图。
28.根据权利要求27所述的图像处理方法,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,还包括:
当无法从所述多张第三图像中筛选出满足预设条件的第三图像时,重新发送景深拍照指令或者提示用户拍摄失败。
29.根据权利要求27所述的图像处理方法,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,包括:
从所述第一预设数量张图像中分别提取第一分辨率下的第一图像、所述第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像;
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
30.根据权利要求29所述的图像处理方法,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,还包括:
若所述筛选出的第三图像的张数小于第五预设数量,重新发送景深拍照指令或者提示用户拍摄失败。
31.根据权利要求27所述的图像处理方法,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,还包括:
获取第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像;
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
32.根据权利要求31所述的图像处理方法,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述方法还包括:
根据所述特征点在每张第三图像上的位置计算每张第三图像的拍摄设备位置和姿态。
33.根据权利要求32所述的图像处理方法,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,还包括:
计算相邻两张所述第三图像中相同特征点在所述相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。
34.根据权利要求31所述的图像处理方法,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述方法还包括:
根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
35.根据权利要求34所述的图像处理方法,其特征在于,根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值的步骤之后,包括:
确定所述深度值与深度最大值和深度最小值的大小关系;
若所述深度值大于所述深度最大值或者小于深度最小值,则控制拍摄设备重新获取第三图像或者第一预设数量张图像。
36.根据权利要求26所述的图像处理方法,其特征在于,根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图的步骤,包括:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
37.根据权利要求24所述的图像处理方法,其特征在于,所述方法还包括:
根据触发操作生成景深处理指令;
响应于所述景深处理指令,根据所述第一图像的深度图获取所述第一图像的景深效果图。
38.根据权利要求24所述的图像处理方法,其特征在于,所述方法还包括:
向无人机发送景深拍照指令;
接收无人机发送的第一预设数量张图像,或者接收无人机发送的第一图像的深度图。
39.一种无人机,其特征在于,所述无人机包括处理器,所述处理器用于:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
40.根据权利要求39所述的无人机,其特征在于,在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述处理器还用于:
控制拍摄设备在第一分辨率下获取所述第一图像;
控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像;所述第二分辨率小于所述第一分辨率。
41.根据权利要求40所述的无人机,其特征在于,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述处理器还用于:
获取所述第一图像对应的第二分辨率下的第二图像,所述第一预设数量张图像包括所述第二图像。
42.根据权利要求40所述的无人机,其特征在于,所述处理器还用于:
当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像;
若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量;
所述第二预设数量大于所述第三预设数量,所述第三预设数量大于或者等于所述第四预设数量。
43.根据权利要求40所述的无人机,其特征在于,所述处理器还用于:
若筛选后所述第三图像的张数小于第四预设数量,则丢弃本组第三预设数量的所述第三图像,控制拍摄设备继续拍摄第三图像。
44.根据权利要求40所述的无人机,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤,所述处理器还用于:
按照预设路径移动所述拍摄设备;
控制所述拍摄设备间隔预设距离或间隔预设时长获取一张所述第三图像。
45.根据权利要求44所述的无人机,其特征在于,当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像的步骤,所述处理器还用于:
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第三预设数量的第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
46.根据权利要求44所述的无人机,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述处理器用于:
保持拍摄设备拍摄状态不变,继续拍摄第三图像。
47.根据权利要求44所述的无人机,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述处理器用于:
调整所述拍摄设备的拍摄参数;所述拍摄参数是指引起第三图像不满足预设条件对应的参数;
确认所述拍摄设备调整完成后,继续拍摄第三图像。
48.根据权利要求40所述的无人机,其特征在于,所述处理器还用于:
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
49.根据权利要求48所述的无人机,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器还用于:
根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态。
50.根据权利要求48所述的无人机,其特征在于,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述处理器还用于:
计算已获取到的相邻前两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在提高所述无人机的飞行速度后继续并获取所述相邻两张第三图像的下一张第三图像。
51.根据权利要求48所述的无人机,其特征在于,在移动过程中控制拍摄设备获取第一预设数量张图像,所述处理器还用于:
计算已获取到的前相邻两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在增加无人机拍摄时的预设距离后继续并获取所述相邻两张第三图像的下一张第三图像。
52.根据权利要求49所述的无人机,其特征在于,根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态的步骤之后,所述处理器还用于:
根据所述特征点在每张第三图像上的位移量和拍摄每张所述第三图像时所述拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
53.根据权利要求40所述的无人机,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤之后,所述处理器还用于:
确定所述拍摄设备获取的第三图像的当前数量和拍摄时长;
若所述当前数量小于所述第二预设数量并且所述拍摄时长达到特定时长,则控制所述拍摄设备停止获取第三图像。
54.根据权利要求40所述的无人机,其特征在于,所述处理器还用于:
将所述第二预设数量的第三图像中的至少部分和所述第一图像发送给移动终端,所述第一图像和所述第三图像用于所述移动终端对所述第一图像进行景深处理。
55.根据权利要求41所述的无人机,其特征在于,所述处理器还用于:
根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端,所述第一图像的深度图用于所述移动终端对所述第一图像进行景深处理。
56.根据权利要求55所述的无人机,其特征在于,根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端的步骤,所述处理器用于:
根据所述第二预设数量张第三图像中的至少部分和所述第二图像计算所述第二图像的深度图;
根据所述第二图像的深度图获取所述第一图像的深度图。
57.根据权利要求56所述的无人机,其特征在于,根据所述第二图像的深度图获取所述第一图像的深度图,所述处理器用于:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
58.根据权利要求39所述的无人机,其特征在于,所述处理器还用于:
确定接收到移动终端的景深拍照指令;
响应于所述景深拍照指令,将当前拍摄模式切换为在景深模式。
59.根据权利要求39所述的无人机,其特征在于,所述处理器还用于:
在接收到移动终端的景深选择指令后,检测当前拍摄环境下预设参数的当前值;
若所述预设参数的当前值不满足景深模式的预设要求时,生成检测警示消息发送给所述移动终端。
60.根据权利要求39所述的无人机,其特征在于,所述处理器还用于:
向移动终端发送图像拍摄完成通知消息;所述图像拍摄完成通知消息表示已经获取第一预设数量张图像;
在接收到所述移动终端的确认发送指令时,将所述第一预设数量张图像发送至所述移动终端,所述第一预设数量张图像用于所述移动终端获取深度图。
61.根据权利要求39所述的无人机,其特征在于,所述第一预设数量张图像是在保持云台的姿态不变,和/或保持所述拍摄设备的参数不变的情况下拍摄的。
62.一种移动终端,其特征在于,所述移动终端包括处理器,所述处理器用于:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
63.根据权利要求62所述的移动终端,其特征在于,所述第一图像为无人机在第一分辨率下获取的,所述第三图像为无人机在第二分辨率下获取的;根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述处理器用于:按照预设算法降低第一图像的像素数量得到第二分辨率的第二图像,所述第二分辨率小于所述第一分辨率;或者,
所述第一预设数量张图像包括第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像。
64.根据权利要求63所述的移动终端,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述处理器用于:
根据所述第二图像和所述第三图像计算所述第二图像的深度图;
根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图。
65.根据权利要求62所述的移动终端,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述处理器还用于:
从所述多张第三图像中筛选出满足预设条件的第三图像;
所述根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第一图像和所述筛选出的第三图像获取所述第一图像的深度图。
66.根据权利要求65所述的移动终端,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述处理器还用于:
当无法从所述多张第三图像中筛选出满足预设条件的第三图像时,重新发送景深拍照指令或者提示用户拍摄失败。
67.根据权利要求65所述的移动终端,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器还用于:
从所述第一预设数量张图像中分别提取第一分辨率下的第一图像、所述第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像;
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
68.根据权利要求67所述的移动终端,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器还用于:
若所述筛选出的第三图像的张数小于第五预设数量,重新发送景深拍照指令或者提示用户拍摄失败。
69.根据权利要求65所述的移动终端,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器还用于:
获取第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像;
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
70.根据权利要求69所述的移动终端,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器还用于:
根据所述特征点在每张第三图像上的位置计算每张第三图像的拍摄设备位置和姿态。
71.根据权利要求70所述的移动终端,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述处理器还用于:
计算相邻两张所述第三图像中相同特征点在所述相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。
72.根据权利要求69所述的移动终端,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述处理器还用于:
根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
73.根据权利要求72所述的移动终端,其特征在于,根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值的步骤之后,所述处理器用于:
确定所述深度值与深度最大值和深度最小值的大小关系;
若所述深度值大于所述深度最大值或者小于深度最小值,则控制拍摄设备重新获取第三图像或者第一预设数量张图像。
74.根据权利要求64所述的移动终端,其特征在于,根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图的步骤,所述处理器用于:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
75.根据权利要求62所述的移动终端,其特征在于,所述处理器还用于:
根据触发操作生成景深处理指令;
响应于所述景深处理指令,根据所述第一图像的深度图获取所述第一图像的景深效果图。
76.根据权利要求62所述的移动终端,其特征在于,所述处理器还用于:
向无人机发送景深拍照指令;
接收无人机发送的第一预设数量张图像,或者接收无人机发送的第一图像的深度图。
77.一种机器可读存储介质,其特征在于,应用于无人机,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像;其中,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是所述无人机在不同位置处时控制所述拍摄设备拍摄的,所述第一预设数量张图像用于获取所述第一图像的深度图。
78.根据权利要求77所述的机器可读存储介质,其特征在于,在景深模式下,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述计算机指令被执行时还进行如下处理:
控制拍摄设备在第一分辨率下获取所述第一图像;
控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像;所述第二分辨率小于所述第一分辨率。
79.根据权利要求78所述的机器可读存储介质,其特征在于,在移动过程中控制拍摄设备获取第一预设数量张图像的步骤,所述计算机指令被执行时还进行如下处理:
获取所述第一图像对应的第二分辨率下的第二图像,所述第一预设数量张图像包括所述第二图像。
80.根据权利要求78所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像;
若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量;
所述第二预设数量大于所述第三预设数量,所述第三预设数量大于或者等于所述第四预设数量。
81.根据权利要求78所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
若筛选后所述第三图像的张数小于第四预设数量,则丢弃本组第三预设数量的所述第三图像,控制拍摄设备继续拍摄第三图像。
82.根据权利要求78所述的机器可读存储介质,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤,所述计算机指令被执行时还进行如下处理:
按照预设路径移动所述拍摄设备;
控制所述拍摄设备间隔预设距离或间隔预设时长获取一张所述第三图像。
83.根据权利要求82所述的机器可读存储介质,其特征在于,当所述第三图像的张数到达第三预设数量时,从所述第三预设数量的第三图像中筛选满足预定条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第三预设数量的第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
84.根据权利要求82所述的机器可读存储介质,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述计算机指令被执行时还进行如下处理:
保持拍摄设备拍摄状态不变,继续拍摄第三图像。
85.根据权利要求82所述的机器可读存储介质,其特征在于,若筛选后的第三图像的张数大于或者等于第四预设数量,则控制拍摄设备继续拍摄第三图像,直至达到所述第二预设数量的步骤,所述计算机指令被执行时还进行如下处理:
调整所述拍摄设备的拍摄参数;所述拍摄参数是指引起第三图像不满足预设条件对应的参数;
确认所述拍摄设备调整完成后,继续拍摄第三图像。
86.根据权利要求78所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
87.根据权利要求86所述的机器可读存储介质,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态。
88.根据权利要求86所述的机器可读存储介质,其特征在于,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述计算机指令被执行时还进行如下处理:
计算已获取到的相邻前两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在提高所述无人机的飞行速度后继续并获取所述相邻两张第三图像的下一张第三图像。
89.根据权利要求86所述的机器可读存储介质,其特征在于,所述在移动过程中控制拍摄设备获取第一预设数量张图像,所述计算机指令被执行时还进行如下处理:
计算已获取到的前相邻两张所述第三图像中相同特征点在所述前相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则在增加无人机拍摄时的预设距离后继续并获取所述相邻两张第三图像的下一张第三图像。
90.根据权利要求87所述的机器可读存储介质,其特征在于,根据所述特征点在所述第三图像上的位置计算拍摄所述第三图像时所述拍摄设备的位置和姿态的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位移量和拍摄每张所述第三图像时所述拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
91.根据权利要求78所述的机器可读存储介质,其特征在于,控制所述拍摄设备在第二分辨率下获取第二预设数量的所述第三图像的步骤之后,所述计算机指令被执行时还进行如下处理:
确定所述拍摄设备获取的第三图像的当前数量和拍摄时长;
若所述当前数量小于所述第二预设数量并且所述拍摄时长达到特定时长,则控制所述拍摄设备停止获取第三图像。
92.根据权利要求78所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
将所述第二预设数量的第三图像中的至少部分和所述第一图像发送给移动终端,所述第一图像和所述第三图像用于所述移动终端对所述第一图像进行景深处理。
93.根据权利要求79所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端,所述第一图像的深度图用于所述移动终端对所述第一图像进行景深处理。
94.根据权利要求93所述的机器可读存储介质,其特征在于,根据所述第一图像、第二图像以及第二预设数量的第三图像获取所述第一图像的深度图,并将所述第一图像的深度图发送给移动终端的步骤,所述计算机指令被执行时还进行如下处理:
根据所述第二预设数量张第三图像中的至少部分和所述第二图像计算所述第二图像的深度图;
根据所述第二图像的深度图获取所述第一图像的深度图。
95.根据权利要求94所述的机器可读存储介质,其特征在于,根据所述第二图像的深度图获取所述第一图像的深度图,所述计算机指令被执行时还进行如下处理:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
96.根据权利要求77所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
确定接收到移动终端的景深拍照指令;
响应于所述景深拍照指令,将当前拍摄模式切换为在景深模式。
97.根据权利要求77所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
在接收到移动终端的景深选择指令后,检测当前拍摄环境下预设参数的当前值;
若所述预设参数的当前值不满足景深模式的预设要求时,生成检测警示消息发送给所述移动终端。
98.根据权利要求77所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
向移动终端发送图像拍摄完成通知消息;所述图像拍摄完成通知消息表示已经获取第一预设数量张图像;
在接收到所述移动终端的确认发送指令时,将所述第一预设数量张图像发送至所述移动终端,所述第一预设数量张图像用于所述移动终端获取深度图。
99.根据权利要求77所述的机器可读存储介质,其特征在于,所述第一预设数量张图像是在保持云台的姿态不变,和/或保持所述拍摄设备的参数不变的情况下拍摄的。
100.一种机器可读存储介质,其特征在于,应用于移动终端,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被执行时进行如下处理:
发送景深拍照指令;
获取第一预设数量张图像,所述第一预设数量张图像包括第一图像和多张与所述第一图像具有至少部分相同内容的第三图像,所述第一预设数量张图像分别是在不同位置处时控制拍摄设备拍摄的,根据所述第一图像和所述第三图像获取第一图像的深度图;或者,
接收第一图像的深度图。
101.根据权利要求100所述的机器可读存储介质,其特征在于,所述第一图像为无人机在第一分辨率下获取的,所述第三图像为无人机在第二分辨率下获取的;根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:按照预设算法降低第一图像的像素数量得到第二分辨率的第二图像,所述第二分辨率小于所述第一分辨率;或者,
所述第一预设数量张图像包括第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像。
102.根据权利要求100所述的机器可读存储介质,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,所述计算机指令被执行时进行如下处理:
根据所述第二图像和所述第三图像计算所述第二图像的深度图;
根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图。
103.根据权利要求100所述的机器可读存储介质,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述计算机指令被执行时进行如下处理:
从所述多张第三图像中筛选出满足预设条件的第三图像;
所述根据所述第一图像和所述第三图像获取第一图像的深度图的步骤,包括:
根据所述第一图像和所述筛选出的第三图像获取所述第一图像的深度图。
104.根据权利要求103所述的机器可读存储介质,其特征在于,根据所述第一图像和所述第三图像获取第一图像的深度图的步骤之前,所述计算机指令被执行时还进行如下处理:
当无法从所述多张第三图像中筛选出满足预设条件的第三图像时,重新发送景深拍照指令或者提示用户拍摄失败。
105.根据权利要求103所述的机器可读存储介质,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
从所述第一预设数量张图像中分别提取第一分辨率下的第一图像、所述第一图像对应的第二分辨率下的第二图像和第二预设数量的第三图像;
以所述第二图像为参考图像,按照获取顺序依次选取所述第三图像作为比较图像;
将与所述参考图像的相似度大于或者等于相似度预设值的第一张第三图像更新为下一次比较的参考图像;从剩余的第三图像中继续选择比较图像,重复本步骤;
若所述第二预设数量张第三图像全部完成比较,则所有成为参考图像的第三图像即是筛选出的第三图像。
106.根据权利要求105所述的机器可读存储介质,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
若所述筛选出的第三图像的张数小于第五预设数量,重新发送景深拍照指令或者提示用户拍摄失败。
107.根据权利要求103所述的机器可读存储介质,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
获取第二图像,所述第二图像为所述第一图像对应的第二分辨率下的图像;
以所述第二图像为参考图像,从所述第二图像中提取特征点;
在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置。
108.根据权利要求107所述的机器可读存储介质,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位置计算每张第三图像的拍摄设备位置和姿态。
109.根据权利要求108所述的机器可读存储介质,其特征在于,从所述多张第三图像中筛选出满足预设条件的第三图像的步骤,所述计算机指令被执行时还进行如下处理:
计算相邻两张所述第三图像中相同特征点在所述相邻两张第三图像中的位移量;
若所述位移量小于位移阈值时,则相邻两张第三图像中拍摄次序靠后的第三图像不满足预设条件。
110.根据权利要求107所述的机器可读存储介质,其特征在于,在所述第三图像中跟踪所述特征点,计算所述特征点在所述第三图像上的位置的步骤之后,所述计算机指令被执行时还进行如下处理:
根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值。
111.根据权利要求110所述的机器可读存储介质,其特征在于,根据所述特征点在每张第三图像上的位移量和每张所述第三图像的拍摄设备的位置和姿态计算所述第三图像上所述特征点的深度值的步骤之后,所述计算机指令被执行时还进行如下处理:
确定所述深度值与深度最大值和深度最小值的大小关系;
若所述深度值大于所述深度最大值或者小于深度最小值,则控制拍摄设备重新获取第三图像或者第一预设数量张图像。
112.根据权利要求102所述的机器可读存储介质,其特征在于,根据所述第一图像和所述第二图像的深度图计算所述第一图形的深度图的步骤,所述计算机指令被执行时还进行如下处理:
将所述第二图像的深度图放大到与所述第一图像具有相同的图像尺寸;
根据所述放大后的深度图和所述第一图像的颜色信息获取所述第一图像的深度图。
113.根据权利要求100所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
根据触发操作生成景深处理指令;
响应于所述景深处理指令,根据所述第一图像的深度图获取所述第一图像的景深效果图。
114.根据权利要求100所述的机器可读存储介质,其特征在于,所述计算机指令被执行时还进行如下处理:
向无人机发送景深拍照指令;
接收无人机发送的第一预设数量张图像,或者接收无人机发送的第一图像的深度图。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/085789 WO2018214077A1 (zh) | 2017-05-24 | 2017-05-24 | 拍摄方法及装置、图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108496352A true CN108496352A (zh) | 2018-09-04 |
CN108496352B CN108496352B (zh) | 2021-02-09 |
Family
ID=63344685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780005467.7A Expired - Fee Related CN108496352B (zh) | 2017-05-24 | 2017-05-24 | 拍摄方法及装置、图像处理方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108496352B (zh) |
WO (1) | WO2018214077A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109782012A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第二十研究所 | 一种基于光电图像特征关联的测速方法 |
CN110191284A (zh) * | 2019-06-05 | 2019-08-30 | 贝壳技术有限公司 | 对房屋进行数据采集的方法、装置、电子设备和存储介质 |
WO2020062024A1 (zh) * | 2018-09-28 | 2020-04-02 | 深圳市大疆创新科技有限公司 | 基于无人机的测距方法、装置及无人机 |
US10872467B2 (en) | 2018-06-06 | 2020-12-22 | Ke.Com (Beijing) Technology Co., Ltd. | Method for data collection and model generation of house |
CN112334387A (zh) * | 2019-11-07 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 拍照方法、相机、无人机和存储介质 |
CN115174803A (zh) * | 2022-06-20 | 2022-10-11 | 平安银行股份有限公司 | 自动拍照方法及相关设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113758918B (zh) * | 2020-06-04 | 2024-02-27 | 成都数字天空科技有限公司 | 一种基于无人机系统的材质确定方法和装置 |
CN114326762B (zh) * | 2021-11-22 | 2024-01-16 | 桂林电子科技大学 | 一种室内空间数据采集系统及方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102307307A (zh) * | 2011-05-19 | 2012-01-04 | 福州华映视讯有限公司 | 产生立体影片深度图的方法 |
CN103796001A (zh) * | 2014-01-10 | 2014-05-14 | 深圳奥比中光科技有限公司 | 一种同步获取深度及色彩信息的方法及装置 |
CN104424640A (zh) * | 2013-09-06 | 2015-03-18 | 格科微电子(上海)有限公司 | 对图像进行虚化处理的方法和装置 |
CN105282429A (zh) * | 2014-06-03 | 2016-01-27 | 奥林巴斯株式会社 | 摄像装置和摄像装置的控制方法 |
CN105518555A (zh) * | 2014-07-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
CN105959581A (zh) * | 2015-03-08 | 2016-09-21 | 联发科技股份有限公司 | 具有动态控制闪光灯的用于图像捕捉的电子设备及相关的控制方法 |
US20160283774A1 (en) * | 2012-11-12 | 2016-09-29 | Bae Systems Plc | Cloud feature detection |
CN106231173A (zh) * | 2015-06-02 | 2016-12-14 | Lg电子株式会社 | 移动终端及其控制方法 |
WO2017018603A1 (ko) * | 2015-07-30 | 2017-02-02 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN106412426A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 全聚焦摄影装置及方法 |
CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的定位方法和装置 |
CN106534693A (zh) * | 2016-11-25 | 2017-03-22 | 努比亚技术有限公司 | 一种照片处理方法、装置及终端 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103095978A (zh) * | 2011-11-03 | 2013-05-08 | 华晶科技股份有限公司 | 产生背景模糊的影像处理方法及其影像撷取装置 |
CN103945210B (zh) * | 2014-05-09 | 2015-08-05 | 长江水利委员会长江科学院 | 一种实现浅景深效果的多摄像头拍摄方法 |
KR101642828B1 (ko) * | 2014-05-26 | 2016-07-28 | 서울대학교산학협력단 | 다중 영상 기반 장애물 회피 시스템 및 방법 |
CN104104869A (zh) * | 2014-06-25 | 2014-10-15 | 华为技术有限公司 | 一种拍照方法、装置及电子设备 |
CN105187722B (zh) * | 2015-09-15 | 2018-12-21 | 努比亚技术有限公司 | 景深调节方法、装置及终端 |
CN105775150B (zh) * | 2016-03-17 | 2017-12-22 | 英华达(上海)科技有限公司 | 无人飞行载具及其降落方法 |
-
2017
- 2017-05-24 WO PCT/CN2017/085789 patent/WO2018214077A1/zh active Application Filing
- 2017-05-24 CN CN201780005467.7A patent/CN108496352B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102307307A (zh) * | 2011-05-19 | 2012-01-04 | 福州华映视讯有限公司 | 产生立体影片深度图的方法 |
US20160283774A1 (en) * | 2012-11-12 | 2016-09-29 | Bae Systems Plc | Cloud feature detection |
CN104424640A (zh) * | 2013-09-06 | 2015-03-18 | 格科微电子(上海)有限公司 | 对图像进行虚化处理的方法和装置 |
CN103796001A (zh) * | 2014-01-10 | 2014-05-14 | 深圳奥比中光科技有限公司 | 一种同步获取深度及色彩信息的方法及装置 |
CN105282429A (zh) * | 2014-06-03 | 2016-01-27 | 奥林巴斯株式会社 | 摄像装置和摄像装置的控制方法 |
CN105518555A (zh) * | 2014-07-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 目标追踪系统及方法 |
CN105959581A (zh) * | 2015-03-08 | 2016-09-21 | 联发科技股份有限公司 | 具有动态控制闪光灯的用于图像捕捉的电子设备及相关的控制方法 |
CN106231173A (zh) * | 2015-06-02 | 2016-12-14 | Lg电子株式会社 | 移动终端及其控制方法 |
WO2017018603A1 (ko) * | 2015-07-30 | 2017-02-02 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN106412426A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 全聚焦摄影装置及方法 |
CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的定位方法和装置 |
CN106534693A (zh) * | 2016-11-25 | 2017-03-22 | 努比亚技术有限公司 | 一种照片处理方法、装置及终端 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10872467B2 (en) | 2018-06-06 | 2020-12-22 | Ke.Com (Beijing) Technology Co., Ltd. | Method for data collection and model generation of house |
WO2020062024A1 (zh) * | 2018-09-28 | 2020-04-02 | 深圳市大疆创新科技有限公司 | 基于无人机的测距方法、装置及无人机 |
CN109782012A (zh) * | 2018-12-29 | 2019-05-21 | 中国电子科技集团公司第二十研究所 | 一种基于光电图像特征关联的测速方法 |
CN110191284A (zh) * | 2019-06-05 | 2019-08-30 | 贝壳技术有限公司 | 对房屋进行数据采集的方法、装置、电子设备和存储介质 |
CN110191284B (zh) * | 2019-06-05 | 2020-06-19 | 贝壳找房(北京)科技有限公司 | 对房屋进行数据采集的方法、装置、电子设备和存储介质 |
CN112334387A (zh) * | 2019-11-07 | 2021-02-05 | 深圳市大疆创新科技有限公司 | 拍照方法、相机、无人机和存储介质 |
CN115174803A (zh) * | 2022-06-20 | 2022-10-11 | 平安银行股份有限公司 | 自动拍照方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2018214077A1 (zh) | 2018-11-29 |
CN108496352B (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108496352A (zh) | 拍摄方法及装置、图像处理方法及装置 | |
CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
JP5659304B2 (ja) | 画像生成装置および画像生成方法 | |
JP5659305B2 (ja) | 画像生成装置および画像生成方法 | |
WO2013069049A1 (ja) | 画像生成装置および画像生成方法 | |
CN107071389A (zh) | 航拍方法、装置和无人机 | |
CN105282421B (zh) | 一种去雾图像获取方法、装置及终端 | |
WO2013069048A1 (ja) | 画像生成装置および画像生成方法 | |
CN107343165A (zh) | 一种监控方法、设备及系统 | |
CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
US20130044227A1 (en) | Imaging device and distance information detecting method | |
CN103873453B (zh) | 沉浸通信客户端、服务器及获取内容视图的方法 | |
CN106851094A (zh) | 一种信息处理方法和装置 | |
CN108702456A (zh) | 一种对焦方法、设备及可读存储介质 | |
WO2021016907A1 (zh) | 确定环绕航线的方法、航拍方法、终端、无人飞行器及系统 | |
CN108989765B (zh) | 动态跟踪自拍的三角架系统 | |
CN110291777B (zh) | 图像采集方法、设备及机器可读存储介质 | |
CN103139457B (zh) | 一种图像获得控制方法及电子设备 | |
CN110336948A (zh) | 一种预定区域聚焦的方法、装置、存储介质及电子装置 | |
WO2020019130A1 (zh) | 运动估计方法及可移动设备 | |
US9094581B2 (en) | Imaging device and distance information detecting method | |
CN104735353A (zh) | 一种拍摄全景照片的方法及装置 | |
CN110191284B (zh) | 对房屋进行数据采集的方法、装置、电子设备和存储介质 | |
CN111935389A (zh) | 拍摄对象切换方法、装置、拍摄设备及可读存储介质 | |
CN112334853A (zh) | 航线调整方法、地面端设备、无人机、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210209 |
|
CF01 | Termination of patent right due to non-payment of annual fee |