CN108475442A - 用于无人机航拍的增强现实方法、处理器及无人机 - Google Patents
用于无人机航拍的增强现实方法、处理器及无人机 Download PDFInfo
- Publication number
- CN108475442A CN108475442A CN201780004992.7A CN201780004992A CN108475442A CN 108475442 A CN108475442 A CN 108475442A CN 201780004992 A CN201780004992 A CN 201780004992A CN 108475442 A CN108475442 A CN 108475442A
- Authority
- CN
- China
- Prior art keywords
- portrait
- unmanned plane
- aerial images
- information
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Abstract
一种用于无人机航拍的增强现实方法,包括:获取无人机上搭载的拍摄设备所拍摄的航拍图像;识别所述航拍图像中的人像信息;根据所述人像信息为人像添加虚拟饰物;识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。上述增强现实方法,可以丰富无人机航拍图像的内容,提高观众的感官体验,提升无人机航拍的趣味性。还提供一种处理器及无人机。
Description
技术领域
本发明涉及一种用于无人机航拍的增强现实方法、处理器及无人机,属于无人机图像处理技术领域。
背景技术
无人机,是利用无线电遥控设备以及飞行控制器中固化的程序进行控制的不载人飞行器。现有的无人机上一般都会通过云台搭载拍摄设备,从而在空中对地面环境进行拍照,以获得更好的拍摄体验。但是,现有的无人机拍摄设备只能将所拍摄到的真实影像呈现给观众,并没有对影像信息进行增强,观众的体验不够丰富。
发明内容
为了解决现有技术中存在的上述或其他潜在问题,本发明实施例提供一种用于无人机航拍的增强现实方法、处理器及无人机。
根据本发明的一些实施例,提供一种用于无人机航拍的增强现实方法,包括:获取无人机上搭载的拍摄设备所拍摄的航拍图像;识别所述航拍图像中的人像信息;根据所述人像信息为人像添加虚拟饰物;识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
根据本发明的一些实施例,提供一种处理器,包括可存储介质,所述可存储介质中存储有可执行指令集,所述可执行指令集包括:航拍图像获取指令,用于获取无人机上搭载的拍摄设备所拍摄的航拍图像;人像识别指令,用于识别所述航拍图像中的人像信息;虚拟饰物添加指令,用于根据所述人像信息为人像添加虚拟饰物;背景识别指令,用于识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;虚拟环境添加指令,用于根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
根据本发明的一些实施例,提供一种无人机,机身、固定在机身上的云台、所述云台上搭载的拍摄设备、以及安装在机身内的处理器;所述处理器包括可存储介质,所述可存储介质中存储有可执行指令集,所述可执行指令集包括:航拍图像获取指令,用于获取无人机上搭载的拍摄设备所拍摄的航拍图像;人像识别指令,用于识别所述航拍图像中的人像信息;虚拟饰物添加指令,用于根据所述人像信息为人像添加虚拟饰物;背景识别指令,用于识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;虚拟环境添加指令,用于根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
根据本发明实施例的技术方案,可以丰富无人机所拍摄到的航拍图像的内容,给观众带来更好的感官体验,提升无人机航拍的趣味性。
附图说明
通过参照附图的以下详细描述,本发明实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中,将以示例以及非限制性的方式对本发明的多个实施例进行说明,其中:
图1为本发明实施例提供的无人机的结构示意图;
图2为本发明实施例提供的用于无人机航拍的增强现实方法的流程示意图。
图中:
100、无人机; 110、飞行控制器;
111、处理器; 113、可存储介质;
200、云台; 300、拍摄设备。
具体实施方式
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
无人机(UAV),是一种可以通过遥控设备(例如遥控器或者安装有控制程序的移动终端)、或者飞行控制器上烧录的自主控制程序进行控制的不载人飞行器。现有的无人机包括固定翼无人机或者旋翼式无人机。旋翼式无人机包括单旋翼无人机以及多旋翼无人机。对多旋翼无人机而言,其一般包括机架、机臂、旋翼组件以及安装在机架内的飞行控制器。机臂连接在机架上,旋翼组件则安装在机臂上,通过对旋翼组件中螺旋桨速度、转向以及加速度的控制实现多旋翼无人机的前进、后退、转向、悬停、起飞以及降落等。
图1为本发明实施例提供的无人机的结构示意图。如图1所示,本实施例的无人机100,包括:机身、以及安装在机身内的飞行控制器110,其中,飞行控制器100包括处理器111,该处理器111可以是处理芯片。
在机身上安装云台200,该云台200搭载有拍摄设备300,通过遥控设备(图中未示出)的拍摄按钮可以控制无人机100从空中拍摄图像(也即航拍图像)。拍摄到的视频或者图片可以通过无线传输的方式回传给显示设备(图中未示出),从而实时呈现在观众的眼前。当然,也可以将拍摄到的视频或者图片经过处理器111的处理后再通过显示设备呈现在观众眼前,以提升观众的观看体验。例如,在现有技术中,可以通过处理器111对航拍图像进行白平衡或者对比度进行调整。可是,现有的这种简单图像处理过程并不能增强航拍图像的现实感。
基于此,本实施例的处理器111可以执行一种用于无人机航拍图像的增强现实方法(以下将详述),以提高观众在观看航拍图像时的观看感受。应当理解,本实施例中的处理器111虽然安装在无人机的机身内,但明显可以通过无人机之外的处理器来执行以下实施例中的增强现实方法,例如能够接收无人机上航拍图像的遥控器上的处理器、电脑中的处理器、或者服务器的处理器、显示设备的处理器等等,这些处理器都属于本申请处理器的保护范围。
图2为本实施例提供的用于无人机航拍的增强现实方法的流程示意图。如图2所示,本实施例的增强现实方法,包括:
S101、获取无人机上搭载的拍摄设备所拍摄的航拍图像。
具体的,拍摄设备可以通过无线或者有线的方式与无人机的飞行控制器连接,以便飞行控制器中的处理器能够获取到拍摄设备所拍摄到的航拍图像,该航拍图像可以是图片或者视频。例如,用户按压遥控器上的拍摄按钮,遥控器的控制芯片接收到该按压信号后,通过无线发射器向无人机发送拍摄控制信号;无人机的无线接收器接收到上述拍摄控制信号后,通过无线或者有线方式将其发送到拍摄设备上,以使拍摄设备开启拍摄模式进行拍摄;拍摄得到的航拍图像再通过无线或者有线方式回传到飞行控制器的处理器中进行以下处理。
S102、识别所述航拍图像中的人像信息。
当飞行控制器的处理器接收到拍摄设备回传的航拍图像之后,开设对航拍图像中的人像进行识别,以便得到人像在航拍图像中的位置以及人像轮廓等信息。
在对人像进行识别时,可以采用现有技术中记载的方法识别人像的位置以及轮廓。例如,通过接受用户输入的人像目标信息,然后根据接收到的人像目标信息对航拍图像进行直方图运算,获得人像的位置以及轮廓。具体在输入人像目标信息时,可以通过在航拍图像中点选人像所在位置的任意一个或者一些像素点;也可以通过框选人像所在区域。
又例如,由于航拍图像一般是俯视图,因此,也可以采用基于人脸识别或者物体识别所使用的特征识别方法,识别出航拍图像中人体头部的三维立体特征,从而根据识别出的三维立体特征确定人像的位置以及人像的轮廓。具体的,当识别出人体头部的三维立体特征以后,可以基于该区域中像素点的灰度、灰度统计或者平均灰度等,在航拍图像的相邻区域内寻找与人体头部灰度、灰度统计或者平均灰度相同或者满足预设阈值的区域确定为人像的位置以及人像的轮廓。当然,为了获得更精确的人像信息,也可以采用现有技术中使用的一些附加的图像处理方法,例如,通过对区域内的像素进行对比度分析或者直方图计算等方式获取到更为精确的人像位置以及人像轮廓。此外,应当理解,如何建立航拍图像中的人体头部的特征点并非本方案的重点,可以采用现有技术中的任意方法。
再例如,当拍摄设备配置有双目摄像头时,可以采用现有的双目摄像头的图像处理方法识别出航拍图像中的人像信息,也即包括人像的位置和人像的轮廓在内的各项信息。
S103、根据所述人像信息为人像添加虚拟饰物。
当识别出人像信息后就可以在人像上添加一些虚拟饰物,包括但不限于在人体背部绘制出煽动的翅膀、在人体尾部绘制尾巴、在人体头部绘制光环和犄角等,从而使人像具有更为丰富的信息,以提升观众的观看体验。具体在为人像添加虚拟饰物时,可以采用现有的增强现实方法所采用的添加虚拟物品的方法,不再进行赘述。
由于实际环境中人可能会有各种各样的姿态,例如,直立、躺卧、或者跳跃、奔跑等,因此,在添加虚拟饰物时,标准的虚拟饰物可能与人像的姿态并不能完全匹配。故,可选的,还可以包括:
根据所述人像的轮廓确定人体的姿态。具体的,当获取到人像的轮廓后可以在人体姿态信息库中查找是否存在与该人像的轮廓相同的人像轮廓信息,若查找到,则获取与该人像轮廓相对应的人体姿态。在具体比对时,可以将人像轮廓中的多个特征点之间的间距作为比对的基础,也可以是轮廓的曲线整体作为比对的基础。
当获取到人体的姿态信息后,则根据该人体姿态信息和人像的位置信息来为人像添加虚拟饰物。举例来说,当查找到与人像轮廓对应的人体姿态为直立时,则直接在人像的头顶所在的Y轴方向添加光环。又例如,当查找到与人像轮廓对应的人体姿态为躺卧时,则在头顶所在的X轴方向添加光环。
进一步,考虑到人体姿态信息的多变性和人像位置以及人像的轮廓在航拍图像上的大小变化,为了更准确的在人像上添加虚拟饰物,可以通过以下方式提高虚拟饰物插入的准确度:
根据人像的位置以及人像的轮廓确定虚拟饰物的插入位置。以添加气泡以将人像包裹在气泡内为例,通过对人像的位置以及人像的轮廓进行分析计算,可以确定人像的每一个像素点的横纵坐标,从而确定气泡的大小以及插入基点的横纵坐标,也即气泡的插入位置。可选地,考虑到某些虚拟饰物,例如光环、尾巴和翅膀等,只能添加到人像的特定部位,因此,可以再获取需要添加虚拟饰物的种类,再根据人像的位置、人像的轮廓以及虚拟饰物的种类确定虚拟饰物的插入位置。举例来说,当获取到需要添加的虚拟饰物为光环时,则从人像的位置和人像的轮廓中识别出人像头顶在航拍图像中的横纵坐标,以此作为在头顶添加光环的基准;当获取到需要添加的虚拟饰物是翅膀时,则从人像的位置和人像的轮廓中识别出人像背部在航拍图像中的横纵坐标,以此作为在背部添加翅膀的基准。
根据人体的姿态确定虚拟饰物的旋转角度。如果虚拟饰物中的光环是针对直立姿态的,则当人体的姿态为躺卧时,则光环需要旋转九十度,当为其他姿态时,则旋转相应的角度。上述旋转角度与人体姿态之间的对应关系可以通过建立映射表来实现。
然后根据上述插入位置和旋转角度将虚拟饰物添加到航拍图像的人像上。
S104、识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分。
对航拍图像中除人像外的背景部分进行分析,例如,可以提取背景部分的地面轮廓,并将该地面轮廓与数据库中的各种地面轮廓进行比对,以确定航拍图像中的地面轮廓具体是平原、丘陵、高山、沙漠、海洋、还是河流或者湖泊等。需要说明的是,本步骤中提取背景部分的地面轮廓可以采用前述识别人像的方法,也可以采用现有技术中的其他方法,不再赘述。
S105、根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
当确定背景部分的地理特征后,例如,当得到背景部分的地面轮廓为草原时,则可以在草原上添加牛群或者羊群等与草原这一地理特征相对应的虚拟环境。又例如,当得到的背景部分的地面轮廓为高山时,则可以在高山上添加喷发的岩浆,同时根据人像的位置和轮廓来确定岩浆的覆盖范围。再例如,当得到的背景部分的地面轮廓为大海时,则可以在海面上添加战舰、鱼群等,或者在天空中添加闪电、暴风雨等虚拟环境。当然,与地理特征相对应的虚拟环境可以由预设的映射表来实现,并且,这种对应并非指与现实环境相一致,而只是反映一种映射关系。例如,可以在平原的天空中添加小鸟这种符合现实环境的映射关系,也可以在天空中添加鲨鱼这种在现实环境中并不存在的环境作为映射关系。
为了提高对背景部分地理特征识别的速度,在一些实施例中可以通过以下方式进行:
获取无人机的地理位置,并根据无人机的地理位置确定无人机所在位置的地理特征并将其作为航拍图像背景部分的地理特征。具体的,无人机上一般安装有全球定位装置,例如GPS,处理器可以通过读取GPS信息确定无人机所在的经纬度坐标,也即该无人机的地理位置。明显地,该经纬度坐标体现出了无人机是在城市、峡谷、平原、大海、高山、湖泊、沙漠或者其他地方飞行,从而快速得到航拍图像的地理特征。更具体的,当无人机获取到GPS信息后可以将该GPS信息发送到地理信息数据库中查找与该GPS信息所反映的经纬度坐标的地理特征信息。
进一步,考虑到无人机是从高空中对地面或者空中目标进行拍摄,其拍摄对象和无人机之间具有相当的距离,这部分距离可能导致无人机所在位置的地理特征与航拍图像实际的地理特征不一致。例如,无人机位于海岸边的悬崖上,而其拍摄的是大海的图像;又或者,无人机位于沙漠的绿洲上方,所拍摄的却是远方沙漠上的驼队;再或者,无人机位于湖泊上,但其拍摄的却是岸边的村庄或者农田。为了纠正这种拍摄目标位置与无人机位置不一致可能出现的地理特征不一致的问题,在某些实施例中可以采取以下方法:
获取无人机以及其上安装的云台的姿态信息;根据无人机和云台的姿态信息计算拍摄设备与地面的夹角。具体的,无人机上安装有大量的传感器,可以通过传感器检测到无人机的姿态,也即无人机的俯仰角和偏航角。而无人机上云台的转动这时通过俯仰电机和偏航电机进行控制的,则可以通过俯仰电机和偏航电机的控制参数获得或者计算得到云台的俯仰角和偏航角。通过对无人机和云台各自的俯仰角和偏航角的叠加计算,可以得到云台上安装的拍摄设备与地面之间的夹角。
然后再根据上述拍摄设备与地面之间的夹角、无人机气压计所获取到的无人机的高度、以及无人机GPS获取到的地理位置(经纬度信息),就可以通过三角函数计算得到航拍图像对焦点的具体地理位置,从而根据该具体地理位置确定航拍图像背景部分的地理特征。例如,可以在地理信息库中读取与该具体地理位置对应的地理特征,或者,直接通过具体地理位置的经纬度信息确定该位置的地理特征。可选地,在一些实施例中,可以根据该具体地理位置在地理信息库中获取该位置的地理信息图像,并通过该地理信息图像对航拍图像进行校正,例如,补充某些失真的信息。
最后以无人机的拍摄设备拍摄到的一张湖边垂钓者的照片为例说明本实施例的增强现实方法:
飞行控制器的处理器通过无线或者有线传输的方式接收到摄像头回传的上述照片。
处理器使用人像识别方法对照片中的图像进行识别。例如,当拍摄设备为双目摄像头时,可以采用现有的双目摄像头所使用的图像处理方法对照片进行识别,得到照片中一系列连续的点,这些连续的点构成了垂钓者的影像,位于边缘位置的点的连线即为垂钓者的轮廓,当然同时也获得了垂钓者在X轴和Y轴的起始点和终止点,从而为下一步在垂钓者身上添加虚拟饰物提供坐标依据。
处理器再获取到需要添加的虚拟饰物的种类,然后和垂钓者的位置以及垂钓者的轮廓一起确定虚拟饰物插入的位置以及虚拟饰物的旋转角度,以使虚拟饰物与垂钓者的影像更加契合。例如,当需要在垂钓者的头顶添加光环,并在背部添加翅膀,以及在尾部添加尾巴时。首先,在人体姿态信息库中寻找与垂钓者轮廓一致的人像轮廓,从而确定垂钓者是站姿还是坐姿,当其为坐姿时是否有倾斜。以垂钓者坐姿垂钓且身体有向前倾斜为例,在人体姿态信息库中找到该人体轮廓信息后,可以确定头顶的光环以及翅膀需要相应的旋转一定角度,读取到与该姿态对应的旋转角度信息后,将光环和翅膀旋转相应角度。同时,根据对垂钓者位置以及轮廓的分析,可以确定出垂钓者头顶、背部以及尾部的坐标,然后以头顶的坐标为基准将旋转后的光环插入到图像中,同理的,以背部的坐标为基准将旋转后的翅膀插入到图像中,以及以尾部的坐标为基准将尾巴插入到图像中。
处理器还对垂钓者之外的背景部分进行地理特征识别。例如,处理器获取到无人机和云台的姿态信息,并通过固化在处理器中的可执行程序计算出云台上承载的摄像头相对于地面的夹角,并进一步获取到无人机的高度、经纬度坐标,然后通过另一可执行程序计算得到背景部分的具体经纬度坐标,从而在地理信息库中读取到该具体经纬度坐标的地理特征,以便为在该照片背景部分添加虚拟环境做准备。此外,再辅助像素分析、或者通过与地理信息库中该位置的图像进行比对,可以确定该照片背景部分中地面与湖面的分界线,以及湖面和地面在图像中的区域。
在确定了地面和湖面的分界线以及各自的区域后,可以在湖面上添加小舟、小鱼等,或者在地面上添加小狗、岩石等,也可以在天空中添加雨、雪等、或者还可以将整个天空区域从白天替换为晚上等。当然,也可以进一步识别出钓钩所在位置,并在钓钩上添加鲨鱼或者其他物品等。
当然,以上识别人像和识别背景部分可以同时或者先后进行,并且在人像上添加虚拟饰物和在背景中添加虚拟环境也可以同时或者先后进行。
此外,还需要说明的是,处理器111在实现上述实施例的方法时可以通过将硬件电路(例如,可编程电路)集成在处理器的集成电路板上来实现,也可以通过可执行指令集的方式来实现,这些可执行指令集可以存储在处理器111的可存储介质113中,也可以存储在单独的存储器或者在线服务器内。
具体的,可执行指令集,可以包括:航拍图像获取指令,用于获取无人机上搭载的拍摄设备所拍摄的航拍图像;人像识别指令,用于识别所述航拍图像中的人像信息;虚拟饰物添加指令,用于根据所述人像信息为人像添加虚拟饰物;背景识别指令,用于识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;虚拟环境添加指令,用于根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
上述各个可执行指令的具体执行过程可以参见上述实施例方法步骤的具体过程,在此不再进行赘述。
综上所述,上述实施例的增强现实方法、处理器以及无人机,通过对航拍图像的处理,在人像上增加了虚拟饰物、在背景部分添加了虚拟环境,从而丰富了航拍图像的内容,提高了观众的观看感受,提升了无人机航拍的趣味性。
最后,尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点,但是其他实施例也可以包括这样的优点,并且并非所有实施例都详细描述了本发明的所有优点,由实施例中的技术特征所客观带来的优点均应视为本发明区别于现有技术的优点,均属于本发明的保护范围。
Claims (39)
1.一种用于无人机航拍的增强现实方法,其特征在于,包括:
获取无人机上搭载的拍摄设备所拍摄的航拍图像;
识别所述航拍图像中的人像信息;
根据所述人像信息为人像添加虚拟饰物;
识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;
根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
2.根据权利要求1所述的增强现实方法,其特征在于,所述人像信息包括:位置以及轮廓。
3.根据权利要求2所述的增强现实方法,其特征在于,根据所述人像信息为人像添加虚拟饰物,包括:
根据所述人像的轮廓确定人体的姿态;
根据所述人像的位置以及人体的姿态为人像添加虚拟饰物。
4.根据权利要求3所述的增强现实方法,其特征在于,根据所述人像的位置以及人体的姿态为人像添加虚拟饰物,包括:
根据所述人像的位置以及人像的轮廓确定所述虚拟饰物的插入位置;
根据所述人体的姿态确定所述虚拟饰物的旋转角度;
根据所述插入位置和旋转角度为人像添加虚拟饰物。
5.根据权利要求4所述的增强现实方法,其特征在于,根据所述人像的位置以及人像的轮廓确定所述虚拟饰物的插入位置,包括:
获取所述虚拟饰物的种类;
根据所述人像的位置、人像的轮廓以及虚拟饰物的种类确定所述虚拟饰物的插入位置。
6.根据权利要求3所述的增强现实方法,其特征在于,根据所述人像的轮廓确定人体的姿态,包括:
在人体姿态信息库中查找所述人像的轮廓,若找到,则获取与该人像的轮廓相对应的人体的姿态。
7.根据权利要求2-6任一项所述的增强现实方法,其特征在于,识别所述航拍图像中的人像信息,包括:
接收用户输入的人像目标信息;
根据所述人像目标信息对所述航拍图像进行直方图运算,获得所述人像的位置以及轮廓。
8.根据权利要求7所述的增强现实方法,其特征在于,所述人像目标信息为在所述航拍图像上的点选信号或者框选信号。
9.根据权利要求1-6任一项所述的增强现实方法,其特征在于,识别所述航拍图像中的人像信息,包括:
识别所述航拍图像中头部的三维立体特征,根据所述三维立体特征确定所述人像的位置以及人像的轮廓。
10.根据权利要求1-6任一项所述的增强现实方法,其特征在于,识别所述航拍图像背景部分的地理特征,包括:
获取所述无人机的地理位置;
根据所述无人机的地理位置确定所述无人机所在位置的地理特征并将其作为航拍图像背景部分的地理特征。
11.根据权利要求10所述的增强现实方法,其特征在于,还包括:
获取所述无人机以及其上安装的云台的姿态信息;
根据所述无人机和云台的姿态信息计算所述拍摄设备与地面间的夹角;
根据所述夹角、无人机的高度、以及无人机的地理位置,计算得到所述航拍图像对焦点的具体地理位置;
根据所述具体地理位置确定所述航拍图像背景部分的地理特征。
12.根据权利要求11所述的增强现实方法,其特征在于,根据所述具体地理位置确定所述航拍图像背景部分的地理特征,包括:
在地理信息库中读取与该具体地理位置对应的地理特征。
13.根据权利要求10所述的增强现实方法,其特征在于,所述地理特征包括以下任意一种:高山、峡谷、平原、草地、大海、河流、湖泊和沙漠。
14.一种处理器,其特征在于,包括可存储介质,所述可存储介质中存储有可执行指令集,所述可执行指令集包括:
航拍图像获取指令,用于获取无人机上搭载的拍摄设备所拍摄的航拍图像;
人像识别指令,用于识别所述航拍图像中的人像信息;
虚拟饰物添加指令,用于根据所述人像信息为人像添加虚拟饰物;
背景识别指令,用于识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;
虚拟环境添加指令,用于根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
15.根据权利要求14所述的处理器,其特征在于,所述人像信息包括:位置以及轮廓。
16.根据权利要求15所述的处理器,其特征在于,所述虚拟饰物添加指令,
还用于根据所述人像的轮廓确定人体的姿态;以及,
根据所述人像的位置以及人体的姿态为人像添加虚拟饰物。
17.根据权利要求16所述的处理器,其特征在于,所述虚拟饰物添加指令,
还用于根据所述人像的位置以及人像的轮廓确定所述虚拟饰物的插入位置;以及,
根据所述人体的姿态确定所述虚拟饰物的旋转角度;和,
根据所述插入位置和旋转角度为人像添加虚拟饰物。
18.根据权利要求17所述的处理器,其特征在于,所述虚拟饰物添加指令,
还用于获取所述虚拟饰物的种类;以及,
根据所述人像的位置、人像的轮廓以及虚拟饰物的种类确定所述虚拟饰物的插入位置。
19.根据权利要求16所述的处理器,其特征在于,所述虚拟饰物添加指令,
还用于在人体姿态信息库中查找所述人像的轮廓,若找到,则获取与该人像的轮廓相对应的人体的姿态。
20.根据权利要求15-19任一项所述的处理器,其特征在于,所述人像识别指令,
用于接收用户输入的人像目标信息;以及,
根据所述人像目标信息对所述航拍图像进行直方图运算,获得所述人像的位置以及轮廓。
21.根据权利要求20所述的处理器,其特征在于,所述人像目标信息为在所述航拍图像上的点选信号或者框选信号。
22.根据权利要求14-19任一项所述的处理器,其特征在于,所述人像识别指令,
用于识别所述航拍图像中头部的三维立体特征,并根据所述三维立体特征确定所述人像的位置以及人像的轮廓。
23.根据权利要求14-19任一项所述的处理器,其特征在于,所述背景识别指令,
用于获取所述无人机的地理位置;以及,
根据所述无人机的地理位置确定所述无人机所在位置的地理特征并将其作为航拍图像背景部分的地理特征。
24.根据权利要求23所述的处理器,其特征在于,所述背景识别指令,
用于获取所述无人机以及其上安装的云台的姿态信息;以及,
根据所述无人机和云台的姿态信息计算所述拍摄设备与地面间的夹角;并,
根据所述夹角、无人机的高度、以及无人机的地理位置,计算得到所述航拍图像对焦点的具体地理位置;和,
根据所述具体地理位置确定所述航拍图像背景部分的地理特征。
25.根据权利要求24所述的处理器,其特征在于,所述背景识别指令,
还用于在地理信息库中读取与该具体地理位置对应的地理特征。
26.根据权利要求23所述的处理器,其特征在于,所述地理特征包括以下任意一种:高山、峡谷、平原、草地、大海、河流、湖泊和沙漠。
27.一种无人机,其特征在于,包括:机身、固定在机身上的云台、所述云台上搭载的拍摄设备、以及安装在机身内的处理器;
所述处理器包括可存储介质,所述可存储介质中存储有可执行指令集,所述可执行指令集包括:
航拍图像获取指令,用于获取无人机上搭载的拍摄设备所拍摄的航拍图像;
人像识别指令,用于识别所述航拍图像中的人像信息;
虚拟饰物添加指令,用于根据所述人像信息为人像添加虚拟饰物;
背景识别指令,用于识别所述航拍图像背景部分的地理特征,其中,背景部分为所述航拍图像中人像以外的部分;
虚拟环境添加指令,用于根据所述地理特征为背景添加与该地理特征相对应的虚拟环境。
28.根据权利要求27所述的无人机,其特征在于,所述人像信息包括:位置以及轮廓。
29.根据权利要求28所述的无人机,其特征在于,所述虚拟饰物添加指令,
还用于根据所述人像的轮廓确定人体的姿态;以及,
根据所述人像的位置以及人体的姿态为人像添加虚拟饰物。
30.根据权利要求29所述的无人机,其特征在于,所述虚拟饰物添加指令,
还用于根据所述人像的位置以及人像的轮廓确定所述虚拟饰物的插入位置;以及,
根据所述人体的姿态确定所述虚拟饰物的旋转角度;和,
根据所述插入位置和旋转角度为人像添加虚拟饰物。
31.根据权利要求30所述的无人机,其特征在于,所述虚拟饰物添加指令,
还用于获取所述虚拟饰物的种类;以及,
根据所述人像的位置、人像的轮廓以及虚拟饰物的种类确定所述虚拟饰物的插入位置。
32.根据权利要求29所述的无人机,其特征在于,所述虚拟饰物添加指令,
还用于在人体姿态信息库中查找所述人像的轮廓,若找到,则获取与该人像的轮廓相对应的人体的姿态。
33.根据权利要求28-32任一项所述的无人机,其特征在于,所述人像识别指令,
用于接收用户输入的人像目标信息;以及,
根据所述人像目标信息对所述航拍图像进行直方图运算,获得所述人像的位置以及轮廓。
34.根据权利要求33所述的无人机,其特征在于,所述人像目标信息为在所述航拍图像上的点选信号或者框选信号。
35.根据权利要求27-32任一项所述的无人机,其特征在于,所述人像识别指令,
用于识别所述航拍图像中头部的三维立体特征,并根据所述三维立体特征确定所述人像的位置以及人像的轮廓。
36.根据权利要求27-32任一项所述的无人机,其特征在于,所述背景识别指令,
用于获取所述无人机的地理位置;以及,
根据所述无人机的地理位置确定所述无人机所在位置的地理特征并将其作为航拍图像背景部分的地理特征。
37.根据权利要求36所述的无人机,其特征在于,所述背景识别指令,
用于获取所述无人机以及其上安装的云台的姿态信息;以及,
根据所述无人机和云台的姿态信息计算所述拍摄设备与地面间的夹角;并,
根据所述夹角、无人机的高度、以及无人机的地理位置,计算得到所述航拍图像对焦点的具体地理位置;和,
根据所述具体地理位置确定所述航拍图像背景部分的地理特征。
38.根据权利要求37所述的无人机,其特征在于,所述背景识别指令,
还用于在地理信息库中读取与该具体地理位置对应的地理特征。
39.根据权利要求36所述的无人机,其特征在于,所述地理特征包括以下任意一种:高山、峡谷、平原、草地、大海、河流、湖泊和沙漠。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/090820 WO2019000325A1 (zh) | 2017-06-29 | 2017-06-29 | 用于无人机航拍的增强现实方法、处理器及无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108475442A true CN108475442A (zh) | 2018-08-31 |
Family
ID=63266022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780004992.7A Pending CN108475442A (zh) | 2017-06-29 | 2017-06-29 | 用于无人机航拍的增强现实方法、处理器及无人机 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108475442A (zh) |
WO (1) | WO2019000325A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712249A (zh) * | 2018-12-31 | 2019-05-03 | 成都纵横大鹏无人机科技有限公司 | 地理要素增强现实方法及装置 |
CN109727317A (zh) * | 2019-01-07 | 2019-05-07 | 京东方科技集团股份有限公司 | 增强现实系统及控制方法 |
CN111476134A (zh) * | 2020-03-31 | 2020-07-31 | 广州幻境科技有限公司 | 一种基于增强现实的地质考察数据处理系统和方法 |
CN111640196A (zh) * | 2020-06-08 | 2020-09-08 | 浙江商汤科技开发有限公司 | 一种太空舱特效生成的方法、装置、电子设备及存储介质 |
CN111640203A (zh) * | 2020-06-12 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置 |
CN111696215A (zh) * | 2020-06-12 | 2020-09-22 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置及设备 |
CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
WO2022222082A1 (zh) * | 2021-04-21 | 2022-10-27 | 深圳传音控股股份有限公司 | 图像控制方法、移动终端及存储介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652987B (zh) * | 2020-06-12 | 2023-11-07 | 浙江商汤科技开发有限公司 | 一种ar合影图像生成的方法及装置 |
CN112966546A (zh) * | 2021-01-04 | 2021-06-15 | 航天时代飞鸿技术有限公司 | 一种基于无人机侦察图像的嵌入式姿态估计方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990001299A (ko) * | 1997-06-13 | 1999-01-15 | 양승택 | 무인정찰기 시스템의 운용 방법 |
US20130307842A1 (en) * | 2012-05-15 | 2013-11-21 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
CN104457704A (zh) * | 2014-12-05 | 2015-03-25 | 北京大学 | 基于增强地理信息的无人机地面目标定位系统及方法 |
WO2015103689A1 (en) * | 2014-01-08 | 2015-07-16 | Precisionhawk Inc. | Method and system for generating augmented reality agricultural presentations |
US20160105649A1 (en) * | 2014-10-10 | 2016-04-14 | IEC Infrared Systems LLC | Panoramic View Imaging System With Drone Integration |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN105872438A (zh) * | 2015-12-15 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种视频通话方法、装置及终端 |
CN106131488A (zh) * | 2016-07-12 | 2016-11-16 | 北京仿真中心 | 一种基于无人机的增强现实方法 |
CN106155315A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种拍摄中增强现实效果的添加方法、装置及移动终端 |
CN106228615A (zh) * | 2016-08-31 | 2016-12-14 | 陈昊 | 基于增强现实的无人飞行器体验系统及其体验方法 |
CN206193950U (zh) * | 2016-08-31 | 2017-05-24 | 陈昊 | 基于增强现实的无人飞行器体验系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9324189B2 (en) * | 2013-09-27 | 2016-04-26 | Intel Corporation | Ambulatory system to communicate visual projections |
CN105869198A (zh) * | 2015-12-14 | 2016-08-17 | 乐视移动智能信息技术(北京)有限公司 | 多媒体照片生成方法、装置、设备及手机 |
-
2017
- 2017-06-29 WO PCT/CN2017/090820 patent/WO2019000325A1/zh active Application Filing
- 2017-06-29 CN CN201780004992.7A patent/CN108475442A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990001299A (ko) * | 1997-06-13 | 1999-01-15 | 양승택 | 무인정찰기 시스템의 운용 방법 |
US20130307842A1 (en) * | 2012-05-15 | 2013-11-21 | Imagine Mobile Augmented Reality Ltd | System worn by a moving user for fully augmenting reality by anchoring virtual objects |
WO2015103689A1 (en) * | 2014-01-08 | 2015-07-16 | Precisionhawk Inc. | Method and system for generating augmented reality agricultural presentations |
US20160307373A1 (en) * | 2014-01-08 | 2016-10-20 | Precisionhawk Inc. | Method and system for generating augmented reality agricultural presentations |
US20160105649A1 (en) * | 2014-10-10 | 2016-04-14 | IEC Infrared Systems LLC | Panoramic View Imaging System With Drone Integration |
CN104457704A (zh) * | 2014-12-05 | 2015-03-25 | 北京大学 | 基于增强地理信息的无人机地面目标定位系统及方法 |
CN105872438A (zh) * | 2015-12-15 | 2016-08-17 | 乐视致新电子科技(天津)有限公司 | 一种视频通话方法、装置及终端 |
CN105759833A (zh) * | 2016-02-23 | 2016-07-13 | 普宙飞行器科技(深圳)有限公司 | 一种沉浸式无人机驾驶飞行系统 |
CN106155315A (zh) * | 2016-06-28 | 2016-11-23 | 广东欧珀移动通信有限公司 | 一种拍摄中增强现实效果的添加方法、装置及移动终端 |
CN106131488A (zh) * | 2016-07-12 | 2016-11-16 | 北京仿真中心 | 一种基于无人机的增强现实方法 |
CN106228615A (zh) * | 2016-08-31 | 2016-12-14 | 陈昊 | 基于增强现实的无人飞行器体验系统及其体验方法 |
CN206193950U (zh) * | 2016-08-31 | 2017-05-24 | 陈昊 | 基于增强现实的无人飞行器体验系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712249A (zh) * | 2018-12-31 | 2019-05-03 | 成都纵横大鹏无人机科技有限公司 | 地理要素增强现实方法及装置 |
CN109712249B (zh) * | 2018-12-31 | 2023-05-26 | 成都纵横大鹏无人机科技有限公司 | 地理要素增强现实方法及装置 |
CN109727317A (zh) * | 2019-01-07 | 2019-05-07 | 京东方科技集团股份有限公司 | 增强现实系统及控制方法 |
US11402900B2 (en) | 2019-01-07 | 2022-08-02 | Beijing Boe Optoelectronics Technology Co., Ltd. | Augmented reality system comprising an aircraft and control method therefor |
CN111476134A (zh) * | 2020-03-31 | 2020-07-31 | 广州幻境科技有限公司 | 一种基于增强现实的地质考察数据处理系统和方法 |
CN111640196A (zh) * | 2020-06-08 | 2020-09-08 | 浙江商汤科技开发有限公司 | 一种太空舱特效生成的方法、装置、电子设备及存储介质 |
CN111640203A (zh) * | 2020-06-12 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置 |
CN111696215A (zh) * | 2020-06-12 | 2020-09-22 | 上海商汤智能科技有限公司 | 一种图像处理方法、装置及设备 |
CN111640203B (zh) * | 2020-06-12 | 2024-04-12 | 上海商汤智能科技有限公司 | 一种图像处理方法及装置 |
CN113066125A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
WO2022179603A1 (zh) * | 2021-02-27 | 2022-09-01 | 华为技术有限公司 | 一种增强现实方法及其相关设备 |
WO2022222082A1 (zh) * | 2021-04-21 | 2022-10-27 | 深圳传音控股股份有限公司 | 图像控制方法、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2019000325A1 (zh) | 2019-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108475442A (zh) | 用于无人机航拍的增强现实方法、处理器及无人机 | |
US10650235B2 (en) | Systems and methods for detecting and tracking movable objects | |
US10580162B2 (en) | Method for determining the pose of a camera and for recognizing an object of a real environment | |
CN107194989B (zh) | 基于无人机飞机航拍的交通事故现场三维重建系统及方法 | |
CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
CN110799921A (zh) | 拍摄方法、装置和无人机 | |
EP3273318B1 (fr) | Système autonome de prise de vues animées par un drone avec poursuite de cible et localisation améliorée de la cible | |
CN103852077B (zh) | 链路失效时无人机定位信息防欺骗自主判断方法 | |
WO2021223124A1 (zh) | 位置信息获取方法、设备及存储介质 | |
CN108700890A (zh) | 无人机返航控制方法、无人机和机器可读存储介质 | |
CN110147094A (zh) | 一种基于车载环视系统的车辆定位方法及车载终端 | |
WO2019100219A1 (zh) | 输出影像生成方法、设备及无人机 | |
CN111433818A (zh) | 目标场景三维重建方法、系统及无人机 | |
Menozzi et al. | Development of vision-aided navigation for a wearable outdoor augmented reality system | |
CN112489032A (zh) | 一种复杂背景下无人机载小目标检测定位方法及系统 | |
CN109035294A (zh) | 一种运动目标的图像提取系统及方法 | |
CN207068060U (zh) | 基于无人机飞机航拍的交通事故现场三维重建系统 | |
CN108227749A (zh) | 无人机及其追踪系统 | |
CN105930766A (zh) | 无人机 | |
CN109764864B (zh) | 一种基于颜色识别的室内无人机位姿获取方法及系统 | |
CN111402324A (zh) | 一种目标测量方法、电子设备以及计算机存储介质 | |
CN111383354B (zh) | 一种基于sfm的三维点云朝向修正方法 | |
US20240037759A1 (en) | Target tracking method, device, movable platform and computer-readable storage medium | |
CN106650724A (zh) | 建立交通标志数据库的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180831 |
|
WD01 | Invention patent application deemed withdrawn after publication |