CN106303448A - 航拍图像处理方法、无人机、头戴显示设备及系统 - Google Patents

航拍图像处理方法、无人机、头戴显示设备及系统 Download PDF

Info

Publication number
CN106303448A
CN106303448A CN201610752254.8A CN201610752254A CN106303448A CN 106303448 A CN106303448 A CN 106303448A CN 201610752254 A CN201610752254 A CN 201610752254A CN 106303448 A CN106303448 A CN 106303448A
Authority
CN
China
Prior art keywords
visual field
image
coordinate
display device
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610752254.8A
Other languages
English (en)
Other versions
CN106303448B (zh
Inventor
程晓磊
杨建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuandu Internet Technology Co ltd
Hebei Xiong'an Yuandu Technology Co ltd
Original Assignee
Zerotech Beijing Intelligence Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zerotech Beijing Intelligence Robot Co Ltd filed Critical Zerotech Beijing Intelligence Robot Co Ltd
Priority to CN201610752254.8A priority Critical patent/CN106303448B/zh
Publication of CN106303448A publication Critical patent/CN106303448A/zh
Application granted granted Critical
Publication of CN106303448B publication Critical patent/CN106303448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种航拍图像处理方法、无人机、头戴显示设备及系统,该航拍图像处理方法包括:获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;将所述视场角的图像发送至所述头戴显示设备。利用本发明,可以消除由于图像传输的时间延迟导致用户眩晕的问题。

Description

航拍图像处理方法、无人机、头戴显示设备及系统
技术领域
本发明涉及无人机视频图像处理技术,具体涉及一种航拍图像处理及获取方法、无人机、头戴显示设备及系统。
背景技术
在无人机航拍过程中,通过全景第一人称视角(First Person View,简称为FPV)的方式,操作者可实时的沉浸式体验航拍视角,并通过头戴显示设备(如虚拟现实(VirtualReality简称为VR)头盔)内部的加速度传感器将头部转动信息实时发送给飞机上的云台等镜头控制单元,让镜头跟着操作者的头部运动方向运动,使操作者可自由控制其在空中的视角。
无人机接收到头戴显示设备传来的姿态信息后,要通过控制云台的电机运作使镜头完成相应的姿态变换动作,以切换到操作者期望的视角上。但是,由于机电转换过程中存在延迟问题,目前无法将镜头的反应延迟缩短至100ms以内,因此操作者在转动头部时,会感觉到头戴显示设备显示屏上接收到的航拍视频存在延迟,一般操作者在操作1~2分钟后,可能会由于神经反馈紊乱的原因而发生眩晕现象,因而导致这种全景FPV的模式很难推广开来成为常规的无人机操作及航拍的模式。
发明内容
本发明提供一种航拍图像处理方法,包括:
获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;
将所述视场角的图像发送至所述头戴显示设备。
本发明提供一种无人机,包括:
信息获取单元,用于获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
图像截取单元,用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;
图像发送单元,用于将所述视场角的图像发送至所述头戴显示设备。
本发明提供一种航拍图像获取方法,包括:
确定视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
将所述视野变化坐标发送至无人机;
接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。
本发明提供一种头戴显示设备,包括:
信息确定单元,用于确定视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
信息发送单元,用于将所述视野变化坐标发送至无人机;
图像接收单元,用于接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。
本发明提供一种航拍系统,包括:无人机及头戴显示设备,所述无人机与头戴显示设备无线连接;
所述头戴显示设备用于确定视野变化坐标,并将所述视野变化坐标发送至无人机,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
所述无人机用于接收所述视野变化坐标,从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像,并将所述视场角的图像发送至所述头戴显示设备;
所述头戴显示设备接收所述视场角的图像并显示。
本发明实施例中,可以消除由于图像传输的时间延迟导致用户眩晕的问题。
当然实施本申请的任一产品或者方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例的应用场景示意图;
图2为本发明一实施例的航拍图像处理方法流程图;
图3为本发明实施例的视野变化坐标确定方法流程图;
图4为本发明实施例的头戴显示设备的结构示意图;
图5为本发明实施例的信息确定单元的结构框图;
图6为本发明实施例的坐标确定模块的结构框图;
图7为本发明实施例的航拍图像处理方法流程图;
图8为本发明实施例的无人机的结构示意图;
图9为本发明实施例的图像截取单元的结构示意图;
图10为本发明实施例的航拍系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明一实施例的应用场景示意图。本发明实施例的技术方案可以在无人机101与头戴显示设备102之间实现相关操作。现有技术中在实现相关操作时,头戴显示设备102通过其上的传感部件测量姿态信息并传输至无人机101,无人机101接收到头戴显示设备传来的姿态信息后,要通过控制云台的电机运作使镜头完成相应的姿态变换动作,以切换到操作者期望的视角上。但是,由于机电转换过程中存在延迟问题,佩戴头戴显示设备的操作者在转动头部时,会感觉到头戴显示设备的显示屏上接收到的航拍视频存在延迟,从而发生眩晕现象。基于此,本发明通过头戴显示设备102确定用户的视野变化坐标并传输给无人机101,无人机101根据视野变化坐标从图像中抽取用户欲观看的图像部分,然后再进行将图像传输给头戴显示设备102,可以改善图像传输的延迟问题,其中,该无人机101可以为固定翼飞机或者为多旋翼飞机。
图2是本申请提出的航拍图像处理方法的一种实施例的方法流程图,虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
图2为本发明实施例的航拍图像处理方法流程图,如图2所示,该航拍图像处理方法可以包括如下步骤:
S201:确定视野变化坐标;
S202:将所述视野变化坐标发送至无人机;
S203:接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。
图1所示航拍图像处理方法的执行主体可以为头戴显示设备,由图1所示的流程可知,本发明中,头戴显示设备通过确定用户的视野变化坐标,发送给无人机,并接收无人机根据视野变化坐标从拍摄图像中截取的视场角的图像,最后将该图像显示于头戴显示设备的显示屏上。这样,本实施例的延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长,总延迟时间较小,可以消除用户眩晕。
本发明实施例中,视野变化坐标用于指示佩戴所述头戴显示设备的用户的视野变化,基于该视野变化坐标,无人机才能从无人机获得视野变化坐标对应的视场角的图像。
一实施例中,如图3所示,确定视野变化坐标,包括如下步骤:
S301:获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息。
姿态传感部件可以用于测量头戴显示设备处于初始姿态以及处于实时姿态时的姿态信息,姿态传感部件包括加速度传感器以及陀螺仪至少之一。
一实施例中,初始姿态信息及实时姿态信息均可以包括头戴显示设备的显示屏的关键点坐标,显示屏可以至少为以下其中之一:
显示屏为矩形,关键点坐标包括矩形的四个顶点坐标;
显示屏为椭圆形,关键点坐标包括椭圆的四个顶点坐标;
显示屏为圆形,关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。
姿态传感部件采集初始姿态信息时,可以直接利用加速度传感器和/或陀螺仪获得关键点坐标。
姿态传感部件采集初始姿态信息时,可以通过如下方法得到:首先,加速度传感器和/或陀螺仪测量头戴显示设备的加速度信息,根据该加速度信息,可以得到头戴显示设备的实时位移信息,根据位移信息及初始姿态信息对应的关键点坐标可以得到头戴显示设备的关键点坐标,即得到头戴显示设备的实时姿态信息。
头戴显示设备与无人机连接时,头戴显示设备处于初始姿态,可以实现静态图像传输,此时可以需要将头戴显示设备与无人机进行标定,标定头戴显示设备处于初始姿态时当前视野的预设关键点坐标,同时可以获取姿态传感部件采集的上述初始姿态信息。
标定头戴显示设备当前视野的预设关键点坐标时,初始姿态可以按照如下方式得到:佩戴头戴显示设备的用户选好起始站立位置及朝向,并在该站立位置保持头部水平向前,此时头戴显示设备的姿态作为初始姿态。
佩戴头戴显示设备的用户转动头部时,姿态传感部件就可以采集头戴显示设备实时姿态信息。
S302:依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。
一实施例中,可以依据初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量。该预设关键点坐标的变化量可以指示视野变化坐标,头戴显示设备从无人机获取的视场角的图像为无人机根据该预设关键点坐标的变化量从拍摄图像中截取图像。
利用本实施例的航拍图像处理方法,可以使得时间延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长,总延迟时间较小,可以消除用户眩晕。
基于与上述图2所示的航拍图像获取方法相同的发明构思,本申请提供一种头戴显示设备,如下面实施例所述。由于该头戴显示设备解决问题的原理与上述航拍图像获取方法相似,因此该头戴显示设备的实施可以参见上述航拍图像获取方法的实施,重复之处不再赘述。
图4为本发明实施例的头戴显示设备的结构示意图,如图4所示,该头戴显示设备包括:
信息确定单元401,用于确定视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;信息确定单元401是头戴显示设备中确定用户的视野变化的部分,可以是软件、硬件或二者的结合,例如可以是完成确定用户的视野变化的功能的输入输出接口、处理芯片等元器件。
信息发送单元402,用于将所述视野变化坐标发送至无人机;信息发送单元402是头戴显示设备中发送视野变化坐标的部分,可以是软件、硬件或二者的结合,例如可以是完成确定视野变化坐标发送功能的输入输出接口、处理芯片等元器件。
图像接收单元403,用于接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。图像接收单元403是头戴显示设备中接收无人机发送到图像的部分,可以是软件、硬件或二者的结合,例如可以是完成图像接收功能的输入输出接口、处理芯片等元器件。
一实施例中,如图5所示,信息确定单元401包括:
信息获取模块501,用于获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息;
坐标确定模块502,用于依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。
姿态传感部件可以用于测量头戴显示设备处于初始姿态以及处于实时姿态时的姿态信息,姿态传感部件包括加速度传感器以及陀螺仪至少之一。
一实施例中,如图6所示,坐标确定模块502包括:
标定模块601,在所述头戴显示设备处于初始姿态时标定当前视野的预设关键点坐标,同时获取所述初始姿态信息;
变化量确定模块602,用于依据所述初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量,其中,所述预设关键点坐标的变化量指示所述视野变化坐标。
本发明实施例中,初始姿态信息及实时姿态信息均可以包括头戴显示设备的显示屏的关键点坐标,显示屏可以至少为以下其中之一:
显示屏为矩形,关键点坐标包括矩形的四个顶点坐标;
显示屏为椭圆形,关键点坐标包括椭圆的四个顶点坐标;
显示屏为圆形,关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。
姿态传感部件采集初始姿态信息时,可以直接利用加速度传感器和/或陀螺仪获得关键点坐标。
姿态传感部件采集初始姿态信息时,可以通过如下方法得到:首先,加速度传感器和/或陀螺仪测量头戴显示设备的加速度信息,根据该加速度信息,可以得到头戴显示设备的实时位移信息,根据位移信息及初始姿态信息对应的关键点坐标可以得到头戴显示设备的关键点坐标,即得到头戴显示设备的实时姿态信息。
利用本实施例的头戴显示设备,可以使得时间延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长,总延迟时间较小,可以消除用户眩晕。
图7为本发明实施例的航拍图像处理方法流程图,如图7所示,该航拍图像处理方法可以包括如下步骤:
S701:获取头戴显示设备的视野变化坐标;
S702:从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;
S703:将所述视场角的图像发送至所述头戴显示设备。
图7所示航拍图像处理方法的执行主体可以为无人机,由图1所示的流程可知,本发明中,无人机首先获取头戴显示设备的视野变化坐标,然后从无人机拍摄的图像中截取与视野变化坐标对应的视场角的图像,最后将视场角的图像发送至所述头戴显示设备,本发明只需将截取的视场角的图像发送至头戴显示设备,可以减少图像传输的时间延迟,消除用户眩晕的问题。
S701中,视野变化坐标用于指示佩戴所述头戴显示设备的用户的视野变化,基于该视野变化坐标,无人机才能从无人机获得视野变化坐标对应的视场角的图像。
该视野变化坐标可以由头戴显示设备的初始姿态信息及实时姿态信息确定。头戴显示设备与无人机连接时,头戴显示设备处于初始姿态,此时可以需要将头戴显示设备与无人机进行标定,标定头戴显示设备处于初始姿态时当前视野的预设关键点坐标。头戴显示设备处于预设关键点坐标时代姿态信息为初始姿态信息,佩戴头戴显示设备的用户转动头部时,可以获得头戴显示设备的实时姿态信息。
一实施例中,头戴显示设备可以依据初始姿态信息及实时姿态信息之间的变化量可以确定预设关键点坐标的变化量,其中,该预设关键点坐标的变化量指示该视野变化坐标。根据该预设关键点坐标的变化量,无人机可以从无人机拍摄的图像中截取与视野变化坐标对应的视场角的图像。
将初始姿态信息对应的关键点坐标作为全景视频的起始参考点,那么初始姿态信息对应的关键点坐标的范围将作为参考基准区域(即视野范围,该视野范围为视场角的参数,例如视场角为110度电情况下,视野范围为110度),根据参考基准区域,就可以从拍摄的全景图像中找到实时姿态信息中的关键点坐标的范围对应的视场角的图像,从拍摄的全景图像中将该视场角的图像截取下来即可得到用户头部转到当前位置需要观看的图像。
S702中,需要先获取无人机的相机拍摄的图像,基于无人机对相机拍摄的图像,可以从中截取与视野变化坐标对应的视场角的图像。本发明实施例中,无人机的相机拍摄的图像可以为单镜头拍摄的非全景图像,可以为全景相机拍摄的全景图像,下面以全景图像为例进行说明,并非用于限定。
获取无人机的相机拍摄的图像时,可以根据无人机上的全景相机的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储该待存储的图像,具体描述如下:
无人机上的全景相机拍摄的全景视频会实时缓存在无人机上的存储空间里,缓存的全景图像的帧数需要根据全景摄像头的采样间隔及无人机接收到视野变化坐标的延迟确定。实践中,该延迟一般需要小于10ms。理论上,30帧的全景相机的摄像头采样间隔是33ms,60帧的全景相机的摄像头采样间隔是16.5ms,均大于10ms的传输延迟,所以只要缓存1帧全景图像,就能保证保存下10ms之前的那一帧全景图像。同理,120帧的摄像头,采样间隔是8.25ms,小于10ms,仅缓存1帧图像的话,可能10ms之后截取全景图像的指令到达时,其所对应的那帧全景图像经过8.25ms后被新的缓存帧全景图像覆盖掉,所以至少要缓存2帧全景图像,才能保障与指令对应的那帧全景图像被保存了下来。从存储(缓存)的全景图像中,可以截取与视野变化坐标对应的视场角的图像。
另外,为保障可靠性,多缓存一帧全景图像进行冗余,例如,对于30帧及60帧的全景相机的摄像头,可以缓存2帧全景图像,对于120帧的全景相机的摄像头,可以缓存3帧全景图像。
利用本发明的航拍图像处理方法,航拍视频视角变换的延迟只包括无人机接收到视野变化坐标的延迟(头戴显示设备的视野变化坐标到达无人机的延迟,小于10ms)及视场角的图像发送至头戴显示设备的延迟(可以小于40ms),这样就可以保障操作者(头戴显示设备佩戴着)视角变换时,头戴显示设备显示的图像变换延迟小于50ms。经过实践的结果可知,这种量级的图传延迟,绝大部分操作者已经无法分辨出,可以长期保持在全景FPV的模式下而不会眩晕。
基于与图7所示的航拍图像处理方法相同的发明构思,本申请提供一种无人机,如下面实施例所述。由于该无人机解决问题的原理与航拍图像处理方法相似,因此该无人机的实施可以参见上述航拍图像处理方法的实施,重复之处不再赘述。
图8为本发明实施例的无人机的结构示意图,如图8所示,该无人机包括:
信息获取单元801,用于获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;信息获取单元801是无人机中获取视野变化坐标的部分,可以是软件、硬件或二者的结合,例如可以是完成视野变化坐标获取功能的输入输出接口、处理芯片等元器件。
图像截取单元802,用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;图像截取单元802是无人机中截取图像的部分,可以是软件、硬件或二者的结合,例如可以是完成图像截取功能的输入输出接口、处理芯片等元器件。
图像发送单元803,用于将所述视场角的图像发送至所述头戴显示设备。图像发送单元803是无人机中发送图像的部分,可以是软件、硬件或二者的结合,例如可以是完成图像发送功能的输入输出接口、处理芯片等元器件。
一实施例中,如图9所示,图像截取单元802包括:
图像获取模块901,用于获取所述无人机拍摄的图像,所述图像为全景图像;
图像截取模块902,用于从获取所述图像中截取与所述述视野变化坐标对应的视场角的图像。
一实施例中,图像获取模块901可以用于:根据所述无人机上的摄像头的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。
本发明实施例中,无人机的相机拍摄的图像可以为单镜头拍摄的非全景图像,可以为全景相机拍摄的全景图像,下面以全景图像为例进行说明,并非用于限定。
图像获取模块901获取无人机的相机拍摄的图像时,可以根据无人机上的全景相机的采样间隔以及接收到视野变化坐标的延迟确定待存储的图像的帧数并存储该待存储的图像,具体描述如下:
无人机上的全景相机拍摄的全景视频会实时缓存在无人机上的存储空间里,缓存的全景图像的帧数需要根据全景摄像头的采样间隔及无人机接收到视野变化坐标的延迟确定。实践中,该延迟一般需要小于10ms。理论上,30帧的全景相机的摄像头采样间隔是33ms,60帧的全景相机的摄像头采样间隔是16.5ms,均大于10ms的传输延迟,所以只要缓存1帧全景图像,就能保证保存下10ms之前的那一帧全景图像。同理,120帧的摄像头,采样间隔是8.25ms,小于10ms,仅缓存1帧图像的话,可能10ms之后截取全景图像的指令到达时,其所对应的那帧全景图像经过8.25ms后被新的缓存帧全景图像覆盖掉,所以至少要缓存2帧全景图像,才能保障与指令对应的那帧全景图像被保存了下来。从存储(缓存)的全景图像中,可以截取与视野变化坐标对应的视场角的图像。
另外,为保障可靠性,多缓存一帧全景图像进行冗余,例如,对于30帧及60帧的全景相机的摄像头,可以缓存2帧全景图像,对于120帧的全景相机的摄像头,可以缓存3帧全景图像。
利用本发明的无人机,可以使得航拍视频视角变换的延迟只包括无人机接收到视野变化坐标的延迟(头戴显示设备的视野变化坐标到达无人机的延迟,小于10ms)及视场角的图像发送至头戴显示设备的延迟(可以小于40ms),这样就可以保障操作者(头戴显示设备佩戴着)视角变换时,头戴显示设备显示的图像变换延迟小于50ms。经过实践的结果可知,这种量级的图传延迟,绝大部分操作者已经无法分辨出,可以长期保持在全景FPV的模式下而不会眩晕。
图10为本发明实施例的航拍系统的结构示意图,如图10所示,该航拍系统包括:无人机1001及头戴显示设备1002,无人机1001与头戴显示设备1002无线连接;
头戴显示设备1002用于确定视野变化坐标,并将所述视野变化坐标发送至无人机1001,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化。
无人机1001用于头戴显示设备1002发送到视野变化坐标,从无人机上的相机拍摄的图像中截取与视野变化坐标对应的视场角的图像,并将视场角的图像发送至所述头戴显示设备1002。
头戴显示设备1002接收无人机1001发送到视场角的图像并显示。
利用本发明实施例的航拍系统,可以使得延迟只包括视野变化坐标发送至无人机的时间延迟及接收视场角的图像的时间延长,总延迟时间较小,可以消除用户眩晕。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种航拍图像处理方法,其特征在于,包括:
获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;
将所述视场角的图像发送至所述头戴显示设备。
2.根据权利要求1所述的航拍图像处理方法,其特征在于,从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像,包括:
获取所述无人机拍摄的图像,并从所述无人机拍摄的图像中截取与所述述视野变化坐标对应的视场角的图像,所述图像为全景图像。
3.根据权利要求2所述的航拍图像处理方法,其特征在于,获取所述无人机拍摄的图像,包括:
根据所述无人机上的摄像头的采样间隔以及接收到所述视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。
4.一种无人机,其特征在于,包括:
信息获取单元,用于获取头戴显示设备的视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
图像截取单元,用于从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像;
图像发送单元,用于将所述视场角的图像发送至所述头戴显示设备。
5.根据权利要求4所述的无人机,其特征在于,所述图像截取单元包括:
图像获取模块,用于获取所述无人机拍摄的图像,所述图像为全景图像;
图像截取模块,用于从获取所述图像中截取与所述述视野变化坐标对应的视场角的图像。
6.根据权利要求5所述的无人机,其特征在于,所述图像获取模块具体用于:根据所述无人机上的摄像头的采样间隔以及接收到所述视野变化坐标的延迟确定待存储的图像的帧数并存储所述待存储的图像。
7.一种航拍图像处理方法,其特征在于,包括:
确定视野变化坐标,其中,所述视野变化坐标指示佩戴头戴显示设备的用户的视野变化;
将所述视野变化坐标发送至无人机;
接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。
8.根据权利要求7所述的航拍图像处理方法,确定视野变化坐标,包括:
获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息;
依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。
9.根据权利要求8所述的航拍图像处理方法,其特征在于,所述姿态传感部件包括以下至少之一:
加速度传感器以及陀螺仪。
10.根据权利要求8所述的航拍图像处理方法,其特征在于,依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标包括:
在所述头戴显示设备处于初始姿态时标定当前视野的预设关键点坐标,同时获取所述初始姿态信息;
依据所述初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量,其中,所述预设关键点坐标的变化量指示所述视野变化坐标。
11.根据权利要求8所述的航拍图像处理方法,其特征在于,所述初始姿态信息包括所述头戴显示设备的显示屏的关键点坐标,所述实时姿态信息包括所述头戴显示设备的显示屏的关键点坐标;所述显示屏为以下其中之一:
所述显示屏为矩形,所述关键点坐标包括矩形的四个顶点坐标;
所述显示屏为椭圆形,所述关键点坐标包括椭圆的四个顶点坐标;
所述显示屏为圆形,所述关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。
12.一种头戴显示设备,其特征在于,包括:
信息确定单元,用于确定视野变化坐标,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
信息发送单元,用于将所述视野变化坐标发送至无人机;
图像接收单元,用于接收所述无人机的发送的图像,其中,所述图像为所述无人机从拍摄图像中截取的与所述视野变化坐标对应的视场角的图像。
13.根据权利要求12所述的头戴显示设备,所述信息确定单元包括:
信息获取模块,用于获取头戴显示设备上的姿态传感部件采集的头戴显示设备的初始姿态信息及实时姿态信息;
坐标确定模块,用于依据所述初始姿态信息及实时姿态信息确定所述视野变化坐标。
14.根据权利要求13所述的头戴显示设备,其特征在于,所述姿态传感部件包括以下至少之一:
加速度传感器以及陀螺仪。
15.根据权利要求13所述的头戴显示设备,其特征在于,所述坐标确定模块包括:
标定模块,在所述头戴显示设备处于初始姿态时标定当前视野的预设关键点坐标,同时获取所述初始姿态信息;
变化量确定模块,用于依据所述初始姿态信息及实时姿态信息之间的变化量确定所述预设关键点坐标的变化量,其中,所述预设关键点坐标的变化量指示所述视野变化坐标。
16.根据权利要求13所述的头戴显示设备,其特征在于,所述初始姿态信息包括所述头戴显示设备的显示屏的关键点坐标,所述实时姿态信息包括所述头戴显示设备的显示屏的关键点坐标;所述显示屏为以下其中之一:
所述显示屏为矩形,所述关键点坐标包括矩形的四个顶点坐标;或者,所述显示屏为椭圆形,所述关键点坐标包括椭圆的四个顶点坐标;或者,所述显示屏为圆形,所述关键点坐标包括圆形相互垂直两条直径与圆的交点的坐标。
17.一种航拍系统,其特征在于,包括:无人机及头戴显示设备,所述无人机与头戴显示设备无线连接;
所述头戴显示设备用于确定视野变化坐标,并将所述视野变化坐标发送至无人机,其中,所述视野变化坐标指示佩戴所述头戴显示设备的用户的视野变化;
所述无人机用于接收所述视野变化坐标,从无人机拍摄的图像中截取与所述视野变化坐标对应的视场角的图像,并将所述视场角的图像发送至所述头戴显示设备;
所述头戴显示设备接收所述视场角的图像并显示。
CN201610752254.8A 2016-08-29 2016-08-29 航拍图像处理方法、无人机、头戴显示设备及系统 Active CN106303448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610752254.8A CN106303448B (zh) 2016-08-29 2016-08-29 航拍图像处理方法、无人机、头戴显示设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610752254.8A CN106303448B (zh) 2016-08-29 2016-08-29 航拍图像处理方法、无人机、头戴显示设备及系统

Publications (2)

Publication Number Publication Date
CN106303448A true CN106303448A (zh) 2017-01-04
CN106303448B CN106303448B (zh) 2020-06-09

Family

ID=57674360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610752254.8A Active CN106303448B (zh) 2016-08-29 2016-08-29 航拍图像处理方法、无人机、头戴显示设备及系统

Country Status (1)

Country Link
CN (1) CN106303448B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513642A (zh) * 2017-07-31 2018-09-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN108664037A (zh) * 2017-03-28 2018-10-16 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
CN111107293A (zh) * 2019-12-16 2020-05-05 咪咕文化科技有限公司 360度视频录制方法、装置、电子设备及存储介质
CN112399052A (zh) * 2020-11-06 2021-02-23 深圳慧源创新科技有限公司 画面切换方法、装置及电子设备
CN112435454A (zh) * 2020-11-03 2021-03-02 北京京东乾石科技有限公司 一种无人机系统、无人机控制方法、装置、设备和介质
CN113079315A (zh) * 2021-03-25 2021-07-06 联想(北京)有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
CN114040110A (zh) * 2021-11-19 2022-02-11 北京图菱视频科技有限公司 位姿条件限制下的机器人拍照方法、装置、设备及介质
WO2022253018A1 (zh) * 2021-06-02 2022-12-08 影石创新科技股份有限公司 无人机视角的视频显示方法及显示系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204557510U (zh) * 2015-04-20 2015-08-12 零度智控(北京)智能科技有限公司 无人机航拍组合装置
US20150346832A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN204967984U (zh) * 2015-07-30 2016-01-13 江苏诺华视创电影数字科技有限公司 头戴式显示控制航拍装置
CN105334864A (zh) * 2015-11-24 2016-02-17 杨珊珊 一种用于控制无人机的智能眼镜及控制方法
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和系统
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150346832A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN105721856A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 一种用于近眼显示器的远程图像显示方法
CN204557510U (zh) * 2015-04-20 2015-08-12 零度智控(北京)智能科技有限公司 无人机航拍组合装置
CN204967984U (zh) * 2015-07-30 2016-01-13 江苏诺华视创电影数字科技有限公司 头戴式显示控制航拍装置
CN105222761A (zh) * 2015-10-29 2016-01-06 哈尔滨工业大学 借助虚拟现实及双目视觉技术实现的第一人称沉浸式无人机驾驶系统及驾驶方法
CN105334864A (zh) * 2015-11-24 2016-02-17 杨珊珊 一种用于控制无人机的智能眼镜及控制方法
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664037A (zh) * 2017-03-28 2018-10-16 精工爱普生株式会社 头部佩戴型显示装置以及无人机的操纵方法
CN108513642A (zh) * 2017-07-31 2018-09-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
WO2019023914A1 (zh) * 2017-07-31 2019-02-07 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN108513642B (zh) * 2017-07-31 2021-08-27 深圳市大疆创新科技有限公司 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN111107293A (zh) * 2019-12-16 2020-05-05 咪咕文化科技有限公司 360度视频录制方法、装置、电子设备及存储介质
CN113853781A (zh) * 2020-05-28 2021-12-28 深圳市大疆创新科技有限公司 一种图像处理方法、头戴式显示设备及存储介质
CN112435454A (zh) * 2020-11-03 2021-03-02 北京京东乾石科技有限公司 一种无人机系统、无人机控制方法、装置、设备和介质
CN112399052A (zh) * 2020-11-06 2021-02-23 深圳慧源创新科技有限公司 画面切换方法、装置及电子设备
CN113079315A (zh) * 2021-03-25 2021-07-06 联想(北京)有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113079315B (zh) * 2021-03-25 2022-04-22 联想(北京)有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022253018A1 (zh) * 2021-06-02 2022-12-08 影石创新科技股份有限公司 无人机视角的视频显示方法及显示系统
CN114040110A (zh) * 2021-11-19 2022-02-11 北京图菱视频科技有限公司 位姿条件限制下的机器人拍照方法、装置、设备及介质

Also Published As

Publication number Publication date
CN106303448B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN106303448A (zh) 航拍图像处理方法、无人机、头戴显示设备及系统
CN107074348B (zh) 控制方法、装置、设备及无人飞行器
WO2019242553A1 (zh) 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备
CN110494360A (zh) 用于提供自主摄影及摄像的系统和方法
WO2018134796A1 (en) System and method for omni-directional obstacle avoidance in aerial systems
CN105974932B (zh) 无人机控制方法
CN107329490A (zh) 无人机避障方法及无人机
WO2019155335A1 (en) Unmanned aerial vehicle including an omnidirectional depth sensing and obstacle avoidance aerial system and method of operating same
CN105959625A (zh) 控制无人机追踪拍摄的方法及装置
US11789467B2 (en) Method, apparatus, terminal, and storage medium for elevation surrounding flight control
CN106483980B (zh) 一种无人机跟随飞行的控制方法、装置及系统
US20220014675A1 (en) Unmanned aerial vehicle with virtual un-zoomed imaging
WO2019061159A1 (zh) 定位故障光伏板的方法、设备及无人机
WO2017166714A1 (zh) 全景图像的拍摄方法、装置及系统
CN108780324A (zh) 无人机、无人机控制方法和装置
KR101662032B1 (ko) 조종사의 시선 방향과 동기화 된 uav 항공 영상 촬영 시스템
US20220261953A1 (en) Systems and methods for image display
Valenti et al. An autonomous flyer photographer
CN109076206B (zh) 基于无人机的立体成像方法和装置
US20190047706A1 (en) Flight direction display method and apparatus, and unmanned aerial vehicle
CN108419052B (zh) 一种多台无人机全景成像方法
CN105547256A (zh) 空间全景态式感知卫星及其设计方法和应用方法
US20200089259A1 (en) Course correction method and device, and aircraft
US20200262555A1 (en) Method for detecting mounting error of accelerometer, device, and unmanned aerial vehicle
WO2023041014A1 (zh) 一种图像获取方法、装置、飞行器和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180913

Address after: 300220 Hexi District, Tianjin Dongting Road 20, Chen Tang science and Technology Business District Service Center 309-9.

Applicant after: Tianjin Yuandu Technology Co.,Ltd.

Address before: 100094 2, District 9, No. 8, northeast Wanxi Road, Haidian District, Beijing 203

Applicant before: ZEROTECH (BEIJING) INTELLIGENCE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 0701600 A102, No. 67, tourism East Road, Anxin County, Baoding City, Hebei Province

Patentee after: Hebei xiong'an Yuandu Technology Co.,Ltd.

Address before: 300220 Hexi District, Tianjin Dongting Road 20, Chen Tang science and Technology Business District Service Center 309-9.

Patentee before: Tianjin Yuandu Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210226

Address after: 102100 1916, building 27, yard 8, Fenggu 4th Road, Yanqing garden, Zhongguancun, Yanqing District, Beijing

Patentee after: Beijing Yuandu Internet Technology Co.,Ltd.

Address before: 0701600 A102, No. 67, tourism East Road, Anxin County, Baoding City, Hebei Province

Patentee before: Hebei xiong'an Yuandu Technology Co.,Ltd.