CN109076193A - 全景图像显示方法和系统、全景图像处理方法和地面站 - Google Patents

全景图像显示方法和系统、全景图像处理方法和地面站 Download PDF

Info

Publication number
CN109076193A
CN109076193A CN201780014672.XA CN201780014672A CN109076193A CN 109076193 A CN109076193 A CN 109076193A CN 201780014672 A CN201780014672 A CN 201780014672A CN 109076193 A CN109076193 A CN 109076193A
Authority
CN
China
Prior art keywords
panoramic
panorama
image display
display method
panoramic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780014672.XA
Other languages
English (en)
Inventor
刘怀宇
陈颖
马宁
吴凡
吴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN109076193A publication Critical patent/CN109076193A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明实施方式提供一种全景图像显示方法,用于显示由无人机拍摄的全景图像,包括如下步骤:将由无人机的拍摄装置拍摄到的全景显示素材传输给地面站(S11);所述地面站基于从所述拍摄装置接收到的所述全景显示素材进行全景图像处理,得到全景图像(S12);用于进行全景显示的全景显示装置接收并显示所述全景图像(S13)。

Description

全景图像显示方法和系统、全景图像处理方法和地面站
技术领域
本发明涉及一种无人机的全景图像显示方法和系统、全景图像处理方法、以及地面站。
背景技术
随着全景图像应用领域的扩展,越来越多的领域可以用到全景图像的,需要合成全景图像的场景也越来越多。
以目前迅速发展的无人机领域为例,已经出现了通过无人机拍摄全景图像并发送给地面的显示系统、例如体感控制FPV眼镜(GOGGLES)等,让佩戴者体验沉浸式操作的产品出现。
然而,全景视频或者全景照片由若干视频帧/若干副照片等全景显示素材拼接合成,图像拼接算法包括坐标变换、投影变换、畸变校正、匹配点选定、图像拼接等过程,整个算法过程需要大量的计算资源;另一方面,小型无人机特别是今后满足小于250g的无人机上可能没有相应的计算能力,或者很难做到实时性。同样地,地面端的FPV眼镜也有轻量化的需求,希望尽量减少设备的重量,减少计算资源,降低功耗,缩小电池,这就意味着航拍无人机拍摄的全景视频或者全景照片缺少实时的计算资源来完成图像拼接功能。
与此相对,现有技术通常将全景视频/图像的拼接工作在拍摄端(例如无人机)或者显示端(例如FPV眼镜)完成,这在设计时对相机或者眼镜的实时计算能力提出了要求,不利于设备的功耗、散热、重量等设计指标;此外,在无人机或FPV眼镜端增加运算芯片的同时会也增加无人机或FPV眼镜的重量和体积,不利于无人机或FPV眼镜的轻型化。
另一种方案中,不追求拼接工作的实时性,在拍摄后导入到手机或者PC完成拼接工作,这种做法用户必须完成整个拍摄过程后在特定的设备上才能看到之前完成的拍摄作品,大大削弱了全景视频/全景照片的现场体验,并且无法在现场对不满意的作品重拍或者修正。
发明内容
本发明实施方式正是基于上述现有技术的问题提出的,提供一种全景图像显示方法和系统、全景图像处理方法、地面站以及记录介质,能够利于拍摄端和显示端的体积、重量、散热、功耗等设计。
本发明的第一方面提供一种全景图像显示方法,用于显示由无人机拍摄的全景图像,包括如下步骤:将由无人机的拍摄装置拍摄到的全景显示素材传输给地面站;所述地面站基于从所述拍摄装置接收到的所述全景显示素材进行全景图像处理,得到全景图像;用于进行全景显示的全景显示装置接收并显示所述全景图像。
本发明的第二方面提供一种全景图像显示系统,用于显示由无人机拍摄的全景图像,包括:无人机、地面站和全景显示装置,所述无人机,将由无人机的拍摄装置拍摄到的全景显示素材传输给所述地面站,所述地面站,基于从所述无人机接收到的所述全景显示素材进行全景图像处理,得到全景图像,所述全景显示装置,从所述地面站接收并显示所述全景图像。
本发明的第三方面提供一种全景图像处理方法,用于对无人机拍摄的全景图像进行处理的地面站,包括如下步骤:接收无人机拍摄到的全景显示素材;对所述全景显示素材进行全景图像处理,得到全景图像;将所述全景图像发送给一全景显示装置。
本发明的第四方面提供一种地面站,用于对无人机拍摄的全景图像进行处理,包括:接收部,接收无人机拍摄到的全景显示素材;全景图像处理部,对所述全景显示素材进行全景图像处理,得到全景图像;和发送部,将所述全景图像发送给一全景显示装置。
本发明的第五方面提供一种记录介质,记录有程序,该程序使对无人机拍摄的全景图像进行处理的地面站,执行如下步骤:接收无人机拍摄到的全景显示素材;对所述全景显示素材进行全景图像处理,得到全景图像;将所述全景图像发送给一全景显示装置。
根据本发明的上述各个方面的方案,通过将生成全景显示图像或视频的大量的计算需求转移到地面站(包括地面端的本地设备或者云端设备),有利于拍摄装置(例如无人机)和全景显示装置(例如FPV眼镜)的体积、重量、散热、功耗等设计。
另外,虽然通信链路相比直接传输变长了,但相比离线拼接来讲仍然可以保证相当的实时性,能够带来良好的用户体验。
附图说明
为了更清楚地说明本发明实施方式中的技术方案,下面将对实施方式描述中所需要使用的附图进行简单介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是表示本发明的第一实施方式的全景图像显示系统1的示意图。
图2是表示第一实施方式的全景图像显示系统1中的地面站102的框图。
图3是表示本发明的第一实施方式的全景图像显示系统1中使用的全景图像显示方法的流程图。
图4是表示本发明的第二实施方式的全景图像显示系统2的示意图。
图5是表示本发明的第二实施方式的全景图像显示系统2中的地面站202的框图。
图6是表示本发明的第二实施方式的全景图像显示系统2中使用的全景图像显示方法的流程图。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施方式及实施方式中的特征可以相互组合。
第一实施方式
图1是表示本发明的第一实施方式的全景图像显示系统1的示意图。
第1实施方式的全景图像显示系统1,包括无人机101、地面站102和全景显示装置103。
这里虽然以基于无人机101的全景图像显示系统为例进行的说明,但可以是基于任何需要实现轻量化的拍摄装置的全景图像显示系统。
无人机101包括拍摄装置。拍摄装置可以具有单个拍摄单元,通过旋转、移动等改变拍摄角度来获取不同角度的全景显示素材。另外,拍摄装置也可以具有多个拍摄单元,同时拍摄针对不同角度的多个全景显示素材。
本说明书中所记载的全景显示素材,是用于通过全景图像处理生成全景显示图像的素材,可以是图片也可以是视频,或者是图片与视频的组合。
图2是表示地面站102的框图。如图2所示,本实施方式中的地面站,包括:接收部1021、全景图像处理部1022、和发送部1023。
接收部1021,接收无人机101拍摄到的全景显示素材。
全景图像处理部1022,对所述全景显示素材进行全景图像处理,得到全景图像。
发送部1023,将所述全景图像发送给全景显示装置103。
地面站102是对无人机101进行操作控制的控制装置,例如遥控器。但并不限定于此,在其他实施方式中,所述地面站102也可以是移动终端或移动终端与遥控器的组合体等。接收部1021、全景图像处理部1022、和发送部1023只要包括在地面站中即可,可以任意地分布在组成地面站102的各个部分中,例如,接收部1021和发送部1023设置在遥控器上,而全景图像处理部1022设置在移动终端上。
另外,本说明书中所称的移动终端,可以为智能电话、平板电脑、笔记本、PDA、PC等的任意一种。
地面站102从无人机101获取由无人机101拍摄到的全景显示素材。对于获取的方式并没有限定,地面站102可以从无人机101直接获取全景显示素材,也可以通过其他装置的中继获取全景显示素材。
全景显示装置103例如是对无人机101拍摄到的内容进行显示的FPV(FirstPerson View)眼镜。但并不限定于此,全景显示装置103也可以是对无人机101拍摄到的内容进行显示的任意类型的显示装置,例如可穿戴显示设备、显示器、投影设备等、也可以是地面站102所具备的显示器。
图3是表示本发明的第一实施方式的全景图像显示系统1中使用的全景图像显示方法的流程图。
在步骤S11,将由无人机101的拍摄装置拍摄到的全景显示素材传输给地面站102。
这里,无人机101可以直接点对点地将全景显示素材传输给地面站102,也可以经由其他的设备、例如热点、通信网络、中继站向地面站102传输全景显示素材。这里描述的全景显示素材指的是多张由无人机101的拍摄装置拍摄的、待拼接成全景图像的图像或视频。
这里,在无人机101将拍摄到的全景显示素材传输给地面站102之前,可以预先进行规定的图像处理,例如:畸变矫正处理、以及降噪处理、白平衡矫正处理、曝光补偿处理等的至少任意一种。
通过畸变矫正处理,消除畸变导致的非人为造成的全景显示素材之间的对不齐现象,使全景拼接时全景显示素材更利于配准,从而避免全景拼接容易出现拼接效果差的问题。
通过降噪处理,消除全景显示素材中的不希望出现的噪点,使得后述的全景拼接后生成的全景显示图像更为清晰。畸变矫正算法可以是基于特征点的边角畸变矫正算法、基于灰度插值的边角畸变矫正等。
通过白平衡矫正处理、曝光补偿处理等,能够使得全景显示素材的呈现效果更好。
这些处理可以采用任何的现有技术中的处理,且可以根据实际需要改变其顺序、程度等。另外,上述的图像处理并不限定于由无人机101实施,也可以代之以由地面站102实施。
可选地,无人机101将拍摄到的所述全景显示素材压缩编码。这里,对全景显示素材的压缩编码,可以使用现有技术中的任意的压缩编码。例如,针对图像,可以使用BMP、PCX、TIFF、GIF、JPEG、JPEG2000等任意一种。针对视频,可以使用MPEG系列、H.26X系列(H.263、H.264/AVC)等任意一种。
在步骤S12,地面站102基于从无人机101接收到的全景显示素材进行全景图像处理,得到全景显示图像。
本实施方式中,全景图像处理中通过对全景显示素材实施全景拼接,生成全景显示图像。
可选地,在从无人机101接收到的全景显示素材被实施了压缩编码的情况下,在对其进行解压缩之后实施全景拼接,生成全景显示图像。
作为全景拼接的具体方式,可以采用现有技术中的任何方法,例如可以使用以下的方法:
1、基于相位的方法
该方法利用傅立叶变换、小波变换等等先对图像进行变换,再利用变换后的图像的某些特征进行匹配。
2、基于流的方法
也叫做基于面积的方法。该方法是通过比较两幅图像亮度(或颜色)差异,并使之最小化来寻找最佳匹配点的。
3、基于特征的方法
该方法的主要思想就是从一幅图像中提取一定的特征,如:点、线、边缘等等,并用此特征为匹配模板,在第二幅图像中搜索。
可选地,地面站103对生成的全景显示图像实施压缩编码。这里,作为压缩编码的方式可以采取与上述无人机101上实施的压缩编码的方式相同或者不同,可以根据发送中使用的传输协议、传输方式使用适当的压缩编码方式。
在步骤S13,全景显示装置103从地面站102接收并显示由地面站102得到的全景显示图像。
这里,全景显示装置103可以直接从地面站102处接收全景显示图像,也可以经由其他的设备、例如热点、通信网络、中继站从地面站102处接收全景显示图像。特别是,全景显示装置103可以经由无人机101从地面站102处接收全景显示图像。
可选地,在从地面站102接收到的全景显示图像被实施了压缩编码的情况下,将其解压缩后进行显示。
可选地,上述无人机101、地面站102以及全景显示装置103之间,通过无线方式连接。作为无线方式连接,可以选用Wifi、Lightbridge、Ocusync、公众移动网络、WiMAX等任意的连接方式。
根据本发明的第一实施方式,将全景拼接的大量计算需求转移到无人机101和全景显示装置103以外的地面站102,因此有利于无人机101和全景显示装置103的体积、重量、散热、功耗等设计,能够降低与计算需求相应的成本。
第二实施方式
图4是表示本发明的第二实施方式的全景图像显示系统2的示意图。第二实施方式的全景图像显示系统2,与第一实施方式的全景图像显示系统相比,其区别在于由地面站202取代地面站102。以下,主要就第二实施方式与第一实施方式的区别进行说明,对相同的部分标记相同的编号并省略说明。另外,第一实施方式的各种变化例也可以同样应用于第二实施方式,在此不再重复。
第二实施方式的全景图像显示系统2,包括无人机101、地面站202、和全景显示装置103。
图5是表示地面站202的框图。如图2所示,本实施方式中的地面站202,包括:控制装置和运算装置两个部分。
其中,控制装置是对无人机101进行操作控制的部分,包括接收部2021和发送部2023。控制装置例如是遥控器、移动终端或者它们的组合体等。接收部2021和发送部2023只要包括在地面站202中的控制装置中即可,可以任意地分布在组成控制装置的各个部分中。
运算装置是实施地面站202中的大运算量计算的部分,包括全景图像处理部2022。运算装置可以是本地服务器或者通过网络连接而设于云端的云端服务器。
接收部2021与第一实施方式中的接收部1021同样,接收无人机101拍摄到的全景显示素材。
全景图像处理部2022与第一实施方式中的全景图像处理部1022同样,对所述全景显示素材进行全景图像处理,得到全景图像。
发送部2023与第一实施方式中的发送部1023同样,将所述全景图像发送给全景显示装置103。
全景显示装置103例如是对无人机101拍摄到的内容进行显示的FPV(FirstPerson View)眼镜。但并不限定于此,全景显示装置103也可以是对无人机101拍摄到的内容进行显示的任意类型的显示装置,例如可穿戴显示设备、显示器、投影设备等、也可以是地面站102的控制装置或运算装置所具备的显示器。
图6是表示本发明的第二实施方式的全景图像显示系统2中使用的全景图像显示方法的流程图。第一实施方式的流程中可选的各个变化,只要不发生冲突均可以适用于第二实施方式的流程中,在此不再重复,仅主要对与第一实施方式的流程的区别进行具体说明。
在步骤S21,将由无人机101拍摄到的全景显示素材传输给地面站202。
可选地,无人机101将拍摄到的所述全景显示素材压缩编码后传输给地面站102。这里,对全景显示素材的压缩编码,可以使用现有技术中的任意的压缩编码。例如,针对图像,可以使用BMP、PCX、TIFF、GIF、JPEG、JPEG2000等任意一种。针对视频,可以使用MPEG系列、H.26X系列(H.263、H.264/AVC)等任意一种。
在步骤S22,地面站202中的控制装置将从无人机101接收到的全景显示素材转发至运算装置。
可选地,在地面站202中的控制装置从无人机101接收到的全景显示素材被实施了压缩编码的情况下,不对压缩编码进行解压缩,直接转发给运算装置。
在步骤S23,运算装置对从控制装置接收到的全景显示素材实施全景图像处理,生成全景显示图像。
可选地,服务器204将生成的全景显示图像压缩编码。这里,作为压缩编码的方式可以采取与上述无人机101实施的压缩编码的方式相同或者不同,可以根据传输中使用的传输协议、传输方式使用适当的压缩编码方式。
这里的转发可以是直接点对点地将全景显示素材从控制装置转发给运算装置,也可以经由其他的设备、例如热点、通信网络、中继站向运算装置传输全景显示素材。
可选地,地面站202中的控制装置与运算装置通过有线或无线方式连接。
在步骤S24,全景显示装置103从地面站202接收并显示全景显示图像。
这里,全景显示装置103可以直接从地面站102处接收全景显示图像,也可以经由其他的设备、例如热点、通信网络、中继站从地面站102处接收全景显示图像。
根据本发明的第二实施方式,不但将全景图像处理这样的大量计算需求转移到无人机101、全景显示装置103以外的地面站202中,而且是转移到地面站202中的控制装置以外的独立的运算装置中,因此有利于无人机101、地面站202中的控制装置和全景显示装置103的体积、重量、散热、功耗等设计,能够降低与计算需求相应的成本。
以上,以几个实施方式对本发明进行了说明。然而应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
最后应说明的是:以上各实施方式仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施方式对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施方式所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施方式技术方案的范围。

Claims (69)

1.一种全景图像显示方法,用于显示由无人机拍摄的全景图像,包括如下步骤:
将由无人机的拍摄装置拍摄到的全景显示素材传输给地面站;
所述地面站基于从所述拍摄装置接收到的所述全景显示素材进行全景图像处理,得到全景图像;
用于进行全景显示的全景显示装置接收并显示所述全景图像。
2.根据权利要求1所述的全景图像显示方法,其特征在于:
所述全景显示素材是用于生成所述全景图像的照片、视频的至少一种或者它们的混合。
3.根据权利要求1所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置对拍摄到的全景显示素材进行畸变矫正处理、以及降噪处理、白平衡矫正处理、曝光补偿处理的至少任意一种图像处理后传输给所述地面站的步骤。
4.根据权利要求1或3所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置将所述全景显示素材压缩编码的步骤。
5.根据权利要求1所述的全景图像显示方法,其特征在于:
所述全景图像处理是通过基于相位的方法、基于流的方法或基于特征的方法的任意一种实施的全景图像拼接处理。
6.根据权利要求1所述的全景图像显示方法,其特征在于:
还包括:所述地面站将全景显示图像压缩编码的步骤。
7.根据权利要求1所述的全景图像显示方法,其特征在于:
所述全景显示装置是FPV眼镜或者所述地面站的显示器。
8.根据权利要求1所述的全景图像显示方法,其特征在于:
所述地面站是对所述无人机进行操作控制的控制装置,
所述控制装置包括遥控器、移动终端或者它们的组合体。
9.根据权利要求8所述的全景图像显示方法,其特征在于:
所述地面站还包括通过网络与所述控制装置连接的运算装置,
由所述运算装置进行所述全景图像处理得到所述全景显示图像。
10.根据权利要求9所述的全景图像显示方法,其特征在于:
还包括:所述运算装置将所述全景显示图像压缩编码的步骤。
11.根据权利要求10所述的全景图像显示方法,其特征在于:
还包括:所述控制装置将从所述拍摄装置获取的全景显示素材,不解压缩地转发给所述运算装置,并将从所述运算装置获取的全景显示图像,不解压缩地转发给所述全景显示装置的步骤。
12.根据权利要求4、6、10的任一项所述的全景图像显示方法,其特征在于:
所述压缩编码是BMP、PCX、TIFF、GIF、JPEG、JPEG2000、MPEG系列、H.26X系列的任意一种。
13.根据权利要求1所述的全景图像显示方法,其特征在于:
所述无人机、所述地面站和所述全景显示装置之间通过无线方式连接。
14.根据权利要求9所述的全景图像显示方法,其特征在于:
所述控制装置与所述运算装置通过有线或无线方式连接。
15.根据权利要求6或10所述的全景图像显示方法,其特征在于:
所述全景显示装置对全景显示图像解压缩后进行显示。
16.根据权利要求1所述的全景图像显示方法,其特征在于:
所述全景显示装置经由所述无人机从所述地面站接收所述全景图像。
17.根据权利要求9所述的全景图像显示方法,其特征在于:
所述运算装置是位于本地或者云端的服务器。
18.一种全景图像显示系统,用于显示由无人机拍摄的全景图像,包括:无人机、地面站和全景显示装置,
所述无人机,将由无人机的拍摄装置拍摄到的全景显示素材传输给所述地面站.
所述地面站,基于从所述无人机接收到的所述全景显示素材进行全景图像处理,得到全景图像,
所述全景显示装置,从所述地面站接收并显示所述全景图像。
19.根据权利要求18所述的全景图像显示方法,其特征在于:
所述全景显示素材是用于生成所述全景图像的照片、视频的至少一种或者它们的混合。
20.根据权利要求18所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置对拍摄到的全景显示素材进行畸变矫正处理、以及降噪处理、白平衡矫正处理、曝光补偿处理的至少任意一种图像处理后传输给所述地面站的步骤。
21.根据权利要求18或20所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置将所述全景显示素材压缩编码的步骤。
22.根据权利要求18所述的全景图像显示方法,其特征在于:
所述全景图像处理是通过基于相位的方法、基于流的方法或基于特征的方法的任意一种实施的全景图像拼接处理。
23.根据权利要求18所述的全景图像显示方法,其特征在于:
还包括:所述地面站将全景显示图像压缩编码的步骤。
24.根据权利要求18所述的全景图像显示方法,其特征在于:
所述全景显示装置是FPV眼镜或者所述地面站的显示器。
25.根据权利要求18所述的全景图像显示方法,其特征在于:
所述地面站是对所述无人机进行操作控制的控制装置,
所述控制装置包括遥控器、移动终端或者它们的组合体。
26.根据权利要求25所述的全景图像显示方法,其特征在于:
所述地面站还包括通过网络与所述控制装置连接的运算装置,
由所述运算装置进行所述全景图像处理得到所述全景显示图像。
27.根据权利要求26所述的全景图像显示方法,其特征在于:
还包括:所述运算装置将所述全景显示图像压缩编码的步骤。
28.根据权利要求27所述的全景图像显示方法,其特征在于:
还包括:所述控制装置将从所述拍摄装置获取的全景显示素材,不解压缩地转发给所述运算装置,并将从所述运算装置获取的全景显示图像,不解压缩地转发给所述全景显示装置的步骤。
29.根据权利要求21、23、27的任一项所述的全景图像显示方法,其特征在于:
所述压缩编码是BMP、PCX、TIFF、GIF、JPEG、JPEG2000、MPEG系列、H.26X系列的任意一种。
30.根据权利要求1所述的全景图像显示方法,其特征在于:
所述无人机、所述地面站和所述全景显示装置之间通过无线方式连接。
31.根据权利要求26所述的全景图像显示方法,其特征在于:
所述控制装置与所述运算装置通过有线或无线方式连接。
32.根据权利要求23或27所述的全景图像显示方法,其特征在于:
所述全景显示装置对全景显示图像解压缩后进行显示。
33.根据权利要求18所述的全景图像显示方法,其特征在于:
所述全景显示装置经由所述无人机从所述地面站接收所述全景图像。
34.根据权利要求26所述的全景图像显示方法,其特征在于:
所述运算装置是位于本地或者云端的服务器。
35.一种全景图像处理方法,用于对无人机拍摄的全景图像进行处理的地面站,包括如下步骤:
接收无人机拍摄到的全景显示素材;
对所述全景显示素材进行全景图像处理,得到全景图像;
将所述全景图像发送给一全景显示装置。
36.根据权利要求35所述的全景图像显示方法,其特征在于:
所述全景显示素材是用于生成所述全景图像的照片、视频的至少一种或者它们的混合。
37.根据权利要求35所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置对拍摄到的全景显示素材进行畸变矫正处理、以及降噪处理、白平衡矫正处理、曝光补偿处理的至少任意一种图像处理后传输给所述地面站的步骤。
38.根据权利要求35或37所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置将所述全景显示素材压缩编码的步骤。
39.根据权利要求35所述的全景图像显示方法,其特征在于:
所述全景图像处理是通过基于相位的方法、基于流的方法或基于特征的方法的任意一种实施的全景图像拼接处理。
40.根据权利要求35所述的全景图像显示方法,其特征在于:
还包括:所述地面站将全景显示图像压缩编码的步骤。
41.根据权利要求35所述的全景图像显示方法,其特征在于:
所述全景显示装置是FPV眼镜或者所述地面站的显示器。
42.根据权利要求35所述的全景图像显示方法,其特征在于:
所述地面站是对所述无人机进行操作控制的控制装置,
所述控制装置包括遥控器、移动终端或者它们的组合体。
43.根据权利要求42所述的全景图像显示方法,其特征在于:
所述地面站还包括通过网络与所述控制装置连接的运算装置,
由所述运算装置进行所述全景图像处理得到所述全景显示图像。
44.根据权利要求43所述的全景图像显示方法,其特征在于:
还包括:所述运算装置将所述全景显示图像压缩编码的步骤。
45.根据权利要求44所述的全景图像显示方法,其特征在于:
还包括:所述控制装置将从所述拍摄装置获取的全景显示素材,不解压缩地转发给所述运算装置,并将从所述运算装置获取的全景显示图像,不解压缩地转发给所述全景显示装置的步骤。
46.根据权利要求38、40、44的任一项所述的全景图像显示方法,其特征在于:
所述压缩编码是BMP、PCX、TIFF、GIF、JPEG、JPEG2000、MPEG系列、H.26X系列的任意一种。
47.根据权利要求35所述的全景图像显示方法,其特征在于:
所述无人机、所述地面站和所述全景显示装置之间通过无线方式连接。
48.根据权利要求43所述的全景图像显示方法,其特征在于:
所述控制装置与所述运算装置通过有线或无线方式连接。
49.根据权利要求40或44所述的全景图像显示方法,其特征在于:
所述全景显示装置对全景显示图像解压缩后进行显示。
50.根据权利要求35所述的全景图像显示方法,其特征在于:
所述全景显示装置经由所述无人机从所述地面站接收所述全景图像。
51.根据权利要求43所述的全景图像显示方法,其特征在于:
所述运算装置是位于本地或者云端的服务器。
52.一种地面站,用于对无人机拍摄的全景图像进行处理,包括:
接收部,接收无人机拍摄到的全景显示素材;
全景图像处理部,对所述全景显示素材进行全景图像处理,得到全景图像;和
发送部,将所述全景图像发送给一全景显示装置。
53.根据权利要求52所述的全景图像显示方法,其特征在于:
所述全景显示素材是用于生成所述全景图像的照片、视频的至少一种或者它们的混合。
54.根据权利要求52所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置对拍摄到的全景显示素材进行畸变矫正处理、以及降噪处理、白平衡矫正处理、曝光补偿处理的至少任意一种图像处理后传输给所述地面站的步骤。
55.根据权利要求52或54所述的全景图像显示方法,其特征在于:
还包括:所述拍摄装置将所述全景显示素材压缩编码的步骤。
56.根据权利要求52所述的全景图像显示方法,其特征在于:
所述全景图像处理是通过基于相位的方法、基于流的方法或基于特征的方法的任意一种实施的全景图像拼接处理。
57.根据权利要求52所述的全景图像显示方法,其特征在于:
还包括:所述地面站将全景显示图像压缩编码的步骤。
58.根据权利要求52所述的全景图像显示方法,其特征在于:
所述全景显示装置是FPV眼镜或者所述地面站的显示器。
59.根据权利要求52所述的全景图像显示方法,其特征在于:
所述地面站是对所述无人机进行操作控制的控制装置,
所述控制装置包括遥控器、移动终端或者它们的组合体。
60.根据权利要求62所述的全景图像显示方法,其特征在于:
所述地面站还包括通过网络与所述控制装置连接的运算装置,
由所述运算装置进行所述全景图像处理得到所述全景显示图像。
61.根据权利要求60所述的全景图像显示方法,其特征在于:
还包括:所述运算装置将所述全景显示图像压缩编码的步骤。
62.根据权利要求61所述的全景图像显示方法,其特征在于:
还包括:所述控制装置将从所述拍摄装置获取的全景显示素材,不解压缩地转发给所述运算装置,并将从所述运算装置获取的全景显示图像,不解压缩地转发给所述全景显示装置的步骤。
63.根据权利要求55、57、61的任一项所述的全景图像显示方法,其特征在于:
所述压缩编码是BMP、PCX、TIFF、GIF、JPEG、JPEG2000、MPEG系列、H.26X系列的任意一种。
64.根据权利要求52所述的全景图像显示方法,其特征在于:
所述无人机、所述地面站和所述全景显示装置之间通过无线方式连接。
65.根据权利要求60所述的全景图像显示方法,其特征在于:
所述控制装置与所述运算装置通过有线或无线方式连接。
66.根据权利要求57或61所述的全景图像显示方法,其特征在于:
所述全景显示装置对全景显示图像解压缩后进行显示。
67.根据权利要求52所述的全景图像显示方法,其特征在于:
所述全景显示装置经由所述无人机从所述地面站接收所述全景图像。
68.根据权利要求60所述的全景图像显示方法,其特征在于:
所述运算装置是位于本地或者云端的服务器。
69.一种记录介质,记录有程序,该程序使对无人机拍摄的全景图像进行处理的地面站,执行如下步骤:
接收无人机拍摄到的全景显示素材;
对所述全景显示素材进行全景图像处理,得到全景图像;
将所述全景图像发送给一全景显示装置。
CN201780014672.XA 2017-11-07 2017-11-07 全景图像显示方法和系统、全景图像处理方法和地面站 Pending CN109076193A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/109719 WO2019090473A1 (zh) 2017-11-07 2017-11-07 全景图像显示方法和系统、全景图像处理方法和地面站

Publications (1)

Publication Number Publication Date
CN109076193A true CN109076193A (zh) 2018-12-21

Family

ID=64812384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014672.XA Pending CN109076193A (zh) 2017-11-07 2017-11-07 全景图像显示方法和系统、全景图像处理方法和地面站

Country Status (2)

Country Link
CN (1) CN109076193A (zh)
WO (1) WO2019090473A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738918A (zh) * 2020-05-08 2020-10-02 普宙机器人科技(武汉)有限公司 一种基于无人机云端服务器计算的全景拼接方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
US9407881B2 (en) * 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
CN106054870A (zh) * 2015-04-10 2016-10-26 鹦鹉无人机股份有限公司 无人机的沉浸式导航系统
CN106341667A (zh) * 2016-11-10 2017-01-18 广西师范大学 基于无人机的三维全景视频远程监控系统及图像采集控制方法
CN206074911U (zh) * 2016-09-08 2017-04-05 深圳市安珀智能科技有限公司 一种穿透式fpv视频眼镜
CN206115039U (zh) * 2016-10-19 2017-04-19 陕西科技大学 一种头追式fpv图传系统
CN106657733A (zh) * 2016-11-25 2017-05-10 深圳市元征科技股份有限公司 一种基于无人机的全景直播方法及终端
CN107197213A (zh) * 2017-07-10 2017-09-22 哈尔滨市舍科技有限公司 基于局域网的景区用无人机监控系统与方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407881B2 (en) * 2014-04-10 2016-08-02 Smartvue Corporation Systems and methods for automated cloud-based analytics for surveillance systems with unmanned aerial devices
CN104062980A (zh) * 2014-06-10 2014-09-24 北京空间机电研究所 一种无人机机载全景监测系统
CN106054870A (zh) * 2015-04-10 2016-10-26 鹦鹉无人机股份有限公司 无人机的沉浸式导航系统
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN206074911U (zh) * 2016-09-08 2017-04-05 深圳市安珀智能科技有限公司 一种穿透式fpv视频眼镜
CN206115039U (zh) * 2016-10-19 2017-04-19 陕西科技大学 一种头追式fpv图传系统
CN106341667A (zh) * 2016-11-10 2017-01-18 广西师范大学 基于无人机的三维全景视频远程监控系统及图像采集控制方法
CN106657733A (zh) * 2016-11-25 2017-05-10 深圳市元征科技股份有限公司 一种基于无人机的全景直播方法及终端
CN107197213A (zh) * 2017-07-10 2017-09-22 哈尔滨市舍科技有限公司 基于局域网的景区用无人机监控系统与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738918A (zh) * 2020-05-08 2020-10-02 普宙机器人科技(武汉)有限公司 一种基于无人机云端服务器计算的全景拼接方法和系统

Also Published As

Publication number Publication date
WO2019090473A1 (zh) 2019-05-16

Similar Documents

Publication Publication Date Title
US12003692B2 (en) Systems, methods and apparatus for compressing video content
US11765396B2 (en) Apparatus and methods for video compression
CN111279673B (zh) 具有电子卷帘快门校正的图像拼接的系统和方法
US11475538B2 (en) Apparatus and methods for multi-resolution image stitching
US11276149B2 (en) Double non-local means denoising
US10484621B2 (en) Systems and methods for compressing video content
KR102375307B1 (ko) 가상 현실 뷰포트를 공유하기 위한 방법, 장치, 및 시스템
CN106357991A (zh) 图像处理方法、图像处理装置及显示系统
CN109658338A (zh) 使用外部电子装置处理原始图像的方法和电子装置
CN104796610A (zh) 一种移动终端的摄像头共享方法、装置、系统及移动终端
CN109660738B (zh) 基于双摄像头的曝光控制方法及系统
WO2019028700A1 (zh) 图像处理方法、设备及计算机可读存储介质
US20220122228A1 (en) Chrominance Denoising
CN116468917A (zh) 图像处理方法、电子设备及存储介质
CN109076193A (zh) 全景图像显示方法和系统、全景图像处理方法和地面站
CN105472226A (zh) 一种前后双镜头全景运动摄像机
CN108234929A (zh) 无人机中的图像处理方法和设备
CN109756664B (zh) 一种智能电子设备和图像处理单元、装置、方法
KR102133293B1 (ko) 멀티플랫폼에서 상호 호환성을 제공하는 스트리밍 서비스 방법 및 이를 위한 장치
CN109997362A (zh) 在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221