CN108292365A - 用于无人载运工具的成像系统和方法 - Google Patents
用于无人载运工具的成像系统和方法 Download PDFInfo
- Publication number
- CN108292365A CN108292365A CN201580084792.8A CN201580084792A CN108292365A CN 108292365 A CN108292365 A CN 108292365A CN 201580084792 A CN201580084792 A CN 201580084792A CN 108292365 A CN108292365 A CN 108292365A
- Authority
- CN
- China
- Prior art keywords
- picture
- imaging system
- imaging device
- code stream
- uav
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 530
- 238000000034 method Methods 0.000 title claims abstract description 146
- 230000005540 biological transmission Effects 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Astronomy & Astrophysics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种用于空中平台(101)的成像系统(300)以及用于制造和使用所述成像系统的方法。所述成像系统(300)包括空中节点(220),所述空中节点用于经由多路通道(208)从多个成像装置(210A,210B)中采集图片并且将所述图片传输到另一个节点。例如,在不同通道中(208)的所述采集的图片可以构成三维图片。所述成像系统(300)可以包括地面节点(230),所述地面节点(230)用于接收并呈现所述所采集的图片。所述地面节点(230)有利地可以用画中画格式来呈现所述图片。在一些实施方式中,所述通道中(208)的至少两路通道可以被连接到相应的成像装置(210A,210B)。所述所采集的图片可以用于相同或不同的目的,例如,操作空中平台(101)和/或与所述空中平台(101)相关联的功能用途。通过指定所述成像装置(210A,210B)之一操作所述空中平台,所述成像系统(300)有利地可以使得能够对所述空中平台(101)进行安全操作,同时支持功能成像能力。
Description
版权声明
本专利文件的一部分公开内容包括受版权保护的材料。版权所有者并不反对任何人对本专利文件或专利公开内容按照其在专利商标局的专利文件或记录中出现的那样进行复制再现,但是无论如何仍保留所有版权权利。
技术领域
所公开的实施方式总体上涉及成像系统,并且更具体地但不排他地涉及用于空中平台的成像系统。
背景技术
近年来,无人飞行器(“UAV”)由于其成本低并且易于操作已经被广泛地用于空中成像领域中。为了理想的成像结果,需要多个成像装置以便从不同角度或方向捕捉图片。
然而,由于受到UAV的成本、重量和空间的限制,目前可用的UAV通常仅配备一套具有单通道的图片传输系统。此通道通常用于除了操作UAV之外的功能目的。因此,UAV仅可以实时地传输由一个成像装置捕捉的图片进行呈现。使用单个成像装置对于操作UAV而言非常不方便并且不安全。
作为示例,目前可用的空中成像系统允许双控模式,这准许一个飞行员控制UAV并且另一个操控者操作成像装置。不方便地,两个操控者都依赖于由所述成像装置捕捉并且经由单通道所传输的多张图片来选择行进路径。然而,如果并非不可能的话,使用双控模式使得难以满足两个操控者的工作要求,因为这两个操控者必须共享经由单个成像装置捕捉的这些图片。例如,共享经由单个成像装置所捕捉的这些图片导致这两个操控者之间的干扰。当这些操控者距UAV有很长一段距离时,这种干扰尤其普遍。在这种情景中,如果UAV操控者依赖于通过单个成像装置捕捉的这些图片,那么UAV可轻易地失去其方向或者与人或障碍物发生碰撞。
例如,当基于功能成像需求来控制成像装置的方向时,成像装置的朝向可以不同于UAV的导航方向。控制UAV因此可能会更加困难。在另一种情景中,当被障碍物包围时,UAV会撞击障碍物,因为成像装置可能不提供在所述UAV前方的障碍物的图片。此外,还难以为UAV提供最佳行进路径和/或用于成像装置的功能成像目的的成像角度。
鉴于上述原因,需要一种用于捕捉、传输并呈现来自多个成像装置的图片的空中成像系统及方法。
发明内容
根据在此所公开的第一方面,提出了一种用于传输从多个成像装置所捕捉的图片的空中成像系统,所述空中成像系统包括:
空中节点,所述空中节点具有用于从所述成像装置采集所述图片的多路通道,
其中,所述空中节点被配置成用于传输所述图片。
在所公开的空中成像系统的一个示例性实施方式中,所述空中节点包括用于从所述通道采集所述图片的图片采集模块。
在所公开的空中成像系统的另一个示例性实施方式中,所述空中节点包括用于对来自所述多路通道的所收集的图片进行编码的图片编码模块。
在所公开的空中成像系统的另一个示例性实施方式中,根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所捕捉的图片进行编码。
在所公开的空中成像系统的另一个示例性实施方式中,图片编码模块被配置成用于针对所述通道中的每路通道生成图片码流。
在所公开的空中成像系统的另一个示例性实施方式中,空中节点包括用于将码流传输到另一个节点的无线传输模块。
在所公开的空中成像系统的另一个示例性实施方式中,根据公共协议或专有协议来传输所述码流。
在所公开的空中成像系统的另一个示例性实施方式中,所述图片中的分别经由所述通道中的至少两路通道所收集的至少两张图片构成物体的三维图片。
在所公开的空中成像系统的另一个示例性实施方式中,空中节点被安排在无人飞行器(“UAV”)上。
所公开的空中成像系统的示例性实施方式进一步包括用于呈现所捕捉的图片的地面节点。
在所公开的空中成像系统的另一个示例性实施方式中,地面节点包括用于接收来自所述空中节点的通道中的每路通道的码流的无线接收模块。
在所公开的空中成像系统的另一个示例性实施方式中,无线接收模块被配置成用于接收来自所述空中节点中的一个或多个空中节点的码流。
在所公开的这些空中成像系统的另一个示例性实施方式中,地面节点包括用于对所述通道中的每路通道的码流进行解码的图片解码模块。
在所公开的空中成像系统的另一个示例性实施方式中,图片解码模块被配置成用于根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
在所公开的空中成像系统的另一个示例性实施方式中,地面节点包括用于呈现经解码的码流的图片呈现模块。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于选择经解码的码流的一个或多个通道进行呈现。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于根据用户选择来选择特定通道。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于呈现所选择的通道。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于以画中画格式、画并画格式或画上画格式来呈现所选择的经解码的码流。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于通过智能终端的应用来呈现所选择的经解码的码流。
在所公开的空中成像系统的另一个示例性实施方式中,图片呈现模块被配置成用于使得能够以可调节的方式呈现任何所选择的图片。
在所公开的空中成像系统的另一个示例性实施方式中,所述可调节的方式包括使得能够对所选择的图片的位置、大小和质量中的至少一者进行调节。
在所公开的空中成像系统的另一个示例性实施方式中,所述多个成像装置包括:
第一成像装置,所述第一成像装置被安排在所述UAV上用于支持所述UAV的操作;以及
第二成像装置,所述第二成像装置被安排在所述UAV上用于功能目的和/或导航目的。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一成像装置包括用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二成像装置包括功能成像装置。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一成像装置被定位在所述UAV的前部部分。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一云台是一维增稳云台或三维增稳云台。
在所公开的空中成像系统的另一个示例性实施方式中,使得所述第一云台能够至少绕所述UAV的俯仰轴旋转。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一云台被配置成用于在跟随模式、FPV模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一成像装置被配置成用于从所述UAV在相应方向上捕捉多张第一图片。
在所公开的空中成像系统的另一个示例性实施方式中,所捕捉的第一图片支持对所述UAV的行进路径的确定。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一成像装置支持对所述UAV的导航。
在所公开的空中成像系统的另一个示例性实施方式中,所述功能成像装置被定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
在所公开的空中成像系统的另一个示例性实施方式中,所述功能成像装置与第二云台相关联,所述第二云台用于控制所述功能成像装置的朝向。
在所公开的空中成像系统的另一个示例性实施方式中,所述功能成像装置被配置成用于进行以下各项中的至少一项:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二云台被配置用于绕多达三条轴线旋转。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二云台包括增稳能力。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二云台在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二成像装置包括用于以较大的视角捕捉第二图片的广角镜头。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一云台与所述第二云台进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二图片被配置成用于辅助操作所述UAV。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二成像装置被配置成用于提供用于导航目的和/或功能成像目的的视角。
在所公开的空中成像系统的另一个示例性实施方式中,所述第二成像装置支持对所述UAV的导航。
在所公开的空中成像系统的另一个示例性实施方式中,所述第一图片和第二图片被配置成用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
在所公开的空中成像系统的另一个示例性实施方式中,所述最佳行进路径是基于所述功能成像装置的功能要求而确定的。
在所公开的空中成像系统的另一个示例性实施方式中,所述最佳行进路径是基于对被分配给所述UAV的未来任务的操作要求而选择的。
根据在此所公开的另一方面,提出了一种用于传输来自空中平台的图片的方法,所述方法包括:
经由多路通道从多个成像装置中采集图片;并且
传输经由所述通道中的至少两路通道所采集的图片。
所公开的方法的示例性实施方式进一步包括对所述通道中的每路通道的图片进行编码。
在所公开的方法的一个示例性实施方式中,对所述图片进行编码包括根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述图片进行编码。
在所公开的方法的另一个示例性实施方式中,对所述图片进行编码包括针对所述通道中的每路通道生成图片码流。
所公开的方法的示例性实施方式进一步包括将所述码流传输至另一个节点。
在所公开的方法的另一个示例性实施方式中,传输所述码流包括根据公共协议或专有协议传输所述码流。
在所公开的方法的另一个示例性实施方式中,采集图片包括采集所述图片中的各自来自单独的通道并且各自为物体的三维图片的一部分的至少两张图片。
在所公开的方法的另一个示例性实施方式中,所述空中平台是无人飞行器(“UAV”)。
所公开的方法的示例性实施方式进一步包括:
在地面节点处接收来自所述多路通道中的每路通道的码流。
所公开的方法的示例性实施方式进一步包括在地面节点处对所述通道中的每路通道的码流进行解码。
在所公开的方法的另一个示例性实施方式中,对所述码流进行解码包括根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对码流进行解码。
所公开的方法的示例性实施方式进一步包括选择经解码的码流的一个或多个通道进行呈现。
在所公开的方法的另一个示例性实施方式中,选择所述通道包括根据用户选择来选择特定通道。
所公开的方法的示例性实施方式进一步包括在地面节点处呈现所选择的通道。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括呈现所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现所选择的经解码的码流包括以画中画格式、画并画格式或画上画格式来显示所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现所选择的经解码的码流包括经由智能终端显示所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现经解码的码流包括使得能够以可调节的方式呈现任何所选择的图片。
在所公开的方法的另一个示例性实施方式中,使得能够以所述可调节的方式呈现所选择的图片包括使得能够对所选择的图片的位置、大小和质量中的至少一者进行调节。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括将两个单独的通道中的各自为三维图片的一部分的两张图片组合为相应的三维图片。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括呈现所述三维图片。
在所公开的方法的另一个示例性实施方式中,采集所述图片包括从多个成像装置中捕捉所述图片,每个成像装置连接到所述通道中的一路通道。
在所公开的方法的另一个示例性实施方式中,从多个成像装置捕捉图片包括通过第一成像装置来捕捉第一图片用于支持对所述UAV的操作。
在所公开的方法的另一个示例性实施方式中,捕捉来自多个成像装置的图片包括通过被安排在所述UAV上的第二成像装置来捕捉第二图片用于功能目的和/或导航目的。
在所公开的方法的另一个示例性实施方式中,捕捉第一图片包括通过用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置来捕捉第一图片用于操作所述UAV。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片包括通过功能成像装置来捕捉第二图片。
所公开的方法的示例性实施方式进一步包括将所述第一成像装置安排在所述UAV上。
在所公开的方法的另一个示例性实施方式中,安排所述第一成像装置包括将所述第一成像装置定位在所述UAV的前部部分。
在所公开的方法的另一个示例性实施方式中,安排所述第一成像装置包括将所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
在所公开的方法的另一个示例性实施方式中,将所述第一成像装置与所述第一云台相关联包括将所述第一成像装置附接到一维增稳云台或三维增稳云台。
在所公开的方法的另一个示例性实施方式中,附接所述成像装置包括使得所述第一云台能够至少绕所述UAV的俯仰轴旋转。
在所公开的方法的另一个示例性实施方式中,使得所述第一云台包括使得所述第一云台能够在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的方法的另一个示例性实施方式中,捕捉第一图片包括从所述UAV在相应的方向上捕捉第一图片。
在所公开的方法的另一个示例性实施方式中,支持对所述UAV的操作包括使用所捕捉的第一图片确定所述UAV的行进路径。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片包括将所述功能成像装置定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片包括将所述功能成像装置与第二云台相关联,所述第二云台被配置成用于控制所述功能成像装置的朝向。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片用于功能目的包括捕捉第二图片用于从由以下各项组成的组中所选择的至少一个目的:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
在所公开的方法的另一个示例性实施方式中,将所述功能成像装置与所述第二云台相关联包括将所述功能成像装置附接到三维云台上。
在所公开的方法的另一个示例性实施方式中,附接所述功能成像装置包括使得所述第二云台能够具有三维增稳能力。
在所公开的方法的另一个示例性实施方式中,使得所述第二云台包括使得所述第二云台能够在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片包括通过广角镜头以较大的视角捕捉第二图片。
在所公开的方法的另一个示例性实施方式中,捕捉第二图片包括捕捉第二图片用于辅助操作所述UAV。
所公开的方法的示例性实施方式进一步包括使得所述第一云台与所述第二云台能够进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
所公开的方法的示例性实施方式进一步包括捕捉第一图片和/或第二图片用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
在所公开的方法的另一个示例性实施方式中,选择所述最佳行进路径包括基于所述功能成像装置的功能要求确定所述路径。
在所公开的方法的另一个示例性实施方式中,确定所述最佳行进路径包括基于被分配给所述功能成像装置的下一个任务的操作要求来确定所述最佳行进路径。
根据在此所公开的另一方面,提出了一种用于无人飞行器(“UAV”)的成像系统,所述成像系统包括:
多个成像装置,这些成像装置被安排在所述UAV上用于从所述UAV捕捉图片;以及
空中节点,所述空中节点用于传输由所述多个成像装置捕捉的图片。
在所公开的成像系统的一个示例性实施方式中,所述空中节点包括用于经由多路通道从所述多个成像装置采集图片的图片采集模块。
在所公开的成像系统的一个示例性实施方式中,所述成像装置中的每个成像装置经由从所述多路通道中所选择的单独通道被连接到所述图片采集模块。
在所公开的成像系统的一个示例性实施方式中,所述空中节点包括用于对所述通道中的每路通道的图片进行编码的图片编码模块。
在所公开的成像系统的一个示例性实施方式中,根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述图片进行编码。
在所公开的成像系统的一个示例性实施方式中,所述图片编码模块被配置成用于针对所述通道中的每路通道生成图片码流。
在所公开的成像系统的一个示例性实施方式中,所述空中节点包括用于将所述通道的码流传输到一个或多个地面节点的无线传输模块。
在所公开的成像系统的一个示例性实施方式中,根据公共协议或专有协议来传输所述码流。
在所公开的成像系统的一个示例性实施方式中,所述图片中的分别经由所述成像装置中的至少两个成像装置所捕捉的至少两张图片构成物体的三维图片。
在所公开的成像系统的一个示例性实施方式中,所述多个成像装置包括:
第一成像装置,所述第一成像装置被安排在所述UAV上用于支持所述UAV的操作;以及
第二成像装置,所述第二成像装置被安排在所述UAV上用于功能目的和/或导航目的。
在所公开的成像系统的一个示例性实施方式中,所述第一成像装置包括用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置。
在所公开的成像系统的一个示例性实施方式中,所述第二成像装置包括功能成像装置。
在所公开的成像系统的一个示例性实施方式中,所述第一成像装置被定位在所述UAV的前部部分。
在所公开的成像系统的一个示例性实施方式中,所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
在所公开的成像系统的一个示例性实施方式中,所述第一云台是一维增稳云台或三维增稳云台。
在所公开的成像系统的一个示例性实施方式中,使得所述第一云台能够至少绕所述UAV的俯仰轴旋转。
在所公开的成像系统的一个示例性实施方式中,所述第一云台被配置成用于在跟随模式、FPV模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的成像系统的一个示例性实施方式中,所述第一成像装置被配置成用于从所述UAV在相应方向上捕捉多张第一图片。
在所公开的成像系统的一个示例性实施方式中,所捕捉的第一图片支持对所述UAV的行进路径的确定。
在所公开的成像系统的一个示例性实施方式中,所述第一成像装置支持对所述UAV的导航。
在所公开的成像系统的一个示例性实施方式中,所述功能成像装置被定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
在所公开的成像系统的一个示例性实施方式中,所述功能成像装置与第二云台相关联,所述第二云台用于控制所述功能成像装置的朝向。
在所公开的成像系统的一个示例性实施方式中,所述功能成像装置被配置成用于进行以下各项中的至少一项:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
在所公开的成像系统的一个示例性实施方式中,所述第二云台被配置用于绕多达三条轴线旋转。
在所公开的成像系统的一个示例性实施方式中,所述云台包括增稳能力。
在所公开的成像系统的一个示例性实施方式中,所述第二云台在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
在所公开的成像系统的一个示例性实施方式中,所述第二成像装置包括用于以较大的视角捕捉第二图片的广角镜头。
在所公开的成像系统的一个示例性实施方式中,所述第一云台与所述第二云台进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
在所公开的成像系统的一个示例性实施方式中,所述第二图片被配置成用于辅助操作所述UAV。
在所公开的成像系统的一个示例性实施方式中,所述第二成像装置被配置成用于提供用于导航目的和/或功能成像目的的视角。
在所公开的成像系统的一个示例性实施方式中,所述第二成像装置支持对所述UAV的导航。
在所公开的成像系统的一个示例性实施方式中,所述第一图片和第二图片被配置成用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
在所公开的成像系统的一个示例性实施方式中,所述最佳行进路径是基于所述功能成像装置的功能要求而确定的。
在所公开的成像系统的一个示例性实施方式中,所述最佳行进路径是基于对被分配给所述UAV的未来任务的操作要求而选择的。
根据在此所公开的另一方面,提出了一种用于在地面节点处呈现图片的方法,所述方法包括:
在所述地面节点处接收多路通道中的每路通道的码流;并且
在所述地面节点处呈现所述通道中的每路通道的所述码流中的一个或多个码流。
在所公开的方法的一个示例性实施方式中,接收所述码流包括接收来自一个或多个空中节点的码流。
在所公开的方法的另一个示例性实施方式中,在地面节点处对所述通道中的每路通道的码流进行解码。
在所公开的方法的另一个示例性实施方式中,对所述码流进行解码包括根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
所公开的方法的示例性实施方式进一步包括选择经解码的码流的一个或多个通道进行呈现。
在所公开的方法的另一个示例性实施方式中,选择所述通道包括根据用户选择来选择所述通道。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括呈现所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现所选择的经解码的码流包括以画中画格式、画并画格式或画上画格式来显示所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现所选择的经解码的码流包括经由智能终端显示所选择的经解码的码流。
在所公开的方法的另一个示例性实施方式中,呈现经解码的码流包括使得能够以可调节的方式呈现所选择的图片。
在所公开的方法的另一个示例性实施方式中,使得能够以所述可调节的方式呈现所选择的图片包括使得能够对所述图片的位置、大小和质量中的至少一者进行调节。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括将至少两个单独的通道中的各自为三维图片的一部分的至少两张图片组合为相应的三维图片。
在所公开的方法的另一个示例性实施方式中,呈现所述码流包括呈现所述三维图片。
在所公开的方法的另一个示例性实施方式中,接收所述码流包括经由无人飞行器(“UAV”)的遥控器接收所述码流。
所公开的方法的示例性实施方式进一步包括通过所述遥控器控制所述UAV的至少一个动作。
在所公开的方法的另一个示例性实施方式中,所述UAV的所述动作是俯仰、横滚、偏航、升高、上升、下降、加速和减速中的一者。
所公开的方法的示例性实施方式进一步包括控制用来捕捉所述图片的至少一个成像装置的成像动作。
在所公开的方法的另一个示例性实施方式中,控制所述成像动作包括控制朝向、放大和缩小中的至少一项。
根据在此所公开的另一方面,提出了一种计算机程序产品,所述计算机程序产品包括用于根据所公开方法的先前实施方式中的任一个实施方式来呈现图片的指令。
根据在此所公开的另一方面,提出了一种用于呈现图片的地面节点,所述地面节点包括:
无线接收模块,所述无线接收模块被配置成用于接收多路通道中的每路通道的码流;以及
图片呈现模块,所述图片呈现模块用于呈现所接收到的码流。
在所公开的地面节点的一个示例性实施方式中,所述无线接收模块被配置成用于接收来自空中节点的码流。
所公开的地面节点的示例性实施方式进一步包括被配置成用于对所述通道中的每路通道的码流进行解码的图片解码模块。
在所公开的地面节点的另一个示例性实施方式中,所述图片解码模块被配置成用于根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于选择经解码的码流的一个或多个通道进行呈现。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于根据用户选择来选择所述通道。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于呈现所选择的经解码的码流。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于以画中画、画并画或画上画格式呈现所选择的经解码的码流。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于通过智能终端的应用来呈现所选择的经解码的码流。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于使得能够以可调节的方式呈现任何图片。
在所公开的地面节点的另一个示例性实施方式中,所述可调节的方式包括使得能够对所述图片的位置、大小和质量中的至少一者进行调节。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于将至少两个单独通道中的各自为三维图片的一部分的至少两张图片组合为三维图片。
在所公开的地面节点的另一个示例性实施方式中,所述图片呈现模块被配置成用于在显示器上呈现所述三维图片。
所公开的地面节点的示例性实施方式进一步包括无人飞行器(“UAV”)的遥控器。
在所公开的地面节点的另一个示例性实施方式中,所述遥控器被配置成用于控制所述UAV的至少一个动作。
在所公开的地面节点的另一个示例性实施方式中,所述UAV的所述动作是俯仰、横滚、偏航、升高、上升、下降、加速和减速中的一者。
在所公开的地面节点的另一个示例性实施方式中,所述遥控器被配置成用于控制用来捕捉一个通道的图片的至少一个成像装置的成像动作。
在所公开的地面节点的另一个示例性实施方式中,所述成像动作包括控制朝向、放大和缩小中的至少一项。
附图说明
图1是一个示例性顶层框图,图示了一种成像系统的一个实施方式,其中空中节点可以从多路通道中采集图片并且将这些图片传输到另一个节点进行呈现。
图2是一个示例性顶层框图,图示了图1的成像系统的一个替代性实施方式,其中空中节点可以连接多个成像装置用于从所述多路通道中采集图片。
图3是一个示例性顶层框图,图示了图1的成像系统的另一个替代性实施方式,其中地面节点可以连接到多个显示器用于呈现在所述多路通道中的每路通道中的图片。
图4是一个示例性细节框图,图示了图2的成像系统的一个替代性实施方式,其中空中节点可以包括三个模块,这三个模块用于采集、编码和传输从所述多路通道所采集的图片。
图5是一个示例性细节框图,图示了图3的成像系统的一个替代性实施方式,其中地面节点可以包括三个模块,这三个模块用于接收、解码和呈现从所述多路通道所采集的图片。
图6是一个示例性顶层流程图,图示了一种用于传输图片的成像方法的一个实施方式,其中所述图片是从多路通道采集而来的,并且至少一路通道的图片被呈现。
图7是一个示例性流程图,图示了图6的成像方法的一个替代性实施方式,其中所述图片可以在空中节点处被编码用于经由所述多路通道进行高效且安全的传输。
图8是一个示例性流程图,图示了图6的成像方法的另一个替代性实施方式,其中所述多路通道的图片可以在地面节点处被解码进行呈现。
图9是一个示例性框图,图示了图1的成像系统的另一个替代性实施方式,其中空中节点可以从两个成像装置采集图片,并且其中地面节点可以经由显示器呈现图片。
图10是一个示例性框图,图示了一种成像系统的一个实施方式,其中第一和第二成像装置被安装在与空中节点相联接的空中平台上。
图11是一个示例性示意图,图示了图10的成像系统的一个实施方式,其中第一和第二成像装置分别经由第一和第二云台被安装在空中平台上。
图12是一个示例性示意图,图示了图11的第一成像装置的一个实施方式,其中第一成像装置与第一云台相集成以形成第一成像组件。
图13是一个示例性示意图,图示了图11的第二成像装置的一个实施方式,其中第二成像装置与第二云台相集成以形成第二成像组件。
图14和图15是示例性示意图,图示了图1的成像系统的地面节点的一个实施方式。
图16是一个示例性框图,图示了图2的显示器的呈现格式的一个实施方式。
图17是一个示例性框图,展示了图2的显示器的呈现格式的另一个实施方式。
图18是一个示例性框图,图示了图2的显示器的又另一种呈现模式的第三个实施方式。
图19是一个示例性示意图,图示了一种用于操作图11的空中平台的成像系统的一个实施方式。
应注意的是,这些图不是按比例绘制的并且出于说明性目的,贯穿这些附图,具有相似结构或功能的要素一般用相似的参考号表示。还应注意的是,这些附图仅旨在有助于对优选实施方式的描述。附图并未图示所描述的实施方式的每个方面,并且不限制本公开的范围。
优选实施方式的详细说明
因为目前可用的与无人载运工具(尤其是无人飞行器)相关联的成像系统具有有限的能力来从多个视觉视野捕捉、传输和呈现图片,所以一种用于通过多个成像装置捕捉图片并且传输这些图片以进行呈现的系统可以证明是令人期望的并且为在无人载运工具上操作的成像系统提供基础。根据如图1中所展示的成像系统100的一个实施方式,可以实现此结果。
图1图示了一种用于传输图片的成像系统100的一个实施方式。转到图1,成像系统100可以包括空中节点220,所述空中节点可以经由多个通道208采集(和/或收集)多张图片并将这些图片传输到另一个节点进行呈现。另一个节点可以与空中节点220相邻近地和/或远离地定位,并且例如可以是图1中所示出的地面节点230。在一些实施方式中,这些通道208中的至少两路通道可以用于连接到能够捕捉图片的装置,例如成像装置210(在图2中示出)。出于本公开的目的,这些图片可以包括多张单个静止图片(或帧)和/或一系列图片(或帧)(如运动图片)。
空中节点220可以被安排在空中平台101(在图11中示出)(例如,无人飞行器(“UAV”))上。在一些实施方式中,空中节点220可以以并行方式单独地处理这些通道208。在其他实施方式中,空中节点220可以在分时基础上处理这些通道208。出于说明性目的但非限制性的,空中节点220可以将在这些通道208中的每路通道中的这些图片作为码流209进行传输。
成像系统100可以包括可选的地面节点230,所述地面节点可以接收从空中节点220传输而来的这些图片。所接收到的图片可以是与从空中节点220传输而来的码流209相同的形式。地面节点230可以包括用于接收、处理和/或呈现所接收到的图片的各种功能。将参照图3和图5提供关于地面节点230的附加细节。
在一些其他实施方式中,地面节点230可以呈现两个或更多个图片通道。出于说明性目的但非限制性的,地面节点230可以以所选择的格式(如画中画格式)来呈现两个或更多个图片通道。将参照图3、图5、图16至图18示出并描述关于这些图片的呈现的附加细节。
虽然仅仅出于说明性目的而被示出并描述为包括在系统100中,但空中节点220和地面节点230可以或者单独地或者组合地工作。
图2图示了示例性成像系统100的另一个实施方式。转到图2,空中节点220可以分别经由多个通道208与多个成像装置210相连接用于采集图片。在图2中,空中节点220可以通过预定数量N路通道与预选数量N个成像装置210相连接。在一些实施方式中,空中节点220可以具有至少N个可用于连接成像装置210的输入通道。
虽然仅仅出于说明性目的而被示出并描述为多个单独的装置,但这些成像装置210可以至少部分地与空中节点220相集成。成像装置210A、210B、......、210N可以是相同的和/或不同的类型和/或模型。如在此所示出并且描述的,空中节点220可以采集来自这些成像装置210的图片、处理这些图片并将这些图片传输到另一节点作为通道208中的每路通道的码流209。
图3图示了示例性成像系统100的另一个实施方式。转到图3,地面节点230可以连接到预定数量M个显示器250用于呈现在所述多路通道208(在图1中示出)中的每路通道中的图片。显示器250A、250B、......、250M可以是相同的和/或不同的类型和/或模型。如在此所示出并且描述的,地面节点230可以接收来自另一节点(例如,空中节点220(在图2中示出))的图片,并且可以用所选择的格式来处理并呈现这些图片。
地面节点230可以连接到预定数量M个显示器250用于呈现从成像装置210所捕捉的图片。与地面节点230相连接的显示器250的预定数量M可以与成像装置210的预定数量N相同和/或不同。在一些实施方式中,显示器250的数量M可以小于通道208的数量N,从而使得可以呈现这些通道208的选定子集。地面节点230可以将一个通道的图片呈现在一个显示器250上、将多个通道的图片呈现在一个显示器250上和/或将一个通道呈现在两个或更多个显示器250上。如在此所示出并且描述的,地面节点230可以选择以所选择的格式(如画中画格式)将多路通道208呈现在一个显示器250上。
可替代地和/或另外地,地面节点230可以连接到智能终端240并且可以经由所述智能终端240呈现一个或多个所选择通道的图片。出于说明性目的而非限制性的,智能终端240可以是智能电话、iPad、笔记本等。当两路或多路通道208被呈现时,可以以所选择的格式(如画中画格式)来呈现这些图片。
图4图示了示例性成像系统100的一个替代性实施方式。转到图4,空中节点220可以包括三个模块222、224、226,这三个模块分别用于采集、编码和传输从所述多路通道208(在图1中示出)所采集的图片。在图4中,空中节点220可以包括图片采集模块222,所述图片采集模块用于经由被连接到N个成像装置210的数量为N路的通道来采集图片。这些成像装置210可以被安排在公共空中平台101(例如,无人飞行器(“UAV”)(在图11中示出))上并且可以经由有线连接和/或无线连接被连接到图片采集模块222。在一些实施方式中,N个成像装置210中的一些成像装置可以被安排在其他移动平台(未示出)上。在这类实施方式中,成像装置210经由无线连接被连接到图片采集模块222。
在一些其他实施方式中,这些图片中的分别经由通道208中的至少两路通道所收集的至少两张图片可以构成感兴趣物体的三维图片。这些图片中的每张图片都可以由所选择的成像装置210捕捉。换言之,所选择的成像装置210可以是形成三维成像系统(未示出)的两个或更多个成像装置210之一。可替代地和/或另外地,在这些通道208中的两个或更多个通道中所捕捉的这些图片可以构成三维运动图片。
经由这些相应的通道208所采集的这些采集的图片可以被提供给图片编码模块224。图片编码模块224可以对这些图片进行编码和/或压缩以针对这些通道208中的每路通道生成码流209。可以以并行或串行的方式针对每路通道执行所述编码和/或压缩。图片编码模块224可以根据任何常规的编码和/或压缩协议如MPEG-4第10部分、高级视频编码(“H.264”)或者在高效视频编码(HEVC)标准下的任何协议(包括但不限于MPEG-H第2部分和ITU-TH.265)来对这些图片进行编码和/或压缩。图片编码模块224可以以码流209的形式将这些编码的图片传送至无线传输模块226。
无线传输模块226可以将这些通道208中的每路通道的码流209传输到另一个节点,例如,地面节点230(在图1中示出)。无线传输模块226可以根据任何合适的无线传输协议如常规的公共协议、实时消息传送协议(“RTMP”)协议和实时流传输协议(“RTSP”)协议或者任何合适的专有协议来传输这些码流209。
虽然仅仅出于说明性目的而被示出并描述为具有传输功能,但无线传输模块226可以具有与传输相关的其他功能性,如变换、存储或调制等。虽然仅仅出于说明性目的而被示出并描述为多个单独的模块,但图片采集模块222、图片编码模块224和/或无线传输模块226可以至少部分地集成在一个模块中。
图5图示了示例性成像系统100的另一个替代性实施方式。转到图5,地面节点230可以包括三个模块232、234、236,这三个模块分别用于接收、解码和呈现来自多路通道208(在图1中示出)的多张图片。在图5中,无线接收模块232可以在地面节点230处接收来自另一个节点(例如空中节点220(在图1中示出))的码流209。在一些实施方式中,无线接收模块232可以在这些通道208中的每路通道处等待码流209以帮助确保码流209被实时地接收。无线接收模块232可以将这些通道208中的每路通道的码流209传输到图片解码模块234。
虽然仅仅出于说明性目的而被示出并描述为具有接收功能性,但无线接收模块232可以具有与接收相关的其他功能,如变换、存储或调制等。
图片解码模块234可以对码流209进行解码和/或解压缩以恢复在这些通道208中的每路通道中所捕捉的这些图片。图片解码模块234可以以并行和/或串行的方式处理这些码流209。在一些实施方式中,图片解码模块234可以具有用于这些通道208中的至少一路通道的缓存存储器。这些缓存存储器可以充当缓冲器,用于在从无线传输模块226到无线接收模块232的传输速度不能匹配图片解码模块234的处理速度的情况下提供对码流209的临时存储。因为缓冲时间可以相对较短,所以这些图片可被认为是被以实时的方式处理的。
图片解码模块234可以将这些恢复的图片传输至图片显示模块236,以便经由显示器250中的至少一个显示器进行呈现。在一些实施方式中,图片解码模块234可以具有用于提示和/或接收用户选择的用户接口(未示出)。下文将参照图14提供关于用户选择的附加细节。可以通过这些显示器250中的一个或多个显示器来呈现所选择的这些通道208。当两个或更多个通道208被选择通过一个显示器250进行呈现时,这些图片可以以画中画格式、画并画格式和/或画上画格式进行呈现。下文将参照图16至图18来提供关于呈现的附加细节。
可替代地和/或另外地,可以将所捕捉的这些图片提供至智能终端240(包括但不限于智能电话、iPad、笔记本等)。智能终端240可以选择任何一路或多路通道208进行呈现。出于控制空中平台101的示例性目的和/或出于其他功能目的,智能终端240可以呈现这些图片。通过智能终端240,可以经由智能终端240的任何合适的应用来方便地呈现所选择的这些通道208。
在一些实施方式中,如参照图4所示出并描述的,这些图片中的在这些通道208中的至少两路通道中所编码的至少两张图片可以构成三维图片。在这类实施方式中,图片显示模块236可以在显示器250是三维显示器时经由两个输入端传输这两张图片。可替代地和/或另外地,可以使图片显示模块236能够经由任何常规的三维重建过程来将这两张图片合并为三维图片,以便通过这些显示器250中的至少一个显示器进行呈现。
为了帮助呈现由成像装置210捕捉的图片,可能期望一种经由多路通道208采集多张图片并将这些图片传输到另一个节点进行呈现的方法。图6图示了一种示例性成像方法200的一个实施方式,其中,这些图片是从多路通道208采集而来的并且可以在另一个节点(例如,地面节点230)处呈现至少一个通道的图片。
在图6中,在112,可以在空中节点220处经由多路通道208采集这些图片。这些成像装置210(在图2中示出)中的每个成像装置可以被连接到多路通道208中的一路通道。在一些实施方式中,这些通道208中的至少两路通道可以分别被连接到至少两个成像装置210上。在112,经由多路通道208中的每路通道所捕捉的这些图片可以是在空中节点220处被采集的,以便随后对这些图片进行处理和传输。
在一些实施方式中,这些图片中的分别经由这些通道208中的至少两路通道所采集的至少两张图片可以构成感兴趣物体的三维图片。这些图片中的每张图片可以是由成像装置210捕捉的,所述成像装置是在三维成像系统(未示出)中的两个成像装置210之一。可替代地和/或另外地,在这些通道208中的两路通道中所捕捉的这些图片可以构成三维运动图片。
在116,经由这些通道208中的每路通道所采集的这些图片可以被传输到另一个节点(例如,如图6所示出的地面节点230)。在一些实施方式中,这些图片可以在被传输之前在空中节点220处被处理。下文将参照图7提供关于采集和传输这些图片的附加细节。
在一些其他实施方式中,可以在地面节点230处接收并呈现这些图片。在122,可以在地面节点230处接收两个或更多个通道的图片。可以基于一个或多个特定的参数(如用户选择、预设优先级等)选择这些通道208中的至少一路通道进行呈现。在126,出于满足用户的各种需求的目的,可以呈现所选择通道的图片。在一些实施方式中,可以通过多个显示器250(在图5中示出)来呈现所选择的这些通道208,每个显示器呈现一路或多路通道208。在一些其他实施方式中,可以通过单个显示器250以预定的格式(包括但不限于画中画格式、画并画格式、画上画格式等)来呈现所选择的这些图片。在此阐述了关于选择并呈现的这些图片的附加细节。
在一些实施方式中,如在此所描述,这些图片中的在这些通道208中的至少两路通道中的至少两张图片可以构成三维图片。在这类实施方式中,当显示器250是三维显示器时可以经由两个输入端将这两张图片传输到显示器250。可替代地和/或另外地,这两张图片可以经由任何常规的三维重建过程被合并为三维图片,以便通过这些显示器250之一进行呈现。
虽然仅仅出于说明性目的而被示出并描述为使用多个显示器250来呈现图片,但这些图片可以使用任何其他合适的手段(例如,在智能终端240(在图5中示出)(包括但不限于膝上型计算机、台式计算机、计算机服务器、智能电话、iPad、笔记本等)上运行的应用)来呈现。虽然仅仅出于说明性目的而被示出并描述为在方法200中协同工作,但如在此所示出并且描述,空中节点220和地面节点230可以或者单独地或者组合地工作。
图7图示了成像方法200的替代性实施方式。转到图7,出于经由多路通道208(在图1中示出)来高效且安全地传输图片的目的,可以在空中节点220处对这些图片进行采集和编码。在图7中,在112,如上文参照图6更详细地示出并描述,空中节点220可以从多路通道208采集多张图片。
在114,当这些图片由空中节点220采集时,可以对来自多路通道208的这些图片进行编码。在114,可以在多个单独的通道208中对这些图片进行编码以生成多个经编码的码流209(在图1中示出),每个码流对应于相应的通道208。可以根据协议(如MPEG-4第10部分、高级视频编码(“H.264”)或在高效视频编码(HEVC)标准下的任何协议(包括但不限于MPEG-H第2部分和ITU-T H.265))来对这些通道208中的每路通道的这些图片进行编码。因为这些图片在被捕捉时可以是流线型的,所以每个码流209可以以实时的方式被传输。
在116,可以将这些通道208中的每路通道的这些经编码的码流209传输至另一个节点(例如,地面节点230)。可以经由空中节点220与其他节点(例如,地面节点230)之间的有线连接和/或无线连接来传输这些码流209。可以根据公共协议(如实时消息传送协议(“RTMP”)协议或实时流传输协议(“RTSP”)协议)或者任何合适的专有传输协议来传输这些码流209。
图8图示了成像方法200的一个替代性实施方式。转到图8,可以对多路通道208(在图1中示出)的多张图片进行解码以便在地面节点230处进行呈现。在图8中,在122,可以经由有线连接和/或无线连接在地面节点230处以多个码流209(在图1中示出)的形式接收这些图片。所述多个码流209中的每个码流可以表示相应通道208的图片,并且可以从一个或多个其他节点(例如,空中节点220)被传送。在124,可以对所接收到的这些码流209进行解码。可以以任何常规的方式对所接收到的这些码流209进行解码。例如,所接收到的这些码流209可以在被接收时被解码和/或可以在被解码之前的特定的较短时间段内被缓冲。在126,这些经解码的码流209可以恢复在相应的通道208中的图片并且准备好进行呈现。在124,优选地根据用于对这些图片进行编码的相同协议来执行对这些图片的解码。在126,可以用上文参照图6更加详细地示出并描述的方式来选择性地呈现这些经解码的图片。
虽然仅仅出于说明性目的而被示出并描述为对在多个单独的通道208中的这些图片进行编码和解码,但这些码流209可以在对这些图片进行编码、解码和/或传输的过程中具有一定的混合程度。
可以在成像装置210捕捉多路通道中的这些图片的同时以很小的延迟或无延迟地(几乎很少的处理时间和传输时间)来对这些图片进行采集、编码、传输、接收、解码和/或呈现。因此,可以以实时的方式或以时延的方式(优选地具有可忽略的延迟)来呈现这些图片。所呈现的这些图片可以用于多种目的(如对空中平台101进行导航和/或引导成像过程等)。
图9图示了示例性成像系统300的另一个实施方式。转到图9,系统300可以包括用于从两个成像装置210A、210B采集多张图片的空中节点220以及用于通过显示器250来呈现这些图片的地面节点230。如在此所示出并且描述的,成像系统300可以实现用于对所捕捉的这些图片进行采集、编码和传输的方法200。
如图9所图示,成像系统300的空中节点220可以包括图片采集模块222、图片编码模块224和无线传输模块226。空中节点220的图片采集模块222可以经由相应的通道208与第一成像装置210A和第二成像装置210B相连接。第一成像装置210A和第二成像装置210B可以具有不同的目的,例如,第一成像装置210A可以是第一人称视角(“FPV”)成像装置,而第二成像装置210B可以是功能成像装置。如以下参照图10和图11所示出并且描述的,第一成像装置210A可以捕捉图片用于导航目的以及控制空中平台101的目的。第二成像装置210B可以捕捉图片用于功能用途目的或者用于辅助对空中平台101的导航和控制。
图片采集模块222可以经由通道208从第一成像装置210A和第二成像装置210B采集所捕捉的这些图片。在采集这些图片的同时,图片采集模块222可以将所捕捉的这些图片传送到图片编码模块224。图片编码模块224可以对这些图片进行编码和/或压缩以针对由第一成像装置210A捕捉的图片生成第一码流和/或针对由第二成像装置210B捕捉的图片生成第二码流。所述第一码流和/或所述第二码流可以被传送到无线传输模块226。无线传输模块226可以将所述第一码流和所述第二码流传输到另一个节点(例如,地面节点230),以便呈现这些图片。
在一些实施方式中,成像系统300可以包括用于呈现这些图片的地面节点230。如在此所示出并且描述的,地面节点230可以具有无线接收模块232、图片解码模块234和图片显示模块236。无线接收模块232可以接收来自另一个节点(例如,如图9所示出的空中节点220)的第一码流和第二码流。无线接收模块232可以将所述第一码流和/或所述第二码流传送到图片解码模块234。图片解码模块234可以对所述第一码流和所述第二码流进行解码和/或解压缩以恢复在这两路通道208中的图片。所恢复的这些图片反映了由第一成像装置210A和第二成像装置210B捕捉的相应视角。图片解码模块234可以将所恢复的这些图片传送到图片显示模块236以便呈现这些图片。
图片显示模块236可以经由显示器250来呈现这些图片。在一些实施方式中,可以使显示器250能够呈现一个或两个通道的图片。由第一成像装置210A捕捉的那些图片可以被认为是第一通道的图片,而由第二成像装置210B捕捉的那些图片可以被认为是第二通道的图片。在一些实施方式中,图片显示模块236可以选择经由显示器250呈现两路通道208中的任何一路或两路通道208。当两路通道208都被呈现时,显示器250可以以画中画、画并画或画上画的格式来呈现这些图片。下文将参照图16至18提供关于这些图片的呈现的附加细节。
因为可以将由成像装置的210A、210B两者捕捉的这些图片呈现在一个显示器250上,所以空中平台101的操控者可以方便地针对两个视角参考仅有的显示器250。虽然仅仅出于说明性目的而被示出并描述为具有一个显示器250,但可以采用两个或多个显示器250来呈现这两路通道208的图片。
图10图示了空中成像系统500的一个实施方式。转到图10,空中平台101被示出为具有空中节点220,所述空中节点用于传输图片并且经由第一云台332和第二云台535与第一成像装置210A和第二成像装置210B相联接。在图10中,第一成像装置210A可以被配置成用于捕捉第一图片用于操作空中平台101的目的;第二成像装置210B可以被配置成用于捕捉第二图片用于功能成像的目的和/或辅助空中平台101的操作。空中节点220可以与第一成像装置210A和第二成像装置210B相连接并且被配置成用于采集由第一成像装置210A和第二成像装置210B以在此所示出并且描述的方式所捕捉的这些图片。
在一些实施方式中,第一成像装置210A和第一云台332可以由空中平台101的操控者(或飞行员)进行操作,而第二成像装置210B和第二云台535可以由成像操控者进行操作。空中平台101的操控者和成像操控者可以是同一人或者不同的人。将参照图12至图13示出并描述关于第一成像装置210A和第二成像装置210B以及第一云台332和第二云台535的附加细节。
通过第一成像装置210A和第二成像装置210B,可以避免这两个操控者之间的干扰,因为每个操控者可以控制各自的成像装置。可替代地和/或另外地,由第一成像装置210A和第二成像装置210B捕捉的这些图片可以被传输到另一个节点(例如,地面节点230(在图9中示出)),所述另一个节点可以以分开的格式或组合的格式来展示这些第一图片和/或第二图片。空中平台101的操控者可以基于这些第一图片和/或第二图片控制空中平台101。
虽然仅仅出于说明性目的而被示出且描述为单独的装置,但第一成像装置210A和第二成像装置210B可以与第一云台332和第二云台535相集成以分别形成第一成像组件320和第二成像组件330(在图12、图13中示出)。另外地和/或可选地,可以出于在此所描述的这些目的而采用多个附加成像装置210。
图11图示了空中成像系统500的一个替代性实施方式。转到图11,第一成像装置210A和第二成像装置210B被示出为分别经由第一云台332和第二云台535被安装在空中平台101上。在图11中,空中平台101可以是UAV。空中平台101可以具有用于容纳空中节点220、引擎(未示出)以及其他相关装置和/或机构的机身(或本体)310。第一成像装置210A和第二成像装置210B可以经由第一云台332和第二云台535被附接到空中平台101的本体310的任何合适区域。例如,如图11所示,第一成像装置210A可以被附接到本体310的前部部分。第一成像装置210A可以被配置成用于捕捉多张图片用于操作空中平台101的目的。下文将参照图12阐述关于第一成像装置210A和第一云台332的附加细节。
虽然仅仅出于说明性目的而被示出并描述为被附接到本体310的前部部分,但第一成像装置210A可以被附接到空中平台101的任何合适位置。虽然仅仅出于说明性目的而被示出并描述为UAV,但空中平台101可以是任何其他形式的飞行器,如,固定翼飞机。
在图11中,第二成像装置210B可以经由第二云台535被附接到本体310的下部部分的任何合适区域。第二成像装置210B可以用来捕捉多张图片用于功能用途的目的和/或辅助空中平台101的操作。下文将参照图13阐述关于第二成像装置210B和第二云台535的附加细节。
虽然仅仅出于说明性目的而被示出并描述为被附接到本体310的下部部分,但第二成像装置210B可以被附接到空中平台101的任何合适部分,包括前部部分、后部部分、上部部分和/或侧部。
空中平台101可以具有用于支撑电机(未示出)和/或螺旋桨350的某些框架360A、360B,所述电机和/或螺旋桨可以为空中平台101提供升力。空中平台101还可以具有支腿340以保护第一成像组件320和第二成像组件330以及空中平台101。虽然仅仅出于说明性目的而被示出并描述为具有由本体310、框架360A和360B、螺旋桨350以及这些支腿340所组成的结构,但出于在此所描述或未被描述的目的可以将其他部件包括在所述结构中,例如,用于封闭本体310的外壳、更少或更多数量的引擎、螺旋桨和/或支腿。
图12图示了空中成像系统500的第一成像组件320的一个替代性实施方式。转到图12,可以通过集成第一成像装置210A与第一云台332来形成第一成像组件320。在图12中,第一成像装置210A可以是例如FPV成像装置。第一云台332可以以任何常规的方式与第一成像装置210A相联接和/或与第一成像装置210A相集成。第一成像装置210A可以是静物相机和/或视频相机,包括但不局限于自然光相机、激光相机、红外相机、超声波相机等。
第一云台332可以是一维云台、二维云台或三维云台。第一云台332可以有利地用来控制第一成像装置210A的朝向。一维云台可以给予载运工具的操控者关于一个像素的简单操作方案,同时例如在与第一成像装置210A被附接于空中平台101相同的方向上为操控者提供良好的视角。二维云台和/或三维云台可以给予操控者更多的灵活性用于通过附加的操作复杂性来控制第一成像装置210A。因此,二维云台和/或三维云台可以用于更复杂的操作环境中和/或由熟练的操控者使用。
虽然仅仅出于说明性目的在图12中被示出为三维云台,但第一云台332可以是一维云台。当第一云台332是一维云台时,第一云台332可以是可绕第一轴线311旋转、关于轴线311保持稳定的一维增稳云台。第一轴线311可以是空中平台101的俯仰轴。当第一云台332在任一方向352上绕第一轴线311旋转时,第一成像装置210A可以或者向上或者向下地进行可控制的俯仰移动。然而,沿着其他轴线,镜头可以与空中平台101一致地保持在方向352上。某种程度上换言之,除了绕第一轴线311旋转,镜头320的移动可以受空中平台101的移动控制。
替代地或可选地,二维云台可以绕两条轴线旋转并且可以具有关于这两条轴线中的每条轴线的增稳能力;并且三维云台可以绕三条轴线旋转并且可以具有关于这三条轴线中的每条轴线的增稳能力。第一云台332可以经由第一基座331被附接到空中平台101的本体310上。第一基座331可以被附接到本体310上,从而使得镜头320与空中平台101一致地水平地指向方向351。
虽然仅仅出于说明性目的而被示出并描述为使用第一基座331来附接第一云台332,但可以采用其他合适的机构(例如,安装支架)来将第一云台332附接于本体310上。
第一成像装置210A可以用来捕捉第一图片用于导航空中平台101的目的,包括但不限于选择最佳行进路径、避开障碍物等。第一成像装置210A的朝向可以由第一云台332控制。第一云台332可以经由无线连接由载运工具操控者(例如,空中平台101的飞行员)远程地控制。载运工具操控者可以基于由这些第一图片和/或其他图片(例如,如在此所示出并且描述的第二图片)提供的信息来操作空中平台101。
虽然仅出于说明性目的被描述为使用无线连接,但可以采用其他合适的连接(例如,经由互联网连接或经由蜂窝网络等)来连接遥控器与第一云台332。
图13图示了成像系统500的示例性第二成像组件330的实施方式。转到图13,可以通过集成第二成像装置210B和第二云台535来形成第二成像组件330。在图13中,第二成像装置210B可以是功能成像装置。第二成像装置210B可以是静物相机或视频相机,包括但不局限于自然光相机、激光相机、红外相机、超声波相机等。
第二云台535可以是能够绕三条轴线510A、510B、510C旋转的三维云台。这三条轴线510A、510B、510C可以是偏航轴510A、横滚轴510B和俯仰轴510C。第二云台535可以具有沿这三条轴线510A、510B、510C的增稳能力。当第二云台535绕偏航轴510A旋转时,第二成像装置210B的镜头520可以或者向左或者向右进行可控制的偏航移动。当第二云台535绕横滚轴510B旋转时,镜头520可以或者在顺时针方向上或者在逆时针方向上进行可控制的横滚移动。当第二云台535绕俯仰轴510C旋转时,镜头520可以或者向上或者向下进行可控制的俯仰移动。
第二云台535可以经由第二基座556附接到本体110上。第二基座556可以附接到空中平台101的本体310上,其方式为使得镜头可以在三个方向上自由地移动。虽然被示出并描述为使用三维云台,但第二云台535可以是可以让镜头520以可控制的方式改变方向的任何合适的云台(例如,一维云台或二维云台)。
第二成像装置210B可以被配置成用于捕捉第二图片用于功能用途目的,包括但不局限于捕捉环境图片、监测/检查空中平台101的周围环境以及进行搜救。这些第二图片还可以用来帮助空中平台101的导航。第二成像装置210B的朝向可以由第二云台535控制。第二云台535可以经由无线连接由成像操控者(例如,电影导演或拍摄图片的照相师)经由控制器(未示出)远程地控制。成像操控者可以具有在拍摄第二图片的同时至少观察第二图片的能力。
虽然仅出于说明性目的被描述为使用无线连接,但可以采用其他合适的连接(例如,经由互联网连接或经由蜂窝网络等)来连接遥控器与第二云台535。
图14图示了成像系统100的地面节点230的实施方式。转到图14,地面节点230是图11中的空中平台101的遥控器700。在图14中,遥控器700可以包括本体710,所述本体可以主控无线接收模块232、图片解码模块234和图片显示模块236(统一示出在图3和图5中)。遥控器700可以具有至少一个天线722用于接收来自空中平台101的数据,包括但不限于码流209形式的图片(在图1中示出)。
虽然仅仅出于说明性目的而被示出并描述为遥控器700,但地面节点230可以是其他合适类型的装置,例如,专用于在此所描述的这些功能性的装置或者可以集成在此所描述的这些地面节点230功能性的任何其他装置。
遥控器700可以具有用于操作空中平台101和/或第一成像装置210A(统一示出在图11中)的控制功能。例如,在图14中,遥控器700可以包括用于控制第一云台332(在图11中示出)与第一成像装置210A联接的旋钮719,以及用于操作第一成像装置210A的按钮711、713、718、721和722。在展示地面节点230的另一个视图的图15中,遥控器700可以包括用于控制空中平台101移动的两个操纵杆720A、720B。
在图14中,遥控器700可以具有本体710,所述本体可以容纳图片采集模块222、图片解码模块234和图片显示模块236。在一些实施方式中,遥控器700可以具有用于连接到外部装置(包括但不限于显示器250(在图3中示出))的一个或多个接口端口。示例性接口端口可包括USB端口714、迷你USB端口716、HDMI端口717以及可以被配置成另一个USB端口的备用端口715。
USB端口714可以用来连接到显示器250或智能终端240(在图3中示出),如iPad、智能电话、笔记本等。HDMI端口717可以用来连接到具有高清晰度的显示器250。如在此所示出并且描述的,操控者可以观看在显示器250上所呈现的图片,所述显示器可以呈现多路通道208。
虽然仅仅出于说明性目的而被示出并描述为具有一个USB端口714和一个HDMI端口717,但遥控器700可以具有两个或更多个USB端口714和/或HDMI端口717用于连接多个显示器250和/或智能终端240。可以以参照图3和图5所示出并描述的方式来呈现图片。
在图15中,可以将固持器723提供为与遥控器700可旋转地相联接,从而使得可以对固持器723的定位进行调节。换言之,可以在收储位置与展开位置之间调节固持器723。固持器723可以将在此所描述的这些智能终端240之一固持在展开位置处,所述智能终端240可以被连接到遥控器700用于呈现经由遥控器700所选择的图片。
图16图示了图1的成像系统100的显示器250的呈现格式的实施方式。转到图16,可以通过两个窗口相重叠的格式来呈现两个通道的图片。在图16中,这两个通道的图片可以以画中画格式被呈现:第一通道被呈现在全屏显示区域802中而第二通道被呈现在窗口801中,所述窗口可以是全屏显示区域802的一部分。在一些实施方式中,可以由用户通过遥控器700(在图14和图15中示出)来调节窗口801的尺寸、形状和/或位置。可以由用户切换两个显示区域801、802的内容。
图17图示了成像系统100的显示器250的替代性呈现格式的实施方式。在图17中,可以通过这两个窗口不相重叠的格式来呈现这两个通道的图片。在图17中,这两个通道的图片可以以画并画格式被呈现:第一通道被呈现在第一屏幕区域811中而第二通道被呈现在第二屏幕区域812中。可以并排地安排这两个屏幕区域811、812。在一些实施方式中,可以由用户调节这两个窗口811、812中的任一个窗口的尺寸、形状和/或位置。可以由用户切换两个显示区域811、812的内容。
图18图示了成像系统100的显示器250的替代性呈现格式的另一个实施方式。在图18中,可以通过这两个窗口不相重叠的另一种格式来呈现这两个通道的图片。在图18中,两个通道的图片可以以画上画格式被呈现,第一通道被呈现在第一屏幕区域821中而第二通道被呈现在第二屏幕区域822中。这两个屏幕区域821、822可以被安排为一个在另一个之上。在一些实施方式中,可以由用户调节这两个窗口821、822中的任一个窗口的尺寸、形状和/或位置。可以由用户切换两个屏幕区域821、822的内容。
虽然仅仅出于说明性目的而被示出并描述为以三种单独的格式(在图16至18中示出)进行呈现,但显示器250可以没有任何限制地在这三种格式之间切换。虽然仅仅出于说明性目的而被示出并描述为仅有两路通道208,但显示器250可以以这三种格式中的任何一种格式单独地或组合地呈现三路或更多路通道208。
图19图示了一种用于操作图11的空中平台101的系统600的实施方式。转到图19,系统600可以包括空中平台101、遥控器700和显示器250。在图19中,空中平台101可以联接于两个成像装置210:第一成像装置210A和第二成像装置210B。第一成像装置210A可以是第一人称视角(“FPV”)成像装置,而第二成像装置210B可以是功能成像装置。空中节点220(在图4和图11中示出)可以被定位在空中平台101的机身310中。空中节点220可以从这两个成像装置210A、210B中采集图片、对这些图片进行编码以生成两个码流209(在图1中示出)并且经由无线连接910将这些码流209传输至遥控器700。
控制器700可以充当地面节点230(在图5中示出)并且可以接收码流209、对码流209进行解码以恢复在两路通道208中的图片并且经由有线和/或无线连接920将两个通道的图片传送至显示器250。这两个通道的图片可以以画中画格式被呈现,其中,第一通道的图片被呈现在第一屏幕区域801中而第二通道的图片被呈现在第二屏幕区域802中,或者反之亦然。在没有限制的情况下,如参照图16至图18所示并且描述,显示器250还可以以画并画格式或画上画格式来呈现这些图片。遥控器700可以控制正在呈现的这些图片以及呈现的格式。
可替代地和/或另外地,可以由飞行员(未示出)操作遥控器700以控制空中平台101和/或至少一个成像装置210A、210B(包括附接的第一云台332和第二云台535(在图12和图13中示出))。控制信号可以经由无线连接912被传输到空中平台101,所述无线连接可以是第一连接910的一部分。操控者可以经由上文参照图14和图15所示出并描述的多种控制功能性来控制例如空中平台101和/或至少一个成像装置210A、210B的移动。
所描述的实施方式可以经受各种修改和替代形式,并且其具体示例已经通过举例在附图中示出并在此详细进行了描述。然而应当理解的是,所描述的实施方式并不局限于所公开的具体形式或方法,而是相反,本公开将覆盖所有的修改、等效项以及替代方案。
Claims (164)
1.一种用于传输从多个成像装置所捕捉的图片的空中成像系统,所述空中成像系统包括:
空中节点,所述空中节点具有用于采集来自所述成像装置的所述图片的多路通道,
其中所述空中节点被配置成用于传输所述图片。
2.如权利要求1所述的空中成像系统,其中所述空中节点包括用于采集来自所述通道的所述图片的图片采集模块。
3.如权利要求1或权利要求2所述的空中成像系统,其中所述空中节点包括用于对来自所述多路通道的所述所收集的图片进行编码的图片编码模块。
4.如权利要求3所述的空中成像系统,其中根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述所捕捉的图片进行编码。
5.如权利要求3或权利要求4所述的空中成像系统,其中所述图片编码模块被配置成用于针对所述通道中的每路通道生成图片码流。
6.如权利要求5所述的空中成像系统,其中所述空中节点包括用于将所述码流传输到另一个节点的无线传输模块。
7.如权利要求6所述的空中成像系统,其中根据公共协议或专有协议来传输所述码流。
8.如权利要求1至7中任一项所述的空中成像系统,其中所述图片中的分别经由所述通道中的至少两路通道所收集的至少两张图片构成物体的三维图片。
9.如权利要求1至8中任一项所述的空中成像系统,其中所述空中节点被安排在无人飞行器(“UAV”)上。
10.如权利要求中1至9中任一项所述的空中成像系统,进一步包括用于呈现所述所捕捉的图片的地面节点。
11.如权利要求10所述的空中成像系统,其中所述地面节点包括用于接收来自所述空中节点的所述通道中的每路通道的所述码流的无线接收模块。
12.如权利要求11所述的空中成像系统,其中所述无线接收模块被配置成用于接收来自所述空中节点中的一个或多个空中节点的码流。
13.如权利要求11或权利要求12所述的空中成像系统,其中所述地面节点包括用于对所述通道中的每路通道的所述码流进行解码的图片解码模块。
14.如权利要求13所述的空中成像系统,其中所述图片解码模块被配置成用于根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
15.如权利要求13或权利要求14所述的空中成像系统,其中所述地面节点包括用于呈现所述经解码的码流的图片呈现模块。
16.如权利要求15所述的空中成像系统,其中所述图片呈现模块被配置成用于选择所述经解码的码流的一个或多个通道进行呈现。
17.如权利要求16所述的空中成像系统,其中所述图片呈现模块被配置成用于根据用户选择来选择特定通道。
18.如权利要求16或权利要求17所述的空中成像系统,其中所述图片呈现模块被配置成用于呈现所述所选择的通道。
19.如权利要求18所述的空中成像系统,其中所述图片呈现模块被配置成用于以画中画格式、画并画格式或画上画格式来呈现所述所选择的经解码的码流。
20.如权利要求19所述的空中成像系统,其中所述图片呈现模块被配置成用于通过智能终端的应用来呈现所述所选择的经解码的码流。
21.如权利要求19或权利要求20所述的空中成像系统,其中所述图片呈现模块被配置成用于使得能够以可调节的方式呈现任何所选择的图片。
22.如权利要求21所述的空中成像系统,其中所述可调节的方式包括使得能够对所述所选择的图片的位置、大小和质量中的至少一者进行调节。
23.如权利要求9至22中任一项所述的空中成像系统,其中所述多个成像装置包括:
第一成像装置,所述第一成像装置被安排在所述UAV上用于支持所述UAV的操作;以及
第二成像装置,所述第二成像装置被安排在所述UAV上用于功能目的和/或导航目的。
24.如权利要求23所述的空中成像系统,其中所述第一成像装置包括用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置。
25.如权利要求23或权利要求24所述的空中成像系统,其中所述第二成像装置包括功能成像装置。
26.如权利要求23至25中任一项所述的空中成像系统,其中所述第一成像装置被定位在所述UAV的前部部分。
27.如权利要求23至26中任一项所述的空中成像系统,其中所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
28.如权利要求27所述的空中成像系统,其中所述第一云台是一维增稳云台、二维增稳云台或三维增稳云台。
29.如权利要求28所述的空中成像系统,其中所述第一云台被使得能够至少绕所述UAV的俯仰轴旋转。
30.如权利要求27至29中任一项所述的空中成像系统,其中所述第一云台被配置成用于在跟随模式、FPV模式、自由模式和云台回中模式中的至少一种模式下进行操作。
31.如权利要求23至30中任一项所述的空中成像系统,其中所述第一成像装置被配置成用于从所述UAV在相应方向上捕捉多张第一图片。
32.如权利要求24至31中任一项所述的空中成像系统,其中所述所捕捉的第一图片支持对所述UAV的行进路径的确定。
33.如权利要求24至32中任一项所述的空中成像系统,其中所述第一成像装置支持对所述UAV的导航。
34.如权利要求24至33中任一项所述的空中成像系统,其中所述功能成像装置被定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
35.如权利要求34所述的空中成像系统,其中所述功能成像装置与第二云台相关联,所述第二云台用于控制所述功能成像装置的朝向。
36.如权利要求35所述的空中成像系统,其中所述功能成像装置被配置成用于进行以下各项中的至少一项:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
37.如权利要求35或权利要求36所述的空中成像系统,其中所述第二云台被配置成用于绕多达一条轴线、两条轴线或三条轴线旋转。
38.如权利要求37所述的空中成像系统,其中所述第二云台包括增稳能力。
39.如权利要求38所述的空中成像系统,其中所述第二云台在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
40.如权利要求39所述的空中成像系统,其中所述第二成像装置包括用于以较大的视角捕捉第二图片的广角镜头。
41.如权利要求40所述的空中成像系统,其中所述第一云台与所述第二云台进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
42.如权利要求41所述的空中成像系统,其中所述第二图片被配置成用于辅助操作所述UAV。
43.如权利要求42所述的空中成像系统,其中所述第二成像装置被配置成用于提供用于导航目的和/或功能成像目的的视角。
44.如权利要求23至43中任一项所述的空中成像系统,其中所述第二成像装置支持对所述UAV的导航。
45.如权利要求23至44中任一项所述的空中成像系统,其中所述第一图片和所述第二图片被配置成用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
46.如权利要求45所述的空中成像系统,其中所述最佳行进路径是基于所述功能成像装置的功能要求而确定的。
47.如权利要求46所述的空中成像系统,其中所述最佳行进路径是基于对被分配给所述UAV的未来任务的操作要求而选择的。
48.一种用于传输来自空中平台的图片的方法,所述方法包括:
经由多路通道从多个成像装置中采集图片;并且
传输经由所述通道中的至少两路通道所采集的所述图片。
49.如权利要求48所述的方法,进一步包括针对所述通道中的每路通道对所述图片进行编码。
50.如权利要求49所述的方法,其中所述对所述图片进行编码包括根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述图片进行编码。
51.如权利要求49或权利要求50所述的方法,其中所述对所述图片进行编码包括针对所述通道中的每路通道生成图片码流。
52.如权利要求51所述的方法,进一步包括将所述码流传输至另一个节点。
53.如权利要求52所述的方法,其中所述传输所述码流包括根据公共协议或专有协议来传输所述码流。
54.如权利要求48至53中任一项所述的方法,其中所述采集图片包括采集各自来自单独的通道并且各自为物体的三维图片的一部分的至少两张图片。
55.如权利要求48至54中任一项所述的方法,其中所述空中平台是无人飞行器(“UAV”)。
56.如权利要求48至55中任一项所述的方法,进一步包括:
在地面节点处接收来自所述多路通道中的每路通道的所述码流。
57.如权利要求56所述的方法,进一步包括在所述地面节点处对所述通道中的每路通道的所述码流进行解码。
58.如权利要求57所述的方法,其中所述对所述码流进行解码包括根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述码流进行解码。
59.如权利要求58所述的方法,进一步包括选择所述经解码的码流的一个或多个通道进行呈现。
60.如权利要求59所述的方法,其中所述选择所述通道包括根据用户选择来选择特定通道。
61.如权利要求60所述的方法,进一步包括在所述地面节点处呈现所述所选择的通道。
62.如权利要求60或权利要求61所述的方法,其中所述呈现所述码流包括呈现所述所选择的经解码的码流。
63.如权利要求62所述的方法,其中所述呈现所述所选择的经解码的码流包括以画中画格式、画并画格式或画上画格式来显示所述所选择的经解码的码流。
64.如权利要求63所述的方法,其中所述呈现所述所选择的经解码的码流包括经由智能终端来显示所述所选择的经解码的码流。
65.如权利要求63或权利要求64所述的方法,其中所述呈现所述经解码的码流包括使得能够以可调节的方式呈现任何所选择的图片。
66.如权利要求65所述的方法,其中所述使得能够以所述可调节的方式呈现所述所选择的图片包括使得能够对所述所选择的图片的位置、大小和质量中的至少一者进行调节。
67.如权利要求63至66中任一项所述的方法,其中所述呈现所述码流包括将两个单独通道中的各自为三维图片的一部分的两张图片组合为相应的三维图片。
68.如权利要求67所述的方法,其中所述呈现所述码流包括呈现所述三维图片。
69.如权利要求47至68中任一项所述的方法,其中所述采集所述图片包括从多个成像装置捕捉所述图片,每个成像装置连接到所述通道中的一路通道。
70.如权利要求69所述的方法,其中所述从多个成像装置捕捉所述图片包括通过第一成像装置来捕捉第一图片用于支持对所述UAV的操作。
71.如权利要求70所述的方法,其中所述从多个成像装置捕捉所述图片包括通过被安排在所述UAV上的第二成像装置来捕捉用于功能目的和/或导航目的第二图片。
72.如权利要求71所述的方法,其中所述捕捉所述第一图片包括通过用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置来捕捉所述第一图片用于操作所述UAV。
73.如权利要求71或权利要求72所述的方法,其中所述捕捉所述第二图片包括通过功能成像装置来捕捉所述第二图片。
74.如权利要求70至73中任一项所述的方法,进一步包括将所述第一成像装置安排在所述UAV上。
75.如权利要求74所述的方法,其中所述安排所述第一成像装置包括将所述第一成像装置定位在所述UAV的前部部分。
76.如权利要求74或权利要求75所述的方法,其中所述安排所述第一成像装置包括将所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
77.如权利要求76所述的方法,其中所述将所述第一成像装置与所述第一云台相关联包括将所述第一成像装置附接到一维增稳云台、二维增稳云台或三维增稳云台。
78.如权利要求77所述的方法,其中所述附接所述成像装置包括使得所述第一云台能够至少绕所述UAV的俯仰轴旋转。
79.如权利要求78所述的方法,其中所述使得所述第一云台包括使得所述第一云台能够在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
80.如权利要求70至79中任一项所述的方法,其中所述捕捉所述第一图片包括从所述UAV在相应方向上捕捉所述第一图片。
81.如权利要求70至80中任一项所述的方法,其中所述支持对所述UAV的操作包括使用所述所捕捉的第一图片来为所述UAV确定行进路径。
82.如权利要求71至81中任一项所述的方法,其中所述捕捉所述第二图片包括将所述功能成像装置定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
83.如权利要求71至82中任一项所述的方法,其中所述捕捉所述第二图片包括将所述功能成像装置与第二云台相关联,所述第二云台被配置成用于控制所述功能成像装置的朝向。
84.如权利要求71至83中任一项所述的方法,其中所述捕捉所述第二图片用于功能目的包括捕捉所述第二图片用于从由以下各项组成的组中所选择的至少一个目的:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
85.如权利要求83或权利要求84所述的方法,其中所述将所述功能成像装置与所述第二云台相关联包括将所述功能成像装置附接到三维云台上。
86.如权利要求85所述的方法,其中所述附接所述功能成像装置包括使得所述第二云台能够具有三维增稳能力。
87.如权利要求86所述的方法,其中所述使得所述第二云台包括使得所述第二云台能够在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
88.如权利要求71至87中任一项所述的方法,其中所述捕捉所述第二图片包括通过广角镜头以较大的视角捕捉第二图片。
89.如权利要求88所述的方法,其中所述捕捉所述第二图片包括捕捉所述第二图片用于辅助操作所述UAV。
90.如权利要求76至89中任一项所述的方法,进一步包括使得所述第一云台与所述第二云台能够进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
91.如权利要求70至90中任一项所述的方法,进一步包括捕捉所述第一图片和/或所述第二图片用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
92.如权利要求91所述的方法,其中所述选择所述最佳行进路径包括基于所述功能成像装置的功能要求来确定所述路径。
93.如权利要求92所述的方法,其中所述确定所述最佳行进路径包括基于对被分配给所述功能成像装置的下一个任务的操作要求来确定所述最佳行进路径。
94.一种用于无人飞行器(“UAV”)的成像系统,所述成像系统包括:
多个成像装置,所述成像装置被安排在所述UAV上用于从所述UAV捕捉图片;以及
空中节点,所述空中节点用于传输由所述多个成像装置捕捉的所述图片。
95.如权利要求94所述的成像系统,其中所述空中节点包括用于经由多路通道从所述多个成像装置采集图片的图片采集模块。
96.如权利要求95所述的成像系统,其中所述成像装置中的每个成像装置经由从所述多路通道中所选择的单独通道连接到所述图片采集模块。
97.如权利要求96所述的成像系统,其中所述空中节点包括用于针对所述通道中的每路通道对所述图片进行编码的图片编码模块。
98.如权利要求97所述的成像系统,其中根据MPEG-4第10部分协议或高级视频编码(“H.264”)协议对所述图片进行编码。
99.如权利要求97或权利要求98所述的成像系统,其中所述图片编码模块被配置成用于针对所述通道中的每路通道生成图片码流。
100.如权利要求99所述的成像系统,其中所述空中节点包括用于将所述通道的所述码流传输到一个或多个地面节点的无线传输模块。
101.如权利要求100所述的成像系统,其中根据公共协议或专有协议来传输所述码流。
102.如权利要求94至101中任一项所述的成像系统,其中所述图片中的分别经由所述成像装置中的至少两个成像装置所捕捉的至少两张图片构成物体的三维图片。
103.如权利要求94至102中任一项所述的成像系统,其中所述多个成像装置包括:
第一成像装置,所述第一成像装置被安排在所述UAV上用于支持所述UAV的操作;以及
第二成像装置,所述第二成像装置被安排在所述UAV上用于功能目的和/或导航目的。
104.如权利要求103所述的成像系统,其中所述第一成像装置包括用于以第一人称视角捕捉第一图片的第一人称视角(“FPV”)成像装置。
105.如权利要求103或权利要求104所述的成像系统,其中所述第二成像装置包括功能成像装置。
106.如权利要求103至105中任一项所述的成像系统,其中所述第一成像装置被定位在所述UAV的前部部分。
107.如权利要求103至106中任一项所述的成像系统,其中所述第一成像装置与第一云台相关联,所述第一云台被配置成用于控制所述第一成像装置的朝向。
108.如权利要求107所述的成像系统,其中所述第一云台是一维增稳云台或三维增稳云台。
109.如权利要求108所述的成像系统,其中使得所述第一云台能够至少绕所述UAV的俯仰轴旋转。
110.如权利要求107至109中任一项所述的成像系统,其中所述第一云台被配置成用于在跟随模式、FPV模式、自由模式和云台回中模式中的至少一种模式下进行操作。
111.如权利要求103至110中任一项所述的成像系统,其中所述第一成像装置被配置成用于从所述UAV在相应方向上捕捉多张第一图片。
112.如权利要求104至111中任一项所述的成像系统,其中所述所捕捉的第一图片支持对所述UAV的行进路径的确定。
113.如权利要求104至112中任一项所述的成像系统,其中所述第一成像装置支持对所述UAV的导航。
114.如权利要求104至113中任一项所述的成像系统,其中所述功能成像装置被定位在所述UAV的前部部分、前部部分、侧部部分或下部部分。
115.如权利要求114所述的成像系统,其中所述功能成像装置与第二云台相关联,所述第二云台用于控制所述功能成像装置的朝向。
116.如权利要求115所述的成像系统,其中所述功能成像装置被配置成用于进行以下各项中的至少一项:捕捉环境图像、监测所述UAV的周围环境,以及进行搜救。
117.如权利要求115或权利要求116所述的成像系统,其中所述第二云台被配置成用于绕多达三条轴线旋转。
118.如权利要求117所述的成像系统,其中所述第二云台包括增稳能力。
119.如权利要求118所述的成像系统,其中所述第二云台在FPV模式、跟随模式、自由模式和云台回中模式中的至少一种模式下进行操作。
120.如权利要求119所述的成像系统,其中所述第二成像装置包括用于以较大的视角捕捉第二图片的广角镜头。
121.如权利要求120所述的成像系统,其中所述第一云台与所述第二云台进行协作以便在FPV+自由模式或FPV+跟随模式下工作。
122.如权利要求121所述的成像系统,其中所述第二图片被配置成用于辅助操作所述UAV。
123.如权利要求122所述的成像系统,其中所述第二成像装置被配置成用于提供用于导航目的和/或功能成像目的的视角。
124.如权利要求104至123中任一项所述的成像系统,其中所述第二成像装置支持对所述UAV的导航。
125.如权利要求104至124中任一项所述的成像系统,其中所述第一图片和所述第二图片被配置成用于从由以下各项组成的组中所选择的目的:确定所述UAV的位置、确定行进方向、选择最佳行进路径,以及避开障碍物。
126.如权利要求125所述的成像系统,其中所述最佳行进路径是基于所述功能成像装置的功能要求而确定的。
127.如权利要求126所述的成像系统,其中所述最佳行进路径是基于对被分配给所述UAV的未来任务的操作要求而选择的。
128.一种用于在地面节点处呈现图片的方法,所述方法包括:
在所述地面节点处接收多路通道中的每路通道的码流;并且
在所述地面节点处呈现所述通道中的每路通道的所述码流中的一个或多个码流。
129.如权利要求128所述的方法,其中所述接收所述码流包括接收来自一个或多个空中节点的所述码流。
130.如权利要求129所述的方法,进一步包括在所述地面节点处对所述通道中的每路通道的所述码流进行解码。
131.如权利要求130所述的方法,其中所述对所述码流进行解码包括根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
132.如权利要求131所述的方法,进一步包括选择所述经解码的码流的一个或多个通道进行呈现。
133.如权利要求132所述的方法,其中所述选择所述通道包括根据用户选择来选择所述通道。
134.如权利要求132或权利要求133所述的方法,其中所述呈现所述码流包括呈现所述所选择的经解码的码流。
135.如权利要求134所述的方法,其中所述呈现所述所选择的经解码的码流包括以画中画格式、画并画格式或画上画格式来显示所述所选择的经解码的码流。
136.如权利要求135所述的方法,其中所述呈现所述所选择的经解码的码流包括经由智能终端来显示所述所选择的经解码的码流。
137.如权利要求135或权利要求136所述的方法,其中所述呈现所述经解码的码流包括使得能够以可调节的方式呈现所选择的图片。
138.如权利要求137所述的方法,其中所述使得能够以所述可调节的方式呈现所述所选择的图片包括使得能够对所述图片的位置、大小和质量中的至少一者进行调节。
139.如权利要求135至138中任一项所述的方法,其中所述呈现所述码流包括将至少两个单独的通道中的各自为三维图片的一部分的至少两张图片组合为相应的三维图片。
140.如权利要求139所述的方法,其中所述呈现所述码流包括呈现所述三维图片。
141.如权利要求140所述的方法,其中所述接收所述码流包括经由无人飞行器(“UAV”)的遥控器接收所述码流。
142.如权利要求141所述的方法,进一步包括通过所述遥控器控制所述UAV的至少一个动作。
143.如权利要求142所述的方法,其中所述UAV的所述动作是俯仰、横滚、偏航、升高、上升、下降、加速和减速中的一者。
144.如权利要求141至143中任一项所述的方法,进一步包括控制用来捕捉所述图片的至少一个成像装置的成像动作。
145.如权利要求144所述的方法,其中所述控制所述成像动作包括控制朝向、放大和缩小中的至少一项。
146.一种计算机程序产品,所述计算机程序产品包括用于根据权利要求128至145中任一项来呈现图片的指令。
147.一种用于呈现图片的地面节点,所述地面节点包括:
无线接收模块,所述无线接收模块被配置成用于接收多路通道中的每路通道的码流;以及
图片呈现模块,所述图片呈现模块用于呈现所述所接收到的码流。
148.如权利要求147所述的地面节点,其中所述无线接收模块被配置成用于接收来自空中节点的码流。
149.如权利要求147或权利要求148所述的地面节点,进一步包括被配置成用于对所述通道中的每路通道的所述码流进行解码的图片解码模块。
150.如权利要求149所述的地面节点,其中所述图片解码模块被配置成用于根据MPEG-4第10部分或高级视频编码(“H.264”)协议对所述码流进行解码。
151.如权利要求150所述的地面节点,其中所述图片呈现模块被配置成用于选择所述经解码的码流的一个或多个通道进行呈现。
152.如权利要求151所述的地面节点,其中所述图片呈现模块被配置成用于根据用户选择来选择所述通道。
153.如权利要求151或权利要求152所述的地面节点,其中所述图片呈现模块被配置成用于呈现所述所选择的经解码的码流。
154.如权利要求153所述的地面节点,其中所述图片呈现模块被配置成用于以画中画、画并画或画上画格式呈现所述所选择的经解码的码流。
155.如权利要求154所述的地面节点,其中所述图片呈现模块被配置成用于通过智能终端的应用来呈现所述所选择的经解码的码流。
156.如权利要求154或权利要求155所述的地面节点,其中所述图片呈现模块被配置成用于使得能够以可调节的方式呈现任何图片。
157.如权利要求156所述的地面节点,其中所述可调节的方式包括使得能够对所述图片的位置、大小和质量中的至少一者进行调节。
158.如权利要求155至157中任一项所述的地面节点,其中所述图片呈现模块被配置成用于将至少两个单独通道中的各自为三维图片的一部分的至少两张图片组合为三维图片。
159.如权利要求158中任一项所述的地面节点,其中所述图片呈现模块被配置成用于在显示器上呈现所述三维图片。
160.如权利要求147至159中任一项所述的地面节点,进一步包括无人飞行器(“UAV”)的遥控器。
161.如权利要求160所述的地面节点,其中所述遥控器被配置成用于控制所述UAV的至少一个动作。
162.如权利要求161所述的地面节点,其中所述UAV的所述动作是俯仰、横滚、偏航、升高、上升、下降、加速和减速中的一者。
163.如权利要求160至162中任一项所述的地面节点,其中所述遥控器被配置成用于控制用来捕捉一个通道的图片的至少一个成像装置的成像动作。
164.如权利要求163所述的地面节点,其中所述成像动作包括控制朝向、放大和缩小中的至少一项。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/096744 WO2017096546A1 (en) | 2015-12-09 | 2015-12-09 | Imaging system and method for unmanned vehicles |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108292365A true CN108292365A (zh) | 2018-07-17 |
Family
ID=59012451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580084792.8A Pending CN108292365A (zh) | 2015-12-09 | 2015-12-09 | 用于无人载运工具的成像系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US11216661B2 (zh) |
CN (1) | CN108292365A (zh) |
WO (1) | WO2017096546A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020024092A1 (zh) * | 2018-07-30 | 2020-02-06 | 深圳市大疆创新科技有限公司 | 一种控制方法、设备、系统及存储介质 |
CN111357274A (zh) * | 2019-01-24 | 2020-06-30 | 深圳市大疆创新科技有限公司 | 控制端的显示方法、设备及存储介质 |
CN114115287A (zh) * | 2021-12-06 | 2022-03-01 | 西安航空学院 | 一种无人车-无人机空地协同巡逻和引导系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018114014A1 (de) * | 2018-06-12 | 2019-12-12 | Gustav Klauke Gmbh | Zur Fernbedienung vorbereitetes Handwerkzeug sowie zur Fernbedienung vorbereitetes Werkzeug |
WO2020258243A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、系统及介质 |
GB2586125B (en) * | 2019-08-01 | 2023-01-25 | Animal Dynamics Ltd | A flight control system |
US20240168176A1 (en) * | 2021-08-31 | 2024-05-23 | James DOTAN | Precision positioning and pointing instrument |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101421747A (zh) * | 2006-02-13 | 2009-04-29 | 索尼株式会社 | 组合多个视频流的系统和方法 |
CN103561244A (zh) * | 2013-11-13 | 2014-02-05 | 上海斐讯数据通信技术有限公司 | 采用智能手机实时监控模型飞机航拍数据的系统及其方法 |
CN104506868A (zh) * | 2014-12-31 | 2015-04-08 | 深圳市大疆创新科技有限公司 | 视频码流传输方法,装置及系统 |
CN104539905A (zh) * | 2015-01-06 | 2015-04-22 | 山东鲁能智能技术有限公司 | 电力无人直升机可见光精确检测系统 |
CN105120011A (zh) * | 2015-09-22 | 2015-12-02 | 杨珊珊 | 一种航拍数据下载系统及方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131276A1 (en) * | 2002-12-23 | 2004-07-08 | John Hudson | Region-based image processor |
WO2013062608A2 (en) * | 2011-08-19 | 2013-05-02 | Aerovironment Inc. | Inverted-landing aircraft |
TW201328344A (zh) * | 2011-12-27 | 2013-07-01 | Hon Hai Prec Ind Co Ltd | 控制無人飛行載具進行影像採集的系統及方法 |
US20140327733A1 (en) * | 2012-03-20 | 2014-11-06 | David Wagreich | Image monitoring and display from unmanned vehicle |
GR20130100619A (el) * | 2013-10-25 | 2015-05-18 | Ιωαννης Γεωργιου Μικρος | Μικρη πτηνομορφη πτητικη συσκευη και εφαρμογες |
CA2927096C (en) * | 2013-10-26 | 2023-02-28 | Amazon Technologies, Inc. | Unmanned aerial vehicle delivery system |
CN204068025U (zh) * | 2013-11-12 | 2014-12-31 | 广东威恒电力技术开发有限公司 | 无人机平台电力巡线系统 |
JP6132981B2 (ja) * | 2014-03-24 | 2017-05-24 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 飛行機の状態をリアルタイムに修正する方法および装置 |
GB201411293D0 (en) * | 2014-06-25 | 2014-08-06 | Pearson Eng Ltd | Improvements in or relating to inspection systems |
EP3161502B1 (en) * | 2014-08-29 | 2020-04-22 | SZ DJI Technology Co., Ltd. | An unmanned aerial vehicle (uav) for collecting audio data |
CA2971254C (en) * | 2014-12-17 | 2021-07-06 | Picpocket, Inc. | Drone based systems and methodologies for capturing images |
CN204291244U (zh) * | 2015-01-06 | 2015-04-22 | 山东鲁能智能技术有限公司 | 电力无人直升机可见光精确检测系统 |
US20160292865A1 (en) * | 2015-04-02 | 2016-10-06 | Sportvision, Inc. | Automated framing and selective discard of parts of high resolution videos of large event space |
WO2016165793A1 (fr) * | 2015-04-15 | 2016-10-20 | Viel Pierre-Emmanuel | Drone de nettoyage. |
US20160307449A1 (en) * | 2015-04-15 | 2016-10-20 | International Business Machines Corporation | Autonomous drone service system |
CN204539340U (zh) * | 2015-04-18 | 2015-08-05 | 江苏三棱科技发展有限公司 | 基于4g通信标准的无人机视频传输系统 |
US10499037B1 (en) * | 2015-05-28 | 2019-12-03 | Amazon Technologies, Inc. | Active alignment of stereo cameras |
GB201509510D0 (en) * | 2015-06-01 | 2015-07-15 | Imp Innovations Ltd | Aerial device capable of controlled flight |
CN204795454U (zh) * | 2015-06-10 | 2015-11-18 | 成都时代星光科技有限公司 | 一种用于无人机图传系统的地面接收终端 |
WO2017017675A1 (en) * | 2015-07-28 | 2017-02-02 | Margolin Joshua | Multi-rotor uav flight control method and system |
US20170158353A1 (en) * | 2015-08-07 | 2017-06-08 | Mark Schmick | Remote Aerodrome for UAVs |
US9989965B2 (en) * | 2015-08-20 | 2018-06-05 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
US20180253092A1 (en) * | 2015-09-09 | 2018-09-06 | Tecteco Security Systems, S.L. | Secure control of unmanned vehicles |
EP3353614A1 (en) * | 2015-09-22 | 2018-08-01 | Pro-Drone Lda. | Autonomous inspection of elongated structures using unmanned aerial vehicles |
US10110880B2 (en) * | 2015-09-25 | 2018-10-23 | Amazon Technologies, Inc. | Selective colorization using monochromic imagery |
EP4336476A3 (en) * | 2015-09-30 | 2024-05-15 | Alarm.com Incorporated | Drone-augmented emergency response services |
CN205076056U (zh) * | 2015-10-28 | 2016-03-09 | 深圳市道通智能航空技术有限公司 | 云台快速装拆装置以及具有其的无人机 |
-
2015
- 2015-12-09 WO PCT/CN2015/096744 patent/WO2017096546A1/en active Application Filing
- 2015-12-09 CN CN201580084792.8A patent/CN108292365A/zh active Pending
-
2018
- 2018-06-08 US US16/003,418 patent/US11216661B2/en active Active
-
2022
- 2022-01-03 US US17/646,759 patent/US11876951B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101421747A (zh) * | 2006-02-13 | 2009-04-29 | 索尼株式会社 | 组合多个视频流的系统和方法 |
CN103561244A (zh) * | 2013-11-13 | 2014-02-05 | 上海斐讯数据通信技术有限公司 | 采用智能手机实时监控模型飞机航拍数据的系统及其方法 |
CN104506868A (zh) * | 2014-12-31 | 2015-04-08 | 深圳市大疆创新科技有限公司 | 视频码流传输方法,装置及系统 |
CN104539905A (zh) * | 2015-01-06 | 2015-04-22 | 山东鲁能智能技术有限公司 | 电力无人直升机可见光精确检测系统 |
CN105120011A (zh) * | 2015-09-22 | 2015-12-02 | 杨珊珊 | 一种航拍数据下载系统及方法 |
Non-Patent Citations (2)
Title |
---|
汪海燕 主编: "《安防设备安装与系统调试》", 28 February 2012, 华中科技大学出版社 * |
潘伟 等编著: "《计算机网络 理论与实验》", 31 December 2013, 厦门大学出版社 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020024092A1 (zh) * | 2018-07-30 | 2020-02-06 | 深圳市大疆创新科技有限公司 | 一种控制方法、设备、系统及存储介质 |
CN111357274A (zh) * | 2019-01-24 | 2020-06-30 | 深圳市大疆创新科技有限公司 | 控制端的显示方法、设备及存储介质 |
CN114115287A (zh) * | 2021-12-06 | 2022-03-01 | 西安航空学院 | 一种无人车-无人机空地协同巡逻和引导系统 |
CN114115287B (zh) * | 2021-12-06 | 2023-09-22 | 西安航空学院 | 一种无人车-无人机空地协同巡逻和引导系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2017096546A1 (en) | 2017-06-15 |
US11876951B1 (en) | 2024-01-16 |
US11216661B2 (en) | 2022-01-04 |
US20180295272A1 (en) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108292365A (zh) | 用于无人载运工具的成像系统和方法 | |
CN109076249B (zh) | 用于视频处理和显示的系统和方法 | |
CN108139799B (zh) | 基于用户的兴趣区(roi)处理图像数据的系统和方法 | |
US11927877B2 (en) | Interchangeable mounting platform | |
US10979651B2 (en) | Imaging system | |
KR102236339B1 (ko) | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 | |
CN107923567B (zh) | 用于图像捕捉的云台 | |
US9765926B2 (en) | Systems and methods for payload stabilization | |
US20190291864A1 (en) | Transformable apparatus | |
US20210231968A1 (en) | Imaging system | |
CN107852491A (zh) | 传感器辅助的码率控制方法 | |
CN109644233A (zh) | 多云台组件 | |
CN107925661A (zh) | 用于具有摄像机的远程控制飞行器的流水线化视频接口 | |
JP2017513245A (ja) | Uavによるパノラマ画像撮影方法 | |
JP2017529710A (ja) | 検索エリアを評価する方法 | |
KR20200122323A (ko) | 멀티 센서를 사용하여 옴니 스테레오 비디오를 캡처하는 시스템 및 방법 | |
WO2017166714A1 (zh) | 全景图像的拍摄方法、装置及系统 | |
WO2019015118A1 (zh) | 影像摄取装置、可移动平台和影像摄取设备 | |
WO2018020744A1 (ja) | 移動体操縦システム、操縦シグナル送信システム、移動体操縦方法、プログラム、および記録媒体 | |
Soto-Guerrero et al. | A human-machine interface with unmanned aerial vehicles | |
CN210007799U (zh) | 图像处理系统及无人机 | |
CN113841381A (zh) | 视场确定方法、视场确定装置、视场确定系统和介质 | |
CN107509041A (zh) | 飞行3d立体空间数码摄像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180717 |
|
RJ01 | Rejection of invention patent application after publication |