CN109562831A - 用于处理图像数据的方法和系统 - Google Patents

用于处理图像数据的方法和系统 Download PDF

Info

Publication number
CN109562831A
CN109562831A CN201680088145.9A CN201680088145A CN109562831A CN 109562831 A CN109562831 A CN 109562831A CN 201680088145 A CN201680088145 A CN 201680088145A CN 109562831 A CN109562831 A CN 109562831A
Authority
CN
China
Prior art keywords
image data
multiple images
image
imaging device
described multiple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680088145.9A
Other languages
English (en)
Inventor
庹伟
孙辉
曹子晟
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN202210037253.0A priority Critical patent/CN114245020A/zh
Publication of CN109562831A publication Critical patent/CN109562831A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

使用系统、方法和/或装置来处理图像数据。电子装置包括成像装置、存储装置以及与成像装置和存储装置耦接的一个或多个处理器。电子装置通过成像装置获取多个图像。在获取多个图像之后，电子装置继续通过成像装置获取附加图像；以及在继续通过成像装置获取附加图像的同时，电子装置：存储与获取的多个图像相对应的第一图像数据；处理多个图像以生成第二图像数据，其中，第二图像数据具有比第一图像数据小的数据尺寸；以及向远程装置发送第二图像数据。

Description

用于处理图像数据的方法和系统
技术领域
所公开的实施例总体上涉及用于处理图像数据的系统和方法，并且更具体地而非排他地，涉及在连续图像捕获期间处理图像数据。
背景技术
诸如无人机(Unmanned Aerial Vehicle，UAV)的移动装置经常使用成像装置在装置移动时捕获图像数据。所捕获的图像数据可以被发送到远程装置，如用于控制UAV的远程控制单元，使得用户可以在捕获图像数据时查看图像数据。随着常用成像格式的分辨率的增加，需要更多的带宽向远程装置发送捕获的图像数据。
发明内容
需要针对在连续图像捕获期间处理图像数据的装置的系统和方法。本文公开的系统和方法存储获取的图像数据，并生成尺寸减小的图像数据，以在正在进行图像捕获的同时向远程装置发送尺寸减小的图像数据。这样的系统和方法可选地补充或替换用于处理图像数据的常规方法。以这种方式，具有期望质量(例如，高分辨率和高帧速率图像数据)的图像数据可以被捕获并在本地存储，而不考虑用于装置(例如，UAV)或其他遥控现场设备与远程装置(例如，地面控制单元或控制设施)之间的通信的可用带宽。同时，远程装置处的用户可以利用从装置发送的子采样图像数据来提供用于对装置进行导航和/或使用装置的机载设备携带各种类型的任务的合适的控制指令。
根据一些实施例，一种用于处理图像数据的方法包括：在包括成像装置、存储装置以及与成像装置和存储装置耦接的一个或多个处理器的电子装置处：通过成像装置获取多个图像；在获取多个图像之后，继续通过成像装置获取附加图像；以及在继续通过成像装置获取附加图像的同时：将与获取的多个图像相对应的第一图像数据存储到存储装置；处理多个图像以生成第二图像数据，其中，第二图像数据具有比第一图像数据小的数据尺寸；以及向远程装置发送第二图像数据。
根据一些实施例，一种用于处理图像数据的系统包括：成像装置；存储装置；以及与成像装置和存储装置耦接的一个或多个处理器。所述一个或多个处理器被配置为：通过成像装置获取多个图像；在获取多个图像之后，继续通过成像装置获取附加图像；以及在继续通过成像装置获取附加图像的同时：将与获取的多个图像相对应的第一图像数据存储到存储装置；处理多个图像以生成第二图像数据，其中，第二图像数据具有比第一图像数据小的数据尺寸；以及向远程装置发送第二图像数据。
根据一些实施例，一种无人机(UAV)包括：推进系统；成像装置；存储装置；以及与所述推进系统、所述成像装置和所述存储装置耦接的一个或多个处理器。所述一个或多个处理器被配置为：通过成像装置获取多个图像；在获取多个图像之后，继续通过成像装置获取附加图像；以及在继续通过成像装置获取附加图像的同时：将与获取的多个图像相对应的第一图像数据存储到存储装置；处理多个图像以生成第二图像数据，其中，第二图像数据具有比第一图像数据小的数据尺寸；以及向远程装置发送第二图像数据。
根据一些实施例，一种计算机可读介质存储一个或多个程序。所述一个或多个程序包括指令，所述指令在被装置的一个或多个处理器执行时使装置：通过成像装置获取多个图像；在获取多个图像之后，继续通过成像装置获取附加图像；以及在继续通过成像装置获取附加图像的同时：将与获取的多个图像相对应的第一图像数据存储到存储装置；处理多个图像以生成第二图像数据，其中，第二图像数据具有比第一图像数据小的数据尺寸；以及向远程装置发送第二图像数据。
附图说明
图1是根据一些实施例的可移动物体环境的示意图。
图2是根据一些实施例的示例性可移动物体的系统图。
图3是根据一些实施例的示例性控制单元的系统图。
图4是示出了根据一些实施例的处理图像数据的示意图。
图5是示出了根据一些实施例的图像处理的示意图。
图6A至图6C是根据一些实施例的用于处理图像数据的方法的流程图。
具体实施方式
现将详细参照多个实施例，其示例在附图中示出。在下面的详细描述中，阐述了许多具体细节以便提供对各种所描述的实施例的透彻理解。然而，本领域技术人员将清楚，可以在无需这些特定细节的情况下实践各种所描述的实施例。在其他实例中，没有详细描述公知的方法、过程、组件、电路和网络，以避免不必要地使实施例的细节模糊不清。
本文描述了用于处理图像数据的技术。在一些实施例中，使用相机(例如，独立相机或作为移动装置(例如，手持移动装置)的组件的相机)来捕获图像。在一些实施例中，使用作为UAV或其他遥控和/或自主载运工具的负载的相机来捕获图像。当图像数据被远离用户操作的装置(诸如UAV的遥控装置)的装置(例如UAV或其他可移动物体)捕获时，期望在用户操作的装置处提供图像数据，使得用户能够例如查看正捕获的图像数据、引导图像捕获特性、基于成像的对象引导可移动物体的移动、和/或指示要由成像装置成像的目标对象。典型地，当捕获图像数据时，期望捕获的图像数据可用于实时地或基本上实时地(例如，以最小的延迟)在用户操作的装置处查看。
在一些情况下，限制将所捕获的图像数据传递到远程装置所消耗的带宽是有利的和/或必要的，例如，使得用户可以基本上实时地在远程装置上查看所捕获的图像。成像装置可能会捕获具有超出用于向远程装置发送图像数据的期望和/或可用带宽的尺寸的图像数据。然而，用户可能希望存储以可从成像装置获得的最高质量捕获的图像数据，或者可能希望存储以超过用于发送图像数据的期望和/或可用带宽的另一图像数据尺寸捕获的图像数据。通过在装置本地存储高质量图像数据(如HD、4K(例如，4Kp60)、和/或更高质量的视频)并生成图像数据的低质量版本以向远程装置发送，用户能够在将图像数据的高质量版本存储以供以后使用的同时，基本上实时地查看所捕获的图像数据。在一些实施例中，生成低质量的图像数据以向远程装置发送允许通过小而轻的装置存储高质量图像数据。如本文所使用的，“质量”指例如分辨率、动态范围和/或帧率。
在一些实施例中，用于处理图像数据的系统和方法还可以用于处理需要大数据存储吞吐量的其他类型的数据，例如，在商业或科学研究设置中，其中大型传感器阵列(例如，光传感器、振动传感器等)以快的速率捕获需要进行后续处理的原始传感器数据。在一些实施例中，原始传感器数据的低分辨率版本在捕获原始传感器数据的装置的输出外设(如，显示器)上可用，和/或被发送到与该装置通信并且可选地控制该装置的远程装置。
图1示出了根据一些实施例的可移动物体环境100。可移动物体环境100包括可移动物体102。在一些实施例中，可移动物体102包括载体104、负载106和/或一个或多个移动机构114。
在一些实施例中，载体104用于将负载106与可移动物体102耦接。在一些实施例中，载体104包括用于将负载106与可移动物体102的移动和/或一个或多个移动机构114的移动相隔离的元件(例如，云台和/或阻尼元件)。在一些实施例中，载体104包括用于控制负载106相对于可移动物体102的移动的元件。
在一些实施例中，负载106与可移动物体102耦接(例如，刚性耦接)(例如，经由载体104耦接)，使得负载106相对于可移动物体102基本保持静止。例如，载体104与负载106耦接，使得负载不能相对于可移动物体102移动。在一些实施例中，负载106直接安装至可移动物体102，而不需要载体104。在一些实施例中，负载106部分地或完全地位于可移动物体102内。
在一些实施例中，可移动物体环境100包括控制单元108，控制单元108与可移动物体102通信，例如用以向可移动物体102提供控制指令，和/或用以显示从可移动物体102接收的信息。
在一些实施例中，可移动物体环境100包括计算装置110。计算装置110例如是服务器计算机、台式计算机、膝上型计算机、平板电脑或另一便携式电子装置(例如，移动电话)。在一些实施例中，计算装置110是与可移动物体102和/或控制单元108(例如，无线地)通信的基站。在一些实施例中，计算装置110提供数据存储、数据检索和/或数据处理操作，例如用于减少可移动物体102和/或控制单元108的处理能力和/或数据存储要求。例如，计算装置110可通信地连接到数据库，和/或计算装置110包括数据库。在一些实施例中，计算装置110用于代替控制单元108或与控制单元108一起执行关于控制单元108描述的任何操作。
在一些实施例中，可移动物体102例如经由无线通信112与控制单元108和/或计算装置110进行通信。在一些实施例中，可移动物体102从控制单元108和/或计算装置110接收信息。例如，由可移动物体102接收的信息包括例如用于控制可移动物体102的参数的控制指令。在一些实施例中，可移动物体102向控制单元108和/或计算装置110发送信息。例如，由可移动物体102发送的信息包括例如由可移动物体102捕获的图像和/或视频。
在一些实施例中，经由网络(例如，因特网116)和/或如蜂窝塔118的无线信号发射机(例如，远程无线信号发射机)发送计算装置110、控制单元108和/或可移动物体102之间的通信。在一些实施例中，卫星(未示出)是因特网116的部件，和/或是除了蜂窝塔118之外或代替蜂窝塔118使用的。
在一些实施例中，在计算装置110、控制单元108和/或可移动物体102之间传送的信息包括控制指令。控制指令包括例如用于控制可移动物体102的导航参数的导航指令，如可移动物体102、载体104和/或负载106的位置、朝向、姿态和/或一个或多个移动特性(例如，线性和/或角度移动的速度和/或加速度)。在一些实施例中，控制指令包括用于引导一个或多个移动机构114的移动的指令。例如，控制指令用于控制UAV的飞行。
在一些实施例中，控制指令包括用于控制载体104的操作(例如，移动)的信息。例如，控制指令用于控制载体104的致动结构，以便引起负载106相对于可移动物体102的角度移动和/或线性移动。在一些实施例中，控制指令以多达六个自由度来调整可移动物体102的移动。
在一些实施例中，控制指令用于调整负载106的一个或多个操作参数。例如，控制指令包括用于调整负载106的聚焦参数和/或朝向的指令(例如，以跟踪目标)。在一些实施例中，控制指令包括用于以下操作的指令：调整成像特性和/或成像装置功能，如调整测量模式(例如，光测量区域的数量、布置、大小和/或位置)；调整一个或多个曝光参数(例如，光圈设置、快门速度和/或曝光指数)；捕获图像；启动/停止视频捕获；给成像装置218(图2)通电或断电；调整成像模式(例如，捕获静止图像或捕获视频)；调整立体成像系统的左部件和右部件之间的距离；和/或调整载体104、负载106和/或成像装置302的位置、朝向和/或移动(例如，摇摄速率和/或摇摄距离)。
在一些实施例中，当可移动物体102接收到控制指令时，控制指令改变可移动物体102的存储器204(图2)的参数和/或被可移动物体102的存储器204(图2)存储。
上述标识的元件不需要被实现为单独的软件程序、过程或模块，因此可以在各种实施例中组合或重新排列这些元件的各种子集，并将其存储在存储器204和/或处理器202中。在一些实施例中，控制系统可以包括以上标识的元件的子集。此外，存储器204和/或处理器202可以存储上面未描述的附加元件。在一些实施例中，存储在存储器204、处理器202、和/或存储器204和/或处理器202的非暂时性计算机可读存储介质中的元件提供用于实现下面描述的方法中的各操作的指令。在一些实施例中，这些元件中的一些或全部可以用包含元件功能的部分或全部的专用硬件电路来实现。可以由可移动物体102的一个或多个处理器202执行一个或多个上述元件。在一些实施例中，一个或多个上述标识的元件被存储在远离可移动物体的装置的一个或多个存储装置上(诸如控制单元108和/或计算装置110的存储器)和/或由远离可移动物体102的装置的一个或多个处理器(诸如控制单元108和/或计算装置110的处理器)执行。
图2示出了根据一些实施例的示例性可移动物体102。可移动物体102通常包括一个或多个处理器202、存储器204、通信系统206、可移动物体感测系统208以及用于将这些组件互连的一个或多个通信总线212。
在一些实施例中，一个或多个处理器包括至少一个现场可编程门阵列(FieldProgrammable Gate Array，FPGA)和/或至少一个专用集成电路(Application SpecificIntegrated Circuit，ASIC)。在一些实施例中，一个或多个处理器202包括一个或多个图像信号处理器(Image Signal Processor，ISP)216(例如，实现在至少一个FPGA和/或至少一个ASIC中)。
在一些实施例中，存储器204可以包括固态驱动器(Solid State Drive，SSD)。在一些实施例中，存储器204的部分或全部经由外围组件互连快速(Peripheral ComponentInterconnect Express，PCIe)接口或串行AT附接(Serial AT Attachment，SATA)接口连接总线与通信总线212连接。
在一些实施例中，可移动物体102是UAV，并且包括能够进行飞行和/或飞行控制的部件。在一些实施例中，可移动物体102包括具有一个或多个网络或其他通信接口(例如，通过其接收飞行控制指令)的通信系统206、一个或多个移动机构114(例如，114a、114b)和/或一个或多个可移动物体致动器210(例如，210a、210b)。例如，响应于所接收的控制指令，可移动物体致动器(例如，210a、210b)引起移动机构(例如，114a、114b)的移动。尽管可移动物体102被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。
在一些实施例中，可移动物体102包括移动机构114(例如，推进机构)。尽管为了便于参考而使用复数术语“移动机构”，但是“移动机构114”指单个移动机构(例如，单个螺旋桨)或多个移动机构(例如，多个旋翼)。移动机构114包括一个或多个移动机构类型，例如旋翼、螺旋桨、叶片、发动机、电机、车轮、车轴、磁体、喷嘴等。移动机构114在例如顶部、底部、前部、后部和/或侧部与可移动物体102耦接。在一些实施例中，单个可移动物体102的移动机构114包括相同类型的多个移动机构。在一些实施例中，单个可移动物体102的移动机构114包括具有不同移动机构类型的多个移动机构。移动机构114使用诸如支撑元件(例如驱动轴)和/或其它致动元件(例如，可移动物体致动器210)的任何合适装置，来与可移动物体102相耦接。例如，可移动物体致动器210从处理器202接收控制信号(例如，经由控制总线212)，该控制信号激活可移动物体致动器210以引起移动机构114的移动。例如，处理器202包括向可移动物体驱动器210提供控制信号的电子速度控制器。
在一些实施例中，移动机构114使可移动物体102能够垂直地从表面起飞或者垂直地降落于表面，而不需要可移动物体102的任何水平移动(例如不需要沿着跑道行进)。在一些实施例中，移动机构114可操作以允许可移动物体102在特定位置和/或以特定朝向悬停在空中。在一些实施例中，一个或多个移动机构114(例如，114a)可独立于其他移动机构114中的一个或多个(例如，114b)进行控制。例如，当可移动物体302是四轴飞行器时，四轴飞行器的每个旋翼都可独立于四轴飞行器的其他旋翼进行控制。在一些实施例中，多个移动机构114被配置为用于同时移动。
在一些实施例中，移动机构114包括向可移动物体102提供升力和/或推力的多个旋翼。对多个旋翼进行驱动以向可移动物体102提供例如垂直起飞、垂直降落和悬停能力。在一些实施例中，一个或多个旋翼沿顺时针方向旋转，而一个或多个旋翼沿逆时针方向旋转。例如，顺时针旋翼的数量等于逆时针旋翼的数量。在一些实施例中，每个旋翼的转速是独立可变的，例如用于控制由每个旋翼产生的升力和/或推力，从而调整可移动物体102的空间布置、速度和/或加速度(例如，关于多达三个自由度的平移和/或多达三个自由度的旋转)。
通信系统206使得能够例如经由天线214与控制单元108和/或计算装置110进行通信。通信系统206包括例如用于无线通信的发射机、接收机和/或收发机。在一些实施例中，通信是单向通信，使得数据仅由可移动物体102从控制单元108和/或计算装置110接收，或反之。在一些实施例中，通信是双向通信，使得在可移动物体102与控制单元108和/或计算装置110之间的两个方向上发送数据。在一些实施例中，可移动物体102、控制单元108和/或计算设备110连接到互联网116或其他电信网络，例如使得由可移动物体102、控制单元108和/或计算设备110生成的数据被发送到服务器，进行数据存储和/或数据检索(例如，由网站显示)。
在一些实施例中，可移动物体102的感测系统208包括一个或多个传感器。在一些实施例中，可移动物体感测系统208的一个或多个传感器包括图像传感器220(例如，成像装置218的成像传感器，诸如数码相机)。在一些实施例中，可移动物体感测系统208的一个或多个传感器安装在可移动物体102的外部、位于可移动物体102的内部或以其他方式与可移动物体102耦接。在一些实施例中，可移动物体感测系统208的一个或多个传感器是载体104和/或负载106的组件和/或与载体104和/或负载106耦接。例如，成像装置218的部分或全部是负载106、负载106的组件，和/或可移动物体102的组件。在一些实施例中，一个或多个处理器202、存储器204和/或ISP 216是成像装置218的组件。图像传感器220例如是检测可见光、红外光和/或紫外光等光的传感器。在一些实施例中，图像传感器220包括例如半导体电荷耦合器件(CCD)、使用互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)和/或N型金属氧化物半导体(N-type Metal-Oxide-Semiconductor，NMOS，Live MOS)的有源像素传感器。在一些实施例中，图像传感器220包括一个或多个光传感器阵列.
在一些实施例中，存储器204存储一个或多个指令、程序(例如，指令集)、模块、控制系统、控制系统配置和/或数据结构(本文统称为“元件”)。关于存储器204描述的一个或多个元件可选地由控制单元108、计算装置110、成像装置218和/或另一装置存储。
在一些实施例中，存储器204存储包括一个或多个系统设置的(例如，如由制造商、管理员和/或用户配置的)控制系统配置。例如，可移动物体102的标识信息被存储为系统配置的系统设置。在一些实施例中，控制系统配置包括针对可移动物体感测系统208的配置。针对可移动物体感测系统208的配置存储参数，如位置(例如，光学器件306相对于图像传感器220的位置)、变焦水平和/或聚焦参数(例如，聚焦量、选择自动聚焦或手动聚焦、和/或调整图像中的自动聚焦目标)。由存储器204存储的成像特性参数包括例如帧率、图像分辨率、图像尺寸(例如，图像宽度和/或高度)、长宽比、像素数、质量、焦距、景深、曝光时间、快门速度和/或白平衡。在一些实施例中，响应于控制指令(例如，由处理器202生成和/或由可移动物体102从控制单元108和/或计算装置110接收)，更新由存储器204存储的参数。
在一些实施例中，控制系统包括用于发起和/或停止存储图像传感器220的图像数据输出的指令。在一些实施例中，控制系统包括用于处理高质量图像数据以生成原始格式图像数据和/或生成缩小尺寸的图像数据的图像处理指令。在一些实施例中，图像处理指令包括一个或多个压缩算法，诸如本领域公知的算法。
图3示出了根据一些实施例的示例性控制单元108。尽管控制单元108通常是便携式(例如，手持式)装置，但是控制单元108不必须是便携式的。在一些实施例中，控制单元108是专用控制装置(例如，针对可移动物体102)、膝上型计算机、台式计算机、平板计算机、游戏系统、可穿戴装置(例如，眼镜、手套和/或头盔)、麦克风、便携式通信装置(例如，移动电话)和/或其组合。控制单元108通常包括一个或多个处理器302、存储器304、I/O接口306、通信系统314、以及用于将这些组件互连的一个或多个通信总线312。
在一些实施例中，I/O接口306包括输入装置310。在一些实施例中，输入装置310接收用户输入以控制可移动物体102、载体104、负载106和/或其组件的多个方面。这些方面包括例如姿态、位置、朝向、速度、加速度、导航和/或跟踪。例如，控制单元108的输入装置的位置(例如输入装置的组件的位置)由用户手动设置为与用于控制可移动物体102的输入(例如预定的输入)相对应的位置。在一些实施例中，输入装置由用户操纵以输入用于控制可移动物体102的导航的控制指令。在一些实施例中，控制单元108的输入装置用于输入针对可移动物体102的飞行模式，例如，自动驾驶或根据预定导航路径的导航。
在一些实施例中，I/O接口306包括控制单元108的显示器308。在一些实施例中，显示器308显示由可移动物体感测系统208(例如，成像装置218和/或图像传感器220)、存储器204、和/或可移动物体102的另一系统生成的信息。例如，由显示器308显示的控制单元108的信息包括由成像装置218和/或图像传感器220捕获的图像数据的经处理版本。在一些实施例中，当从可移动物体102接收信息时和/或当获取图像数据时，基本实时地显示由显示器308显示的信息。在一些实施例中，显示器308显示跟踪数据(例如，应用于目标的表示的图形化跟踪指示符)和/或发送到可移动物体102的控制数据的指示。在一些实施例中，显示器308显示关于可移动物体102、载体104和/或负载106的信息，例如可移动物体102的位置、姿态、朝向、移动特性、和/或可移动物体102与另一物体(例如目标和/或障碍物)之间的距离。
图4是示出了根据一些实施例的处理图像数据的示意图。成像装置218以高图像分辨率(例如，4K分辨率(例如，DCI 4K或UHD-1)或8K图像分辨率(例如，8K UHD))和/或高帧率(例如，60帧/秒)连续捕获包括多个图像(例如，静止图像和/或视频)的高质量图像数据402。与高质量图像数据402相对应的图像数据404由一个或多个处理器202存储到存储器204。例如，存储到存储器204的图像数据404是高质量图像数据402的原始格式版本(例如，从成像装置接收的原始图像数据以最小的处理或改变直接存储在存储器204中)。在一些实施例中，一个或多个处理器202(例如，ISP 216)对高质量图像数据402应用压缩(例如，无损压缩或接近无损的压缩)以生成存储到存储器204的图像数据404。在一些实施例中，存储到存储器204的图像数据402是由成像装置218捕获的未经处理的图像数据404。在一个实施例中，存储器204包括固态驱动器(Solid State Drive，SSD)。在一些实施例中，SSD通过PCIe兼容电接口与处理器202本地耦接。
一个或多个处理器202(例如，包括ISP 216)对高质量图像数据402的质量进行降级以生成降级图像数据406。例如，将有损压缩应用于高质量图像数据402以生成降级图像数据406。在一些实施例中，与高质量图像数据402相比，降级图像数据406具有更小的尺寸、更低的分辨率和/或更低的帧率。在图4中，以比降级图像数据406更密集的阴影显示高质量图像数据402和存储到存储器204的图像数据404。在一些实施例中，ISP 216被实现在一个或多个FPGA和/或ASIC中。
当成像装置218连续捕获附加的高质量图像数据，并且处理器202连续地将新捕获的高质量图像数据存储到存储器204并从新捕获的高质量图像数据中生成降级图像数据时，可移动物体102将已经生成的降级图像数据406发送(例如，经由图2的通信系统206)到控制单元108。控制单元108在显示器308上显示降级图像数据406。例如，随着高质量图像数据402被成像装置218捕获并存储到存储器204，基本实时地显示降级图像数据406(例如，以最小的延迟(例如，小于200毫秒的延迟))。
图5是示出根据一些实施例的示出由图像处理装置500对存储的高质量图像数据404进行后处理的示意图。图像处理装置500例如是控制单元108、计算装置110或从可移动物体102接收存储的高质量图像数据404(例如，在可移动物体102着陆之后)的另一装置。例如，存储的高质量图像数据404从可移动物体102的存储器204传递(例如，经由可移动物体102和远程装置500之间的有线和/或无线通信连接)到图像处理装置500。存储的高质量图像数据404由图像处理装置500的一个或多个ISP 502、504、506接收。在一些实施例中，一个或多个ISP 502、504、506在图像处理装置500的一个或多个FPGA和/或ASIC中实现。一个或多个ISP 502、504、506对所接收的图像数据404执行一个或多个处理操作，如缺陷像素移除、图像色彩校正、伽玛校正、对比度调整、噪声过滤、格式调整、色域调整、白平衡和/或曝光调整。
在一些实施例中，图像合并模块508接收一个或多个ISP 502、504、506的经处理的图像数据输出。图像合并模块508例如由图像处理装置500的存储器装置存储的多个指令实现，并由图像处理装置500的一个或多个处理器执行。图像合并模块508对一个或多个ISP502、504、506的经处理的图像数据输出执行一个或多个本领域公知的合并操作以生成合并的图像数据。在一些实施例中，图像合并模块508的合并图像数据输出被保存到图像处理装置500的存储器、发送到远程装置、和/或通过图像处理装置500的显示器显示。在一些实施例中，图像处理装置500包括接口，该接口可用于非线性回顾和/或编辑一个或多个ISP 504和/或图像合并模块508的输出。
由于并行图像处理由图像处理装置500的ISP 502、504、506执行，所以不需要使用多个ISP在可移动物体102上执行并行图像处理。以这种方式，可以减小可移动物体102的尺寸、重量和/或功率需求，从而允许可移动物体102的更快的飞行和更大的机动性。
图6A至图6C是示出了根据一些实施例的用于处理图像数据的方法600的流程图。方法600在诸如可移动物体102的装置处执行。该装置包括成像装置218、存储装置(例如，存储器204)以及与成像装置218和存储装置耦接的一个或多个处理器202。
该装置通过成像装置218获取(602)多个图像(例如，高质量图像数据402)。例如，多个图像是多个静止图像或视频。
在获取了多个图像之后，该装置继续(604)通过成像装置218获取附加图像(例如，附加的高质量图像数据402)。在一些实施例中，多个图像和附加图像的获取是在该装置的导航期间发生的正在进行的、连续的且不间断的过程。
在继续通过成像装置218获取附加图像(例如，附加的高质量图像数据402)的同时，该装置(606)：将与获取的多个图像404相对应的第一图像数据(例如，图像数据404)存储到存储装置(例如，存储器204(例如，板载SSD))；(例如，通过一个或多个处理器202)处理多个图像(例如，高质量图像数据402)以生成第二图像数据(例如，降级图像数据406)，其中，第二图像数据(例如，降级图像数据406)具有比第一图像数据(例如，图像数据404)小的数据尺寸；以及向远程装置(例如，控制单元108和/或计算装置110)(例如，经由通信系统206)发送第二图像数据(例如，降级图像数据406)。
在一些实施例中，该装置是(608)无人机(UAV)，并且在UAV处于飞行中时，该装置获取多个图像(例如，高质量图像数据402)、继续获取附加图像、存储第一图像数据、处理多个图像，并且发送第二图像数据(例如，降级图像数据406)。
在一些实施例中，当UAV未处于飞行中时(例如，UAV着陆后)，该装置向图像处理系统(例如，图像处理装置500)发送(610)第一图像数据(例如，存储的图像数据404)以进行后处理。
在一些实施例中，向远程装置(例如，控制单元108和/或计算装置110)发送第二图像数据(例如，降级图像数据406)包括(612)：通过电子装置和远程装置之间的无线连接(例如，经由通信系统206和/或通信系统314)来向远程装置发送第二图像数据。
在一些实施例中，第一图像数据(例如，存储的图像数据404)包括(614)多个图像(例如，高质量图像数据402)的原始图像数据。
在一些实施例中，在继续通过成像装置(例如，成像装置218)获取附加图像的同时，该装置对多个图像(例如，高质量图像数据402)应用(616)无损压缩或接近无损的压缩以生成第一图像数据(例如，存储的图像数据404)。
在一些实施例中，处理多个图像(例如，高质量图像数据402)以生成第二图像数据(例如，降级图像数据406)降低了(618)多个图像的分辨率。
在一些实施例中，处理多个图像(例如，高质量图像数据402)以生成第二图像数据(例如，降级图像数据406)降低了(620)多个图像的帧率。
在一些实施例中，一个或多个处理器(例如，处理器202)包括(622)图像信号处理器(ISP)(例如ISP 216)，并且ISP处理多个图像(例如，高质量图像数据402)以生成第二图像数据(例如，降级图像数据406)。
在一些实施例中，ISP(例如，ISP 216)在现场可编程门阵列(FPGA)中实现(624)。
在一些实施例中，ISP(例如，ISP 216)在专用集成电路(ASIC)中实现(626)。
在一些实施例中，远程装置(628)是用于控制该装置的控制单元(例如，控制单元108)。
在一些实施例中，该装置从控制单元(例如，控制单元108)接收(630)用于控制该装置的移动的一个或多个第一指令。例如，该装置是UAV，并且该装置从控制单元108接收用于控制UAV的一个或多个飞行参数的指令。
在一些实施例中，该装置从控制单元(例如，控制单元108)接收(632)用于控制成像装置(例如，成像装置218)的图像捕获的一个或多个第二指令。例如，电子装置从控制单元108接收用于启动和/或停止高质量图像存储的指令(例如，独立于继续生成降级图像数据以发送至控制单元)，和/或(例如，通过调整图像传感器220、成像装置218、负载106和/或载体104相对于该装置(例如，可移动物体102)的朝向)改变图像传感器220相对于该装置的朝向的指令。
在一些实施例中，第二图像数据(例如，降级图像数据406)被流式传输(634)到远程装置(例如，控制单元108和/或计算装置110)并实时显示(例如，通过显示器308)在远程装置(例如，控制单元108)上。
在一些实施例中，多个图像(例如，高质量图像数据402)是具有至少30帧每秒(FPS)的帧率的视频(636)。
在一些实施例中，多个图像(例如，高质量图像数据402)是具有至少4K的分辨率的视频(638)。
在一些实施例中，成像装置(例如，成像装置218)通过ISP(例如，ISP 216)与存储装置(例如，存储器204)耦接(640)。
在一些实施例中，ISP(例如，ISP 216)经由外围组件互连快速(PCIe)接口与存储装置(例如，存储器204(例如，SSD))连接。
在一些实施例中，ISP(例如，ISP 216)经由串行AT附接(SATA)接口与存储装置(例如，存储器204(例如，SSD))连接。
本文公开的技术的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，本技术的特征可以使用处理系统来实现。示例性处理系统(例如，处理器202、302)包括但不限于一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、现场可编程门阵列、图形处理器、物理处理器、数字信号处理器、协处理器、网络处理器、音频处理器、加密处理器等。
本技术的特征可以使用或借助于计算机程序产品来实现，诸如存储有指令的存储介质(介质)或计算机可读介质(介质)，其中可以将所述指令用来对处理系统进行编程以执行本文中呈现的任何特征。存储介质(例如(例如存储器204、304)可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、DDR RAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或适用于存储指令和/或数据的任何类型的介质或装置。
存储在任何机器可读介质(介质)上的本技术的特征可以结合到用于控制处理系统的硬件以及用于支持处理系统使通过利用本发明的结果与其他机制进行交互的软件和/或固件中。这样的软件或固件可以包括但不限于应用代码、装置驱动器、操作系统和执行环境/容器。
本文所述的通信系统(例如，通信系统206、314)可选地经由有线和/或无线通信连接进行通信。例如，通信系统可选地接收和发送也称为电磁信号的RF信号。通信系统的RF电路将电信号与电磁信号相互转换，并经由电磁信号与通信网络和其他通信装置进行通信。RF电路可选地包括用于执行这些功能的众所周知的电路，包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC芯片组、用户身份模块(SIM)卡、内存等。通信系统可选地与网络通信，例如因特网(也称为万维网(WorldWide Web，WWW))、内联网和/或无线网络、例如蜂窝电话网络、无线局域网(Local AreaNetwork，LAN)和/或城域网(Metropolitan Area Network，MAN)，并且可选地与其他装置通过无线通信来进行通信。无线通信连接可选地使用多种通信标准、协议和技术中的任一种，包括但不限于全球移动通信系统(Global System for Mobile Communications，GSM)、增强数据GSM环境(Enhanced Data GSM Environment，EDGE)、高速下行链路分组接入(High-Speed Downlink Packet Access，HSDPA)、高速上行链路分组接入(High-Speed UplinkPacket Access，HSUPA)、演进、仅数据(Evolution，Data-Only，EV-DO)、HSPA、HSPA+、双小区HSPA(Dual-Cell HSPA，DC-HSPDA)、长期演进(Long Term Evolution，LTE)、近场通信(NearField Communication，NFC)、宽带码分多址(Wideband Code Division Multiple Access，W-CDMA)、码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、蓝牙、无线保真(Wireless Fidelity，Wi-Fi)(例如IEEE302.11a、IEEE 302.11ac、IEEE 302.11ax、IEEE 302.11b、IEEE 302.11g和/或IEEE302.11n)、互联网协议语音(Voice over Internet Protocol，VoIP)、Wi-MAX、用于电子邮件的协议(例如，互联网消息访问协议(Internet Message Access Protocol，IMAP)和/或邮局协议(Post Office Protocol，POP))、即时消息(例如，可扩展消息传递和存在协议(Extensible Messaging And Presence Protocol，XMPP)、用于即时消息的会话发起协议和存在利用扩展(Session Initiation Protocol for Instant Messaging and PresenceLeveraging Extensions，SIMPLE)、即时消息和存在服务(Instant Messaging andPresence Service，IMPS))和/或短消息服务(Short Message Service，SMS)、诸如FASST或DESST的扩频技术或者任何其他合适的通信协议，包括在本文件的提交日期之前尚未开发的通信协议。
尽管上面已经描述了本技术的各种实施例，但是应当理解，它们仅仅是作为示例而不是限制来呈现的。本领域普通技术人员应该理解的是，在不脱离本发明的精神和范围的情况下，可以进行形式和细节上的各种变化。
以上已经在功能构建块的辅助下描述了本技术，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
在本文所述的各种实施例的描述中所使用的术语仅仅是为了描述具体实施例，而不是意在进行限制。除非上下文另有明确说明，否则如各种所述实施例的描述和所附权利要求中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式。还应理解，如本文所使用的术语“和/或”是指并且包括一个或多个相关联的所列项目的任何一个和所有可能的组合。还将理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。
如本文所使用的，术语“如果”可以被解释为表示“当”或“一旦”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，这取决于上下文。同样，“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”的表述可以解释为表示“一旦确定”或“响应于确定”或“根据确定”或“一旦检测到”或“响应于检测到”所述先决条件为真，这取决于上下文。
已经提供了本技术的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本技术的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是显而易见的。这些修改和变化包括所公开的特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明的各种实施例以及适合于预期特定用途的各种修改。意图在于，本发明的范围由所附权利要求及其等同物限定。

Claims (30)

1.一种用于处理图像数据的方法，所述方法包括：
在包括成像装置、存储装置以及与所述成像装置和所述存储装置耦接的一个或多个处理器的电子装置处：
通过所述成像装置获取多个图像；
在获取所述多个图像之后，继续通过所述成像装置获取附加图像；以及
在继续通过所述成像装置获取所述附加图像的同时：
将与获取的所述多个图像相对应的第一图像数据存储到所述存储装置；
处理所述多个图像以生成第二图像数据，其中，所述第二图像数据具有比所述第一图像数据小的数据尺寸；以及
向远程装置发送所述第二图像数据。
2.根据权利要求1所述的方法，其中：
所述电子装置是无人机UAV，以及
在所述UAV处于飞行中时，所述电子装置获取所述多个图像，继续获取所述附加图像，存储所述第一图像数据，处理所述多个图像，并发送所述第二图像数据。
3.根据权利要求2所述的方法，包括：
在所述UAV未处于飞行中时，向图像处理系统发送所述第一图像数据以进行后处理。
4.根据权利要求2所述的方法，其中，向所述远程装置发送所述第二图像数据包括：通过所述电子装置和所述远程装置之间的无线连接向所述远程装置发送所述第二图像数据。
5.根据权利要求1-4中任一项所述的方法，其中，所述第一图像数据包括所述多个图像的原始图像数据。
6.根据权利要求1-4中任一项所述的方法，包括：
在继续通过所述成像装置获取所述附加图像的同时，对所述多个图像应用无损压缩或接近无损的压缩以生成所述第一图像数据。
7.根据权利要求1-6中任一项所述的方法，其中，处理所述多个图像以生成所述第二图像数据降低了所述多个图像的分辨率。
8.根据权利要求1-7中任一项所述的方法，其中，处理所述多个图像以生成所述第二图像数据降低了所述多个图像的帧率。
9.根据权利要求1-8中任一项所述的方法，其中，所述一个或多个处理器包括图像信号处理器ISP，并且所述ISP处理所述多个图像以生成所述第二图像数据。
10.根据权利要求9所述的方法，其中，所述ISP在现场可编程门阵列FPGA中实现。
11.根据权利要求9所述的方法，其中，所述ISP在专用集成电路ASIC中实现。
12.根据权利要求1-11中任一项所述的方法，其中，所述远程装置是用于控制所述电子装置的控制单元。
13.根据权利要求12所述的方法，还包括：
从所述控制单元接收用于控制所述电子装置的移动的一个或多个第一指令。
14.根据权利要求12-13中任一项所述的方法，还包括：
从所述控制单元接收用于控制所述成像装置的图像捕获的一个或多个第二指令。
15.根据权利要求12-14中任一项所述的方法，其中，所述第二图像数据被流式传输到所述远程装置，并在所述远程装置处实时显示。
16.根据权利要求1-15中任一项所述的方法，其中，所述多个图像是具有至少30帧每秒FPS的帧率的视频。
17.根据权利要求1-16中任一项所述的方法，其中，所述多个图像是具有至少4K的分辨率的视频。
18.根据权利要求1-17中任一项所述的方法，其中，所述成像装置通过ISP与所述存储装置耦接。
19.根据权利要求18所述的方法，其中，所述ISP经由外围组件互连快速PCIe接口与所述存储装置连接。
20.根据权利要求18所述的方法，其中，所述ISP经由串行AT附接SATA接口与所述存储装置连接。
21.一种系统，包括：
成像装置；
存储装置；以及
与所述成像装置和所述存储装置耦接的一个或多个处理器，所述一个或多个处理器被配置为：
通过所述成像装置获取多个图像；
在获取所述多个图像之后，继续通过所述成像装置获取附加图像；以及
在继续通过所述成像装置获取所述附加图像的同时：
将与所获取的多个图像相对应的第一图像数据存储到所述存储装置；
处理所述多个图像以生成第二图像数据，其中，所述第二图像数据具有比所述第一图像数据小的数据尺寸；以及
向远程装置发送所述第二图像数据。
22.根据权利要求21所述的系统，其中：
所述系统是UAV，以及
在所述UAV处于飞行中时，所述系统获取所述多个图像，继续获取所述附加图像，存储所述第一图像数据，处理所述多个图像，并发送所述第二图像数据。
23.根据权利要求22所述的系统，其中所述一个或多个处理器被配置为：
在所述UAV未处于飞行中时，向图像处理系统发送所述第一图像数据以进行后处理。
24.根据权利要求22所述的系统，其中，向所述远程装置发送所述第二图像数据包括：通过所述系统和所述远程装置之间的无线连接向所述远程装置发送所述第二图像数据。
25.根据权利要求21-24中任一项所述的系统，其中，所述第一图像数据包括所述多个图像的原始图像数据。
26.根据权利要求21-25中任一项所述的系统，其中所述一个或多个处理器被配置为：
在继续通过所述成像装置获取所述附加图像的同时，对所述多个图像应用无损压缩或接近无损的压缩以生成所述第一图像数据。
27.根据权利要求21-26中任一项所述的系统，其中，处理所述多个图像以生成所述第二图像数据降低了所述多个图像的分辨率。
28.根据权利要求21-27中任一项所述的系统，其中，处理所述多个图像以生成所述第二图像数据降低了所述多个图像的帧率。
29.一种无人机UAV，包括：
推进系统；
成像装置；
存储装置；以及
与所述推进系统、所述成像装置和所述存储装置耦接的一个或多个处理器；所述一个或多个处理器被配置为：
通过所述成像装置获取多个图像；
在获取所述多个图像之后，继续通过所述成像装置获取附加图像；以及
在继续通过所述成像装置获取所述附加图像的同时：
将与所获取的多个图像相对应的第一图像数据存储到所述存储装置；
处理所述多个图像以生成第二图像数据，其中，所述第二图像数据具有比所述第一图像数据小的数据尺寸；以及
向远程装置发送所述第二图像数据。
30.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在被装置的一个或多个处理器执行时使所述装置：
通过成像装置获取多个图像；
在获取所述多个图像之后，继续通过所述成像装置获取附加图像；以及
在继续通过所述成像装置获取所述附加图像的同时：
将与所获取的多个图像相对应的第一图像数据存储到存储装置；
处理所述多个图像以生成第二图像数据，其中，所述第二图像数据具有比所述第一图像数据小的数据尺寸；以及
向远程装置发送所述第二图像数据。
CN201680088145.9A 2016-08-04 2016-08-04 用于处理图像数据的方法和系统 Pending CN109562831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210037253.0A CN114245020A (zh) 2016-08-04 2016-08-04 用于处理图像数据的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/093281 WO2018023555A1 (en) 2016-08-04 2016-08-04 Method and system for handling image data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210037253.0A Division CN114245020A (zh) 2016-08-04 2016-08-04 用于处理图像数据的方法和系统

Publications (1)

Publication Number Publication Date
CN109562831A true CN109562831A (zh) 2019-04-02

Family

ID=61073195

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210037253.0A Withdrawn CN114245020A (zh) 2016-08-04 2016-08-04 用于处理图像数据的方法和系统
CN201680088145.9A Pending CN109562831A (zh) 2016-08-04 2016-08-04 用于处理图像数据的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210037253.0A Withdrawn CN114245020A (zh) 2016-08-04 2016-08-04 用于处理图像数据的方法和系统

Country Status (3)

Country Link
US (2) US11108997B2 (zh)
CN (2) CN114245020A (zh)
WO (1) WO2018023555A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113497957A (zh) * 2020-03-18 2021-10-12 摩托罗拉移动有限责任公司 从远程电子设备的外部显示器捕获图像的电子设备和方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11729239B1 (en) * 2022-06-21 2023-08-15 Samsung Electronics Co., Ltd. Electronic real-time communications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442202A (zh) * 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视频通信方法及装置
EP2902744A1 (en) * 2014-01-31 2015-08-05 Kabushiki Kaisha Topcon Measuring system
CN105049918A (zh) * 2015-07-08 2015-11-11 成都西可科技有限公司 一种本地录制视频和网络直播视频的分离方法
CN105472252A (zh) * 2015-12-31 2016-04-06 零度智控（北京）智能科技有限公司 一种无人机获取图像的系统及方法
CN205179207U (zh) * 2015-12-07 2016-04-20 深圳市帝翼飞科技有限公司 一种无人机的拍摄系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9288513B2 (en) * 2011-08-29 2016-03-15 Aerovironment, Inc. System and method of high-resolution digital data image transmission
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
FR3033470B1 (fr) * 2015-03-02 2017-06-30 Clement Christomanos Procede de transmission de commandes et d'un flux video entre un engin tele-pilote et une station au sol, et ensemble d'un tel engin et d'une telle station
US10597156B2 (en) * 2015-04-15 2020-03-24 Pierre Emmanuel VIEL Cleaning drone
KR102599653B1 (ko) * 2015-11-20 2023-11-08 삼성전자주식회사 냉각 알고리즘을 수행하는 집적 회로와 이를 포함하는 모바일 장치
JP2019502594A (ja) * 2015-12-21 2019-01-31 エアーズコルト リミテッド ドローン用自律的ドッキングステーション

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103442202A (zh) * 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视频通信方法及装置
EP2902744A1 (en) * 2014-01-31 2015-08-05 Kabushiki Kaisha Topcon Measuring system
CN105049918A (zh) * 2015-07-08 2015-11-11 成都西可科技有限公司 一种本地录制视频和网络直播视频的分离方法
CN205179207U (zh) * 2015-12-07 2016-04-20 深圳市帝翼飞科技有限公司 一种无人机的拍摄系统
CN105472252A (zh) * 2015-12-31 2016-04-06 零度智控（北京）智能科技有限公司 一种无人机获取图像的系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113497957A (zh) * 2020-03-18 2021-10-12 摩托罗拉移动有限责任公司 从远程电子设备的外部显示器捕获图像的电子设备和方法

Also Published As

Publication number Publication date
WO2018023555A1 (en) 2018-02-08
CN114245020A (zh) 2022-03-25
US20190166334A1 (en) 2019-05-30
US20210392299A1 (en) 2021-12-16
US11108997B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
US11019255B2 (en) Depth imaging system and method of rendering a processed image to include in-focus and out-of-focus regions of one or more objects based on user selection of an object
US20210231968A1 (en) Imaging system
US10958822B2 (en) Autofocus initialization based on target detection
US11288824B2 (en) Processing images to obtain environmental information
US20210074017A1 (en) Method and system for detecting obstructive object at projected locations within images
US10944897B2 (en) Contrast detection autofocus using adaptive step
US20190138241A1 (en) Method and system for storing images
US11320817B2 (en) Target-based image exposure adjustment
US20210392299A1 (en) Method and system for handling image data
US20190138030A1 (en) Method and system for controlling a movable object using machine-readable code
US20190031370A1 (en) Optical path length adjustment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402