CN110998235B - 在机器人式运载工具中的图像输出调整 - Google Patents

在机器人式运载工具中的图像输出调整 Download PDF

Info

Publication number
CN110998235B
CN110998235B CN201780093481.7A CN201780093481A CN110998235B CN 110998235 B CN110998235 B CN 110998235B CN 201780093481 A CN201780093481 A CN 201780093481A CN 110998235 B CN110998235 B CN 110998235B
Authority
CN
China
Prior art keywords
image sensor
image
robotic vehicle
matrix
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780093481.7A
Other languages
English (en)
Other versions
CN110998235A (zh
Inventor
黄寅
朱晓毅
L·C·陈
王若伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110998235A publication Critical patent/CN110998235A/zh
Application granted granted Critical
Publication of CN110998235B publication Critical patent/CN110998235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

实施例包括用于处理由机器人式运载工具的图像传感器捕获的图像的设备和方法。机器人式运载工具的处理器可以计算针对由图像传感器输出的图像的图像输出方位矩阵。处理器可以计算图像传感器的图像传感器方位矩阵。处理器可以计算机器人式运载工具的主体方位矩阵。处理器可以基于图像输出方位矩阵、图像传感器方位矩阵和主体方位矩阵，来变换由图像传感器捕获的图像。

Description

在机器人式运载工具中的图像输出调整
背景技术
机器人式运载工具可以被部署在多种多样的应用中。机器人式运载工具可以被配置有多种多样的主体系。此外，机器人式运载工具可以被配置有或可以确定可以具有各种各样的应用的运载工具坐标系。
机器人式运载工具可以装备有一个或多个图像传感器，诸如能够捕获图像、图像序列或视频的摄像机。处理由机器人式运载工具图像传感器捕获的图像通过设备配置和环境条件的多种多样的变化而变得复杂。图像传感器可用于许多配置，以及可以以在其中传感器捕获图像和输出捕获到图像的方式等进行改变。例如，图像传感器可以被配置为以特定方位(例如，横向或纵向)和以特定分辨率捕获图像。此外，图像传感器(或图像处理系统)可以被配置为以不同的方位和/或分辨率输出捕获到的图像。另外，随着机器人式运载工具移动和/或受其环境影响，机器人式运载工具主体的方位可以进行改变。
发明内容
各种实施例包括可以在机器人式运载工具的处理器上实现的用于处理由机器人式运载工具的图像传感器捕获的图像的方法。各种实施例可以包括：计算针对由图像传感器输出的图像的图像输出方位矩阵，计算针对图像传感器的图像传感器方位矩阵，计算机器人式运载工具的主体方位矩阵，以及基于图像输出方位矩阵、图像传感器方位矩阵和主体方位矩阵，来变换由图像传感器捕获的图像。
在一些实施例中，基于图像输出方位矩阵、图像传感器方位矩阵和主体方位矩阵，来变换由图像传感器捕获的图像可以包括：基于图像输出方位矩阵、图像传感器方位矩阵和主体方位矩阵来计算旋转矩阵，以及基于旋转矩阵来变换由图像传感器捕获的图像。
在一些实施例中，图像输出方位矩阵可以是基于由图像传感器输出的图像的方位的。在一些实施例中，主体方位矩阵可以是基于第一坐标系的，以及图像传感器方位矩阵可以是基于与第一坐标系不同的第二坐标系的。在一些实施例中，主体方位矩阵可以是基于第一坐标系的，图像传感器方位矩阵可以是基于与第一坐标系不同的第二坐标系的，以及图像输出方位矩阵可以是基于与第一坐标系和第二坐标系中的一者或两者不同的第三坐标系的。
一些实施例可以进一步包括确定相对图像传感器姿态，在其中，图像传感器方位矩阵是基于相对图像传感器姿态的。一些实施例可以进一步包括确定机器人式运载工具的相对主体方位，在其中，主体方位矩阵是基于机器人式运载工具的相对主体方位的。一些实施例可以进一步包括输出经变换的图像。
进一步的实施例可以包括被配置有处理器可执行指令以执行在上文中描述的方法的操作的机器人式运载工具。进一步的实施例可以包括用于在机器人式运载工具中使用的被配置为执行在上文中描述的方法的操作的处理设备。进一步的实施例可以包括机器人式运载工具，该机器人式运载工具包括用于执行在上文中描述的方法的功能的单元。
附图说明
并入本文和构成本说明书的一部分的附图示出了示例实施例，以及与在上文中给出的一般描述和在下文中给出的具体实施方式一起服务于解释各种实施例的特征。
图1是根据各种实施例在通信系统内进行操作的机器人式运载工具的系统方块图。
图2是根据各种实施例示出机器人式运载工具的组件的组件方块图。
图3是示出适合用于在实现各种实施例的机器人式运载工具中使用的处理设备的组件方块图。
图4是根据各种实施例示出机器人式运载工具的图像捕获和处理系统的组件的组件方块图。
图5A和5B根据各种实施例示出了机器人式运载工具的坐标系。
图6根据各个实施例示出了图像传感器方位和输出图像方位。
图7是根据各种实施例示出在机器人式运载工具中的图像处理的方法的过程流示意图。
图8根据各种实施例示出了机器人式运载工具主体系坐标系和图像传感器坐标系。
图9根据各种实施例示出了机器人式运载工具主体系坐标系和图像传感器坐标系。
图10根据各种实施例示出了机器人式运载工具主体系坐标系、图像传感器坐标系和输出图像方位系统。
图11根据各种实施例示出了机器人式运载工具主体系坐标系、图像传感器坐标系和输出图像方位系统。
具体实施方式
参考附图将详细地描述各种实施例。遍及附图将尽可能使用相同的附图标记指代相同或相似的组件。对特定示例和实施例做出的参考是出于说明性目的的，以及不旨在限制权利要求的保护范围。
各种实施例包括可以由机器人式运载工具的处理器实现的用于处理由机器人式运载工具的图像传感器捕获的图像的方法，该方法可以与图像传感器、机器人式运载工具主体系和图像输出方位的任何组合一起采用。各种实施例改进了对由机器人式运载工具捕获的图像的图像处理的效率和准确性，以及针对可以使用不同的主体系坐标系的各种各样的机器人式运载工具主体系以及安装到机器人式运载工具的不同图像传感器，改进了对这样的图像的图像处理的效率和准确性。
如在本文中使用的，术语“机器人式运载工具”指的是各种类型的运载工具中的一种运载工具，包括被配置为提供一些自主或半自主能力的板载处理设备。机器人式运载工具的示例包括但不限于：飞行器，诸如无人驾驶飞行器(UAV)；地面运载工具(例如，自主或半自主汽车、真空机器人等)；基于水的运载工具(即被配置用于在水面或水下的操作的运载工具)；基于太空的运载工具(例如航天器或太空探测器)；和/或其某种组合。在一些实施例中，机器人式运载工具可以是有人驾驶的。在其它实施例中，机器人式运载工具可以是无人驾驶的。在机器人式运载工具是自主的实施例中，机器人式运载工具可以包括板载计算设备，该板载计算设备被配置为在没有远程操作指令(诸如来自操作人员(例如，经由远程计算设备))的情况下(即，自主地)操纵和/或导航机器人式运载工具。在机器人式运载工具是半自主的实施例中，机器人式运载工具可以包括板载计算设备，该板载计算设备被配置为诸如从操作人员(例如，经由远程计算设备)接收一些信息或指令，以及与接收到的信息或指令相一致地自主操纵和/或导航机器人式运载工具。在一些实现方式中，机器人式运载工具可以是飞行器(无人驾驶的或有人驾驶的)，其可以是旋翼飞机或有翼飞机。例如，旋翼飞机(还称为多旋翼机或多旋翼直升机)可以包括提供针对机器人式运载工具的推进力和/或提升力的多个推进单元(例如，旋翼/螺旋桨)。旋翼飞机的具体非限制性示例包括三旋翼直升机(三个旋翼)、四旋翼直升机(四个旋翼)、六旋翼直升机(六个旋翼)和八旋翼直升机(八个旋翼)。然而，旋翼飞机可以包括任何数量的旋翼。机器人式运载工具可以包括可以执行各种各样的功能的各种各样的组件和/或有效载荷。
机器人式运载工具越来越多地装备有用于捕获图像和视频的图像传感器装置。使图像传感器与机器人式运载工具的整合复杂的事实在于，机器人式运载工具主体系和图像传感器可以被配置有不同的坐标系。例如，机器人式运载工具可以包括各种各样的主体系，以及这样的主体系的制造商可以在机器人式运载工具的飞行控制器或另一处理器中利用不同的坐标系。主体系坐标系的一个示例是“北-东-下(NED)”，在其中沿x轴的正值指示北，沿y轴的正值指示东，以及沿x轴的正值指示下(即，朝向重力)。主体系坐标系的另一示例是“北-西-上(NWU)”，在其中沿x轴的正值指示北，沿y轴的正值指示西，以及沿x轴的正值指示上(即，背向重力)。
图像传感器可以是使用横向方位或纵向方位来安装在机器人式运载工具上的。此外，精确的图像传感器方位和俯仰可以从运载工具到运载工具进行改变。另外，图像传感器可以以各种各样的方位输出图像(例如，横向输出或纵向输出)。在图像传感器方位与输出图像的方位中的差异可以导致输出图像的变形或另一退化，诸如不正确地定位的输出图像。
各种实施例提供了由机器人式运载工具的处理器实现的用于处理由机器人式运载工具的图像传感器捕获的图像的方法，该方法可以采用于在图像传感器、机器人式运载工具主体系和图像输出方位的任何组合。各种实施例进一步改进了对由机器人式运载工具捕获的图像的图像处理的效率和准确性，以及针对可以使用不同的主体系坐标系的各种机器人式运载工具主体系以及对图像传感器到机器人式运载工具的不同安装，进一步改进了对这样的图像的图像处理的效率和准确性。
在各种实施例中，机器人式运载工具的处理器可以处理由机器人式运载工具的图像传感器捕获的图像。机器人式运载工具的处理器可以计算针对由图像传感器输出的图像的图像输出方位矩阵。处理器可以计算图像传感器的图像传感器方位矩阵。处理器可以计算机器人式运载工具的主体方位矩阵。处理器可以基于图像输出方位矩阵、图像传感器方位矩阵和主体方位矩阵的乘积来变换由图像传感器捕获的图像。
各种实施例可以在于各种各样的通信系统100(在图1中示出了其示例)内进行操作的机器人式运载工具内实现。参考图1，通信系统100可以包括机器人式运载工具102、基站104、接入点106、通信网络108和网络元件110。
基站104和接入点106可以提供无线通信以分别在有线和/或无线通信回程116和118上接入通信网络108。基站104可以包括被配置为在广域(例如，宏小区)以及可以包括微小区、毫微微小区、微微小区和其它类似网络接入点的小型小区上提供无线通信的基站。接入点106可以包括被配置为在相对较小的区域上提供无线通信的接入点。基站和接入点的其它示例也是可能的。
机器人式运载工具102可以在无线通信链路112上与基站104进行通信，以及在无线通信链路114上与接入点106进行通信。无线通信链路112和114可以包括多个载波信号、频率或频带，其中的各项可以包括多个逻辑信道。无线通信链路112和114可以利用一种或多种无线接入技术(RAT)。可以在无线通信链路中使用的RAT的示例包括3GPP长期演进(LTE)、3G、4G、5G、全球移动通信系统(GSM)、码分多址(CDMA)、宽带码分多址(WCDMA)、全球微波接入互操作性(WiMAX)、时分多址(TDMA)和其它移动电话通信技术蜂窝RAT。可以在通信系统100内的各种无线通信链路中的一个或多个无线通信链路中使用的RAT的进一步的示例包括诸如Wi-Fi、LTE-U、LTE-Direct、LAA、MuLTEfire的中距离协议和诸如紫蜂(ZigBee)、蓝牙和低功耗蓝牙(LE)的相对较短距离的RAT。
网络元件110可以包括网络服务器或另一类似的网络元件。网络元件110可以在通信链路122上与通信网络108进行通信。机器人式运载工具102和网络元件110可以经由通信网络108进行通信。网络元件110可以向机器人式运载工具102提供各种各样的信息，诸如导航信息、天气信息、关于本地空中、地面和/或海上交通的信息、移动控制指令以及与机器人式运载工具102的操作相关的其它信息、指令或命令。
在各种实施例中，机器人式运载工具102可以移动通过环境120。随着机器人式运载工具102移动通过环境120，机器人式运载工具102的处理器可以捕获环境120的方面的图像或视频。
机器人式运载工具可以包括有翼或旋翼飞机的种类。图2示出了旋转推进设计的示例机器人式运载工具200，其利用由对应的电动机驱动的一个或多个旋翼202来提供升空(或起飞)以及其它空中移动(例如，向前前进、上升、下降、横向移动、倾斜、旋转等)。机器人式运载工具200是作为可以利用各种实施例的机器人式运载工具的示例来示出的，但是不旨在暗示或要求各种实施例受限于旋翼飞机机器人式运载工具。各种实施例还可以与有翼机器人式运载工具一起使用。此外，各种实施例可以同等地与基于陆地的自主运载工具、水载自主运载工具和基于太空的自主运载工具一起使用。
参考图1和图2，机器人式运载工具200可以类似于机器人式运载工具102。机器人式运载工具200可以包括多个旋翼202、框架204，以及起落架206或刹车。框架204可以提供针对与旋翼202相关联的电动机的结构支持。起落架206可以支持针对机器人式运载工具200的组件的组合以及(在某些情况下的)有效载荷的最大负载重量。为了便于描述和说明，省略了机器人式运载工具200的一些详细的方面，诸如布线、框架结构互连或对本领域技术人员而言将知的其它特征。例如，虽然机器人式运载工具200是作为具有包括多个支持成员或框架结构的框架204来示出和描述的，但是机器人式运载工具200可以是可以使用在其中通过模制结构获得支持的模制框架来构造的。尽管所示的机器人式运载工具200具有四个旋翼202，但这仅是示例性的，以及各种实施例可以包括多于或少于四个旋翼202。
机器人式运载工具200可以进一步包括控制单元210，该控制单元210可以容纳用以向机器人式运载工具200的操作进行供电和控制的各种电路和设备。控制单元210可以包括处理器220、电源模块230、传感器240、有效载荷保护单元244、输出模块250、输入模块260和无线模块270。
处理器220可以被配置有处理器可执行指令，以控制机器人式运载工具200的行进和其它操作，包括各种实施例的操作。处理器220可以包括导航单元222、存储器224、陀螺仪/加速仪单元226和航空电子模块228或耦合到导航单元222、存储器224、陀螺/加速仪单元226和航空电子模块228。处理器220和/或导航单元222可以被配置为通过无线连接(例如，蜂窝数据网络)来与服务器进行通信，以接收对导航有用的数据，提供实时位置报告以及评估数据。
航空电子模块228可以耦合到处理器220和/或导航单元222，以及可以被配置为提供与行进控制相关的信息，诸如高度、姿态、空速、航向以及导航单元222可以用于导航目的的类似信息，诸如在全球导航卫星系统(GNSS)位置更新之间的航位推算。陀螺仪/加速仪单元226可以包括加速仪、陀螺仪、惯性传感器或其它类似的传感器。航空电子模块228可以包括或接收来自陀螺仪/加速仪单元226的数据，该数据提供关于可以在导航和定位计算中使用的机器人式运载工具200的方位和加速度的数据，以及提供在各种实施例中用于处理图像的数据。
处理器220可以进一步从传感器240(诸如图像传感器或光学传感器(例如，能够感测可见光、红外、紫外和/或其它波长的光))接收附加信息。传感器240还可以包括射频(RF)传感器、气压计、声纳发射机/检测器、雷达发射体/检测器、麦克风或另一声学传感器，或可以提供由处理器220可用于移动操作以及导航和定位计算的信息的另一传感器。传感器240可以包括接触或压力传感器，其可以提供指示机器人式运载工具200何时已经与表面接触的信号。有效载荷保护单元244可以包括致动器电动机，该致动电动机驱动抓握和释放机制以及响应于控制单元210的相关的控制，以响应于来自控制单元210的命令来抓握和释放有效载荷。
功率模块230可以包括一个或多个电池，所述电池可以向包括处理器220、传感器240、有效载荷保护单元244、输出模块250、输入模块260和无线模块270的各种组件供电。另外，功率模块230可以包括能量储存组件，诸如可充电电池。处理器220可以被配置有处理器可执行指令，以诸如通过使用充电控制电路执行充电控制算法来控制对功率模块230的充电(即，对收集到的能量的储存)。替代地或另外，功率模块230可以被配置为管理其自身的充电。处理器220可以耦合到输出模块250，其可以输出用于管理驱动旋翼202和其它组件的电动机的控制信号。
随着机器人式运载工具200朝着目的地前进，机器人式运载工具200可以是通过对旋翼202的独立的电动机的控制来控制的。处理器220可以从导航单元222接收数据以及使用这样的数据以便确定机器人式运载工具200的当前位置和方位以及朝向目的地或中间地点的适当路线。在各种实施例中，导航单元222可以包括GNSS接收机系统(例如，一个或多个全球定位系统(GPS)接收机)，其使机器人式运载工具200能够使用GNSS信号来进行导航。替代地或另外，导航单元222可以装备有无线电导航接收机，用于接收来自无线节点、Wi-Fi接入点、蜂窝网络站点、无线站、远程计算设备、其它机器人式运载工具等的导航信标或其它信号，诸如导航信标(例如，甚高频(VHF)全向范围(VOR)信标)。
无线模块270可以被配置为接收导航信号，诸如来自航空导航设施的信号等，以及将这样的信号提供给处理器220和/或导航单元222以辅助机器人式运载工具导航。在各种实施例中，导航单元222可以使用从在地面上的可识别的RF发射机(例如，AM/FM无线站、Wi-Fi接入点和蜂窝网络基站)接收的信号。
无线模块270可以包括调制解调器274和发射/接收天线272。无线模块270可以被配置为与各种各样的无线通信设备(例如，无线通信设备(WCD)290)进行无线通信，其示例包括无线电话基站或蜂窝塔(例如基站104)、网络接入点(例如，接入点106)、信标、智能电话、平板电脑或机器人式运载工具200可以与之通信的其它计算设备(诸如网络元件110)。处理器220可以经由无线模块270的调制解调器274和天线272以及经由发射/接收天线292来与无线通信设备290建立双向无线通信链路294。在一些实施例中，无线模块270可以被配置为使用不同的无线接入技术来支持与不同无线通信设备的多个连接。
在各种实施例中，无线通信设备290可以通过中间接入点来连接到服务器。在示例中，无线通信设备290可以是机器人式运载工具操作员的服务器、第三方服务(例如包裹递送、计费等)或站点通信接入点。机器人式运载工具200可以通过一个或多个中间通信链路(诸如耦合到广域网(例如，互联网)或其它通信设备的无线电话网络)来与服务器进行通信。在一些实施例中，机器人式运载工具200可以包括和采用其它形式的无线电通信，诸如与其它机器人式运载工具的网格连接或去往其它信息源(例如，气球或用于收集和/或分发天气或其它数据收集信息的其它站)的连接。
在各种实施例中，控制单元210可以装备有输入模块260，其可以用于各种各样的应用。例如，输入模块260可以从板载摄像机或传感器接收图像或数据，或者可以从其它组件接收电子信号(例如，有效载荷)。
尽管控制单元210的各种组件是作为单独的组件在图2中示出的，但是组件中的一些或全部组件(例如，处理器220、输出模块250、无线模块270和其它单元)可以一起整合在单个处理设备310中，其示例是在图3中示出的。
参考图1-3，处理设备310可以被配置为在机器人式运载工具中使用，以及可以被配置为片上系统(SoC)312或包括SoC 312。SoC 312可以包括(但不限于)处理器314、存储器316、通信接口318和储存存储器接口320。处理设备310或SoC 312可以进一步包括用于建立无线通信链路等的通信组件322(诸如有线或无线调制解调器)、储存存储器324、天线326。处理设备310或SoC 312可以进一步包括硬件接口328，该硬件接口328被配置为使处理器314能够与机器人式运载工具的各种组件进行通信以及控制机器人式运载工具的各种组件。处理器314可以包括各种各样的处理设备中的任何处理设备，例如任何数量的处理器内核。
术语“片上系统”(SoC)在本文中通常用以指代互连的电子电路集合，但非排它地，包括一个或多个处理器(例如，314)、存储器(例如，316)和通信接口(例如，318)。SoC 312可以包括各种各样的不同类型的处理器314和处理器内核，诸如通用处理器、中央处理器(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、加速处理单元(APU)、处理设备的特定组件的子系统处理器，诸如用于摄像机子系统的图像处理器或用于显示器的显示器处理器、辅助处理器、单核处理器和多核处理器。SoC 312可以进一步体现其它硬件和硬件组合，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其它可编程逻辑器件、分立门逻辑、晶体管逻辑、性能监控硬件、看门狗硬件和时间参考。可以配置集成电路，以使集成电路的组件驻留在单片半导体材料(诸如硅)上。
SoC 312可以包括一个或多个处理器314。处理设备310可以包括多于一个SoC312，从而增加了处理器314和处理器内核的数量。处理设备310还可以包括不与SoC 312相关联(即，在SoC 312外部)的处理器314。独立的处理器314可以是多核处理器。处理器314均可以被配置用于与处理设备310或SoC 312的其它处理器314相同或不同的特定目的。相同或不同配置的处理器314和处理器内核中的一者或多者可以一起成组。一组处理器314或处理器内核可以称为多处理器集群。
SoC 312的存储器316可以是易失性或非易失性存储器，其被配置用于存储数据和处理器可执行指令，以用于由处理器314进行访问。处理设备310和/或SoC 312可以包括被配置用于各种目的的一个或多个存储器316。一个或多个存储器316可以包括易失性存储器，诸如随机存取存储器(RAM)或主存储器，或高速缓冲存储器。
处理设备310和SoC 312的组件中的一些或全部组件可以不同地排列和/或组合，同时仍然为各个方面的功能服务。处理设备310和SoC 312可以不限于组件中的各组件的一个组件，以及各组件的多个实例可以是包括在处理设备310的各种配置中的。
图4根据各种实施例示出了机器人式运载工具(例如，在图1和图2中的102、200)的图像捕获和处理系统400。参考图1-4，图像捕获和处理系统400可以在机器人式运载工具的硬件组件和/或软件组件中实现，其操作可以由机器人式运载工具的一个或多个处理器(例如，处理器220等)控制。为了使能数字图像稳定，机器人式运载工具的伪运动可以是根据由机器人式运载工具的处理器检测到的信息来估计的。可以使能这样的数字图像稳定的各种组件的一些实施例是在图像捕获和处理系统400中示出的。
图像传感器406可以捕获通过镜头404进入的图像402的光。镜头404可以包括鱼眼镜头或可以被配置为提供宽图像捕获角度的另一类似镜头。图像传感器406可以将图像数据提供给图像信号处理(ISP)单元408。关注区域(ROI)选择单元412可以将数据提供给ISP408数据，以用于对在图像数据内的关注区域的选择。
ISP 408可以将图像信息和ROI选择信息提供给卷帘快门校正、图像变形和修剪单元426。鱼眼矫正单元414可以将信息和/或处理功能提供给卷帘快门校正、图像变形和修剪单元426。
飞行参数单元416可以确定惯性测量数据以及机器人式运载工具位置和方位数据。例如，飞行参数单元416可以从机器人式运载工具的一个或多个传感器(例如，传感器240)获得或接收惯性测量数据以及机器人式运载工具位置和方位数据。飞行参数单元416可以将惯性测量数据以及机器人式运载工具位置和方位数据提供给姿态(位置和方位)估计单元418。
姿态估计单元418可以基于惯性测量数据以及位置和方位数据来确定机器人式运载工具的位置和方位。在一些实施例中，姿态估计单元418可基于机器人式运载工具的坐标系(例如，NED或NWU)来确定机器人式运载工具的位置和方位(例如，俯仰、滚动和偏航)。姿态估计单元418可以将所确定的机器人式运载工具的位置和方位提供给运动滤波器单元420。另外，平移和倾斜控制单元410可以将关于图像传感器的平移和/或倾斜的数据提供给运动滤波器420。
运动滤波器单元420可以基于来自姿态估计单元418的位置和方位信息以及来自平移和倾斜控制单元410的平移和/或倾斜信息来确定机器人式运载工具的图像传感器(例如，传感器240)的物理和/或虚拟姿态变化。在一些实施例中，运动滤波器单元420可以确定图像传感器随时间的物理或虚拟姿态变化。在一些实施例中，运动滤波器单元420可以基于在第一图像与第二后续图像之间的一个或多个变化来确定物理或虚拟姿态变化。在一些实施例中，运动滤波器单元420可以在逐帧的基础上确定图像传感器的物理或虚拟姿态变化。运动滤波器单元可以将所确定的图像传感器的物理和/或虚拟姿态变化提供给每像素摄像机旋转计算单元422。
每像素摄像机旋转计算单元422可以在逐像素的基础上确定要对图像信息执行的旋转。每像素摄像机旋转计算单元422可以将关于所确定的旋转的信息提供给变换矩阵计算单元424。
变换矩阵计算单元424可以确定用于在处理图像中使用的变换矩阵。变换矩阵计算单元424可以将变换矩阵提供给卷帘快门校正和变形单元426。
卷帘快门校正和变形单元426可以修剪图像信息，校正在由镜头404造成的图像的失真，以及可以将变换矩阵应用于图像信息。卷帘快门校正和变形单元426可以基于修剪、失真校正和/或变换矩阵的应用来提供经校正的图像428作为输出。在一些实施例中，经校正的图像可以包括具有经校正的水平方位或水平旋转的图像。在一些实施例中，经校正的图像可以包括稳定的视频输出。
图5A和5B根据各种实施例示出了机器人式运载工具的主体系坐标系。参考图1-5B，机器人式运载工具的处理器(例如，处理器220、314，SoC 312等)和机器人式运载工具的硬件组件和/或软件组件可以基于机器人式运载工具的坐标系(除了关于在机器人式运载工具上的图像传感器的安装或方位的信息以及关于图像传感器的输出的方位的信息之外)捕获和处理图像或视频。机器人式运载工具可以包括各种各样的主体系，以及这样的主体系的制造商可以在机器人式运载工具的飞行控制器或另一处理器中利用不同的坐标系。
图5A示出了北-东-下(NED)主体系坐标系的示例，在其中沿x轴的正值指示北，沿y轴的正值指示东，以及沿x轴的正值指示下(即，朝向重力)。
图5B示出了北-西-上(NWU)主体系坐标系的示例，在其中沿x轴的正值指示北，沿y轴的正值指示西，以及沿x轴的正值指示上(即背向重力)。
在一些实施例中，机器人式运载工具的处理器可以动态地确定机器人式运载工具的主体系的方位。在一些实施例中，处理器可以从机器人式运载工具的一个或多个传感器接收或获得信息，以及可以基于传感器信息来确定主体系方位。在一些实施例中，处理器可以通过执行绕机器人式运载工具的x轴角度(例如，φ)的旋转来从机器人式运载工具的一个或多个传感器接收信息或获得信息。例如，处理器可以根据以下方程式来确定针对运载工具滚动(Rroll)、运载工具俯仰(Rpitch)和运载工具偏航(Ryaw)的旋转矩阵：
处理器可以基于针对运载工具滚动、运载工具俯仰和运载工具偏航的旋转矩阵来确定针对机器人式运载工具的方位矩阵。例如，处理器可以根据以下方程式来确定方位矩阵Rsb：
在一些实施例中，处理器可以应用方位矩阵以从机器人式运载工具的惯性系转换为主体系，如在下文中进一步描述的。
图6根据一些实施例示出了示例图像传感器方位和输出图像方位。参考图1-7，图像传感器可以包括高分辨率图像捕获设备，以及可以被配置在方位602上。例如，方位602可以包括x轴(例如，3240个像素)和y轴(例如，4320个像素)。在一些实施例中，图像传感器可以仪特定的宽高比(诸如4:3)捕获图像。
在一些实施例中，图像处理系统(例如，图像捕获和处理系统400)可以处理捕获到的图像数据。在一些实施例中，图像处理系统可以减小捕获到的图像的尺寸。在一些实施例中，图像处理系统可以将捕获到的图像处理成不同的宽高比，诸如16:9。例如，由图像处理系统输出的经处理的图像可以包括根据捕获到的图像的x轴和y轴减小后的x轴和y轴。例如，经处理的图像可以包括1920个像素的x轴和1080个像素的y轴。在一些实施例中，图像传感器可以被配置为以固定的方位(诸如纵向方位)或以固定的宽高比(例如4:3、4320×3240等)捕获图像。尽管图像处理系统可以被配置为将捕获到图像数据处理为不同的分辨率(例如1920×1080)或不同的宽高比(例如16:9)，但是其它因素可以影响输出图像的质量和/或保真度。例如，机器人式运载工具的主体系方位以及图像传感器相对于机器人式运载工具主体系的相对方位可能降低输出图像的质量、保真度、方位和其它方面。
图7根据各种实施例示出了处理在机器人式运载工具中输出的图像的方法700。参考图1-7，方法700可以由机器人式运载工具(例如，102、200)的处理器(例如，处理器220、314，SoC 312等)实现。
在方块702中，处理器可以获得图像输出方位。在一些实施例中，图像输出方位可以包括横向方位或纵向方位。在一些实施例中，处理器可以从机器人式运载工具的存储器获得图像输出方位。在一些实施例中，处理器可以从图像传感器获得图像输出方位。在一些实施例中，处理器维持来自机器人式运载工具的图像捕获和处理系统(例如，图像捕获和处理系统400)的一个或多个组件的图像输出方位。
在方块704中，处理器可以计算图像输出方位矩阵。在一些实施例中，图像输出方位矩阵可以表示为Rbc,out。
在方块706中，处理器可以确定机器人式运载工具的图像传感器的相对图像传感器姿态。在一些实施例中，图像传感器姿态可以包括图像传感器在坐标系中的位置和图像传感器的方位。在一些实施例中，图像传感器的位置和/或方位可以相对于机器人式运载工具的主体方位。例如，图像传感器相对于机器人式运载工具主体方位的位置和/或方位可以基于各种各样的状况改变。例如，图像传感器可以安装在机器人式运载工具主体上，以及对于特定的机器人式运载工具而言角度是唯一的。再如，由于机器人式运载工具的运动或振动、机器人式运载工具碰撞以及其它这样的状况，图像传感器和机器人式运载工具主体的相对位置和方位可能已经偏移或改变。在一些实施例中，图像传感器可以安装在可移动平台上，诸如平衡环、可枢转或可旋转的接合点、安装臂或另一类似的可移动平台。
在方块708中，处理器可以计算图像传感器方位矩阵。在一些实施例中，图像传感器方位矩阵可以表示为Rbc,in。
在方块710中，处理器可以确定机器人式运载工具的相对主体方位。例如，处理器可以从机器人式运载工具的一个或多个传感器接收或获得信息，以及可以基于传感器信息来确定相对主体方位。
在方块712中，处理器可以计算主体方位矩阵。例如，处理器可以计算主体方位矩阵Rsb，如在上文中描述的。
在方块714中，处理器可以基于主体方位矩阵、图像传感器方位矩阵和图像输出方位矩阵来计算旋转矩阵。在一些实施例中，处理器可以计算旋转矩阵Rc，其可以由以下方程式表示：
在方程式5中，T表示使用图像传感器方位矩阵Rbc,in执行的转置；Rsb表示主体方位矩阵；以及Rbc,out表示图像输出方位矩阵。在各种实施例中，旋转矩阵Rc可以等于图像传感器方位矩阵的转置乘以主体方位矩阵再乘以输出图像方位矩阵。
在一些实施例中，在方块710中，处理器可以再次确定机器人式运载工具的相对主体方位。例如，处理器可以随时间动态地确定机器人式运载工具的相对主体方位，以解释在机器人式运载工具主体方位中可能由运动、操纵、环境状况等造成的变化。
在一些实施例中，在方块706中，处理器可以再次确定相对图像传感器姿态。例如，处理器可以动态地确定相对图像传感器姿态，以解释图像传感器在机器人式运载工具主体中的相对姿态的变化。
在方块716中，处理器可以例如使用机器人式运载工具的图像传感器来捕获图像。
在方块718中，处理器可以通过应用旋转矩阵来变换捕获到的图像。在一些实施例中，处理器可以将旋转矩阵(例如，旋转矩阵Rc)应用于捕获到图像以变换图像。在一些实施例中，通过变换图像，处理器可以产生经变换的图像，该经变换的图像针对图像传感器、机器人式运载工具主体和图像输出方位的任何组合中的图像传感器姿态、机器人式运载工具主体系方位和图像输出方位来补偿或校正捕获到的图像。
在方块720中，处理器可以输出经变换的图像。在各中实施例中，处理器可以将输出的经变换的图像存储在机器人式运载工具的存储器中。在各种实施例中，处理器可以将经变换的图像从机器人式运载工具发送给另一设备。在各种实施例中，处理器可以例如在机器人式运载工具的显示器或另一输出设备上显示经变换的图像。
图8示出了可以用于处理在机器人式运载工具802中输出的图像的方法的坐标系800。参考图1-8，坐标系800可以由机器人式运载工具802的处理器(例如，处理器220、314，SoC 312等)实现。机器人式运载工具802可以具有主体系坐标系，以及图像传感器804可以具有图像传感器坐标系，在其中图像传感器804被配置为沿横向方位捕获图像，以及图像处理系统(例如，图像捕获和处理系统400)被配置为沿横向方位输出图像。针对图像传感器804的图像传感器方位矩阵(例如，Rbc,in)可以等于图像输出方位矩阵(例如，Rbc,out)。这可以表示为Rbc,in＝Rbc,out。
然而，机器人式运载工具802的主体系坐标系(例如，NWU)可以与图像传感器坐标系不同。例如，图像传感器坐标系的z轴可以是与主体系坐标系的x轴对齐的。
在这样的实施例中，机器人式运载工具的处理器(例如，处理器220、314，SoC 312等)可以计算旋转矩阵(RL)以将由图像传感器804捕获的图像从图像传感器坐标系变换到主体系坐标系，其可以表示如下：
在方程式6中，沿着图像传感器坐标系的z轴的旋转值是1(即，相同)，以及沿着x轴和z轴中的各轴的旋转值是-1(即，镜像)。
使用旋转矩阵RL，处理器可以计算用于横向方位到纵向方位转换的旋转矩阵，其可以表示如下：
图9示出了可以用于处理在机器人式运载工具902中输出的图像的方法的坐标系900。参考图1-9，坐标系900可以由机器人式运载工具902的处理器(例如，处理器220、314，SoC 312等)实现。机器人式运载工具902可以具有主体系坐标系，以及图像传感器904可以具有图像传感器坐标系，在其中图像传感器904被配置为沿纵向方位捕获图像，以及图像处理系统(例如，图像捕获和处理系统400)被配置为沿纵向方位输出图像。针对图像传感器904的图像传感器方位矩阵(例如，Rbc,in)可以等于图像输出方位矩阵(例如，Rbc,out)，其可以表示为Rbc,in＝Rbc,out。
然而，机器人式运载工具902的主体系坐标系(例如，NWU)可以与图像传感器坐标系不同。例如，图像传感器坐标系的z轴可以是与主体系坐标系的x轴对齐的。
在这样的实施例中，机器人式运载工具的处理器(例如，处理器220、314，SoC 312等)可以计算旋转矩阵(RP)以将由图像传感器904捕获的图像从图像传感器坐标系变换到主体系坐标系，这可以表示如下：
在方程式6中，沿着图像传感器坐标系的z轴的旋转值是-1(即，镜像)，以及沿着x轴和z轴中的各轴的旋转值是1(即，相同)。
使用旋转矩阵RP，处理器可以计算用于纵向方位到纵向方位转换的旋转矩阵，其可以表示如下：
图10示出了可以用于处理在机器人式运载工具1002中输出的图像的方法的坐标系1000。参考图1-10，坐标系1000可以由机器人式运载工具1002的处理器(例如，处理器220、314，SoC 312等)实现。机器人式运载工具1002可以具有主体系坐标系(例如，NWU)，以及图像传感器1004可以具有图像传感器坐标系，在其中图像传感器1004被配置为沿纵向方位捕获图像，以及图像处理系统(例如，图像捕获和处理系统400)被配置为沿横向方位输出图像1006。因此，针对图像传感器1004的图像传感器方位矩阵(例如，Rbc,in)与图像输出方位矩阵(例如，Rbc,out)不同。
在一些实施例中，机器人式运载工具的处理器(例如，处理器220、314，SoC 312等)可以计算针对纵向的旋转矩阵(RP)，该旋转矩阵可以等于图像传感器方位矩阵Rbc,in，其可以表示如下：
此外，机器人式运载工具的处理器可以计算针对横向的旋转矩阵(RL)，该旋转矩阵可以等于图像输出方位矩阵Rbc,out，其可以表示如下：
使用旋转矩阵RP和RL，处理器可以计算旋转矩阵，该旋转矩阵等于纵向旋转矩阵的转置(T)乘以主体坐标系再乘以横向旋转矩阵，其可以表示如下：
图11示出了可以用于在处理机器人式运载工具1102中输出的图像的方法的坐标系1100。参考图1-11，坐标系1100可以由机器人式运载工具1002的处理器(例如，处理器220、314，SoC 312等)实现。机器人式运载工具1102可以具有主体系坐标系(例如，NWU)，以及图像传感器1104可以具有图像传感器坐标系，在其中图像传感器1104被配置为沿横向方位捕获图像，以及图像处理系统(例如，图像捕获和处理系统400)被配置为沿纵向方位输出图像1106。因此，针对图像传感器1104的图像传感器方位矩阵(例如，Rbc,in)与图像输出方位矩阵(例如，Rbc,out)不同。
在一些实施例中，机器人式运载工具的处理器(例如，处理器220、314，SoC 312等)可以计算针对横向的旋转矩阵(RL)，该旋转矩阵可以等于图像传感器方位矩阵Rbc,in，其可以表示如下：
此外，机器人式运载工具的处理器可以计算针对纵向的旋转矩阵(RP)，该旋转矩阵可以等于图像输出方位矩阵Rbc,out，其可以表示如下：
使用旋转矩阵RL和RP，处理器可以计算旋转矩阵，该旋转矩阵等于纵向旋转矩阵的转置(T)乘以主体坐标系再乘以横向旋转矩阵，其可以表示如下：
各种实施例使机器人式运载工具的处理器能够改进由机器人式运载工具进行的图像捕获和处理。各种实施例提供了由机器人式运载工具的处理器实施的用于处理由机器人式运载工具的图像传感器捕获的图像的方法，该方法可以在图像传感器、机器人式运载工具主体系和图像输出方位的任何组合中采用。各种实施例改进了对由机器人式运载工具捕获的图像的图像处理的效率和准确性，以及进一步针对可以使用不同的主体系坐标系的各种机器人式运载工具主体系以及安装到机器人式运载工具的不同图像传感器，改进了对这样的图像的图像处理的效率和准确性。
示出和描述的各中实施例仅是作为示例来提供的，以示出权利要求的各个特征。然而，相对于任何给定的实施例示出和描述的特征不必要受限于相关联的实施例，以及可以与示出和描述的其它实施例一起使用或者组合。此外，权利要求不旨在受任何一个示例实施例限制。例如，方法700的操作中的一个或多个操作以及坐标系800、900、1000和1100中的任何一个坐标系可以替换方法700的一个或多个操作以及坐标系800、900、1000和1100或者与其组合，反之亦然。
前述方法描述和过程流示意图仅是作为说明性示例来提供的，以及不旨在要求或者暗示各种实施例的操作必须以给出的顺序来执行。如本领域技术人员将认识到的，可以以任何顺序来执行在前述实施例中的操作的顺序。诸如“之后”、“然后”、“接下来”等的词语不旨在限制操作的次序；这些词语用于引导读者通读方法的描述。此外，对单数形式的权利要求要素的任何参考(例如，使用冠词“一(a)”、“一个(an)”或者“所述(the)”)不被解释为将该要素限制为单数。
结合在本文中公开的实施例描述的各种说明性的逻辑方块、模块、电路和算法操作可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可交换性，在上文种对各种说明性的组件、方块、模块、电路和操作已经在其功能方面进行了总体描述。这样的功能是实现为硬件还是实现为软件，取决于特定的应用和施加在整个系统上的设计约束。本领域技术人员可以以变化的方式实现所描述的功能，以用于各特定应用，但是这样的实施例决定不应当解释为造成对权利要求的范围的背离。
用以实现结合在本文中公开的各方面描述的各种说明性的逻辑、逻辑方块、模块和电路的硬件可以利用被设计为执行在本文中描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或者其任何组合来实现或执行。通用处理器可以是微处理器，但是在替代方案中，该处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器还可以实现为接收机智能对象的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或者任何其它这样的配置。替代地，一些操作或方法可以由特定于给定的功能的电路来执行。
在一个或多个方面，所描述的功能可以在硬件、软件、固件、或者其任何组合中实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或者非暂时性处理器可读存储介质上。在本文中公开的方法或算法的操作可以体现在处理器可执行软件模块或者处理器可执行指令中，其可以位于非暂时性计算机可读或处理器可读存储介质上。非暂时性计算机可读或者处理器可读存储介质可以是能够由计算机或处理器访问的任何存储介质。举例而言但非限制，这样的非暂时性计算机可读或处理器可读存储介质可以包括RAM、ROM、EEPROM、闪速存储器、CD-ROM或者其它光盘存储、磁盘存储或者其它磁存储智能对象、或者可以用以以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其它介质。如在本文中使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上述的组合也是包括在非暂时性计算机可读和处理器可读介质的保护范围之内的。另外，方法或算法的操作可以作为代码和/或指令的一个或者任何组合或者集合来位于非暂时性处理器可读存储介质和/或计算机可读存储介质上，其可以并入计算机程序产品中。
提供所公开的实施例的先前的描述，以使本领域技术人员能够做出或使用权利要求。对于本领域技术人员而言，对这些实施例的各种修改将是显而易见的，以及在不背离权利要求的精神或保护范围的情况下，在本文中定义的通用原理可以应用于其它实施例。因此，本公开内容不旨在受限于在本文中示出的实施例，而是要符合与下文的权利要求和在本文中公开的原理和新颖特征相一致的最广范围。

Claims (26)

1.一种处理由机器人式运载工具的图像传感器捕获的图像的方法，包括：
计算针对由所述图像传感器输出的图像的图像输出方位矩阵；
确定相对于所述机器人式运载工具的主体方位的图像传感器姿态；
基于相对于所述机器人式运载工具的所述主体方位的所述图像传感器姿态，计算针对所述图像传感器的图像传感器方位矩阵；
计算所述机器人式运载工具的主体方位矩阵；以及
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，将所述图像传感器捕获的图像从所述图像传感器的图像传感器坐标系变换到所述机器人式运载工具的主体系坐标系。
2.根据权利要求1所述的方法，其中，基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，来变换由所述图像传感器捕获的所述图像包括：
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵来计算旋转矩阵；以及
基于所述旋转矩阵来变换由所述图像传感器捕获的所述图像。
3.根据权利要求1所述的方法，其中，所述图像输出方位矩阵是基于由所述图像传感器输出的所述图像的方位的。
4.根据权利要求1所述的方法，其中，所述主体方位矩阵是基于所述主体系坐标系的，并且所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的。
5.根据权利要求1所述的方法，其中，所述主体方位矩阵是基于所述主体系坐标系的，所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的，并且所述图像输出方位矩阵是基于与所述主体系坐标系和所述图像传感器坐标系中的一个或两个不同的坐标系的。
6.根据权利要求1所述的方法，还包括：确定所述机器人式运载工具的相对主体方位，其中，所述主体方位矩阵是基于所述机器人式运载工具的所述相对主体方位的。
7.根据权利要求1所述的方法，还包括：输出经变换的图像。
8.一种机器人式运载工具，包括：
图像传感器；以及
处理器，其耦合到所述图像传感器以及被配置有处理器可执行指令，以进行以下操作：
计算针对由所述图像传感器输出的图像的图像输出方位矩阵；
确定相对于所述机器人式运载工具的主体方位的图像传感器姿态；
基于相对于所述机器人式运载工具的所述主体方位的所述图像传感器姿态，计算针对所述图像传感器的图像传感器方位矩阵；
计算所述机器人式运载工具的主体方位矩阵；以及
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，将由所述图像传感器捕获的图像从所述图像传感器的图像传感器坐标系变换到所述机器人式运载工具的主体系坐标系。
9.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为：
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵来计算旋转矩阵；以及
基于所述旋转矩阵来变换由所述图像传感器捕获的所述图像。
10.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为使得所述图像输出方位矩阵是基于由所述图像传感器输出的所述图像的方位的。
11.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为使得所述主体方位矩阵是基于所述主体系坐标系的，并且所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的。
12.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为使得所述主体方位矩阵是基于所述主体系坐标系的，所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的，并且所述图像输出方位矩阵是基于与所述主体系坐标系和所述图像传感器坐标系中的一个或两个不同的坐标系的。
13.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为：
确定所述机器人式运载工具的相对主体方位，其中，所述主体方位矩阵是基于所述机器人式运载工具的所述相对主体方位的。
14.根据权利要求8所述的机器人式运载工具，其中，所述处理器还被配置为：
输出经变换的图像。
15.一种用于在机器人式运载工具中使用的处理设备，其被配置为：
计算针对由图像传感器输出的图像的图像输出方位矩阵；
确定相对于所述机器人式运载工具的主体方位的图像传感器姿态；
基于相对于所述机器人式运载工具的所述主体方位的所述图像传感器姿态，计算针对所述图像传感器的图像传感器方位矩阵；
计算所述机器人式运载工具的主体方位矩阵；以及
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，将由所述图像传感器捕获的图像从所述图像传感器的图像传感器坐标系变换到所述机器人式运载工具的主体系坐标系。
16.根据权利要求15所述的处理设备，还被配置为：
基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵来计算旋转矩阵；以及
基于所述旋转矩阵来变换由所述图像传感器捕获的所述图像。
17.根据权利要求15所述的处理设备，还被配置为使得所述图像输出方位矩阵是基于所述图像传感器输出的所述图像的方位的。
18.根据权利要求15所述的处理设备，还被配置为使得所述主体方位矩阵是基于所述主体系坐标系的，并且所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的。
19.根据权利要求15所述的处理设备，还被配置为使得所述主体方位矩阵是基于所述主体系坐标系的，所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的，并且所述图像输出方位矩阵是基于与所述主体系坐标系和所述图像传感器坐标系中的一个或两个不同的坐标系的。
20.根据权利要求15所述的处理设备，还被配置为：
确定所述机器人式运载工具的相对主体方位，其中，所述主体方位矩阵是基于所述机器人式运载工具的所述相对主体方位的。
21.根据权利要求15所述的处理设备，还被配置为：输出经变换的图像。
22.一种机器人式运载工具，包括：
图像传感器；
用于计算针对由所述图像传感器输出的图像的图像输出方位矩阵的单元；
用于确定相对于所述机器人式运载工具的主体方位的图像传感器姿态的单元；
用于基于相对于所述机器人式运载工具的所述主体方位的所述图像传感器姿态，计算针对所述图像传感器的图像传感器方位矩阵的单元；
用于计算所述机器人式运载工具的主体方位矩阵的单元；以及
用于基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，将由所述图像传感器捕获的图像从所述图像传感器的图像传感器坐标系变换到所述机器人式运载工具的主体系坐标系的单元。
23.根据权利要求22所述的机器人式运载工具，其中，用于基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵，来变换由所述图像传感器捕获的所述图像的单元包括：
用于基于所述图像输出方位矩阵、所述图像传感器方位矩阵和所述主体方位矩阵来计算旋转矩阵的单元；以及
用于基于所述旋转矩阵来变换由所述图像传感器捕获的所述图像的单元。
24.根据权利要求22所述的机器人式运载工具，其中，所述图像输出方位矩阵是基于由所述图像传感器输出的所述图像的方位的。
25.根据权利要求22所述的机器人式运载工具，其中，所述主体方位矩阵是基于所述主体系坐标系的，并且所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的。
26.根据权利要求22所述的机器人式运载工具，其中，所述主体方位矩阵是基于所述主体系坐标系的，所述图像传感器方位矩阵是基于与所述主体系坐标系不同的所述图像传感器坐标系的，并且所述图像输出方位矩阵是基于与所述主体系坐标系和所述图像传感器坐标系中的一个或两个不同的坐标系的。
CN201780093481.7A 2017-07-28 2017-07-28 在机器人式运载工具中的图像输出调整 Active CN110998235B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/094861 WO2019019132A1 (en) 2017-07-28 2017-07-28 IMAGE OUTPUT ADJUSTMENT IN A ROBOTIC VEHICLE

Publications (2)

Publication Number Publication Date
CN110998235A CN110998235A (zh) 2020-04-10
CN110998235B true CN110998235B (zh) 2024-03-01

Family

ID=65039885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093481.7A Active CN110998235B (zh) 2017-07-28 2017-07-28 在机器人式运载工具中的图像输出调整

Country Status (4)

Country Link
US (1) US11244468B2 (zh)
EP (1) EP3658854B1 (zh)
CN (1) CN110998235B (zh)
WO (1) WO2019019132A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107150788A (zh) * 2017-04-26 2017-09-12 朱晓义 一种产生更大升力的固定翼飞行器
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
JP1727662S (ja) * 2021-11-23 2022-10-18 空気清浄機用フィルター
CN114563782B (zh) * 2022-03-03 2024-05-28 中国科学院国家天文台 雷达偏移成像的方法及雷达偏移成像装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088469A2 (en) * 2010-01-18 2011-07-21 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
CN103267523A (zh) * 2013-04-19 2013-08-28 天津工业大学 四轴飞行器视觉导航系统中视觉信息离线处理方法
CN103345737A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 一种基于误差补偿的uav高分辨率影像几何校正方法
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN104782112A (zh) * 2012-12-10 2015-07-15 英特尔公司 用于调整摄像机阵列的技术
CN105031935A (zh) * 2014-04-16 2015-11-11 鹦鹉股份有限公司 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN105606148A (zh) * 2014-11-13 2016-05-25 波音公司 可展开机载传感器阵列系统和使用方法
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468857B1 (ko) * 2002-11-21 2005-01-29 삼성전자주식회사 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법
US9049396B2 (en) * 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
US20080132249A1 (en) * 2006-12-05 2008-06-05 Palm, Inc. Local caching of map data based on carrier coverage data
GB2462452B (en) 2008-08-08 2011-02-02 Univ Manchester A rotary wing vehicle
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US20130258129A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Method and apparatus for managing orientation in devices with multiple imaging sensors
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
EP3081902B1 (en) 2014-03-24 2019-04-17 SZ DJI Technology Co., Ltd. Method and apparatus for correcting aircraft state in real time

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088469A2 (en) * 2010-01-18 2011-07-21 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
CN104782112A (zh) * 2012-12-10 2015-07-15 英特尔公司 用于调整摄像机阵列的技术
CN103267523A (zh) * 2013-04-19 2013-08-28 天津工业大学 四轴飞行器视觉导航系统中视觉信息离线处理方法
CN103345737A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 一种基于误差补偿的uav高分辨率影像几何校正方法
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN105031935A (zh) * 2014-04-16 2015-11-11 鹦鹉股份有限公司 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN105606148A (zh) * 2014-11-13 2016-05-25 波音公司 可展开机载传感器阵列系统和使用方法
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置

Also Published As

Publication number Publication date
WO2019019132A1 (en) 2019-01-31
EP3658854B1 (en) 2022-09-14
CN110998235A (zh) 2020-04-10
US20200118288A1 (en) 2020-04-16
US11244468B2 (en) 2022-02-08
EP3658854A4 (en) 2021-04-07
EP3658854A1 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
CN110998235B (zh) 在机器人式运载工具中的图像输出调整
US11034449B2 (en) Systems and methods for UAV transport and data acquisition
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US11015956B2 (en) System and method for automatic sensor calibration
US11288824B2 (en) Processing images to obtain environmental information
CN111247390B (zh) Vslam的并发的重新定位和重新初始化
CN111093907B (zh) 机器人式运载工具的稳健导航
ES2883847T3 (es) Prevención de colisiones de vehículos
CN111801717A (zh) 机器人式运载工具的自动探索控制
CN109792484B (zh) 无人自主飞行器中的图像处理
US11287261B2 (en) Method and apparatus for controlling unmanned aerial vehicle
US10386857B2 (en) Sensor-centric path planning and control for robotic vehicles
CN111094893A (zh) 机器人式运载工具的图像传感器初始化
CN111566713A (zh) 标识供机器人交通工具进行着陆的着陆区
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
US20230316939A1 (en) Collision detection and avoidance for unmanned aerial vehicle systems and methods
KR102467485B1 (ko) 픽셀좌표에 기반하여 객체를 추적하는 무인 비행체의 비행방법
WO2023137744A1 (en) Methods of camera-to-robotic device calibration
WO2023141740A1 (en) Method and system for loop closure detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant