CN105324633A - 提供加强环境感知的增强视频系统 - Google Patents

提供加强环境感知的增强视频系统 Download PDF

Info

Publication number
CN105324633A
CN105324633A CN201480006708.6A CN201480006708A CN105324633A CN 105324633 A CN105324633 A CN 105324633A CN 201480006708 A CN201480006708 A CN 201480006708A CN 105324633 A CN105324633 A CN 105324633A
Authority
CN
China
Prior art keywords
superposition
image
frame
collecting device
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480006708.6A
Other languages
English (en)
Inventor
D·小戴维森
T·T·特罗布里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insitu Inc
Original Assignee
Insitu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51355603&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105324633(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Insitu Inc filed Critical Insitu Inc
Priority to CN202010396052.0A priority Critical patent/CN111540059B/zh
Publication of CN105324633A publication Critical patent/CN105324633A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种包括用于提供对采集的图像数据的增强环境感知的系统和方法的设备。公开的技术与图像数据连用，如由连接到无人系统的摄像机采集的实时或近实时图像流、之前采集的图像数据、再现的图像数据等。所述设备通过投射叠加到采集的视频数据上或用之前采集的和/或“合成世界”信息，如卫星图像、计算机生成图像、线模型、纹理表面等等“包装”采集的图像数据来增强环境感知。所述设备还提供增强的缩放技术，其允许使用者使用组合的光学和数字缩放技术，快速地放大感兴趣的物体或区域。另外，所述设备提供数字引导指示器，其被设计以降低在操作图像采集装置时操作者引起的振荡。

Description

提供加强环境感知的增强视频系统
背景技术
无人系统(例如，无人航空系统或无人飞行器系统、无人地面系统和无人水下系统)为由载人系统执行的多种侦察型任务提供了低成本和低风险的选择。例如，无人飞行器系统被TV新闻台、电影/电视行业、石油行业使用，用于海上交通监控、边防/海岸巡逻、民事灾难监测、缉毒活动、发现和监控鱼(例如，金枪鱼)群等。执法机构使用载人直升机和飞机作为他们行动的组成部分，但无人飞行器系统在越来越多的情况下使用。能够由无人航空系统填充的执法中的航空装备的用途包括，例如：
·摄影用途，
·监视用途，
·例行巡逻/支持，
·逃犯搜索，
·搜索和救援，
·飞行员培训，
·毒品定位/封锁，
·SWAT操作，和
·消防/支持。
无人系统能够包括全球定位系统(GPS)接收器来获得足够的近实时位置数据以指示系统所在的位置，并且利用来自固态速率陀螺仪的反馈信息计算姿态。例如，已开发了通过编程航点能够自动起飞/发射、飞行和清除障碍型恢复(snag-typerecovery)的无人航空系统，以便当与载人飞行器(例如，单飞行员固定和旋翼飞行器(single-pilotfixedandrotoraircraft))相比时降低收集和操作成本。
使用者或控制者可在固定或移动遥控站远程操作典型的无人系统。从地面控制站，控制者能够观察无人系统的行为、控制无人系统、接收来自无人系统的反馈和信息，如由安装在无人系统上的各种传感器收集的信息(例如，关于无人系统的状态(例如，位置、方向、速度)的信息、关于周边区域的信息、关于周边区域中其它交通工具/系统的信息)等等。然而，典型的无人系统不提供和/或显示信息，该信息允许使用者或控制者，例如，识别和定位目标、识别和定位受限作业区，或在周边环境的背景中查看采集的信息，如地理信息。
发明内容
本发明可涉及用于向无人机交通工具系统携带的图像采集装置采集的图像数据提供加强的环境感知(situationalawareness)的方法，所述方法可包括：对于多个感兴趣的物体的至少一个，储存至少一个感兴趣的物体的位置数据；对于多个地理区域的至少一个，储存至少一个地理区域的地形数据；接收无人机交通工具携带的图像采集装置采集的图像数据，其中接收的图像数据的多个帧的至少一个具有关联元数据，所述元数据包括时间戳、无人机交通工具的方向、图像采集装置相对于无人机交通工具的方向、图像采集装置的配置信息、无人机交通工具的位置和无人机交通工具的速度；以及对于接收的图像数据的多个帧的至少一个，基于与帧关联的元数据，确定变换矩阵，和对于至少一个叠加的每一个，将确定的变换矩阵数据应用到叠加以变换叠加，并且提供与帧的显示相关联的变换的叠加的显示。所述方法可包括地形数据，其包括线帧(wireframe)数据、地图数据或地形等高线数据的至少一个。所述方法还可包括对于多个地理区域的至少一个，储存至少一个地理区域的测深数据。响应于接收到改变图像采集装置的方向的请求，所述方法可包括：确定图像采集装置的水平视场、确定图像采集装置的垂直视场、确定改变图像采集装置的方向的水平转换速率、确定改变图像采集装置的方向的垂直转换速率、确定显示图像的宽度、确定显示图像的高度、确定提前时间段，基于确定的水平视场、确定的垂直视场、确定的水平转换速率、确定的垂直转换速率、确定的宽度、确定的高度和确定的提前时间段，计算坐标，和在计算的坐标处提供数字引导指示器的指示的显示。所述方法还可以包括响应于接收执行缩放操作的请求，数字地缩放图像采集装置采集的视频帧、提供数字缩放的视频帧的至少一部分代替显示的视频帧的显示、确定图像采集装置是否已完成请求的缩放操作，和响应于确定图像采集装置已完成请求的缩放操作，用图像采集装置采集的视频帧代替数字缩放的视频帧。至少一个叠加可包括感兴趣的物体叠加、地图标注叠加、航向和地面速度叠加、飞行路线叠加和航点与航线叠加。至少一个叠加可包括发动机熄灭边界(engineoutboundaries)叠加、地形等高线叠加、地图叠加、建筑物叠加和城市街区(cityblock)叠加。至少一个叠加可包括3D领空叠加、可检测性叠加、自动识别系统(AIS)叠加和/或进场(approach)信息叠加。
本发明可涉及储存指令的计算机可读储存介质，当由具有处理器的计算系统执行时，所述指令使得计算系统执行包括如下的操作：储存地理区的地形信息；识别第一图像采集装置采集的第一图像流并且所述第一图像流包括第一地理区内第一区域的图像；识别第二图像采集装置而非第一图像采集装置采集的第二图像流而非第一图像流并且第二图像流包括地理区内第二区域而非地理区内第一区域的图像；再现/渲染(render)混合环境，所述混合环境包括储存的地理区的地形信息的至少一部分、来自第一图像流的至少一张图像和来自第二图像流的至少一张图像，其中所述再现包括：确定虚拟摄像机相对于混合环境的位置、确定第一图像采集装置相对于地理区的位置、基于确定的虚拟摄像机相对于混合环境的位置和确定的第一图像采集装置相对于地理区的位置，生成第一变换矩阵、将生成的第一变换矩阵应用到第一流的图像以生成第一变换帧、确定第二图像采集装置相对于地理区的位置、基于确定的虚拟摄像机相对于混合环境的位置和确定的第二图像采集装置相对于地理区的位置生成第二变换矩阵、将生成的第二变换矩阵应用到第二图像流的图像以生成第二变换帧、添加生成的第一变换帧的至少一个和生成的第二变换帧的至少一个至储存的地理区的地形信息的再现。第一图像采集装置可由飞行器交通工具系统携带并且其中再现的混合环境包括飞行器交通工具系统在近似于飞行器交通工具系统相对于地理区的实际位置的位置处的图形表示。计算机可读储存介质的操作还可包括对于多个叠加的每一个，对于叠加的多个物体的每一个，变换物体的位置为屏幕坐标，和在屏幕坐标处提供物体的指示的显示。
所述操作还可包括对于至少一个叠加，对于叠加的至少一个物体，从使用者接收物体的标签、储存接收的标签和提供接收的标签的指示的显示。
本发明可涉及能够包括处理器的计算系统，所述计算系统可包括：经配置用于显示图像采集装置采集的视频帧的至少一部分的组件；经配置用于接收执行图像采集装置的光学缩放操作的请求的组件；经配置用于开始请求的图像采集装置的光学缩放操作的组件；经配置以当图像采集装置执行缩放操作时执行下列操作：数字地缩放图像采集装置采集的视频帧、提供数字缩放的视频帧的至少一部分代替显示的视频帧的显示和确定图像采集装置是否已完成缩放操作；以及在图像采集装置已完成缩放操作之后，经配置用于用图像采集装置采集的视频帧代替数字缩放的视频帧的组件。计算系统还可包括：用叠加信息增强(augment)图像采集装置采集的图像数据的构件；和用关联的元数据同步图像采集装置采集的图像数据的构件。用于增强的构件还可包括用于转换至少一个叠加物体的位置为屏幕坐标的构件。计算系统可包括用于再现数字引导指示器的构件。计算系统还可包括用于再现动态调制盘的构件。
本发明能够涉及储存指令的计算机可读储存介质，如果由具有处理器的计算系统执行，所述指令使得计算系统执行可包括如下的操作：提供图像采集装置采集的图像的显示；以及响应于接收到改变图像采集装置的方向的请求，确定图像采集装置的水平视场、确定图像采集装置的垂直视场、确定改变图像采集装置的方向的水平转换速率、确定改变图像采集装置的方向的垂直转换速率、确定显示图像的宽度、确定显示图像的高度、确定提前时间段，基于确定的水平视场、确定的垂直视场、确定的水平转换速率、确定的垂直转换速率、确定的宽度、确定的高度和确定的提前时间段，计算坐标，和在计算的坐标处显示数字引导指示器的指示。可基于使用者输入的大小确定水平转换速率和垂直转换速率。可根据下列等式计算坐标(X,Y)：
X = h S l e w * w V i d e o * a d v a n c e h F o v , 以及
Y = v S l e w * h V i d e o * a d v a n c e v F o V ,
其中hSlew对应于确定的水平转换速率，wVideo对应于确定的宽度，hFov对应于确定的水平视场，vSlew对应于确定的垂直转换速率，hVideo对应于确定的高度，vFov对应于确定的垂直视场，以及advance对应于确定的提前时间段。
附图说明
图1为示出在其中可以操作根据本技术的实施例的设备的环境的方框图。
图2为示出根据本技术的实施例的设备的方框图。
图3为示出根据本技术的实施例的包含在关联计算系统的一些组件的方框图。
图4为示出根据本技术的实施例增强组件的处理的流程图。
图5为示出根据本技术的实施例同步组件的处理的流程图。
图6A为示出根据本技术的实施例转化组件的处理的流程图。
图6B为未增强的采集的视频帧的屏幕截图。
图6C为根据本技术的实施例3D建筑物叠加信息的屏幕截图。
图6D为示出根据本技术的实施例与3D建筑物叠加信息组合的采集的视频帧的屏幕截图。
图6E为示出根据本技术的实施例与发动机熄灭叠加信息和飞行路线叠加信息组合的采集的视频帧的屏幕截图。
图6F为示出根据本技术的实施例与发动机熄灭叠加信息组合的采集的视频帧的屏幕截图。
图7A为示出根据本技术的实施例再现混合组件的处理的方框图。
图7B为示出根据本技术的实施例混合环境的屏幕截图。
图7C为示出根据本技术的实施例混合环境的屏幕截图。
图7D为示出根据本技术的实施例混合环境的屏幕截图。
图7E为示出根据本技术的实施例混合环境的屏幕截图。
图8为示出根据本技术的实施例加强的缩放组件的处理的流程图。
图9A为示出根据本技术的实施例显示(reveal)组件的处理的流程图。
图9B为示出根据本技术的实施例包括“显示的”位置的显示的屏幕截图。
图10A为示出根据本技术的实施例可检测性组件的处理的流程图。
图10B为示出根据本技术的实施例由可检测性组件产生的可检测性区域的屏幕截图。
图11A为示出根据本技术的实施例动态调制盘的处理的方框图。
图11B和图11C为示出根据本技术的实施例显示在场景上的动态调制盘的屏幕截图。
图11D为示出根据本技术的实施例旋转的动态调制盘的屏幕截图。
图12A为示出根据本技术的实施例数字引导指示器组件的处理的流程图。
图12B为示出根据本技术的实施例与数字引导指示器组合的采集的视频帧的屏幕截图。
图12C为示出根据本技术的实施例与数字引导指示器组合的采集的视频帧的屏幕截图。
具体实施方式
本发明公开一种包括系统和方法的设备，用于提供对采集的图像数据的加强的环境感知并且增加可操作智能(actionableintelligence)。公开的技术与图像数据连用，如无人系统携带的图像采集装置(例如，彩色或黑白摄像机、红外传感器或紫外传感器)采集的实时或近实时图像流，和/或之前采集的图像数据，和/或再现的图像数据等等。图像数据可包括模拟或数字视频流，如服从STANAG4609的视频流。在一些实施例中，公开的系统和方法提供技术，所述技术用于将参照信息和符号叠加到采集的视频数据上或与采集的视频数据结合、用合成世界信息(例如，之前采集的图像数据或周边信息生成的模型)包装(wrap)实时或近实时视频数据，和提供经配置用于导航包装的现场视频数据的虚拟摄像机。以这种方式，公开的技术能够增强采集的视频数据的显示以提供额外的背景和无人系统监控的区域(和周边区域)的更高水平的环境感知。通过利用地理信息和其它信息增强使用者和操作者观看的视频，设备提高获得特定区域环境感知的能力。
在一些实施例中，设备通过投射叠加到采集的视频数据上来加强环境感知。例如，一个或更多个叠加可在视频转播的显示之上且与视频转播的显示同时显示，视频转播如现场视频转播或记录的视频转播。各个叠加能够包括符号和/或文本以帮助用视频转播识别和监控物体。叠加可包括，例如，目标叠加、地图标注叠加、街道叠加、国界叠加、边界叠加(例如，受限的作业区、领空等级)、可检测性叠加、航向和地面速度叠加、不安全海拔叠加、调制盘叠加、飞行器航线叠加、军事网格参考系统叠加等等。例如，目标叠加可提醒使用者或操作者采集的图像数据内感兴趣的各种物体或目标(例如，建筑物、鱼群、交通工具、跑道和其它无人系统)。以这种方式，所述设备能够高亮且提醒使用者或操作者感兴趣的物体和相关的信息。
在一些实施例中，所述设备利用之前采集的和/或“合成世界”信息，如卫星图像、计算机产生的图像、线模型、纹理表面等等来“包装”采集的图像数据，如来自实时摄像机流的图像。以这种方式，采集的图像数据能够在周边信息的背景下查看，如卫星图像、地形信息、结构、测深信息等等。例如，所述设备能够增强现场摄像机转播的显示以包括在现场摄像机转播内采集的区域周围的该区域的之前采集的卫星图像。这样，使用者能够在围绕摄像机视图内的区域的区域背景下查看现场摄像机转播以加强观看者的环境感知。而且，能够包括多个摄像机转播，从而使用者或操作者能够查看利用合成信息或其它信息包装的多个“现场”区域。以这种方式，使用者的视图不限于单个摄像机采集的图像，而是，能够包括关于周边区域的信息。
在一些实施例中，所述设备提供加强的缩放技术，其允许使用者使用组合的光学和数字缩放技术快速放大感兴趣的物体或区域。在一些情况下，图像采集装置可具有阻止使用者以期望的速率光学地放大或缩小感兴趣的物体或区域的缩放速率。换言之，由于摄像机的局限性，使用者可能不能够与使用者想要的一样快地光学放大物体。通过响应于来自使用者执行放大操作的请求，确定摄像机是否能够在预定时间段内(例如，1毫秒、1秒、10秒等等)执行期望的缩放，该设备克服了这个问题。如果摄像机不能够在预定时间段内执行期望的缩放，那么系统数字地放大期望物体或区域并且，当摄像机光学缩放时，使用新采集的(和光学缩放的)图像数据来周期性地(例如，每毫秒、5毫秒、1秒等等)更新显示。以这种方式，当摄像机缩放时，使用者以期望的缩放水平或放大倍数快速地呈现数字缩放的数据。此外，在摄像机光学放大时，数字放大的数据被定期更新，以在摄像机放大时提供具有增大的分辨率的图像。
在一些实施例中，系统提供数字引导指示器。所述数字引导指示器经设计以在操控图像采集装置时降低操作者引起的振荡。通常，当操作者使用例如操纵杆控制图像采集装置以追踪移动的物体时，由于图像采集装置摆动经过移动的物体和操作者反复校正图像采集装置的方向，操作者会引入振荡到图像采集装置的移动中。数字引导指示器经设计以在指定的一段时间(例如，0.5秒、1.0秒、10毫秒)，在图像采集装置预测指向的点处，通过以点或其它形状的形式显示“数字引导指示器”，避免这些操作者引起的振荡。
在一些实施例中，通过重复地执行物体识别技术，可操控所述设备以自动地追踪物体，如在2012年6月14日提交的、标题为STATISTICALAPPROACHTOIDENTIFYINGANDTRACKINGTARGETSWITHINCAPTUREDIMAGEDATA(在采集的图像数据内识别和追踪目标的统计方法)的美国临时专利申请No.61/659,935中公开的那些，其通过引用将全部内容并入本文。所述设备然后能够自动地操控图像采集装置以保持物体处于视频显示器中心(或其它位置)或在视频显示器中心(或其它位置)附近。这种追踪模式允许使用者保持焦点在特定物体或区域上。
图1为示出在其中可以操作根据某些实施例的设备115的环境100的方框图。所述环境包括控制计算装置110、数据源120、客户端计算装置130、容器(vessel)140、图像采集装置141和网络150。控制计算装置110包括设备115和数据储存装置116。设备115包括用于加强采集的图像数据的环境感知的系统和方法。
图2为示出根据某些实施例的设备的方框图。设备115包括下列组件的一个或更多个：增强组件210、同步组件220、转换组件230、再现混合数据组件240、加强的缩放组件250、显示组件260、可检测性组件270、动态调制盘组件280和数字引导指示器组件290。增强组件210由设备115调用以利用叠加信息增强采集的图像数据，所述叠加信息如目标叠加、地形叠加、结构叠加和/或其它合适的叠加。同步组件220由设备115调用以利用元数据同步采集的图像数据(如视频数据帧)，所述元数据规定用于采集图像数据的图像采集装置的位置、方向和配置信息并且进一步规定时间戳。转换组件230由设备115调用以基于，例如，相应真实空间中的物体与图像采集装置的距离和图像采集装置的当前配置，将叠加符号和信息的位置转换为屏幕坐标。再现混合数据组件240由设备115调用以利用与周边区域相关的信息增强采集的图像数据。加强的缩放组件250由设备115调用以执行结合光学和数字缩放技术的加强的缩放。显示组件260由设备115调用以向使用者显示或高亮感兴趣的物体。可检测性组件270由设备115调用以计算交通工具(如无人机交通工具)的可检测性或可观察性，并增强显示来包括计算的可检测性的指示。动态调制盘组件280由设备115调用以显示具有动态对角(subtend)的调制盘，所述对角改变以维持在采集的图像数据内的固定距离。数字引导指示器组件290由设备115调用以估算在预定的一段时间后图像采集装置将指向的位置。数据储存116储存从各种源(如数据源120、客户端计算装置130、容器140或其它源)收集的信息。数据源120提供设备115使用的信息以加强采集的图像数据，如地理信息、地形信息、地图信息、叠加等等。客户端计算装置130向远程使用者提供对设备115的访问。容器140提供来自各个容器携带的图像采集装置采集的图像数据。容器可为，例如，汽车、飞机、直升机、无人机交通工具、人、动物和/或其它合适的交通工具。此外，在该示例中，控制计算装置110、数据源120、客户端计算装置130和容器140通过网络150连接。
图3为示出根据某些实施例的包含在相关联计算系统中的一些组件的方框图。计算机系统300包括：一个或更多个用于执行计算机程序的中央处理器(“CPU”)301；当程序和数据使用时用于储存程序和数据的计算机存储器302；用于永久性储存程序和数据的永久性储存装置303，如硬盘驱动器；用于读取储存在计算机可读介质上的程序和数据的计算机可读介质驱动器304，如CD-ROM驱动器；以及如通过因特网将计算机系统连接至其它计算机系统的网络连接305。尽管如上描述的配置的计算机系统适用于支持公开技术的操作，但本领域技术人员将理解，本技术可使用各种类型和配置的其它合适装置来实现。而且，能够加密至CPU和来自CPU的通信与数据总线和数据线上的通信以避免对内部数据的窥探。
可在其上实现公开的技术的计算装置能够包括：中央处理器、存储器、输入装置(例如，键盘和定点装置)、输出装置(例如，显示装置)和储存装置(例如，磁盘驱动器)。存储器和储存装置为可利用实现所述技术的计算机可执行指令编码的计算机可读储存介质，是指储存指令的计算机可读储存介质。另外，指令、数据结构和消息结构可通过计算机可读传输介质传输，如通信链路上的信号。因此，“计算机可读介质”包括用于储存信息的计算机可读储存介质和用于传输信息的计算机可读传输介质两者。另外，可加密设备使用的数据。可使用各种通信链路，如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络、无线网络等等。
公开的技术可在由一台或更多台计算机或其它装置执行的计算机可执行指令(如程序模块)的一般背景中描述。一般来说，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。通常，程序模块的功能可按需要组合或分布在各个实施例中，包括基于云的实现。
在此描述的本技术的许多实施例可采取计算机可执行指令的形式，其包括由可编程计算机执行的例程。本领域技术人员将理解本技术的各个方面能够通过除了在此示出和描述的那些的计算机系统来实践。本技术的实施例可在各种操作环境中实现和使用，所述操作环境包括：个人计算机、服务器计算机、手持或膝上装置、多处理器系统、基于微处理器的系统、可编程消费电子产品、数字摄像机、网络PC、小型计算机、大型计算机、包括任意上述系统或装置的计算环境等等。而且，本技术能够在专用计算机或数据处理器中体现，所述数据处理器专门编程，经配置或构造用于执行在此所述的计算机可执行指令的一个或更多个。因此，在此一般使用的术语“计算机”或“系统”指任何数据处理器并且能够包括因特网装置和手持式装置(包括掌上计算机、可佩戴计算机、蜂窝或移动电话、多处理器系统，基于处理器的电子产品或可编程消费电子产品、网络计算机、小型计算机等)。由这些计算机处理的信息能够在任何合适的显示介质呈现，包括CRT显示器、LCD、LED显示器、OLED显示器等等。
本技术还能够在分布式环境中实践，其中任务或模块可通过由通信网络链接的远程处理装置执行。在分布式计算环境中，程序模块或子例程可位于本地和远程存储器储存装置中。在此描述的本技术的各个方面可储存或分布在包括磁性或光学可读或可擦除的计算机磁盘的计算机可读介质上。此外，本技术的各个方面可电子地分布在网络上。具体对本技术的各个方面的数据结构和数据的传输也涵盖在本技术的范围内。
图4为示出根据某些实施例的由增强组件执行的处理方法的流程图。调用增强组件以用叠加信息加强采集的图像数据。在方框410中，组件调用同步组件以用元数据同步或对齐(align)采集的图像数据，所述元数据规定用于采集图像数据的图像采集装置的位置、方向和配置信息和时间戳。在方框420中，组件选择叠加来显示。叠加可包括，例如，感兴趣的物体叠加、地图标注叠加、飞行路线叠加、航点与航线叠加、发动机熄灭边界叠加、地形等高线叠加、地图叠加、建筑物叠加、城市街区叠加、3D领空叠加(例如，A-E等级领空)、可检测性叠加、自动识别系统(AIS)叠加、进场信息叠加和其它合适的叠加。各个叠加能够由一个或更多个文件构成，所述文件规定，例如，相应物体的位置、尺寸和标签信息。例如，建筑物叠加可包括在地理区域内的各种建筑物的位置和尺寸(宽度、长度、高度等)信息以及每个建筑物的标签。作为另一个示例，地图标注叠加可包括各种物体，如街道、政治边界、禁飞区、受限作业区的位置、方向和尺寸信息和相关联的标签。因此，使用地图标注叠加，设备能够对采集的图像数据内的物体显示说明性文本。作为另一个示例，地形等高线叠加包括地理区域的地形信息(不同位置处的地形海拔)。作为另一个示例，地图叠加可包括或识别地图的图像和它们对应的位置，从而图像能够显示在采集的图像数据和其它数据(如地形信息)之上或除采集的图像数据和其它数据(如地形信息)之外而显示图像。作为另一个示例，AIS叠加可包括对应于在规定区域内操作的容器位置和尺寸的信息。在一些情况下，AIS叠加可包括一系列操作容器以用AIS接收器定位。该位置信息然后能够连同视频帧添加到叠加以用于显示。
设备可维持或接收用于若干地理区域的任一个的叠加文件。而且，用于不同地理区域的叠加文件和甚至不同类型的叠加可组合到单个叠加文件中。叠加文件可通过处理使用者与视频帧交互创建以接收并且储存叠加文件中呈现的各种物体的位置、尺寸和标签信息。例如，响应于从使用者接收创建或更新物体的叠加信息的请求，例如，通过在物体周围绘制框、描绘物体的形状以及提供物体的标签，设备可提示使用者提供物体的信息。可替代地，可从其它源，如由加利福尼亚州(CA)的山景城(MountainView)的天宝公司(TRIMBLE)提供的SKETCHUP(www.sketchup.com)、或由加利福尼亚州(CA)的森尼韦尔市(Sunnyvale)的GOOGLE支持的TRIMBLE3DWAREHOUSE(sketchup.google.com/3dwarehouse)，接收位置、尺寸和标签信息。在一些情况下，可动态地更新叠加信息。例如，当感兴趣的物体移动时，移动的感兴趣的物体(如移动的交通工具)的位置和尺寸信息，可周期地传输至设备。位置和尺寸信息可由感兴趣的物体和/或另一个数据源，如追踪物体的另一个交通工具或人提供或者当处于追踪模式或使用形状识别技术时由设备自身提供。因此，设备能够利用动态收集的信息并且实时自动调节叠加。类似地，当设备处于追踪模式时，基于识别移动物体从视频帧至视频帧的位置和图像采集装置与移动物体之间的距离，组件能够估算移动物体的速度和方向。基于移动物体和图像采集装置的位置信息和/或从测距仪收集的信息，能够计算图像采集装置和移动物体之间的距离。
在方框430-490中，对于每个帧，组件循环通过选定叠加的每一个，转化与叠加相关联的信息为屏幕坐标，并且然后以选定的帧显示转化的信息(例如，在选定的帧之上或与选定的帧混合)。在方框430中，组件选择视频帧。在方框440中，组件选择选定的叠加的一个。在决策方框450中，如果选定的叠加为仪表板叠加，那么组件在方框470继续，否则组件在方框460继续。仪表板叠加为不受采集的图像数据的视角影响的叠加，如显示图像采集装置或相关联的交通工具的当前坐标的叠加，显示图像采集装置固定到的交通工具的里程或燃料信息的叠加等等。非仪表板叠加为一个受采集的图像数据的视角影响的叠加，因为它变换叠加物体以试图使叠加物体与实际物体对齐。在方框460中，组件调用转换组件以转换叠加物体的位置为屏幕坐标。在方框470中，组件通过使用各种再现技术和程序库，如由加利福尼亚州的弗里蒙特市(Fremont)的硅谷图形国际(SiliconGraphicsInternational公司提供的、华盛顿(WA)的雷德蒙德市(Redmond)的Microsoft提供的，在对应的屏幕坐标再现叠加物体来显示叠加。例如，通过在对应的屏幕坐标，再现圆形、穿孔正方形和/或其它形状，再现的物体可呈现对应物体的形状或仅高亮物体。例如，组件可在采集的图像数据之上再现叠加物体或可以使用α合成技术混合叠加物体与采集的图像数据。此外，设备可对不同叠加和/或不同叠加物体分配不同颜色以更好区分与不同叠加相关联的叠加物体之间。例如，感兴趣的物体叠加物体可以红色再现而建筑物叠加物体以蓝色再现。另外，与相同叠加相关联的叠加物体可以不同颜色显示。在方框480中，组件循环回方框440用于处理下一个选定的叠加，如果有的话。在方框490中，组件循环回至方框430用于处理下一帧，如果有的话。
图5为示出根据某些实施例由同步组件执行的处理方法的流程图。在方框510中，组件接收视频数据和相关联的时间信息，如每个视频帧或视频帧的一些子集的时间戳。例如，组件可从图像采集装置或另一个系统接收视频数据，如在其中每帧或每三帧或每十五帧等具有相关联的时间戳的无人机交通工具系统。在方框520中，组件接收元数据，所述元数据规定图像采集装置的位置信息(例如，图像采集装置或图像采集装置固定到的交通工具的经度、纬度和海拔高度)、方向信息(例如，图像采集装置相对于图像采集装置固定到的交通工具的倾斜和水平(pan)角或视线向量(lookvector))，和配置信息(例如，焦距、数字缩放设置、图像采集装置的视场等等)以及时间戳。在方框530中，组件从接收的视频数据中选择视频帧。在方框540中，组件确定与选定的视频帧相关联的时间戳。时间戳对应于选定的视频帧被采集的时间并且当采集或储存视频帧时可由图像采集装置产生或者可由处理采集的图像数据的单独的系统添加。在方框550中，组件基于确定的时间戳和与识别的元数据相关联的时间戳来识别对应于选定的视频帧的接收的元数据。即，组件在时间上最接近采集视频帧的时间识别图像采集装置的位置、方向和配置信息。在方框560中，通过储存选定的视频帧和识别的元数据之间的关联或映射，组件将选定的视频帧对齐至识别的元数据。在决策方框570中，如果有额外的视频帧要处理，那么组件循环回至方框530以选择下一个视频帧，否则完成组件的处理。例如，可调用组件以执行之前采集的图像数据的批处理并且因此多个视频帧能够被对齐至元数据或在采集各个视频帧时，可调用组件以实时处理各个视频帧。
图6A为示出根据某些实施例由转换组件执行的处理方法的流程图。调用转换组件以基于已对齐至视频帧的元数据，将叠加物体的位置转换为叠加和视频帧的屏幕坐标。在方框605中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的位置的视频帧的位置信息。在方框610中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的方向的视频帧的方向信息。在方框615中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的配置的视频帧的配置信息。在方框620中，组件识别叠加物体以再现视频帧。该确定可基于使用者的选择、采集的图像数据内可见的物体和/或其它合适的源。例如，使用者可点击叠加物体的表示，如一系列叠加物体中的条目(entry)或显示的图像数据中叠加物体的物理表示，以切换该叠加物体的“再现”标签。如果再现标签针对叠加物体切换“打开”，组件将识别叠加物体为待再现的叠加物体。如果再现标签针对叠加物体切换“关闭”，组件将不识别叠加物体为待再现的叠加物体。在方框625中，组件选择下一个识别的叠加物体。在决策方框630中，如果选定的识别的物体已经被选择，那么组件的处理完成，否则组件在方框635继续。在方框635中，组件确定图像采集装置和对应于选定叠加物体的物体的物理位置之间的距离。例如，如果叠加物体对应于建筑物，组件将使用测距仪和/或基于储存在建筑物的相应叠加文件中的位置信息和确定的图像采集装置的位置信息，计算采集视频帧时、图像采集装置和建筑物之间的距离。在方框640中，基于确定的距离、位置、方向和配置信息，组件生成一个或更多个变换矩阵。例如，组件可生成将坐标从模型空间(例如，相对于模型原点定义的顶点)转换至世界空间(例如，相对于普通原点定义的顶点)的“世界变换”矩阵、将坐标从世界空间转换为摄像机空间(例如，相对于摄像机或虚拟摄像机的位置定义的顶点)的“视图变换”矩阵，和基于摄像机镜头的模拟将坐标从摄像机空间变换至屏幕空间的投影矩阵。在一些实施例中，使用DIRECTTM类/结构和随附的方法，如DIRECTXTM矩阵结构和它的LookAtLH、PerspectiveFovLH，和/或其它方法生成矩阵。本领域技术人员将认识到可采用其它应用程序接口(如OpenGL)的结构/类和方法。在方框645中，组件将一个或更多个变换矩阵应用到叠加物体以生成屏幕坐标。生成的屏幕坐标可对应于不在屏幕上的位置，例如，如果物体位于视频帧内采集的区域之外。在决策方框650中，如果生成的屏幕坐标在视频帧的可查看区域内，那么组件在方框655继续，否则在方框660继续处理。在方框655中，组件在生成的屏幕坐标处再现叠加物体并且然后循环回至方框625以选择下一个识别的叠加物体。在方框660中，组件识别在屏幕边缘的位置。例如，如果生成的屏幕坐标到屏幕的左边，组件可识别屏幕左边缘的位置。作为另一个示例，组件可识别屏幕边缘上的位置，其与从屏幕中心绘制的虚线相交以生成屏幕坐标。在方框665中，组件在识别的位置处再现叠加物体的指示，如箭头或脱字符(或其它形状)并且然后循环回至方框625以选择下一个识别的叠加物体。
图6B为未增强的采集的视频帧的屏幕截图670。屏幕截图显示设备的使用者或操作者可希望识别或高亮的若干结构和交通工具。
图6C为根据某些实施例的3D建筑物叠加信息的屏幕截图671。屏幕截图包括屏幕截图中三个建筑物的图形信息。
图6D为示出根据某些实施例的与3D建筑物叠加信息组合的采集的视频帧的屏幕截图672。在该示例中，在屏幕截图671中显示的3D建筑物信息显示在类似于屏幕截图670(图6B)的采集的视频帧的采集的视频帧之上。
图6E为示出根据某些实施例的与发动机熄灭叠加信息和飞行路线叠加信息组合的采集的视频帧的屏幕截图673。如果飞行器的发动机熄灭(例如，如果发动机故障或如果飞行器燃料用完)，发动机熄灭叠加提供飞行器(例如无人机交通工具)范围的边界的指示。飞行器的发动机熄灭边界可基于若干参数，包括飞行器的当前位置(例如，纬度、经度和海拔高度)、当前方向(例如，航向和航向倾角(倾斜度))、环境条件(例如，风、热气流、山脊升力和背风波)、飞行器的飞行/滑行特点、周边地形(例如，海拔)以及其它参数。例如，在没有动力的情况下，飞行器在顺风滑行时能够比在逆风滑行时滑行更远的距离。作为另一个示例，在没有动力的情况下，飞行器在从较高海拔高度滑行时能够比在从较低海拔高度滑行时滑行更远的距离，或者飞行器在朝向具有较低海拔高度的区域滑行时能够比朝向具有较高海拔高的区域滑行时滑行更远的距离。类似地，飞行器在飞行器已经行驶的方向比另一个方向(例如，如果飞机必须转向)能够滑行更远的距离。在该示例中，表示飞行器675的发动机熄灭边界674和来自飞行路线叠加的飞行器675的当前飞行路线677，所述飞行路线叠加已与发动机熄灭叠加组合。还显示表示飞行器675的当前航向、速度和海拔高度的信息框676。
图6F为示出根据某些实施例的与发动机熄灭叠加信息组合的采集的视频帧的屏幕截图678。在该示例中，表示飞行器680的发动机熄灭边界679和飞行器680的当前飞行路线681，并且还显示表示飞行器680的当前航向、速度和海拔高度的信息框682。
图7A为示出根据某些实施例的由再现混合组件执行的处理方法的方框图。再现混合组件再现场景的混合视图，所述场景组合实时采集的图像数据流和其它图像数据，如之前采集的图像数据，和/或区域的再现模型，以提供背景并且加强实时图像数据的环境感知。在方框705中，组件确定虚拟摄像机的位置、方向和配置。在方框710中，设备使用该信息再现由储存的信息构成的虚拟环境，设备添加采集的图像数据到所述储存的信息中。例如，基于确定的虚拟摄像机的位置、方向和配置，设备可产生由卫星图像、线模型、地图数据、储存的地形信息和/或其它合适的数据组成的虚拟环境。本领域技术人员将认识到能够使用任意若干合适类型的数据源和信息产生和再现虚拟环境。在方框715中，组件识别图像流。识别的图像流可包括，例如，由无人机交通工具、其它容器和其它合适的平台携带的图像采集装置采集的实时或储存的图像数据流。在方框720中，组件选择下一个流。在决策方框725中，如果已经选择选定的流，那么组件在决策方框760继续，否则组件在方框730继续。在方框730中，组件接收对应于接收的时间戳的流的视频帧。在方框735中，基于接收的时间戳，组件识别对应于选定视频帧的元数据，如位置、方向和配置信息。在决策框740中，如果检索的视频帧用叠加信息增强，那么组件在方框745继续，否则处理在方框750继续。在方框740中，组件调用增强组件以用叠加信息加强检索的视频帧。在方框750中，基于与检索的视频帧和虚拟摄像机相关联的元数据，组件生成一个或更多个变换矩阵以变换检索的视频帧。在方框755中，通过例如，在虚拟环境之上显示变换的视频帧或使用α合成技术混合变换的视频帧与虚拟环境，组件利用再现的虚拟环境再现变换的视频帧。在决策方框760中，如果完成了再现混合环境，那么处理完成，否则处理在决策方框765继续。在决策方框765中，如果虚拟摄像机已被修改，那么组件在方框715继续以识别流进行再现，否则处理在方框705继续以确定虚拟摄像机的位置、方向和配置。例如，使用者可通过如下操作修改虚拟摄像机：移动虚拟摄像机至新的位置(例如，移动虚拟摄像机至空间中新的点)、改变摄像机的方向(例如，将虚拟摄像机指向不同方向)或改变虚拟摄像机的配置(例如，放大或缩小)。
图7B为示出根据某些实施例的混合环境的屏幕截图790。在该示例中，混合环境包括线帧模型围绕的图像流的采集的视频帧791，所述线帧模型模拟采集的视频帧791内的区域周围的地形。在该示例中，视频帧791采集自无人机交通工具。在该示例中，混合环境通过提供采集的视频帧的额外的背景来加强环境感知。例如，使用者或操作者能够看到地形在采集的视频帧内的区域周围如何改变并且调节附接图像采集装置的交通工具的路线。屏幕截图790还包括对应于“TargetAlpha”的感兴趣的物体叠加物体792、对应于桥梁的叠加物体793和可检测性叠加物体794。此外，叠加物体792的叠加信息包括指示叠加物体792和图像采集装置之间距离的信息，在该示例中为0.79海里。由于接收了额外的视频帧或由于修改了虚拟摄像机，因此设备能够更新混合环境。因此，使用者或操作者能够在周边信息的背景下查看实时视频流，甚至当设备无法访问周边信息的实时或近实时流时查看实时视频流。
图7C为示出根据某些实施例的混合环境的屏幕截图795。在该示例中，混合环境包括图像流的采集的视频帧796，所述图像流被周边环境的有纹理的表示围绕。在该示例中，混合环境通过提供采集的视频帧的额外的背景来加强环境感知。例如，使用者或操作者能够看到地形在采集的视频帧内的区域周围如何改变并且能够形象化采集的视频帧的视图之外的建筑物和道路。在这种情况下，有纹理的表示能够从区的储存的“库存(stock)”视频获得，所述储存的“库存”视频不如采集的视频帧796那么新，但比图7C所示线帧更现实。在一些情况下，使用者可能更喜欢图7C的现实图，而在另一些情况下，使用者可能更喜欢图7B所示的线帧的简单。
图7D为示出根据某些实施例的混合环境的屏幕截图780。在该示例中，混合环境类似于图7C表示的混合环境并且包括图像流的采集的视频帧781(例如，“现场转播”)，所述图像流被周边环境的有纹理的表示(例如，之前采集的或非现场转播)围绕，但从不同的角度再现。在这种情况下，虚拟摄像机已偏离交通工具(由交通工具符号782表示)，视频帧781从所述交通工具采集。因此，虚拟摄像机能够重新定位到任何位置以查看混合环境。这种布置的一个特点为它允许使用者看到针对较大环境视图的交通工具的位置。
图7E为示出根据某些实施例的混合环境的屏幕截图。在该示例中，混合环境包括第一采集的视频帧797a和第二采集的视频帧797b，每个视频帧对应于由不同的无人机交通工具采集的视频流的帧。在该示例中，混合环境通过在混合环境内区域提供多个实时或近实时视图来加强环境感知。因此，与区的单个“石吸管(sodastraw)”视图相对的该区的多个现场转播呈现给使用者或操作者。混合环境还包括对应于跨越采集的视频帧797a和797b内采集的两个区域的道路的道路叠加物体798，和对应于名称为“IED#1”的感兴趣的物体的叠加物体799，其偏离屏幕且不在虚拟摄像机的视图内，并且，正如所指出的，距离图像采集装置1170米。
图8为示出根据某些实施例的由加强的缩放组件执行的处理方法的流程图。调用该组件以实时或近实时放大图像采集装置采集的视频流的帧内的区域。在方框805中，组件接收执行光学缩放的请求。请求的缩放操作可为放大操作或缩小操作。所述请求可规定缩放速率(每秒毫米(焦距))和相对缩放比(例如，0.01x、0.1x、2x、10x等等)。在方框810中，组件通过，例如，发送请求至图像采集装置，开始请求的缩放。在决策方框815中，如果请求的缩放不能以规定的速率执行(或速率未规定)，那么组件在决策方框820继续，否则组件的处理完成。在决策方框820中，如果请求的缩放操作为放大操作，那么组件在方框825继续，否则处理在方框845继续。在方框825中，基于规定的缩放比，组件数字地放大最近采集的视频帧。在方框830中，组件用数字缩放的图像数据更新显示。换言之，基于请求的缩放，组件修剪并数字地缩放来自图像采集装置的转播，以只包括使用者或操作者感兴趣查看的区域。因此，尽管显示的图像数据的质量或分辨率暂时降低(由于数字缩放)，但当图像采集装置调节至请求的焦距时，缩放的图像数据快速地呈现给使用者或操作者。在决策方框835中，如果光学缩放完成，那么组件在方框840继续，否则组件循环回至方框825以对最近采集的视频帧执行数字缩放。因此，随着每次刷新新获得的和光学缩放的图像数据而分辨率增大，图像数据将缓慢地“成形(crystallize)”或“锐化”。在方框840中，组件更新显示以包括采集的视频帧并且然后完成。在方框845中，组件更新显示以包括关于围绕视频帧的区域的储存的信息。如上述讨论，储存的信息可包括基于地形信息、地图信息、卫星信息等等的线帧模型。实际上，当摄像机光学地缩小时，组件生成混合环境。在方框850中，组件更新显示以包括新采集的视频帧(即，以更广的角度采集的图像数据)。在决策方框855中，如果光学缩放完成，那么组件的处理完成，否则组件循环回至方框850以更新显示。
图9A为示出根据某些实施例的由显示组件执行的处理方法的流程图。调用显示组件以通过，例如，从一系列物体中选择物体、从显示的图像数据内选择物体(例如，通过在物体周围绘制框来高亮物体)，和/或通过其它合适的技术，高亮使用者或操作者表现出查看兴趣的物体。对于使用者或操作者表现出查看兴趣的物体的每一个，组件显示所述物体放大或与所述物体相关联的区域的放大的视图。在方框910中，组件显示图像数据，如来自采集的视频流的视频帧。在方框920中，组件识别对应于感兴趣的物体的目标区域，如围绕感兴趣的物体的像素的范围或不同的部分(patch)。在方框930中，组件选择下一个目标区域。在决策方框940中，如果已经选择了选定的目标区域，那么组件的处理完成，否则组件在方框950继续。在方框950中，组件数字地放大选定目标区域的像素。在方框960中，组件选择缩放的像素的显示位置。在方框970中，组件在选定的显示位置显示缩放的像素并且然后循环回至方框930以选择下一个目标区域。
图9B为示出根据某些实施例的包括由显示组件产生的“显示的”位置的显示的屏幕截图990。在该示例中，屏幕截图990包括目标区域991、992和993以及分别对应的缩放像素996、995和994。例如，缩放的像素994对应于目标区域993内的像素(由在相关的像素周围绘制的框选择)并且其已被数字地缩放以高亮对应目标区域。
图10A为示出根据某些实施例的由可检测性组件执行的处理方法的流程图。设备调用可检测性组件以通过，例如，雷达装置、人或其它探测器，评估交通工具(如无人机交通工具、汽车等等)的视觉和/或听觉探测水平。在方框1005中，组件接收规定交通工具的可检测性参数的可检测性简介(profile)，如发动机噪音信息(例如，在每分钟不同的转速下(rpms)的分贝)、大小、颜色、反射率等。在方框1020中，组件识别用于可检测性分析的区，如在显示器内的当前可见的区、由使用者规定的区、交通工具周围并且具有规定半径(例如，1英里、10千米、100海里)的圆形区等等。在方框1030中，组件基于，例如，交通工具的位置、交通工具的可检测性参数、交通工具的当前速度和发动机的每分钟转速(rpm)、白天的时间、交通工具周围的地形、探测器的倾斜角、天气条件(例如，风)等等，产生交通工具和区的可检测性模型。可检测性模型估算交通工具周围的区域处的探测风险。在方框1040中，组件识别可检测性范围、每个范围对应于交通工具可探测的似然性的范围，如{0％-30％、30％-60％和60％-100％}、{10％-50％和50-100％}、{70％-100％}等等。可检测性范围可由使用者规定或者基于可检测性模型由设备产生。例如，使用者可规定具有25％-75％的可检测性似然性的感兴趣的高亮区域和具有75％-100％的可检测性似然性的区域。在一些情况下，可检测性范围可基于交通工具至周边地形中各个点的距离，并且距离可分配给多个探测阈值的每一个。例如，在大于5,000英尺的距离处，交通工具可具有被探测到的低概率，在小于1,500英尺的距离处，交通工具可以具有被探测到的高概率，并且在1,500和5,000英尺之间的距离处，交通工具可以具有被探测到的中等概率。因此，大于5,000英尺的距离可分配到高探测阈值，小于1,500英尺的距离可分配到低探测阈值，以及1,500和5,000英尺之间的距离可分配到中等探测阈值。在方框1050中，组件选择下一个可检测性范围或阈值。在决策方框1060中，如果已选择选定的可检测性范围或阈值，那么组件的处理完成，否则组件在方框1070继续。在方框1070中，基于生成的可检测性模型，组件识别交通工具的可检测性落在选定探测范围或阈值内的分析区的区域(一个或更多个)。在方框1080中，组件使用一个或更多个变换矩阵转换识别的区域(一个或更多个)以生成屏幕坐标。在方框1090中，基于生成的屏幕坐标，组件对区域(一个或更多个)绘制阴影(shade)。例如，组件可用绿色为对应于最低可检测性范围或最高阈值的区域绘制阴影，用红色为对应于最高可检测性范围或最低阈值的区域绘制阴影，并且其它区域用黄色和橙色的各种阴影绘制。本领域技术人员将认识到能够使用任何颜色或其它格式，如不同的阴影图案(例如，网状线)等等对区域绘制阴影，以及可使用任何数量的探测范围/阈值。
图10B为示出根据某些实施例的由可检测性组件产生的可检测性区域的屏幕截图1091。在该示例中，示出在三个不同区域内的交通工具1092的可检测性，交通工具1092直接飞过点1093。在曲线1094围绕的区域内，交通工具1092具有可检测性的高似然性。在一些示例中，可用特定的颜色如红色对该区域绘制阴影，以反映可检测性的高似然性。在曲线1094和曲线1095之间的区域内，交通工具1092具有可检测性的中等似然性。在一些示例中，可用特定的颜色如黄色对该区域绘制阴影，以反映可检测性的中等似然性。在曲线1095围绕的区域之外，交通工具1092具有可检测性的低似然性。在一些示例中，可用特定的颜色如绿色对该区域绘制阴影，以反映可检测性的低似然性。
图11A为示出根据某些实施例的由动态调制盘组件执行的处理方法的方框图。调用组件以再现调制盘，用于在视频流之上显示，当使用者放大或缩小(数字地或光学地)时，该组件动态地改变调制盘对角或“刻度线(ticks)”之间间隙的宽度，从而在再现的图像中对角表示相同(或基于，例如，预定的阈值(例如，+/-10％)大体相同)的距离。换言之，当使用者放大或缩小时，动态调制盘的对角自动调节，从而它们表示固定的比例。例如，当使用者放大时，对角之间的距离增大，以及当使用者缩小时，对角之间的距离减小。在方框1110中，组件接收对应于每个对角间隙表示的如1英尺、10英尺、100米、1英里、5公里等等的距离的比例。在方框1120中，基于，例如，图像采集装置(实际或虚拟)和屏幕中央处的点之间的距离、图像采集装置(实际或虚拟)和视频帧中物体之间的距离、和/或其它合适的距离参数，组件确定距采集场景的距离。如果组件可以访问场景中一个或更多个物体的位置信息(例如，经度、纬度和海拔高度)和图像采集装置的位置信息，组件能够直接计算距离。可替换地，或除了前述技术之外，组件可使用测距仪确定距离。作为另一个可替换/附加特点，设备可提示使用者提供距离或距离的估算值。在方框1130中，基于确定的距离和接收的比例，组件计算对角间隙宽度。在方框1140中，基于确定的对角间隙宽度，组件显示具有对角间隔的调制盘。在决策方框1150中，如果视图已经改变，如当使用者放大或缩小场景或如果图像采集装置(实际或虚拟)已经移动，那么组件循环回至方框1120以确定距采集场景的距离，否则组件在决策方框1160中继续。在决策方框1160中，如果比例已经改变，那么组件循环回至方框1120以确定距采集场景的距离，否则组件在决策方框1170继续。在决策方框1170中，如果动态调制盘的显示继续，那么组件循环回至方框1150以确定视图是否已经改变，否则组件的处理完成。在一些实施例中，通过例如，旋转调制盘、修改调制盘的绘制阴影或颜色等等，设备可允许使用者或操作者进一步修改调制盘。旋转调制盘允许使用者或操作者对齐调制盘至场景中不同的物体。一旦对齐，使用者或操作者能够使用对角的(subtended)调制盘更好地测量场景中的不同物体。在一些实施例中，设备可进一步显示比例(即，由每个对角间隙表示的距离)和/或旋转的角度(例如，顺时针25度)。
图11B和图11C为示出某些实施例中在场景之上显示的动态调制盘的屏幕截图1180和1182。在图11B中，场景以广角显示并且对角间隙宽度1181表示视频帧宽度的约八分之一。相比之下，图11C为场景已经放大后的相同场景的屏幕截图。在图11C中，对角间隙宽度1183已经增至视频帧宽度的约五分之二。然而，在屏幕截图1180和1182的每一个中，各个对角宽度表示采集的图像数据中约相同的距离。
图11D为示出根据某些实施例的旋转的动态调制盘的屏幕截图1184。在该示例中，已经旋转动态调制盘以与视频帧的中央中的建筑物对齐，从而例如，使用者能够快速地比较建筑物的长度或宽度与每个对角间隙宽度表示的距离。
图12A为示出根据某些实施例的由数字引导指示器组件执行的处理方法的流程图。调用该组件以显示与显示的图像数据相关的数字引导指示器。在方框1210中，基于图像采集装置的当前配置，如胶片或数字传感器(电荷耦合装置)的当前焦距和大小，组件确定图像采集装置的水平视场(例如，左和右)和垂直视场(例如，上和下)，单位为度数或弧度。在方框1220中，例如，基于使用者输入的大小，组件确定操控的水平和垂直转换速率(例如，以度数每秒或弧度每秒沿水平和垂直方向改变的旋转速率)。使用者输入可对应于来自模拟操纵杆的输入，其基于操作者调节操纵杆的程度提供变化的转换速率。在方框1230中，组件确定显示的视频的、像素为单位的宽度和高度。在方框1240中，组件确定提前值(一段时间)，其可由使用者规定或设定为默认值(例如，0.65秒、1.0秒、3.2秒)。在方框1250中，基于确定的视场、转换速率、屏幕宽度、屏幕高度和提前值，组件计算位置的坐标(X,Y)。在一些实施例中，根据下列公式确定该位置：
X = h S l e w * w V i d e o * a d v a n c e h F o v 以及
Y = v S l e w * h V i d e o * a d v a n c e v F o V
其中hSlew对应于确定的水平转换速率，wVideo对应于确定的显示的视频宽度，hFov对应于确定的水平视场，vSlew对应于确定的垂直转换速率，hVideo对应于确定的显示的视频高度，vFov对应于确定的垂直视场，以及advance对应于确定的提前值。坐标规定相对于基准参考点的位置，或原点(如视频帧的中心或当处于追踪模式时感兴趣的区域的中心)的位置。在方框1260中，组件在计算的坐标(X,Y)处显示数字引导指示器(例如，点、“x”或其它符号)。如上讨论，“数字引导指示器”显示的位置对应于在规定的一段时间(例如，0.5秒、1.0秒、10毫秒)中预测图像采集装置指向的(或“以其为中心的”)位置。因此，通过设置数字引导指示器在采集的图像数据内的具体位置或目标上，使用者能够控制或操控图像采集装置同时降低操作者引起的振荡。在决策方框1270中，如果操作者不再操控图像采集装置移动，那么组件的处理完成，否则组件循环回至方框1210以确定水平视场和垂直视场。
图12B为示出根据某些实施例的与数字引导指示器组合的采集的视频帧的屏幕截图1280。在该示例中，沿道路行驶的交通工具的图像数据利用调制盘1281和数字引导指示器1282显示。在该示例中，基于来自使用者的输入，如操纵控制器(例如，操纵杆或其它输入装置)，数字引导指示器1282偏离调制盘1284。调制盘1281表示采集图像的图像采集装置当前正指向的点，而数字引导指示器1282表示摄像机在之前规定的提前时间段(例如，0.1秒、5秒、50毫秒)中将指向的点。可根据图12A所示的处理方法计算数字引导指示器的位置。
图12C为示出根据某些实施例的与数字引导指示器组合的采集的视频帧的屏幕截图1283。在该示例中，沿道路行驶的交通工具的图像数据利用调制盘1284和数字引导指示器1285显示。在该示例中，基于来自使用者的输入，数字引导指示器1285偏离调制盘1284。调制盘1281表示采集图像的图像采集装置当前正指向的点，而数字引导指示器1282表示摄像机在之前规定的提前时间段(例如，0.1秒、5秒、50毫秒)中将指向的点。可根据图12A所示的处理方法计算数字引导指示器的位置。屏幕截图1283还包括指示交通工具在航向为12.4535度以37.34英里每小时(mph)行驶的航向和速度指示器1286。通过追踪帧之间的交通工具的位置的变化能够确定交通工具的航向和速度。
从前述内容，应该理解，出于说明的目的，在此已描述了本技术的具体实施例，而在不背离公开的技术的情况下，做出各种修改。例如，设备能够包括额外的组件或特征和/或在此描述的组件或特征的不同组合。例如，数字引导指示器可与各种叠加和叠加信息、混合数据、可检测性信息和/或其它合适的可显示的信息的显示同时显示。类似地，叠加和叠加信息可与动态调制盘、加强的缩放数据、显示的区域和/或其它合适的可显示的信息同时显示。而且，在不改变公开技术的功能的情况下，可以重新安排附图内的各个方框。另外，虽然已在那些实施例的背景下描述了与新技术的某些实施例有关的优势，但其它实施例还可存在此类优势，并且并不需要所有的实施例必须存在此类优势以落在本技术的范围内。因此，本公开和相关的技术能够涵盖在此未明确示出或描述的其它实施例。

Claims (20)

1.一种用于向无人机交通工具系统携带的图像采集装置采集的图像数据提供增强的环境感知的方法，所述方法包括：
对于多个感兴趣的物体的至少一个，储存所述至少一个感兴趣的物体的位置数据；
对于多个地理区域的至少一个，储存所述至少一个地理区域的地形数据；
接收由所述无人机交通工具携带的所述图像采集装置采集的图像数据，其中所接收的图像数据的多个帧的至少一个具有相关的元数据，所述元数据包括时间戳、所述无人机交通工具的方向、所述图像采集装置相对于所述无人机交通工具的方向、所述图像采集装置的配置信息、所述无人机交通工具的位置和所述无人机交通工具的速度；以及
对于所述接收的图像数据的多个帧的至少一个，
基于与所述帧相关的元数据，确定变换矩阵，以及
对于至少一个叠加的每一个，
将所述确定的变换矩阵数据应用到所述叠加以变换所述叠加，以及
提供与所述帧的显示相关联的所述变换的叠加的显示。
2.根据权利要求1所述的方法，其中所述地形数据包括线帧数据、地图数据或地形等高线数据的至少一个。
3.根据权利要求1所述的方法，其进一步包括：
对于多个地理区域的至少一个，储存所述至少一个地理区域的测深数据。
4.根据权利要求1所述的方法，其进一步包括：
响应于接收到改变所述图像采集装置的所述方向的请求，
确定所述图像采集装置的水平视场，
确定所述图像采集装置的垂直视场，
确定改变所述图像采集装置的所述方向的水平转换速率，
确定改变所述图像采集装置的所述方向的垂直转换速率，
确定显示图像的宽度，
确定显示图像的高度，
确定提前时间段，
基于所确定的水平视场、所确定的垂直视场、所确定的水平转换速率、所确定的垂直转换速率、所确定的宽度、所确定的高度以及所确定的提前时间段，计算坐标，以及
在所计算的坐标处提供数字引导指示器的指示的显示。
5.根据权利要求1所述的方法，其进一步包括：
响应于接收到的执行缩放操作的请求，
数字地缩放所述图像采集装置采集的视频帧，
提供所述数字缩放的视频帧的至少一部分代替显示的视频帧的显示，
确定所述图像采集装置是否已完成所述请求的缩放操作，以及
响应于确定所述图像采集装置已完成所述请求的缩放操作，用所述图像采集装置采集的视频帧代替数字缩放的视频帧。
6.根据权利要求1所述的方法，其中所述至少一个叠加包括感兴趣的物体叠加、地图标注叠加、航向和地面速度叠加、飞行路线叠加和航点与航线叠加。
7.根据权利要求1所述的方法，其中所述至少一个叠加包括发动机熄灭边界叠加、地形等高线叠加、地图叠加、建筑物叠加和城市街区叠加。
8.根据权利要求1所述的方法，其中所述至少一个叠加包括3D领空叠加、可检测性叠加、自动识别系统叠加即AIS叠加和进场信息叠加。
9.一种储存指令的计算机可读储存介质，当由具有处理器的计算系统执行时，所述指令使得所述计算系统执行包括如下的操作：
储存地理区的地形信息；
识别第一图像采集装置采集的第一图像流并且所述第一图像流包括内第一区域的图像；
识别第二图像采集装置而非所述第一图像采集装置采集的第二图像流而非所述第一图像流并且所述第二图像流包括所述地理区内第二区域而非所述地理区内所述第一区域的图像；
再现混合环境，所述混合环境包括所述地理区的所述储存的地形信息的至少一部分、来自所述第一图像流的至少一张图像和来自所述第二图像流的至少一张图像，其中所述再现包括：
确定虚拟摄像机相对于所述混合环境的位置，
确定所述第一图像采集装置相对于所述地理区的位置，
基于所确定的所述虚拟摄像机相对于所述混合环境的位置和所确定的所述第一图像采集装置相对于所述地理区的位置，生成第一变换矩阵，
将所生成的第一变换矩阵应用到所述第一流的图像以生成第一变换帧，
确定所述第二图像采集装置相对于所述地理区的位置，
基于所确定的所述虚拟摄像机相对于所述混合环境的位置和所确定的所述第二图像采集装置相对于所述地理区的位置，生成第二变换矩阵，
将所生成的第二变换矩阵应用到所述第二图像流的图像以生成第二变换帧，
添加所述生成的第一变换帧的至少一个和所生成的第二变换帧的至少一个至所储存的所述地理区的地形信息的再现。
10.根据权利要求9所述的计算机可读储存介质，其中所述第一图像采集装置由飞行器交通工具系统携带以及其中所述再现的混合环境包括所述飞行器交通工具系统在近似于所述飞行器交通工具系统相对于所述地理区的所述实际位置的位置处的图形表示。
11.根据权利要求9所述的计算机可读储存介质，所述操作进一步包括：
对于多个叠加的每一个，
对于所述叠加的多个物体的每一个，
变换所述物体的位置为屏幕坐标，以及
在所述屏幕坐标处提供所述物体的指示的显示。
12.根据权利要求11所述的计算机可读储存介质，所述操作进一步包括：
对于至少一个叠加，
对于所述叠加的至少一个物体，
从使用者接收所述物体的标签，
储存所接收的标签，以及
提供所述接收的标签的指示的显示。
13.一种包括处理器的计算系统，所述计算系统包括：
经配置显示图像采集装置采集的视频帧的至少一部分的组件；
经配置接收执行所述图像采集装置的光学缩放操作的请求的组件；
经配置开始所请求的所述图像采集装置的光学缩放操作的组件；
经配置以当所述图像采集装置执行所述缩放操作时执行下列操作：
数字缩放所述图像采集装置采集的视频帧，
提供所述数字缩放的视频帧的至少一部分代替所述显示的视频帧的显示，以及
确定所述图像采集装置是否已完成所述缩放操作；以及
经配置在所述图像采集装置已完成所述缩放操作之后，用所述图像采集装置采集的视频帧代替数字缩放的视频帧的组件。
14.根据权利要求13所述的计算系统，其进一步包括：
用叠加信息增强所述图像采集装置采集的图像数据的构件；以及
用关联的元数据同步所述图像采集装置采集的图像数据的构件。
15.根据权利要求14所述的计算系统，其中用于增强的所述构件包括用于将至少一个叠加物体的位置转换为屏幕坐标的构件。
16.根据权利要求13所述的计算系统，其进一步包括：
用于再现数字引导指示器的构件。
17.根据权利要求13所述的计算系统，其进一步包括：
用于再现动态调制盘的构件。
18.一种储存指令的计算机可读储存介质，如果由具有处理器的计算系统执行，则所述指令使得所述计算系统执行包括如下的操作：
提供图像采集装置采集的图像的显示；以及
响应于接收到改变所述图像采集装置的所述方向的请求，
确定所述图像采集装置的水平视场，
确定所述图像采集装置的垂直视场，
确定改变所述图像采集装置的所述方向的水平转换速率，
确定改变所述图像采集装置的所述方向的垂直转换速率，
确定所显示图像的宽度，
确定所述显示图像的高度，
确定提前时间段，
基于所确定的水平视场、所确定的垂直视场、所确定的水平转换速率、所确定的垂直转换速率、所确定的宽度、所确定的高度和所确定的提前时间段，计算坐标，以及
在所述计算的坐标处显示数字引导指示器的指示。
19.根据权利要求18所述的计算机可读储存介质，其中基于使用者输入的大小确定所述水平转换速率和垂直转换速率。
20.根据权利要求18所述的计算机可读储存介质，其中根据所述下列等式计算所述坐标(X,Y)：
X = h S l e w * w V i d e o * a d v a n c e h F o v , 以及
Y = v S l e w * h V i d e o * a d v a n c e v F o v ,
其中hSlew对应于所确定的水平转换速率，wVideo对应于所确定的宽度，hFov对应于所确定的水平视场，vSlew对应于所确定的垂直转换速率，hVideo对应于所确定的高度，vFov对应于所确定的垂直视场，以及advance对应于所确定的提前时间段。
CN201480006708.6A 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统 Pending CN105324633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010396052.0A CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/754,795 US9380275B2 (en) 2013-01-30 2013-01-30 Augmented video system providing enhanced situational awareness
US13/754,795 2013-01-30
PCT/US2014/013497 WO2014171987A2 (en) 2013-01-30 2014-01-29 Augmented video system providing enhanced situational awareness

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010396052.0A Division CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统

Publications (1)

Publication Number Publication Date
CN105324633A true CN105324633A (zh) 2016-02-10

Family

ID=51355603

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010396052.0A Active CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统
CN201480006708.6A Pending CN105324633A (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010396052.0A Active CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频系统

Country Status (6)

Country Link
US (3) US9380275B2 (zh)
EP (2) EP3866121A1 (zh)
CN (2) CN111540059B (zh)
AU (2) AU2014254425B2 (zh)
IL (1) IL239200B (zh)
WO (1) WO2014171987A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106094876A (zh) * 2016-07-04 2016-11-09 苏州光之翼智能科技有限公司 一种无人机目标锁定系统及其方法
CN107357936A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种自动融合多源图像以提供增强的情境感知系统及方法
CN108780329A (zh) * 2016-02-29 2018-11-09 微软技术许可有限责任公司 用于稳定运载工具所捕获视频的运载工具轨迹确定
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN112393714A (zh) * 2020-11-25 2021-02-23 国网安徽省电力有限公司电力科学研究院 一种基于无人机航拍与卫星遥感融合的影像校正方法
WO2021135854A1 (zh) * 2019-12-31 2021-07-08 于毅欣 一种使用无人机进行测距测量的方法和装置

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202010014310U1 (de) * 2010-10-14 2012-01-18 Liebherr-Werk Ehingen Gmbh Kran, insbesondere Raupen- oder Mobilkran
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US8854361B1 (en) * 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10126913B1 (en) * 2013-11-05 2018-11-13 Google Llc Interactive digital map including context-based photographic imagery
US9947229B2 (en) * 2013-12-19 2018-04-17 International Business Machines Corporation Managing flight paths of a soaring aircraft
US10077109B2 (en) * 2014-01-24 2018-09-18 Maxlinear, Inc. First-person viewer for unmanned vehicles
US10853410B2 (en) * 2014-03-04 2020-12-01 Orbit Logic, Inc. Method for providing imaging satellite information on a mobile device
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
WO2016007796A1 (en) 2014-07-10 2016-01-14 Breeze-Eastern Corporation Helicopter hoist systems, devices, and methodologies
US9697235B2 (en) * 2014-07-16 2017-07-04 Verizon Patent And Licensing Inc. On device image keyword identification and content overlay
US10419657B2 (en) 2014-10-26 2019-09-17 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
FR3029618B1 (fr) * 2014-12-05 2019-09-27 Thales Systeme de visualisation synthetique comprenant des moyens d'adaptation du paysage affiche
US9880551B2 (en) * 2015-03-06 2018-01-30 Robotic Research, Llc Point-and-click control of unmanned, autonomous vehicle using omni-directional visors
DE102015205077B4 (de) 2015-03-20 2017-02-09 Ford Global Technologies, Llc Abstandserkennungsvorrichtung für ein Fahrzeug
DE102015205076A1 (de) 2015-03-20 2016-09-22 Ford Global Technologies, Llc Abstandserkennungsvorrichtung für ein Fahrzeug
US10083532B2 (en) * 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
US10313638B1 (en) 2015-06-12 2019-06-04 Amazon Technologies, Inc. Image creation using geo-fence data
US10322801B1 (en) 2015-06-12 2019-06-18 Amazon Technologies, Inc. Unmanned aerial vehicle based surveillance as a service
US20170024916A1 (en) * 2015-07-21 2017-01-26 Microsoft Technology Licensing, Llc Media composition using aggregate overlay layers
US10147000B2 (en) 2015-09-15 2018-12-04 Sikorsky Aircraft Corporation Manned unmanned teaming (MUM-T) system to transform image data based on geographic orientation
CN105373132A (zh) * 2015-11-26 2016-03-02 北京浩恒征途航空科技有限公司 一种基于自动巡航无人机的低空遥感系统及遥感方法
US10803632B2 (en) * 2015-12-15 2020-10-13 Koninklijke Philips N.V. Image processing system for eliminating or reducing streak artifacts in rotational imaging
RU2650051C2 (ru) * 2016-01-19 2018-04-06 Валерий Аркадьевич Целищев Способ топографической съёмки
US10345786B2 (en) 2016-02-16 2019-07-09 International Business Machines Corporation Method and system for proactive heating-based crack prevention in 3D printing
US10242499B2 (en) * 2016-02-16 2019-03-26 International Business Machines Corporation Method and system for geographic map overlay onto a live feed
DE102016001827A1 (de) * 2016-02-17 2017-08-17 Audi Ag Verfahren zum Betreiben eines Fahrzeugs und System mit einem Fahrzeug und wenigstens einem unbemannten Luftfahrzeug
EP3430591A4 (en) * 2016-03-16 2019-11-27 ADCOR Magnet Systems, LLC SYSTEM FOR GEOREFERENCED, GEOORIENTED REAL-TIME VIDEO DATA STREAMS
US10418068B2 (en) * 2016-04-13 2019-09-17 David Dat Tran Visual data recording synchronization system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
US20170314925A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for providing terrain imagery during low visibility conditions
US10188580B2 (en) * 2016-05-09 2019-01-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environment information using an unmanned vehicle
WO2018002910A1 (en) 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
US10290110B2 (en) * 2016-07-05 2019-05-14 Intel Corporation Video overlay modification for enhanced readability
CN106153010A (zh) * 2016-07-25 2016-11-23 上海交通大学 基于led和逆反射的抗太阳光视觉检测系统及方法
CN106184790A (zh) * 2016-07-28 2016-12-07 杨珊珊 一种无人飞行器航拍数据处理装置和处理方法、航拍系统
JP6591676B2 (ja) * 2016-07-29 2019-10-16 株式会社ニコン・トリンブル モニタリング方法、モニタリングシステム及びプログラム
US10148884B2 (en) 2016-07-29 2018-12-04 Microsoft Technology Licensing, Llc Facilitating capturing a digital image
US10082802B2 (en) 2016-08-11 2018-09-25 International Business Machines Corporation Method and system for continued navigation of unmanned aerial vehicles beyond restricted airspace boundaries
US10115237B2 (en) * 2016-09-28 2018-10-30 Redzone Robotics, Inc. Virtual reality display of pipe inspection data
WO2018061176A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
US20180131864A1 (en) * 2016-11-04 2018-05-10 International Business Machines Corporation Image parameter-based spatial positioning
CN108253940B (zh) * 2016-12-29 2020-09-22 东莞前沿技术研究院 定位方法及装置
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN106949880B (zh) * 2017-03-10 2019-03-19 中国电建集团昆明勘测设计研究院有限公司 海拔起伏较大测区无人机影像局部重叠度过高处理的方法
US10390030B2 (en) * 2017-03-10 2019-08-20 Raytheon Company Symbology encoding in video data
WO2018179402A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10634921B2 (en) * 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
CN107421509B (zh) * 2017-07-10 2019-08-02 同济大学 一种网壳型结构连续倒塌的高速视频测量方法
US10587824B2 (en) * 2017-08-08 2020-03-10 Sensors Unlimited, Inc. Imaging systems with pulse detection for search and rescue
US10776880B2 (en) * 2017-08-11 2020-09-15 American International Group, Inc. Systems and methods for dynamic real-time analysis from multi-modal data fusion for contextual risk identification
EP3682304A4 (en) * 2017-09-12 2021-07-14 HRL Laboratories, LLC COARSE GRAIN, MULTI-LAYERED FLOW INFORMATION DYNAMICS FOR MULTI-SCALE MONITORING
US11288510B2 (en) * 2017-09-15 2022-03-29 Kimberly-Clark Worldwide, Inc. Washroom device augmented reality installation system
KR101854181B1 (ko) 2017-10-20 2018-05-04 이병섭 무인항공기를 이용한 타겟 탐색 시스템
JP6630976B2 (ja) * 2017-11-10 2020-01-15 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US11115604B2 (en) 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
US10540821B2 (en) * 2018-03-09 2020-01-21 Staples, Inc. Dynamic item placement using 3-dimensional optimization of space
EP3547059B1 (de) * 2018-03-29 2023-11-22 Alberto De la Rúa Lope Verfahren zur steuerung unbemannter fahrzeuge
US10891770B2 (en) * 2018-04-25 2021-01-12 Flir Unmanned Aerial Systems Ulc Systems and methods for augmented reality video feed on an unmanned vehicle
US11272081B2 (en) * 2018-05-03 2022-03-08 Disney Enterprises, Inc. Systems and methods for real-time compositing of video content
US10955253B2 (en) * 2018-05-16 2021-03-23 Alex MATHEW System and method for aggregating and displaying tactical, intelligence, and military garrison information
US11222470B1 (en) 2018-08-21 2022-01-11 Palantir Technologies Inc. Systems and methods for generating augmented reality content
US10611475B1 (en) 2018-09-12 2020-04-07 Amazon Technologies, Inc. Updating virtual aerial map using sensors associated with aerial vehicles
US11538205B2 (en) * 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
WO2020067066A1 (en) * 2018-09-24 2020-04-02 Panasonic Intellectual Property Management Co., Ltd. System and method for providing supportive actions for road sharing
GB2579080A (en) * 2018-11-19 2020-06-10 Cosworth Group Holdings Ltd Improvements in or relating to perception modules
KR20210076615A (ko) * 2019-12-16 2021-06-24 삼성에스디에스 주식회사 영상 정보 제공 방법 및 장치
US11170568B2 (en) * 2020-01-23 2021-11-09 Rockwell Collins, Inc. Photo-realistic image generation using geo-specific data
JP6913814B1 (ja) * 2020-12-23 2021-08-04 Kddi株式会社 情報表示装置、情報表示方法及びプログラム
US20220327939A1 (en) * 2021-04-08 2022-10-13 Honeywell International Inc. Systems and methods for providing contextual three dimensional imagery to aircraft operators
EP4071442B1 (en) * 2021-04-08 2023-08-16 Honeywell International Inc. Systems and methods for providing contextual three-dimensional imagery to aircraft operators
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
US20220390964A1 (en) * 2021-06-04 2022-12-08 Thomas Andrew Youmans Cloud & hybrid-cloud flight vehicle & robotic control system ai & ml enabled cloud-based software & data system method for the optimization and distribution of flight control & robotic system solutions and capabilities
CN113446999A (zh) * 2021-06-30 2021-09-28 同济大学 一种高速视频测量系统的组网搭建方法
US20230035553A1 (en) * 2021-07-28 2023-02-02 General Galactic Corporation Customized video presentations methods and systems
US20230081861A1 (en) * 2021-09-10 2023-03-16 Bindu Rama Rao Mapping system displaying maps with video data layers and multiview video displays
CN113891040A (zh) * 2021-09-24 2022-01-04 深圳Tcl新技术有限公司 视频处理方法、装置、计算机设备和存储介质
US11663828B1 (en) 2021-12-22 2023-05-30 Colin Shaw System for visual cognition processing for sighting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978394A (zh) * 2008-03-19 2011-02-16 微软公司 在地图上可视化照相机馈入
US20120307042A1 (en) * 2011-06-02 2012-12-06 Hon Hai Precision Industry Co., Ltd. System and method for controlling unmanned aerial vehicle

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267329A (en) 1990-08-10 1993-11-30 Kaman Aerospace Corporation Process for automatically detecting and locating a target from a plurality of two dimensional images
US5684532A (en) 1995-10-06 1997-11-04 Sensormatic Electronics Corporation Video camera with improved zoom capability
US6079665A (en) 1996-11-04 2000-06-27 Trw Inc. Hyperspectral air-to-air missile seeker
US6408429B1 (en) 1997-01-17 2002-06-18 Cognex Corporation Machine vision system for identifying and assessing features of an article
US6061068A (en) 1998-06-30 2000-05-09 Raytheon Company Method and apparatus for providing synthetic vision using reality updated virtual image
US6782132B1 (en) 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
AU772362B2 (en) 1999-11-09 2004-04-22 University Of Manchester, The Object class identification, verification or object image synthesis
EP1168830A1 (en) 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Computer aided image capturing system
WO2003019523A1 (en) 2001-08-23 2003-03-06 Fei Company Graphical automated machine control and metrology
JP3975736B2 (ja) 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
GB2400253B (en) 2003-03-29 2005-11-16 Hewlett Packard Development Co Combined optical and digital zoom
IL157098A (en) 2003-07-24 2009-07-20 Rafael Advanced Defense Sys Spectral tracking of a target
WO2005069222A1 (ja) * 2004-01-15 2005-07-28 Asahi Kasei Kabushiki Kaisha 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
IL161082A (en) 2004-03-25 2008-08-07 Rafael Advanced Defense Sys System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor
US7555143B2 (en) * 2005-02-09 2009-06-30 Lawrence Livermore National Security, Llc Real-time geo-registration of imagery using COTS graphics processors
US20060210169A1 (en) * 2005-03-03 2006-09-21 General Dynamics Advanced Information Systems, Inc. Apparatus and method for simulated sensor imagery using fast geometric transformations
US7720257B2 (en) 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
US7620204B2 (en) 2006-02-09 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using covariance matrices
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
JP4711885B2 (ja) * 2006-05-25 2011-06-29 三菱電機株式会社 遠隔操作装置及び方法
US8165397B2 (en) 2006-12-04 2012-04-24 Lockheed Martin Company Identifying descriptor for person or object in an image
US7747364B2 (en) 2006-12-06 2010-06-29 Honeywell International Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
US7809164B2 (en) * 2007-01-10 2010-10-05 Mavs Lab. Inc. Methods and systems for identifying events for a vehicle
US7970532B2 (en) 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
TWI348659B (en) 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
US8139863B1 (en) 2008-04-25 2012-03-20 Hsu Shin-Yi System for capturing, characterizing and visualizing lidar and generic image data
JP4422777B2 (ja) * 2008-08-05 2010-02-24 オリンパス株式会社 移動体姿勢検出装置
IL193906A (en) 2008-09-04 2012-06-28 Pro Track Ltd Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8810650B1 (en) 2009-04-20 2014-08-19 The United States Of America, As Represented By The Secretary Of The Navy Agile interrogation hyperspectral imager and method of using same
US8203114B2 (en) 2009-05-14 2012-06-19 Raytheon Company Adaptive spatial-spectral processing (ASSP)
US8331611B2 (en) * 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
US9286720B2 (en) 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8620093B2 (en) 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection
US8264400B2 (en) 2010-06-03 2012-09-11 Raytheon Company Signature matching method and apparatus
WO2012018497A2 (en) * 2010-07-25 2012-02-09 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
US8532399B2 (en) 2010-08-20 2013-09-10 Xerox Corporation Large scale image classification
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
US8639053B2 (en) * 2011-01-18 2014-01-28 Dimension, Inc. Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality
CN102201115B (zh) * 2011-04-07 2013-12-11 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
US20140376821A1 (en) * 2011-11-07 2014-12-25 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US9152303B2 (en) * 2012-03-01 2015-10-06 Harris Corporation Systems and methods for efficient video analysis
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101978394A (zh) * 2008-03-19 2011-02-16 微软公司 在地图上可视化照相机馈入
US20120307042A1 (en) * 2011-06-02 2012-12-06 Hon Hai Precision Industry Co., Ltd. System and method for controlling unmanned aerial vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GLORIA L CALHOUN: "Synthetic vision system for improing unmanned aerial vehicle operator situation awareness", 《ENHANCED AND SYNTHETIC VISION》 *
HUIYAO WU: "Vison-based Auxiliary Navigation Method using", 《2012 10TH IEEE INTERNATIONAL CONFERENCE ON》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780329A (zh) * 2016-02-29 2018-11-09 微软技术许可有限责任公司 用于稳定运载工具所捕获视频的运载工具轨迹确定
CN108780329B (zh) * 2016-02-29 2021-12-31 微软技术许可有限责任公司 用于稳定运载工具所捕获视频的运载工具轨迹确定
CN106094876A (zh) * 2016-07-04 2016-11-09 苏州光之翼智能科技有限公司 一种无人机目标锁定系统及其方法
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN107357936A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种自动融合多源图像以提供增强的情境感知系统及方法
WO2021135854A1 (zh) * 2019-12-31 2021-07-08 于毅欣 一种使用无人机进行测距测量的方法和装置
CN112393714A (zh) * 2020-11-25 2021-02-23 国网安徽省电力有限公司电力科学研究院 一种基于无人机航拍与卫星遥感融合的影像校正方法
CN112393714B (zh) * 2020-11-25 2022-09-27 国网安徽省电力有限公司电力科学研究院 一种基于无人机航拍与卫星遥感融合的影像校正方法

Also Published As

Publication number Publication date
US20190349553A1 (en) 2019-11-14
US10798343B2 (en) 2020-10-06
US20140267723A1 (en) 2014-09-18
US10334210B2 (en) 2019-06-25
WO2014171987A2 (en) 2014-10-23
AU2014254425B2 (en) 2018-12-13
AU2014254425A1 (en) 2015-06-11
AU2018274971B2 (en) 2020-02-20
CN111540059B (zh) 2023-12-01
US20160344980A1 (en) 2016-11-24
EP2951789A2 (en) 2015-12-09
US9380275B2 (en) 2016-06-28
AU2018274971A1 (en) 2019-01-03
EP2951789B1 (en) 2021-05-26
IL239200A0 (en) 2015-07-30
WO2014171987A3 (en) 2015-09-24
EP3866121A1 (en) 2021-08-18
IL239200B (en) 2019-05-30
CN111540059A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN105324633A (zh) 提供加强环境感知的增强视频系统
US11365976B2 (en) Semantic label based filtering of objects in an image generated from high definition map data
US10837773B2 (en) Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
US11727272B2 (en) LIDAR-based detection of traffic signs for navigation of autonomous vehicles
US10976421B2 (en) Interface for improved high definition map generation
US20210270628A1 (en) Interactive 3d point cloud matching
US20200035030A1 (en) Augmented/virtual mapping system
Walter et al. Virtual UAV ground control station
EP2093999A1 (en) Integration of video information
Yin et al. Research on military application of 3D real scene technology to road into Tibet
CN112381935B (zh) 一种合成视觉生成及多元融合装置
US11967035B1 (en) Visualizing area covered by drone camera
US20240142978A1 (en) Systems and Methods for Fusing Sensor Data from Drones in a Virtual Environment
Norheim Path planning for human planetary surface Exploration in rough terrain
Venæs et al. MCSINC. Summarising the main findings of work package 1: Demands and requirements for machine sensing infrastructure.
Boersma Robust localization and navigation for autonomous, military robots in GNSS-denied environments
CN112381935A (zh) 一种合成视觉生成及多元融合装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160210

RJ01 Rejection of invention patent application after publication