CN109642795A - 根据视频和地面内传感器数据生成实时传感器地图 - Google Patents

根据视频和地面内传感器数据生成实时传感器地图 Download PDF

Info

Publication number
CN109642795A
CN109642795A CN201780053875.XA CN201780053875A CN109642795A CN 109642795 A CN109642795 A CN 109642795A CN 201780053875 A CN201780053875 A CN 201780053875A CN 109642795 A CN109642795 A CN 109642795A
Authority
CN
China
Prior art keywords
data
region
sensor
orthography
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780053875.XA
Other languages
English (en)
Other versions
CN109642795B (zh
Inventor
R·钱德拉
A·卡珀尔
S·辛哈
D·瓦斯什特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202110623804.7A priority Critical patent/CN113137954B/zh
Publication of CN109642795A publication Critical patent/CN109642795A/zh
Application granted granted Critical
Publication of CN109642795B publication Critical patent/CN109642795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Environmental Sciences (AREA)
  • Soil Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)

Abstract

公开了一种用于生成区域的精度地图的装置。装置接收传感器数据以及视频数据，其中传感器数据包括传感器读数，每个传感器读数指示区域的多个第一部分之一中的参数的水平，视频数据表示区域的俯瞰图。可以从各自被部署在区域的第一部分之一中的传感器接收传感器数据。可以从飞行器接收视频数据。可以根据视频数据生成正射影像，并且正射影像和传感器数据用于生成预测模型。预测模型可以然后用于推断传感器数据以确定区域的多个第二部分中的每一个中的参数的水平。可以使用推断的传感器读数来生成区域的精度地图。

Description

根据视频和地面内传感器数据生成实时传感器地图
背景技术
用于区域映射和区域分析的当前技术应用使用区域的详细传感器地图生成并且显示数据。可以以示出例如由特定位置处的传感器所测量的参数的精度地图的形式生成数据。应用可以包括例如被使用在农业、林业、矿业、气候监测或者安全中的应用。所测量的参数可以包括土壤湿度、地面温度、土壤酸性水平、地面运动或者其他参数的参数。当前应用依赖于提供详细传感器地图的区域内的传感器的部署。传感器的部署必须通常地极其密集以便提供关于区域的准确数据。其他当前区域映射和分析应用可以依赖于从飞行器(AV)(诸如无人机，即无人驾驶飞行器(UAV))取得的视频的使用。然而，从AV取得的视频不能提供实际地面数据。例如，在农业应用中，从AV取得的视频不具有关于实际土壤健康(诸如湿度含量、温度或者酸性水平)的详细信息。在使用AV的这些应用中，传感器的密集部署将还被需要以提供关于区域的实际的准确的地面数据。此外，在15分钟飞行期间完成的典型的高清晰度AV视频可以通常在大小方面超过吉字节(GB)并且可能难以管理和/或传送。
发明内容
提供本发明内容以引入以在具体实施方式中下面进一步描述的简化形式的概念的选择。本发明内容不旨在专门标识要求保护的主题的关键特征或基本特征，其也不旨在辅助确定要求保护的主题的范围。
本公开的实施例包括用于有效地并且准确地生成区域的精度地图的装置和方法。方法和装置允许根据视频数据(例如，区域的航空飞行的视频)并且根据传感器数据创建精度地图。可以通过贯穿区域稀疏地部署的传感器来生成传感器数据。实施例包括用于根据视频数据来生成区域的有效和准确的正射影像(orthomosaics)的装置和方法。实施例还包括用于将正射影像与在稀疏部署的传感器处所测量的传感器数据组合以生成精度地图的装置和方法。
在实现中，装置可以被配置为接收传感器数据，其中传感器数据包括传感器读数，每个传感器读数指示区域的多个第一部分之一中的参数的水平。装置还可以被配置为接收表示区域的俯瞰图的视频数据。传感器数据可以例如从各自被部署在区域的第一部分之一中的传感器被接收。视频数据可以例如从飞行器(AV)(诸如执行区域的飞行的无人机，即，无人驾驶飞行器(UAV))被接收。装置可以根据视频数据生成正射影像并且然后使用正射影像和传感器数据来生成预测模型。预测模型可以然后用于推断传感器数据以确定区域的第二部分中的每一个中的参数的水平。区域的第二部分可以是区域中不包含传感器的部分。装置然后可以生成区域的地图。地图可以包括可显示以提供区域的俯瞰图的数据和指示区域的第一部分和第二部分中的每一个中的参数的水平的数据。在各个示例实现中，参数的水平可以包括热量、湿度或者酸性测量。关于区域的第一部分和第二部分中的每一个中的参数的水平的数据可以可显示以提供区域的热量、湿度或者酸性地图。在其中装置接收新传感器数据比装置接收新视频数据更频繁的实现中，装置可以基于新传感器数据和先前生成的正射影像和/或预测模型来更新地图。当新视频数据被接收时，装置可以更新先前生成的正射影像和预测模型。
在另一实现中，装置可以被配置为接收表示区域的俯瞰图的视频数据。视频数据可以例如从执行区域的飞行的AV接收。装置可以然后根据视频数据确定图像、对齐图像并且将对齐的图像拼接在一起。装置可以根据拼接的图像生成正射影像，其中正射影像包括可显示以提供区域的地理参考图像的数据。装置可以对齐图像以通过从视频数据采样帧、生成对应于各帧的3D位置数据和3D定向数据以及生成对应于区域的场景的3D点数据来生成正射影像。装置可以拼接图像以通过将各帧扭曲到地平面以创建扭曲图像来生成正射影像、确定其中扭曲图像重叠的区域中的最佳接缝、以及使用最佳接缝调整各帧的颜色。
在另一实现中，装置可以被配置为接收传感器数据，其中传感器数据包括传感器读数，每个传感器读数指示区域的第一部分的部分中的参数的水平。装置可以使用传感器数据和区域的正射影像生成预测模型，从而生成预测模型。预测模型可以然后被用于推断传感器数据以确定区域的第二部分中的每个部分中的参数的水平。装置可以然后使用推断的传感器数据生成区域的地图，其中地图包括可显示以指示区域的第一部分和第二部分中的每一个中的参数的水平的数据。可以通过确定第一部分与第二部分的视觉相似性并且确定第一部分与第二部分的空间相似性来生成预测模型。可以然后根据区域的第一部分与第二部分的视觉相似性和空间相似性，来生成第二部分中的每一个中的参数的水平的预测模型。
附图说明
图1A是区域中所实现的示例系统的示图；
图1B是图示示例网关的部分的简化图；
图2A是图示图1B的网关中执行的操作的流程图；
图2B是图示图1B的网关中执行的进一步的操作的流程图；
图3A是图示用于生成正射影像的示例操作的流程图；
图3B是图示用于生成正射影像的进一步的示例操作的流程图；
图4A是图示用于生成预测模型的示例操作的流程图；
图4B是图示用于生成预测模型的进一步的示例操作的流程图；以及
图5是图示示例网关的简化框图。
具体实施方式
现在将通过使用示例实施例描述系统和方法。示例实施例出于说明的目的被呈现在本公开中，并且不旨在是对本公开或者在此呈现的权利要求的范围的限制或者限定。
当前区域映射和分析应用要求用于生成并且显示数据的区域的详细传感器地图的使用。通常以示出例如由特定位置处的传感器所测量的参数的精度地图的形式生成数据。这些应用可以包括例如被使用在农业、林业、矿业、气候监测或者安全中的应用。所测量的参数可以包括诸如土壤湿度、地面温度、土壤酸性、地面运动的参数或者任何其他适当的参数。当前应用依赖于提供详细传感器地图的区域内的传感器的部署。传感器的部署必须通常地极其密集以便提供关于区域的准确数据。传感器的该密集部署要求昂贵的大量的传感器。例如，用于农业应用的精确的传感器是昂贵的。甚至一个传感器每英亩的部署对于大多数农民迅速地变得成本高昂。
其他当前区域映射和分析应用可以依赖于从飞行器(AV)(诸如执行区域的飞行的无人机，即，无人驾驶飞行器(UAV)或者直升机)取得的视频的使用以提供用于详细地图的视频数据。然而，从AV取得的视频不能提供实际地面数据。例如，在农业应用中，从AV取得的视频不具有关于实际土壤健康(诸如湿度含量、温度或者酸性)的详细信息。在使用AV的这些应用中，传感器的密集部署将被需要提供关于区域的实际的准确的地面数据。
本公开的实施例通过允许比创建传感器地图的当前使用的方法要求较少传感器并且引起较少费用的传感器的稀疏部署的使用来提供技术优点。实施例的实现包括将从AV采集的视频数据压缩为区域的航空正射影像图的系统、装置和方法。可以然后组合由稀疏地被部署在区域中的传感器所测量的传感器值处理正射影像以生成针对整个区域的精度地图，包括其中没有传感器部署的区域。例如，直接测量区域中的位置处的土壤温度的传感器可以通知机器学习管线以通过考虑其他位置与部署的传感器的空间接近度关于区域中的其他位置做出预测或者推断。与传感器被部署在其内的区域相比较的其他位置的区域的视觉相似性还可以通知机器学习管线关于其他位置做出预测。
实施例还通过将视频数据转换并压缩为导致具有少数视觉伪影的鲁棒的正射影像的正射影像而提供优点。鲁棒的正射影像然后允许传感器数据的资源有效推断和精度地图的生成。在实施例的实现中，航空3D映射技术的所选择的元件与图像拼接技术的所选择的元件组合。使用所选择的元件的组合的新技术还比单独使用或者航空3D映射或者航空图像拼接的当前使用的技术更鲁棒的。另外，实现比当前使用的航空3D映射技术更快。这是因为实现避免被使用在当前3D映射技术中的数个计算上昂贵的处理步骤。例如，本公开的实施例不要求根据航空视频构建地形的密集数据表面模型(DSM)。这避免了对于被用于以当前3D映射技术创建准确DSM的高分辨率深度图的需要。DSM的创建是计算和存储器密集的，并且可能不适于资源约束系统。
根据实施例的将视频数据压缩为正射影像还提供优点，因为正射影像可以包括比原始视频数据少得多的数据。例如，正射影像可以是小于全分辨率的视频的数量级。这当视频数据在弱连接的因特网设置中被处理时(即，当因特网的连接仅可用于通过间歇或者通过慢/低带宽连接上的设备时)提供优点。例如，通过因特网连接发送大型数据文件(诸如视频)花费时间，并且还可能比发送常规大小的数据文件花费更多时间。这些问题可能对于使用高容量数据采集设备(诸如采集视频数据的AV)的物联网(IoT)应用是特别地尖锐的。在15分钟飞行期间完成的典型的高清晰度AV视频可以通常在大小方面超过吉字节(GB)。用于在云网络中处理的弱因特网连接发送该整个大小的视频可能花费长时间。在弱连接的设置中，由于缓慢连接速度或者因为连接仅间歇地可用，因而用户可能发现发送这样的大型视频文件花费的时间不可接受。就服务延迟和服务质量而言，利用视频的服务可能然后被降级。当大型视频文件被发送时，依赖于相同的弱因特网连接的其他服务也可以降级。在实施例中，仅正射影像和传感器数据需要被发送到云网络，而不是全部视频。云网络可以然后基于正射影像和传感器数据来重建精度地图使用。
实施例可以被用于构建采集并且呈现区域上的各种环境参数的时间变化的动态的精度地图。可以通过根据从AV取得的飞行视频生成正射影像并且然后组合传感器数据处理正射影像以生成精度地图，来构建精度地图。可以以第一时间间隔生成飞行视频。可以在以第一时间间隔更短的第二时间间隔来接收传感器数据，因此传感器数据比视频数据更高的频率被接收。每次新视频数据被接收，可以更新被用于生成精度地图的正射影像。每次传感器数据被接收，精度地图可以基于当前正射影像而被更新。这在传感器数据比视频数据改变更迅速时提供优点。视频数据可以是几天或者几星期，但是精度地图可以始终跟上当前传感器数据。
实施例提供优点的示例场景可以包括远程区域中的农业设置。为了避免通过农业设置中的弱因特网连接将几吉字节的无人机视频和传感器数据运送到云，视频处理可以在低成本PC或者用作网关的类似装置/机器上本地执行。网关可以被定位在农民的家庭或者办公室处并且从稀疏地被部署在农民的区域中的地面传感器采集信息。农民还可以使用AV执行区域的飞行以创建被发送到网关的视频。网关可以将视频和传感器数据压缩为农场的概述精度地图。这样做，网关首先将无人机视频转换为农场的详细正射影像并且使用本公开的实施例推断传感器读数以生成农场的精度地图。在一个实现中，网关可以向云发送正射影像和传感器数据。这以数量级降低运送到云的数据的大小。在另一实现中，网关可以仅向云发送精度地图。这以另一数量级进一步降低运送到云的数据的大小。以这种方式，网关可以使能云服务中的长期以及跨农场分析，同时仍然继续通过网关中的基于网络的接口向农民本地提供近实时分析。
图1A是用于农业应用的区域中实现的示例系统的示图。在图1A中，系统100被示出为被实现在示例区域101中，其可以是用于生长农作物或者供养牲畜的农场的区域。系统100包括网关102。网关102可以被配置为通过链路110与云网络通信。链路110可以包括例如通过本地因特网/云接口(诸如Wi-Fi连接)实现的超文本传送协议(HTTP)或者高级消息队列协议(AMQP)连接。网关102可以通过使用电视空白空间(TVWS)光谱、Wi-Fi光谱或者任何其他适合的无线光谱实现的无线接口106b从设备(诸如一个或多个传感器107a(1)-107(n))接收数据。以较低频率的TVWS光谱的使用允许信号比光谱的2.4GHz或900MHz的信号传播更远。TVWS信号还可以通过远程环境的叶子和作物冠层传播。传感器107a(1)-107(n)可以包括使用现场IR传感器/照相机来测量土壤温度、不同的深度处的土壤湿度、土壤酸性(pH)和归一化植被指数(NDVI)的传感器。一个或多个传感器107a(1)-107(n)未被示出为实际大小，并且将通常相对于区域101的尺寸更小。取决于使用的特定传感器107a(1)-107(n)的配置，传感器107a(1)-107(n)使用诸如MQ遥测传输(MQTT)或者传输控制协议(TCP)将数据传递到网关102。图1A还示出了无人驾驶飞行器(UAV)107b。UAV 107b可以是包括视频照相机的任何类型的UAV。例如，UAV 107b可以是包括高分辨率视频照相机的四轴飞行器UAV。UAV 107B可以由自动飞行应用来控制。视频数据可以使用例如文件传送协议(FTP)通过链路106a由网关102从UAV 107b接收。在图1A的示例中，网关102和传感器107a(1)-107(n)和/或UAV 107b可以包括本地网络。在其他实现中，有人驾驶的飞行器可以代替UAV 107b使用。
区域101被示出为包括各种区分区域。区域104可以表示在颜色方面更暗并且比周围区域更多雨的区域。区域112可以表示具有特定植物/植被的区域。区域108可以表示具有其他植物/植被的另一区域。区域114可以表示没有植物或者植被的土区域。
在系统100的实现中，网关102可以包括被定位在弱连接设置中(即，其中在用于链路110的本地因特网/云接口上的连接仅间歇地可用和/或仅在不佳的质量或者低速度/低带宽连接的情况下可用的设置中)的网关。网关102可以通过用户接口和/或连接的设备为被定位在网关102的服务区域中的用户提供本地服务。服务可以包括不要求与云网络116通信的本地服务。服务还可以包括要求与云网络116通信的本地服务。来自网关102的数据的使用还可以使能向远程于网关102定位的用户提供云服务。从网关102被传递到云网络116的数据还可以与云网络116中的其他数据(诸如来自在农业地区中操作的网关的天气数据或者数据)组合以便基于更多全球范围提供增强的云服务。
系统100具有其中区域可以使用视频数据和/或传感器数据监测/分析的任何情况中的应用。例如，系统100可以具有用于使用在向其他操作(诸如矿业、测绘、地理搜索、海洋学、环境搜索、林业、安全或者任何类型的地区上的监督)提供服务中的应用。
图1B是图示示例网关的部分的简化图。图1B的网关102图示了图1A的网关102的示例实现。网关102可以包括传感器接口124、处理器126、服务功能128、网络服务器130、存储装置132和云同步134。处理器126包括精度地图功能126a和正射影像功能126b。传感器接口124包括用于通过MQTT链路106b从环境传感器107a(1)-107(n)接收传感器数据的MQTT代理124a。传感器接口124还包括用于通过FTP链路106b从UAV 107b上的一个或多个视频照相机接收视频数据的FTP服务器124b。正射影像功能126b根据视频数据生成正射影像。精度地图功能126a根据正射影像和传感器数据生成精度地图。
网关102还可以被连接到计算设备中实现的UAV飞行计划146。例如，UAV飞行计划146可以被实现为通过Wi-Fi或者其他类型的连接被连接到网关102的智能电话、平板计算机、膝上型计算机或者台式计算机中的应用。UAV飞行计划146可以通过UAV飞行计划146被实现在其中的设备中配置的无线电控制链路与UAV 107b通信并且控制UAV 107b。UAV飞行计划146还可以通过网关102(例如，通过FTP链路106b)与UAV 107b通信并且控制UAV 107b。在备选实现中，UAV飞行计划146可以被实现为网关102的一部分。网关102的网络服务器130还可以通过例如Wi-Fi链路148被连接到一个或多个设备144以允许网关102在不要求云连接的情况下(即，同时离线)向设备144提供本地网络服务。网关102还可以通过HTTP/AMQP链路110连接到云网络116。云网络116可以基于从网关102接收到和/或从其他网关接收到的数据来提供云服务。设备144还可以向用户提供对远程网络服务器138的访问以允许用户在因特网/云连接可用时访问由云网络116提供的服务。从设备144到网络服务器138的链路150可以通过相同的弱连接的本地Wi-Fi因特网/云接口实现，与HTTP/AMQP链路110一样。云网络116还可以包括到存储用于由云服务使用的数据的全局存储装置140的连接。
在示例实现中，网关102可以被实现在包括区域(诸如图1A的区域101)的农业设置中。在农业设置中，网关102可以被实现为将本地网络连接到因特网/云116的网关。本地网络可以包括网关102从其接收数据的传感器107a(1)-107(n)和UAV 107b。在一个示例实现中，本地网络可以向在其内包括网关102的本地网络被配置的农场的所有者提供农业服务。
不管领域中的便宜的因特网/云连接性的缺少并且不管来自本地网络中其他地方(例如，来自农民的房子或者办公室)的云网络116的缓慢并且不可靠的网络连接，本地网络可以被配置用于服务的有效提供。可以使用网关102与允许本地服务125与弱连接设置中的云服务120和122二者的有效提供的云网络116之间的任何分配和数据传送方案来提供服务。
在创建精度地图的过程期间生成的各种数据集(诸如正射影像和传感器数据)还可以被备份在存储装置132中以用于发送到云网络116以实现云网络116中执行的跨农场(即，在不同的农场之间)和长期分析。各种数据集可以被排队用于给定弱连接设置基于允许本地服务和云服务二者的有效提供的分配的优先级发送到一个或多个云网络。任务分配和各种数据集可以被配置为避免在弱连接设置上发送大型数据集。
图2A是图示示例网关中所执行的操作的流程图。可以参考图1A和图1B的网关102来解释图2。在202处，网关102的传感器接口124从传感器107a(1)-107(n)中的每一个接收传感器数据。传感器数据可以根据由传感器107a(1)-107(n)中的每一个所执行的传感器读数生成以测量传感器107a(1)-107(n)中的每个传感器被定位在其中的区域101的部分或块中的参数。例如，传感器107a(1)可以生成用于传感器107a(1)被定位在其中的区域101的部分的传感器读数，并且传感器107a(2)可以生成用于传感器107a(2)被定位在其中的区域101的类似大小部分的传感器读数。区域101可以分为多个类似大小部分，其中的一些包含部署的传感器和不包含任何传感器的其他部分。部分的大小可以例如取决于正被测量的特定类型的参数、被部署的实际传感器的数目和/或待生成的精度地图的颗粒度/准确度。
在204处，网关102的传感器接口124从UAV 107b接收视频数据。视频数据被提供到处理器126的正射影像功能126b以生成正射影像。可以包括数千吉字节的数据的视频数据由正射影像功能126b转换为包括区域101的俯瞰图RGB颜色图像的紧凑表示的正射影像。在一个示例实现中，可以使用组合来自3D映射和镶嵌二者的分量以构建正射影像的混合技术，根据UAV视频构建正射影像。例如，来自航空3D映射的技术可以被用于在不计算昂贵的高分辨率数字表面地图的情况下估计不同的视频帧的相对位置。这允许归因于区域101的非平面性质的不准确性被移除。一旦相对位置已经被计算，图像就可以使用镶嵌技术拼接在一起以生成正射影像。
在208处，处理器126的精度地图功能126a生成精度地图。正射影像被提供到精度地图功能126a。精度地图功能126a使用在202处接收到的传感器数据连同正射影像中的视觉特征以确定用于推断传感器读数创建精度地图或者更新现有精度地图的预测模型/功能。例如，从测量传感器107a(1)-107(n)的位置处的土壤温度的传感器107a(1)-107(n)接收到的传感器数据允许精度地图功能126a关于农场中的每个位置做出预测。这可以通过考虑传感器107a(1)-107(n)的空间接近度以及视觉相似性来完成。可以通过分析空间和视觉平滑度确定视觉相似性。具有类似空间和视觉平滑度的区域可以被认为是具有类似传感器读数。
精度地图功能126a使用预测模型和最新传感器数据生成区域101的一个或多个精度地图。精度地图功能126a可以使用预测模型推断接收到的传感器数据以确定不包含传感器107a(1)-107(n)之一的区域的多个部分中的每一个中的所测量的参数的预测水平并且生成精度地图。精度地图可以包括湿度地图、pH地图、温度地图或者其他参数的地图。精度地图可以包括可显示以指示区域101中包括传感器107a(1)-107(n)的部分中的每一个中的参数的水平并且还可以指示区域101中不包含传感器的部分中的每一个中的参数的水平的数据。
在210处，网关102的服务128可以利用精度地图。例如，地图可以被显示给网关102的用户以允许用户观察区域101中的湿度水平、pH水平、温度水平或者其他参数。服务128还可以包括在212处可以基于精度地图提供管理指令或者计划(诸如灌溉或者施肥程序)的应用。
图2B是图示图2A的过程的实现中执行的进一步的操作的流程图。过程在214处开始，其中传感器107a(1)-107(n)被部署为监测区域101的部分的环境。传感器107a(1)-107a(n)可以被用于在传感器107a(1)-107(n)中的每一个附近监测土壤温度、湿度、土壤pH等并且生成传感器数据。在216处，传感器107a(1)-107a(n)间隔地发起将传感器数据传输到网关102。传感器数据可以在预定时间处(例如，每隔10分钟或者酌情在任何其他周期性或者不规则的时间表处)发送到网关102以采集相关数据。
在218处，网关102开始以传感器数据被发送的间隔通过MQTT接口106a在传感器接口124处从传感器107a(1)-107(n)接收传感器数据。网关102可以继续贯穿图2B的过程以每个间隔接收传感器数据。传感器接口124可以向处理器126提供传感器数据以用于处理。处理器126还可以对存储装置132中的接收到的传感器数据进行排队以用于通过云同步134发送到云网络116。传感器数据可以被分配用于发送的时间敏感优先级。在弱连接设置中，当连接间歇或者具有低质量/低速度带宽时，这使得传感器数据被发送到具有优选的优先级的云网络116。在图2B的实现中，在218处，每次新传感器数据被接收，过程可以移动到220。
在220处，网关102确定是否是发送飞行中的UAV 107b以采集传感器107a(1)-107(n)被定位在其中的区域101上的视频数据的时间。在218处，UAV 107b的飞行可以定时以在传感器数据被接收的间隔更长的间隔发生。如果确定其不是用于UAV飞行的时间，则过程移动到228。然而，如果在220处确定其是用于UAV飞行的时间，则网关102向UAV飞行计划146发送通知并且UAV 107a飞过传感器107a(1)-107(n)被定位在其中以记录区域101的俯瞰图的视频的区域。在实现中，UAV飞行可以在预定基础上(例如，每隔24小时一次或两次或者一周几次)由网关102或者与本地网络中的网关102通信的另一设备发起。在另一实现中，UAV飞行可以通过UAV飞行计划146被安装在其中的设备(诸如例如当用户期望采集视频数据时计算机设备144)处的用户输入的接收来发起。UAV 107a的飞行可以由UAV飞行计划146的用户指导或者可以是自动控制飞行。在224处，UAV 107b向网关102发送飞行的视频数据。网关102在FTP服务器处通过FTP接口106b接收视频数据。视频数据然后从传感器接口124被输入到处理器126的正射影像转换器126b。
在226处，可以包括数千吉字节的数据的视频数据由正射影像功能126b转换为包括传感器107a被定位在其中的区域的俯瞰图RGB颜色图像的紧凑表示的正射影像。在一个示例实现中，正射影像可以使用混合技术从UAV视频生成，如针对图2A的操作206所描述的。处理器126还对存储装置132中的正射影像进行排队以用于当用于发送正射影像的云连接可用时通过云同步功能134发送到云网络116。在实现中，正射影像可以被分配非时间敏感优先级。非时间敏感优先级使得云同步功能134当云连接可用时在低优先级基础上发送正射影像。在弱连接设置中，当连接间歇或者具有低质量/低速度带宽时，这使得正射影像被发送到具有低优先级的云网络116。云网络116可以然后使用正射影像生成用于在线服务120和122的更新的精度地图。
在228处，网关102根据镶嵌和/或当前传感器数据生成精度地图。如果操作228从操作226进入，则在操作226处生成的镶嵌连同当前传感器数据一起使用。在这种情况下，正射影像和当前传感器数据被输入到网关102的处理器126中的精度地图功能126a。精度地图功能126a使用当前传感器数据连同当前正射影像中的视觉特征以确定用于推断传感器读数生成精度地图或者生成更新的精度地图的预测模型/功能。在一个示例实现中，可以生成精度地图，如针对图2A的操作208所描述的。如果操作228从操作220进入，当前传感器数据(接收到的最新传感器数据)被用于更新精度地图。在这种情况下，精度地图功能126a使用从用于推断传感器读数的先前的正射影像创建的现有预测模型/功能以更新精度地图。
在228处，处理器126还可以对与用于推断用于发送到云网络116的存储装置132中的传感器数据的功能相关联的任何更新的数据/信息进行排队。在实现中，与用于推断传感器读数传感器的功能相关联的数据/信息可以被分配用于向云网络116的时间敏感优先级。在弱连接设置中，当连接间歇或者具有低质量/低速度带宽时，这使得用于推断传感器读数的数据/信息被发送到具有优选的优先级的云网络116。云网络116可以然后使用与用于通过更新当前正被使用在用于提供服务的云网络116中的镶嵌和传感器数据推断用于时间临界分析的传感器读数的功能相关联的数据/信息。例如，如果传感器107a(1)-107(n)监测迅速地改变的条件(诸如湿度或者温度)，则与用于推断传感器读数的功能相关联的更新的数据/信息将允许云网络116使用与用于推断用于分析的传感器读数的功能相关联的当前数据/信息并且提供最新分析。基于数据要求较少带宽并且更容易在没有误差或者干扰与弱连接设置中的其他数据传输的情况下传送，与用于推断传感器读数的功能相关联的数据/信息可以被分配优选的优先级。
在图2B的过程中，在224处每次网关102接收到新视频数据，精度地图功能126a使用新视频数据对用于推断传感器读数的预测模型/功能做出调整。精度地图功能126a然后使用正射影像RGB颜色图像连同当前传感器数据一起生成/更新区域101的一个或多个精度地图。财务，在当没有新视频数据可用时间隔地接收到更新的传感器数据时，精度地图功能126a可以使用传感器数据和现有预测模型/功能更新精度地图。这将当过程通过绕过操作222到操作226从操作218移动到操作228时发生。即使视频数据不与传感器数据一样常常由网关102接收，这也允许精度地图跟上接收到的传感器数据。视频数据可以是几天或者几星期，但是精度地图可以始终跟上当前传感器数据。当传感器数据比视频数据改变更迅速时，这是有用的。
在230处，处理器126向服务128提供精度地图。精度地图可以然后由服务功能128访问并且利用以在网关102处提供服务。服务功能128可以包括服务(诸如服务-1 128a到服务-n 128n)，其中的每个服务可以是利用精度地图的服务。例如，精度地图可以被用于通过关于什么任务需要执行向用户生成信息并且在何处任务需要在农场上执行提供服务。在示例实现中，灌溉服务可以利用湿度地图提供关于水量的信息以用于农场的不同部分上的灌溉。在另一示例中，精度pH服务可以利用pH地图关于在农场的不同的部分上应用多少时间以减少那些区域中的土壤的酸性提供信息或者推荐。处理器126还可以将一个或多个精度地图存储在存储装置132中。
云同步部件134的使用确保相关数据被备份在中用于农业网络外部的数据访问(例如，当农民旅行时)，用于长期研究并且用于跨农场分析。由于从UAV接收到的视频数据在大小方面是大的，并且因特网/云连接是弱的，因而UAV视频数据不被发送到云。视频数据可以保持在本地存储装置132中预定义持续时间，在其之后视频数据可以被删除。在其他实现中，附加的优先级可以被用于对用于从网关102发送到云网络116的数据进行排队。例如，可以分配中间时间敏感的水平，其可能已经具有时间敏感与非时间敏感之间的优先级。
图3A是图示用于生成正射影像的示例操作的流程图。图3A的示例操作可以例如被使用在执行图2A的操作206中。在302处，网关102的传感器接口124从UAV 706b接收表示区域的俯瞰图的视频数据。视频被提供到处理器126的正射影像功能126b。在304处，正射影像功能126b根据视频数据确定多个图像并且将多个图像中的每个图像对齐。在306处，正射影像功能126b将多个对齐的图像拼接在一起。然后，在308处，正射影像功能126b根据拼接的多个图像生成正射影像。
图3B是图示可以被使用在用于生成正射影像的图3A的过程中的进一步的示例操作的流程图。在310处，网关102的传感器接口124从UAV 706b接收表示区域的俯瞰图的视频数据。视频被提供到处理器126的正射影像功能126b。在312处，正射影像功能126b对视频数据进行采样来确定关键帧。然后，在314处，正射影像功能126b在从输入视频采样的关键帧上执行从运动恢复结构转换(SfM)。这生成对应于关键帧的精确的6个自由度(6-dof)照相机姿态(即，3D位置和3D定向)估计以及场景的稀疏3D重建(3D点云)。然后，在316处，正射影像功能126b使用总最小二乘方回归将地平面适配到314中生成的3D点。在图3B的实现中，单个全局平面被适配到所有3D点。在其他实现中，平面拟合步骤可以以自适应方式使用多个平面处理不平坦的地形。
然后，在318处，正射影像功能126b使用对应的照相机姿态估计将关键帧扭曲到地平面。所有扭曲的图像然后将在地平面上几何地对齐。然后，在320处，正射影像功能126b确定其中多个扭曲图像重叠的区域中的最佳接缝(即，简单多角曲线)。最佳接缝可以被确定为通过具有低对比度的图像区域的一个，使得底层的图像未对齐更难以在最后结果中注意。最佳接缝可以通过2D像素网格上的离散优化确定，其大小通过正射影像的目标分辨率决定。然后，在322处，使用确定的最佳接缝，正射影像功能126b使用图像编辑调整个体关键帧的颜色。在324处，正射影像功能126b然后生成正射影像。
图4A是图示用于生成预测模型的示例操作的流程图。图4A的示例操作可以例如被使用在执行图2A的操作208中。在402处，精度地图功能126a从传感器接口124接收传感器数据。在404处，精度地图功能126a还从正射影像功能126b接收正射影像。
在406处，精度地图功能126a利用正射影像对用于区域101的部分的视觉相似性进行建模。这包括确定区域101中包括传感器107a(1)-传感器107(n)的部分与区域101中不包含传感器的部分之间的视觉相似性。由于看起来类似的部分/区域通常具有类似传感器值，因而可以利用视觉相似性。例如，最近灌溉的区域/部分将看起来更暗并且具有高湿度含量的土壤。
然后，在408处，精度地图功能126a对用于区域101的部分的空间相似性进行建模。这包括确定用于区域101中包括传感器107a(1)-传感器107a(n)的部分与区域101中不包含传感器的部分的空间相似性或者接近性。由于传感器测量土壤和环境的物理性质的参数水平，因而可以利用空间相似性。这些参数水平对于靠近或接近于彼此的区域101的区域/部分应当是类似的。
然后，在410处，精度地图功能126a创建预测模型。预测模型基于视觉相似性和空间相似性并且使用训练数据创建的概率函数而创建。预测模型可以然后被用于预测区域101的任何部分中的参数水平，包括不包含传感器107a(1)-107(n)中的任一个的那些部分。
图4B是图示可以被使用在用于生成预测模型的图4A的过程中的进一步的示例操作的流程图。在412处，精度地图功能126a将区域101划分为多个部分。在414处，精度地图功能126a确定每个部分中的每个颜色分量的均值和方差。精度地图功能126a然后创建一组N个分立部分，其中部分i的视觉特征由n维向量xi表示。进一步地，对应于部分i的传感器值被定义为yi，其中yi可以或者直接地通过传感器测量观察或者需要通过精度地图发生器126a推断。然后，精度地图发生器126a使用w(n×1向量)执行视觉特征的线性变换以生成输出。
在416处，精度地图发生器126a通过将用于视觉平滑度的对应的势函数定义为以下内容来包含上文所描述的视觉平滑度：
然后，在418处，精度地图发生器126a创建值D以表示N×N矩阵，使得：
其中pi是用于位置i的二维位置坐标。
然后，在418处，为了包含空间平滑度约束，精度地图发生器126a创建用于联合概率函数的另一项：
在420处，精度地图发生器126a然后将定义系统的预测模型的联合概率确定为：
其中P(W)是作为正则化项被添加到该概率函数的W上的均匀先验。
然后，在422处，可以训练模型。用于该模型的训练和推理可以遵循标准高斯过程。在训练阶段中，w的值从训练数据学习并且可以然后被用于预测任何数据点上的传感器输出yi。选择超参数σ和χ的值，使得其使观察的数据的可能性最大化。在424处，预测模型可以然后被提供用于数据预测。一旦已知或者推断所有数据点处的传感器值，就可以根据数据点生成精度地图。
图5是图示示例网关500的简化框图。网关500的功能可以被实现在装置(诸如图1B的网关102)中。网关500可以包括处理单元506、存储器/存储装置510、TVWS收发器(TVWSTRXS)504、Wi-Fi收发器(Wi-Fi TRXS)502和用户接口(UIS)508。Wi-Fi TRXS 502可以分别地通过图1B的接口110和148支持通信(诸如与云网络116和计算设备144的通信)。TVWSTRXS 504可以分别地通过接口106a和106b支持与传感器107a(1)-107(n)和UAV 107b的通信以便接收传感器数据和视频数据。在另一实现中，与传感器107a(1)-107(n)和UAV 107b的通信可以使用Wi-Fi TRXS 502通过接口106a和106b实现。UIS 508提供允许网关用户与网关500交换控制/配置信息的接口。UIS 508可以被实现为网关500的一部分或者可以通过使用设备(诸如计算设备144)而被实现。
存储器/存储装置510可以被实现为任何类型的计算机可读存储介质，包括非易失性和易失性存储器。存储器/存储装置510被示出为包括操作系统(OS)512、UAV控制程序514、网关控制程序516、服务程序518、网络服务器程序520、正射影像生成程序522、预测模型程序524和预测地图程序526。处理单元506可以包括一个或多个处理器或者其他控制电路、或者根据所公开的实施例提供网关500的总体控制的处理器和控制电路的任何组合。
网关控制程序516可以使得处理单元506控制网关500以提供针对图2A到图4B中的网关102所描述的功能的总体管理和协调。正射影像生成程序502可以使得处理单元506控制网关500以提供用于创建正射影像的功能，如针对图3A和图3B所描述的。预测模型程序524可以使得处理单元506控制网关500以提供用于创建预测模型的功能，如针对图4A和图4B所描述的。精度地图程序502可以使得处理单元506控制网关500以提供用于创建精度地图的功能，如针对图2A和图2B所描述的。
服务程序518可以使得处理单元506控制网关500以提供相对于图1B所描述的服务功能128。网络服务器程序520可以使得处理单元506控制网关500提供相对于图1B所描述的网络服务器130的功能。UAV控制程序514可以实现网关500中的图1B的UAV飞行计划146。在其他实现中，UAV飞行计划可以是分离的设备。
在此所公开的示例实施例可以被描述在被存储在可以包括一个或多个计算机可读存储介质(例如，有形非暂态计算机可读存储介质(诸如存储器510))的存储器上的处理器可执行代码或指令的一般上下文中。如应当容易理解，术语“计算机可读存储介质”或者“非暂态计算机可读介质”包括用于存储数据、代码和程序指令的介质(诸如存储器510)，并且不包括用于存储暂态传播或者调制数据通信信号的介质的部分。
虽然实现已经被公开并且被描述为具有被实现在网络中操作的特定无线设备上的功能，但是用于设备的所描述的功能中的一个或多个给你可以被实现在与附图中所示的那些不同的设备之一或者不同的系统中操作的不同类型的设备。
已经公开了包括一种装置的实施例，装置包括一个或多个处理器以及与一个或多个处理器通信的存储器。存储器包括当执行时使得一个或多个处理器控制装置进行以下各项的代码：接收表示区域的俯瞰图的视频数据；接收传感器数据，传感器数据根据多个传感器读数被生成，每个传感器读数指示区域的多个第一部分之一中的参数的水平；根据视频数据生成正射影像；使用正射影像和传感器数据生成预测模型；使用预测模型推断传感器数据以确定区域的多个第二部分中的每一个中的参数的水平；以及生成区域的地图，地图包括可显示以指示区域的第一部分和第二部分中的每一个中的参数的水平的数据。参数可以包括热测量，并且地图可以包括区域的热地图。参数可以包括湿度测量，并且地图可以包括区域的湿度地图。参数可以包括酸性测量，并且地图可以包括区域的酸性地图。传感器数据可以包括第一传感器数据，多个传感器读数可以包括多个第一传感器读数，参数的水平可以包括参数的第一水平，以及代码还可以使得一个或多个处理器控制装置进行以下各项：接收第二传感器数据，第二传感器数据根据多个第二传感器读数被生成，每个传感器读数指示区域的多个第一部分之一中的参数的第二水平，使用预测模型推断第二传感器数据以确定区域的多个第二部分中的每一个中的参数的第二水平；以及更新区域的地图，地图可显示以指示区域的第一部分和第二部分中的每一个中的参数的第二水平。
代码还可以使得一个或多个处理器以通过控制一个或多个处理器以将视频数据中的多个图像中的每个图像对齐以及将多个对齐的图像拼接在一起以生成正射影像，来生成正射影像。代码还可以使得一个或多个处理器通过控制装置执行以下各项来将多个图像中的每个图像对齐：从视频数据采样多个帧，以及生成对应于多个帧中的每个帧的3D位置数据和3D定向数据、以及对应于区域的场景的3D点数据。代码还可以使得一个或多个处理器通过控制装置执行以下各项来将多个图像拼接在一起：将地平面适配到3D点数据将多个图像拼接在一起，将多个帧中的每个帧扭曲到地平面以创建多个扭曲图像，确定其中多个扭曲图像重叠的区域中的最佳接缝；以及使用最佳接缝调整多个帧中的每个帧的颜色。代码还可以使得一个或多个处理器通过控制装置执行以下各项来生成预测模型：确定第一部分和第二部分中的区域的视觉相似性，确定第一部分和第二部分中的区域的空间相似性，以及根据第一部分和第二部分中的区域的视觉相似性和空间相似性生成用于多个第二部分中的每一个中的参数的水平的预测模型。代码还可以使得一个或多个处理器通过控制装置执行以下各项来确定视觉相似性：确定第一部分和第二部分中的区域中的每个区域的颜色的均值和方差，以及根据区域中的每个区域中的颜色的均值和方差确定第一部分和第二部分中的区域的视觉相似性。
所公开的实施例还包括一种装置，其包括一个或多个处理器以及与一个或多个处理器通信的存储器。存储器包括当被执行时使得一个或多个处理器控制装置进行以下各项的代码：接收表示区域的俯瞰图的视频数据；根据视频数据确定多个图像；将多个图像中的每个图像对齐；将多个对齐的图像拼接在一起；以及根据拼接的多个图像生成正射影像，正射影像可显示以提供区域的地理参考图像。代码还使得一个或多个处理器通过控制装置以执行以下各项来将多个图像中的每个图像对齐：从视频数据采样多个帧，以及生成对应于多个帧中的每个帧的3D位置数据和3D定向数据、以及对应于区域的场景的3D点数据。代码还使得一个或多个处理器通过控制装置执行以下各项来将多个图像拼接在一起：将地平面适配到3D点数据；将多个帧中的每个帧扭曲到地平面以创建多个扭曲图像；确定其中多个扭曲图像重叠的区域中的最佳接缝；以及使用最佳接缝调整多个帧中的每个帧的颜色。装置可以被实现在被连接到云网络的网关中，以及代码还可以使得一个或多个处理器控制装置以在网关处存储视频数据并且向云网络发送正射影像。
所公开的实施例还包括一种装置，其包括一个或多个处理器以及与一个或多个处理器通信的存储器。存储器包括当被执行时使得一个或多个处理器控制装置进行以下各项的代码：接收传感器数据，传感器数据根据至少一个传感器读数被生成，每个传感器读数指示区域的至少一个第一部分之一中的参数的水平；使用传感器数据和区域的正射影像一起生成预测模型；使用预测模型推断传感器数据以确定区域的至少一个第二部分中的每一个中的参数的水平；以及生成区域的地图，地图可显示以指示区域的至少一个第一部分和至少一个第二部分中的每一个中的参数的水平。代码还可以使得一个或多个处理器通过控制装置执行以下各项来处理传感器数据以及正射影像：确定至少一个第一部分与至少一个第二部分中的区域的视觉相似性；确定至少一个第一部分与至少一个第二部分中的区域的空间相似性；以及根据至少一个第一部分和至少一个第二部分中的区域的视觉相似性和空间相似性生成用于至少一个第二部分中的每一个中的参数的水平的预测模型。装置还可以包括各自被配置在区域的至少一个第一部分中的多个传感器；其中代码使得一个或多个处理器从多个传感器接收传感器数据。参数可以包括酸性测量，并且地图可以包括区域的酸性地图。参数可以包括热测量，并且地图可以包括区域的热地图。装置可以包括湿度测量，并且地图可以包括区域的湿度地图。
虽然通过参考功能块和处理器或处理单元、控制器和包括指令和代码的存储器使用实施例的各种部件和设备的描述通过说明性示例已经描述在此所公开的功能，但是实施例的功能和过程可以使用任何适当的功能块、处理器的类型、处理器和/或电路和代码的电路或者组合来实现和执行。这可以至少部分地包括一个或多个硬件逻辑部件。例如，并且非限制性地，可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。本公开中的术语处理器或者处理单元的使用旨在包括所有这样的实现。
此外，虽然已经以特定于结构特征和/或方法操作或者动作的语言描述了主题，但是将理解到，所附的权利要求中定义的主题不必限于上文所描述的特定特征、操作或者动作。相反，上文所描述的特定特征、操作和动作被公开为实现权利要求的示例实施例、实现和形式，并且在不脱离本公开的范围的情况下，这些示例配置和布置可以显著地改变。另外，虽然示例实施例已经参考促进过程的特定元件和操作图示，但是这些元件和操作可以组合实现实施例的预期功能的任何适合的设备、部件、架构或者过程或者由其替换。本领域的技术人员可以确定许多其他改变、替代、变化、变更和修改，并且应预期到，本公开涵盖如落在所附的权利要求的范围内的所有这样的改变、替代、变化、变更和修改。

Claims (15)

1.一种装置，所述装置包括：
一个或多个处理器以及，
存储器，其与所述一个或多个处理器通信，所述存储器包括代码，所述代码在被执行时使得所述一个或多个处理器控制所述装置以：
接收表示区域的俯瞰图的视频数据；
接收传感器数据，所述传感器数据根据多个传感器读数而被生成，每个传感器读数指示所述区域的多个第一部分中的第一部分中的参数的水平；
根据所述视频数据生成正射影像；
使用所述正射影像和所述传感器数据来生成预测模型；
使用所述预测模型来推断所述传感器数据以确定所述区域的多个第二部分中的每个第二部分中的所述参数的水平；以及，
生成所述区域的地图，所述地图可显示以指示所述区域的所述第一部分和第二部分中的每个部分中的所述参数的所述水平。
2.根据权利要求1所述的装置，其中所述参数包括热测量，并且所述地图包括所述区域的热地图。
3.根据权利要求1所述的装置，其中所述参数包括湿度测量，并且所述地图包括所述区域的湿度地图。
4.根据权利要求1所述的装置，其中所述参数包括酸性测量，并且所述地图包括所述区域的酸性地图。
5.根据权利要求1所述的装置，其中所述传感器数据包括第一传感器数据，所述多个传感器读数包括多个第一传感器读数，参数的所述水平包括参数的第一水平，并且所述代码还使得所述一个或多个处理器控制所述装置以：
接收第二传感器数据，所述第二传感器数据根据多个第二传感器读数而被生成，每个传感器读数指示所述区域的所述多个第一部分中的第一部分中的参数的第二水平；
使用根据所述正射影像和所述第一传感器数据生成的所述预测模型来推断所述第二传感器数据以确定所述区域的所述多个第二部分中的每个第二部分中的所述参数的第二水平；以及，
更新所述区域的所述地图，所述地图可显示以指示所述区域的所述第一部分和第二部分中的每个部分中的所述参数的所述第二水平。
6.根据权利要求1所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述一个或多个处理器执行以下各项来生成所述正射影像：
将所述视频数据中的多个图像中的每个图像对齐；以及，
将对齐的所述多个图像拼接在一起以生成所述正射影像。
7.根据权利要求6所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项将所述多个图像中的每个图像对齐：
从所述视频数据采样多个帧；以及，
生成对应于所述多个帧中的每个帧的3D位置数据和3D定向数据、以及对应于所述区域的场景的3D点数据。
8.根据权利要求7所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项来将所述多个图像拼接在一起：
将地平面适配到所述3D点数据；
将所述多个帧中的每个帧扭曲到所述地平面以创建多个扭曲图像；
确定其中所述多个扭曲图像重叠的位置中的最佳接缝；以及，
使用所述最佳接缝来调整所述多个帧中的每个帧的颜色。
9.根据权利要求1所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项来生成所述预测模型：
确定所述第一部分与所述第二部分的视觉相似性；
确定所述第一部分与所述第二部分的空间相似性；以及，
根据所述第一部分与所述第二部分的所述视觉相似性和所述空间相似性来生成针对多个第二部分中的每个第二部分中的所述参数的水平的预测模型。
10.根据权利要求9所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项确定视觉相似性：
确定所述第一部分和所述第二部分中的每个部分的颜色的均值和方差；以及，
根据所述第一部分和所述第二部分中的每个部分中的颜色的所述均值和所述方差来确定所述第一部分与所述第二部分的视觉相似性。
11.根据权利要求1所述的装置，其中装置被实现在与一个或多个云设备通信的网关设备中并且所述代码还使得所述一个或多个处理器控制所述装置以：
重复地接收并且更新所述传感器数据；
以第一时间间隔向所述一个或多个云设备发送更新的所述传感器数据；
重复地接收更新的视频数据并且生成更新的正射影像；以及，
当所述正射影像被更新时，以第二时间间隔向所述一个或多个云设备发送更新的所述正射影像，其中所述第二时间间隔比所述第一时间间隔更长。
12.根据权利要求11所述的装置，其中所述代码还使得所述一个或多个处理器控制所述装置以：
每次所述正射影像被更新时，更新所述预测模型；以及，
以所述第二时间间隔向所述一个或多个云设备发送所述预测模型。
13.一种装置，所述装置包括：
一个或多个处理器；以及，
存储器，其与所述一个或多个处理器通信，所述存储器包括代码，所述代码在被执行时使得所述一个或多个处理器控制所述装置以：
接收表示区域的俯瞰图的视频数据；
根据所述视频数据确定多个图像；
将多个图像中的每个图像对齐；
将对齐的所述多个图像拼接在一起；以及，
根据拼接的所述多个图像生成正射影像，所述正射影像包括可显示以提供所述区域的地理参考图像的数据。
14.根据权利要求13所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项来将所述多个图像中的每个图像对齐：
从所述视频数据采样多个帧；以及，
生成对应于所述多个帧中的每个帧的3D位置数据和3D定向数据、以及对应于所述区域的场景的3D点数据。
15.根据权利要求14所述的装置，其中所述代码还使得所述一个或多个处理器通过控制所述装置执行以下各项来将所述多个图像拼接在一起：
将地平面适配到所述3D点数据；
将所述多个帧中的每个帧扭曲到所述地平面以创建多个扭曲图像；
确定其中所述多个扭曲图像重叠的位置中的最佳接缝；以及，
使用所述最佳接缝来调整所述多个帧中的每个帧的颜色。
CN201780053875.XA 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图 Active CN109642795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110623804.7A CN113137954B (zh) 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/256,566 US10089716B2 (en) 2016-09-03 2016-09-03 Generating real-time sensor maps from videos and in-ground sensor data
US15/256,566 2016-09-03
PCT/US2017/048105 WO2018044636A2 (en) 2016-09-03 2017-08-23 Generating real-time sensor maps from videos and in-ground sensor data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110623804.7A Division CN113137954B (zh) 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图

Publications (2)

Publication Number Publication Date
CN109642795A true CN109642795A (zh) 2019-04-16
CN109642795B CN109642795B (zh) 2021-06-25

Family

ID=59966818

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780053875.XA Active CN109642795B (zh) 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图
CN202110623804.7A Active CN113137954B (zh) 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110623804.7A Active CN113137954B (zh) 2016-09-03 2017-08-23 根据视频和地面内传感器数据生成实时传感器地图

Country Status (4)

Country Link
US (2) US10089716B2 (zh)
EP (1) EP3507571B1 (zh)
CN (2) CN109642795B (zh)
WO (1) WO2018044636A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272837A1 (en) * 2019-02-25 2020-08-27 Quantifly Llc Vehicle Parking Data Collection System and Method

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013611B2 (en) * 2016-10-24 2018-07-03 Timothy John Barrier System and method for preparing an aerial hydrological-assay for golf courses
US10560666B2 (en) * 2017-01-21 2020-02-11 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery
WO2019126139A1 (en) * 2017-12-19 2019-06-27 Ocula Corporation Remotely-controlled observation vehicle for observing swimmers
US10769466B2 (en) * 2018-02-20 2020-09-08 International Business Machines Corporation Precision aware drone-based object mapping based on spatial pattern recognition
DE102018123478A1 (de) 2018-09-24 2020-03-26 Claas Tractor Sas Landwirtschaftliche Arbeitsmaschine
CN109658450B (zh) * 2018-12-17 2020-10-13 武汉天乾科技有限责任公司 一种基于无人机的快速正射影像生成方法
DE102019200794A1 (de) * 2019-01-23 2020-07-23 Amazonen-Werke H. Dreyer Gmbh & Co. Kg System und Verfahren zur Identifizierung von Zeitfenstern und Flächenbereichen eines landwirtschaftlich genutzten Feldes mit günstigen Bedingungen für einen wirkungsvollen und umweltgerechten Einsatz und/oder die Befahrbarkeit von Landmaschinen
US11216742B2 (en) 2019-03-04 2022-01-04 Iocurrents, Inc. Data compression and communication using machine learning
CN110135076A (zh) * 2019-05-17 2019-08-16 北京航空航天大学 一种基于isight联合仿真的云台机械结构多目标集成优化方法
CN110837839B (zh) * 2019-11-04 2023-09-26 嘉兴职业技术学院 一种高精度无人机正射影像制作及数据采集方法
US20220391644A1 (en) 2019-11-08 2022-12-08 Kubota Corporation System for measuring and interpreting a force
EP3905109A1 (en) 2020-04-30 2021-11-03 Kverneland Group Operations Norway AS System for controlling agricultural operations by optical means
CN110996286A (zh) * 2019-11-28 2020-04-10 的卢技术有限公司 一种基于无线传感器的车辆控制方法和系统
US11672198B2 (en) * 2020-02-27 2023-06-13 Cnh Industrial America Llc Cut quality detection system for an agricultural mower
EP3905110A1 (en) 2020-04-30 2021-11-03 Kverneland Group Operations Norway AS System for controlling agricultural operations by optical means
EP3905155B1 (en) 2020-04-30 2023-10-18 Kverneland Group Operations Norway AS Machine learning applications in agriculture
JP7165703B2 (ja) * 2020-09-24 2022-11-04 楽天グループ株式会社 飛行システム、飛行経路決定方法、及び飛行経路決定装置
US20220197893A1 (en) * 2020-12-23 2022-06-23 Here Global B.V. Aerial vehicle and edge device collaboration for visual positioning image database management and updating
US11907888B2 (en) 2020-12-23 2024-02-20 Here Global B.V. Aerial vehicle and computing device interaction for validating aerial vehicle activity
CN113743000B (zh) * 2021-08-13 2023-04-18 电子科技大学 一种生成高时间分辨率全天候地表温度的方法
CN116156329B (zh) * 2023-02-21 2023-07-07 中国铁塔股份有限公司黑龙江省分公司 基于图像分析的黑土地退化快速监测方法、存储介质及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347511A (en) * 1979-04-11 1982-08-31 Messerschmitt-Bolkow-Blohm Gesellschaft Mit Beschrankter Haftung Precision navigation apparatus
WO2001001347A1 (en) * 1999-06-29 2001-01-04 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a euclidean representation
US6208933B1 (en) * 1998-12-04 2001-03-27 Northrop Grumman Corporation Cartographic overlay on sensor video
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
CN101349561A (zh) * 2007-07-17 2009-01-21 农业部规划设计研究院 大尺度作物种植面积车载调查方法与系统
US20100238164A1 (en) * 2006-04-10 2010-09-23 Microsoft Corporation Image stitching using partially overlapping views of a scene
US20130013185A1 (en) * 2002-08-28 2013-01-10 Visual Intelligence, LP Infrastructure mapping system and method
CN103941747A (zh) * 2014-03-31 2014-07-23 清华大学 无人机群的控制方法及系统
CN105425815A (zh) * 2015-11-27 2016-03-23 杨珊珊 一种利用无人飞行器的牧场智能管理系统及方法
EP3046066A1 (en) * 2015-01-14 2016-07-20 Accenture Global Services Limited Precision agriculture system
CN105847750A (zh) * 2016-04-13 2016-08-10 中测新图(北京)遥感技术有限责任公司 基于地理编码的无人机视频影像实时显示的方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483500A (en) * 1993-12-16 1996-01-09 Seabeam Instruments Inc. Signal processing system and method for use in multibeam sensing systems
ATE450840T1 (de) 1999-08-20 2009-12-15 Yissum Res Dev Co System und verfahren zur berichtigung eines durch eine mobile kamera aufgezeichneten mosaikaehnlichen bildes
US6834128B1 (en) * 2000-06-16 2004-12-21 Hewlett-Packard Development Company, L.P. Image mosaicing system and method adapted to mass-market hand-held digital cameras
US7639842B2 (en) * 2002-05-03 2009-12-29 Imagetree Corp. Remote sensing and probabilistic sampling based forest inventory method
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
US20070208510A1 (en) 2006-03-02 2007-09-06 Deere & Company, A Delaware Corporation Method of identifying and localizing drainage tile problems
US20120114229A1 (en) 2010-01-21 2012-05-10 Guoqing Zhou Orthorectification and mosaic of video flow
US9058633B2 (en) 2010-10-25 2015-06-16 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
US20120101784A1 (en) 2010-10-25 2012-04-26 Trimble Navigation Limited Wide-area agricultural monitoring and prediction
CN102111443B (zh) 2011-01-06 2013-04-03 西安电子科技大学 物联网运营系统及向用户提供服务的方法
CA2833148C (en) 2011-04-15 2017-01-10 Allan HOVIS Visual information system and computer mobility application for field personnel
EP2758879B1 (en) 2011-09-19 2023-06-07 Tata Consultancy Services Ltd. A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services
US20140136952A1 (en) 2012-11-14 2014-05-15 Cisco Technology, Inc. Improving web sites performance using edge servers in fog computing architecture
US9483703B2 (en) 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video
US9684673B2 (en) * 2013-12-04 2017-06-20 Urthecast Corp. Systems and methods for processing and distributing earth observation images
IN2013MU03836A (zh) 2013-12-06 2015-07-31 Tata Consultancy Services Ltd
US10068354B2 (en) 2014-01-02 2018-09-04 Deere & Company Obtaining and displaying agricultural data
US9396391B2 (en) * 2014-06-17 2016-07-19 Digitalglobe, Inc. Automated geospatial image mosaic generation with multiple zoom level support
US9336584B2 (en) 2014-06-30 2016-05-10 Trimble Navigation Limited Active imaging systems for plant growth monitoring
CA3237917A1 (en) 2014-08-22 2016-02-25 Climate Llc Methods for agronomic and agricultural monitoring using unmanned aerial systems
US9880537B2 (en) * 2015-08-05 2018-01-30 Clearag, Inc. Customized land surface modeling for irrigation decision support in a crop and agronomic advisory service in precision agriculture

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4347511A (en) * 1979-04-11 1982-08-31 Messerschmitt-Bolkow-Blohm Gesellschaft Mit Beschrankter Haftung Precision navigation apparatus
US6208933B1 (en) * 1998-12-04 2001-03-27 Northrop Grumman Corporation Cartographic overlay on sensor video
WO2001001347A1 (en) * 1999-06-29 2001-01-04 Sarnoff Corporation Method and apparatus for performing geo-spatial registration using a euclidean representation
US20130013185A1 (en) * 2002-08-28 2013-01-10 Visual Intelligence, LP Infrastructure mapping system and method
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
US20100238164A1 (en) * 2006-04-10 2010-09-23 Microsoft Corporation Image stitching using partially overlapping views of a scene
CN101349561A (zh) * 2007-07-17 2009-01-21 农业部规划设计研究院 大尺度作物种植面积车载调查方法与系统
CN103941747A (zh) * 2014-03-31 2014-07-23 清华大学 无人机群的控制方法及系统
EP3046066A1 (en) * 2015-01-14 2016-07-20 Accenture Global Services Limited Precision agriculture system
CN105425815A (zh) * 2015-11-27 2016-03-23 杨珊珊 一种利用无人飞行器的牧场智能管理系统及方法
CN105847750A (zh) * 2016-04-13 2016-08-10 中测新图(北京)遥感技术有限责任公司 基于地理编码的无人机视频影像实时显示的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. J. THOMSON: "CONTINUOUS GEOREFERENCING FOR VIDEO–BASED REMOTE SENSING ON AGRICULTURAL AIRCRAFT", 《TRANSACTIONS OF THE ASAE. AMERICAN SOCIETY OF AGRICULTURAL ENGINEERS》 *
贺勇: "基于多传感器的车道级高精细地图制作方法", 《长安大学学报（自然科学版）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272837A1 (en) * 2019-02-25 2020-08-27 Quantifly Llc Vehicle Parking Data Collection System and Method
US11790773B2 (en) * 2019-02-25 2023-10-17 Quantifly Llc Vehicle parking data collection system and method

Also Published As

Publication number Publication date
WO2018044636A9 (en) 2018-08-30
US20190102864A1 (en) 2019-04-04
US20180068416A1 (en) 2018-03-08
CN113137954A (zh) 2021-07-20
CN109642795B (zh) 2021-06-25
US10089716B2 (en) 2018-10-02
EP3507571A2 (en) 2019-07-10
WO2018044636A2 (en) 2018-03-08
WO2018044636A3 (en) 2018-05-31
EP3507571B1 (en) 2021-05-05
CN113137954B (zh) 2023-06-27
US10262396B1 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109642795A (zh) 根据视频和地面内传感器数据生成实时传感器地图
CN112889089B (zh) 用于标识卫星影像中的云和云影的机器学习技术
EP3571629B1 (en) Adaptive cyber-physical system for efficient monitoring of unstructured environments
US10084868B2 (en) IoT gateway for weakly connected settings
US10223588B2 (en) Image filter based on row identification
CN113196294A (zh) 使用机器学习方法利用卫星数据来映射土壤属性
BR122020015963A2 (pt) método implementado por computador de determinação de um número de grãos a partir de uma imagem de um milho e meios de armazenamento não transitório
CN113167779A (zh) 使用数字图像和机器学习模型对田地异常绘制地图
González-Esquiva et al. Development of a visual monitoring system for water balance estimation of horticultural crops using low cost cameras
JP2018046787A (ja) 農業管理予測システム、農業管理予測方法、及びサーバ装置
CA2932744A1 (en) Method and system for generating augmented reality agricultural presentations
Nookala Venu et al. Smart agriculture with internet of things and unmanned aerial vehicles
US11882784B2 (en) Predicting soil organic carbon content
Aleotti et al. A smart precision-agriculture platform for linear irrigation systems
Molin et al. Precision agriculture and the digital contributions for site-specific management of the fields
Mishra Emerging Technologies—Principles and Applications in Precision Agriculture
US11183073B2 (en) Aircraft flight plan systems
Jensen et al. Sensing from Unmanned Aerial Vehicles
Beck Doninelli Improvements in precision agriculture using Internet of Robotic Things (IoRT)
Hasegawa et al. Web Omnidirectional Image Viewer for Field Event Extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant