CN105526916A - 动态图像遮蔽系统和方法 - Google Patents

动态图像遮蔽系统和方法 Download PDF

Info

Publication number
CN105526916A
CN105526916A CN201510634267.0A CN201510634267A CN105526916A CN 105526916 A CN105526916 A CN 105526916A CN 201510634267 A CN201510634267 A CN 201510634267A CN 105526916 A CN105526916 A CN 105526916A
Authority
CN
China
Prior art keywords
see
image
doorkeeper
imaging
dynamic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510634267.0A
Other languages
English (en)
Other versions
CN105526916B (zh
Inventor
查尔斯·B·斯皮内利
罗伯特·W·特纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN105526916A publication Critical patent/CN105526916A/zh
Application granted granted Critical
Publication of CN105526916B publication Critical patent/CN105526916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/12—Avionics applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本申请公开了动态图像遮蔽系统和方法。提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的动态图像遮蔽系统。动态图像遮蔽系统具有远程感测平台和与远程感测平台相关联的成像系统。成像系统具有光学系统和图像感测系统。动态图像遮蔽系统进一步具有与成像系统相关联的多级安全系统以及位于成像系统和多级安全系统中的一个或多个图像改变位置，其中，经由动态图像遮蔽处理而发生一个或多个图像的改变。动态图像遮蔽系统进一步具有与成像系统相关联的计算机系统。计算机系统具有看门人算法，被配置为将看门人命令发送至一个或多个控制器，该控制器通过动态图像遮蔽处理来控制一个或多个图像改变位置。

Description

动态图像遮蔽系统和方法
技术领域
本公开总体涉及用于远程感测图像采集的系统和方法，更具体地涉及用于远程感测图像采集(诸如航空远程感测图像采集)的自动化动态图像遮蔽系统和方法。
背景技术
远程感测(诸如航空远程感测)涉及传感器和成像技术(诸如雷达成像系统、照相机成像系统、光检测和测距(LIDAR)系统以及其他传感器和成像系统)的使用，以获得地面和地球表面以及遥远物体的图像。在航空远程感测中普遍使用模拟航空摄影、录像和数码摄影来采集图像。数码摄影允许将远程感测的数据实时地传输至地面或基站以进行直接分析，并且可以在计算机的帮助下分析并且解释数字图像。
然而，航空远程感测图像采集可能是繁重的，并且如果在图像拍摄事件发生时成像系统未被正确地定位，则因此可能产生大量最低程度有用的信息。对于可以采集农田和农作物的图像以确定植物健康和活力的精准农业(PA)类航空远程感测任务而言，操作者必须能够处理大面积的土地、图像采集地点的唯一的和众所周知分布、就范围、飞行时间、海拔高度、位置和速度而言较好定义的飞行剖面、以及不同区域图像的排除，如果不考虑，则其后者可以充分地阻碍精准农业(PA)类航空远程感测操作。
例如，当飞行执行精准农业类航空远程感测任务时，诸如无人驾驶飞行器(UAV)的飞行器可通过在其他居民区上方飞行而进入第一农场。可能不希望的是开始成像直至定位在第一农场上方，所以希望的是集成UAV的自动驾驶仪和成像系统并且允许自治操作。
用于航空远程感测图像采集的已知系统和方法可以包括在飞行员控制下飞行使飞行员定位在具有整个种植面积视野的局部田地中，并且因此不允许对于精准农业市场优选的自治操作。另外，没有较好地定义的采集地带，可以有太多土地或区域而不能成像，并且所采集的图像数据的量可以完全盖过传感器和成像系统。进一步，被限制或出界并且不在定义的采集地带中的数据可以无意中被成像并且采集。
此外，用于航空远程感测图像采集的已知系统和方法可以包括可被预编程(每n秒)或操作者触发的手动操作快门控制。然而，对于精准农业市场使用的这类手动操作，可能需要进入指定为待成像的特定田地。这种选择可能需要超过视线飞行以到达恰当的目的地，尤其当在低于地面高度以上400英尺的低海拔高度飞行时。然而，这类选择可能是劳动密集型的、昂贵的，并且不会产生所希望的结果来解决精准农业市场。
另一种选择可以是具有从成像照相机系统至地面控制器(飞行员和地面控制站操作者)的实况播送链接，其提供该区域的鸟瞰图。当操纵时并且当拍照片时这可以用于提醒操作者。然而，这种选择也可能是劳动密集型的并且不满足对于精准农业市场的所有要求。
因此，在该领域中需要用于通过动态图像遮蔽处理提供过滤的自治远程感测图像并且用于提供遮蔽或改变像素的方法的动态图像遮蔽系统的改进系统和方法，该像素对于图像采集事件或任务(诸如精准农业任务)是不需要的或无关的，该改进的系统和方法提供优于已知的系统和方法的优点。
发明内容
本公开内容的示例性实施方式提供了一种通过动态图像遮蔽处理提供过滤的自治远程感测图像从而克服现有技术方案的局限性的动态图像遮蔽系统的改进的系统和方法。如在以下详细说明中所述，通过动态图像遮蔽处理提供过滤的自治远程感测图像的动态图像遮蔽系统的改进的系统和方法可以提供优于现有系统和方法的显著优势。
在本公开内容的实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的动态图像遮蔽系统。动态图像遮蔽系统包括远程感测平台。
动态图像遮蔽系统进一步包括与远程感测平台相关联的成像系统。成像系统包括光学系统和图像感测系统。
动态图像遮蔽系统进一步包括与成像系统相关联的多级安全系统。动态图像遮蔽系统进一步包括位于成像系统和多级安全系统中的一个或多个图像改变位置，其中，经由动态图像遮蔽处理进行一个或多个图像的改变。
动态图像遮蔽系统进一步包括与成像系统相关联的计算机系统。计算机系统包括看门人算法，被配置为将看门人命令发送至一个或多个控制器，该控制器通过动态图像遮蔽处理来控制一个或多个图像改变位置。
在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的方法。该方法包括给远程感测平台配备成像系统的步骤。该方法进一步包括指定用于成像的区域以获得待成像的指定区域的步骤。该方法进一步包括在待成像的指定区域的表面上建立多个基准点的步骤。
该方法进一步包括将多个特定表面区域指定为不参考多个基准点成像的排除区域的步骤。该方法进一步包括控制覆盖待成像的指定区域的预建立的采集计划处理的步骤。
该方法进一步包括使用包含全球定位系统(GPS)、基于无线电的导航系统、基于光学的导航系统、惯性测量单元(IMU)系统、配备有磁力仪的惯性测量单元(IMU)系统或其组合的导航系统来定位成像系统，从而使待成像的指定区域成像的步骤。该方法进一步包括使用成像系统来使由预建立的采集计划处理覆盖的待成像的指定区域成像的步骤。
该方法进一步包括使排除区域的一个或多个图像中的一个或多个像素动态地无效的步骤。该方法进一步包括通过对待成像的指定区域进行动态图像遮蔽来获得过滤的自治远程感测图像的步骤。
在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理提供过滤的自治远程感测图像的方法。该方法包括给无人驾驶飞行器(UAV)配备成像系统的步骤。该方法进一步包括指定用于成像的区域以获得待成像的指定区域的步骤。该方法进一步包括在待成像的指定区域的表面上建立多个基准点的步骤。
该方法进一步包括将多个特定表面区域指定为不参考多个基准点成像的排除区域的步骤。该方法进一步包括控制覆盖待成像的指定区域的预建立的UAV飞行计划的步骤。
该方法进一步包括使用包含全球定位系统(GPS)、基于无线电的导航系统、基于光学的导航系统、惯性测量单元(IMU)系统、配备有磁力仪的惯性测量单元(IMU)系统或其组合的导航系统来定位成像系统，从而使待成像的指定区域成像的步骤。该方法进一步包括使UAV飞行在待成像的指定区域上方、并且使用成像系统来使由预建立的UAV飞行计划覆盖的待成像的指定区域成像的步骤。
该方法进一步包括使排除区域的一个或多个图像中的一个或多个像素动态地无效的步骤。该方法进一步包括通过对待成像的指定区域的动态图像遮蔽来获得过滤的自治远程感测图像的步骤。
所讨论的特征、功能、以及优点可以在本公开内容的各种实施方式中独立实现或者可以在又一些其他实施方式中结合，参考下列描述和附图可以获得本公开内容的更多细节。
附图说明
参考结合示出了优选的和示例性的实施方式的附图的以下详细描述可更容易地理解本公开内容，但是附图不必按比例绘制，在附图中：
图1是可在本公开内容的动态图像遮蔽系统的实施方式以及方法的实施方式中使用的成像系统的系统框图的示意图；
图2是具有图1的成像系统的本公开内容的动态图像遮蔽系统的实施方式的系统框图，并且示出动态图像遮蔽系统中的看门人算法和多个图像改变位置的示意图；
图3是在本公开内容的动态图像遮蔽系统实施方式中以及方法的实施方式使用的看门人算法的功能框图的示意图；
图4A是本公开内容的动态图像遮蔽系统的实施方式之一的系统框图的示意图；
图4B是本公开内容的动态图像遮蔽处理的实施方式之一的系统框图的示意图；
图5A是本公开内容的方法实施方式的流程图的示意图；
图5B是本公开内容的方法的另一个实施方式的流程图的示意图；
图6是可在本公开内容的动态图像遮蔽系统以及方法的实施方式中使用的无人驾驶飞行器(UAV)的示意性表示的示意图；
图7是飞机制造和保养方法的实施方式的流程图的示意图；并且
图8是飞机的实施方式的功能框图的示意图。
具体实施方式
在下文中将参考附图更为全面地描述所公开的实施方式，附图中示出了一些但并非全部公开的实施方式。当然，可以提供多个不同的实施方式并且不得被解释为局限于本公开中所阐述的实施方式。相反地，提供这些实施方式从而使本公开内容变得详尽并且将本公开内容的范围充分地传达给本领域技术人员。
参考附图，图1是可在本公开内容的动态图像遮蔽系统10(参考图2)、方法150(参见图5A)以及方法170(参见图5B)的实施方式中使用的成像系统12的实施方式的系统框图的示意图。
如图1所示，成像系统12与远程感测平台14相关联，并且包括光学系统20和图像感测系统22。诸如照相机20a(也参见图4A)的光学系统20(参见图1)表示全世界的光学取景(opticalview)。采集计划过程16(参见图1)将采集计划过程的输出18(参见图1)输出至光学系统20(参见图1)。光学系统20(参见图1)将原始图像数据输出24输出至焦点平面阵列子系统22a(参见图1)的焦点平面阵列26(参见图1)。
如图1所示，图像感测系统22(参见图1)可以包括焦点平面阵列子系统22a(参见图1)，并且焦点平面阵列子系统22a包括焦点平面阵列26、模数转换器(A/D)30、易失性临时存储器34、数字信号处理器38以及数模转换器(D/A)54。
焦点平面阵列26(参见图1)读取原始图像数据24(参见图1)并且将其28传递至模数转换器30(参见图1)。模数转换器30(参见图1)将模数转换器输出32(参见图1)输出至易失性临时存储器34(参见图1)，在易失性临时存储器34中临时地存储图像122(参见图4A)(随后的图像改写(overwrite，覆盖)当前图像)。易失性临时存储器34(参见图1)然后将易失性临时存储器输出36(参见图1)输出至数字信号处理器38(参见图1)。在数字信号处理器38(参见图1)中可以进行若干动作，包括例如读取数字信号37(参见图4B)、调整增益、通过拜尔(Bayer)过滤器(即，例如，用于将RGB(红色、绿色、蓝色)滤色器布置在光传感器的正方形网格上以得到jpg文件格式的滤色器阵列(CFA))处理数字信号37(参见图4B)、以及执行诸如边缘锐化的图像增强技术。在通过数字信号处理器38(参见图1)将数字信号37(参见图4B)处理为可读图像格式39(参见图4B)之后，数字信号处理器38(参见图1)输出数字输出40(参见图1)从而存储在多级安全系统42(参见图1)的非易失性结果存储器(resultantstorage)44(参见图1)中。如果有必要，可以从非易失性结果存储器44(参见图1)中将非易失性结果存储器输出46(参见图1)输出至多级安全系统42(参见图1)的后处理过程48(postprocessingprocess)(参见图1)从而进行后处理。后处理过程48(参见图1)输出经后处理的输出产物49(参见图1)。
如果光学系统20是模拟的，则数字信号处理器38(参见图1)将数字信号处理器输出信号52(参见图1)输出至数模转换器54(参见图1)，并且数模转换器54(参见图1)转换信号为模拟的，并且输出模拟输出56(参见图1)。可以在视频编辑系统58(参见图1)中使用或存储模拟输出56(参见图1)。
在本公开内容的实施方式中，提供了一种用于通过动态图像遮蔽处理11(参见图4A至图4B)提供过滤的自治远程感测图像51(参见图2、图4A)的动态图像遮蔽系统10(参见图2、图4A)。图2是具有图1的成像系统12的本公开内容的动态图像遮蔽系统10的实施方式的系统框图，并且示出在动态图像遮蔽系统10中的看门人(GK)算法60和多个图像改变位置90的示意图。
图2示出在其中可以改变一个或多个图像122(参见图4A)中的一个或多个像素126(参见图4B)从而产生遮蔽的图像50(诸如过滤的自治远程感测图像51)的图像改变位置90。图4A是本公开内容的动态图像遮蔽系统10的实施方式中的一个的系统框图的示意图。图4B是本公开内容的动态图像遮蔽处理11的实施方式中的一个的系统框图的示意图。
在详细地论述图2和图4A中示出的动态图像遮蔽系统10之前，将论述看门人算法60(参见图2、图3、图4B)。图3是在本公开内容的动态图像遮蔽系统10(参见图2)、方法150(参见图5A)以及方法170(参见图5B)的实施方式中使用的看门人算法60的实施方式的功能框图的示意图。图3示出看门人(GK)功能61。如本文中使用的，“算法”指用于执行一项任务或解决一个问题的一组指令或一系列步骤。
看门人算法60(参见图3)计算像素126(参见图4B)源自例如地面上的何处，并且确定像素126(参见图4B)是否在用于成像的区域118(参见图4A)中。如果像素126(参见图4B)在用于成像的区域118(参见图4A)中，则捕捉图像122(参见图4B)的像素126(参见图4B)。如果像素126(参见图4B)不在用于成像的区域118(参见图4A)中，则以合适的值替换像素126(参见图4B)，其中精确的值取决于所使用的像素替换方法。
如图3所示，看门人算法60优选地取得远程感测平台14(例如以无人驾驶飞行器200(参见图4B、图6)形式的机载平台14a(参见图4B))的位置(GPS)108(诸如利用全球定位系统(GPS)获得)以及姿态(IMU)104(诸如利用惯性测量单元(IMU)获得)。优选地，GPS和IMU数据是高保真度的从而避免给姿态(IMU)104或定位(GPS)108或位置造成任何问题，这可能影响待成像的指定区域118a(参见图4A)。
如图3进一步所示，看门人算法60也可以取得远程感测平台14(参见图2)的诸如时间102、测距传感器106、海拔高度、速度、飞行剖面的信息或其他信息。如图3进一步所示，看门人算法60优选地应用规则集92以生成遮蔽的图像50(参见图2)，规则集92可以包含包括参数95(参见图4B)(诸如视野95a(参见图4B)和焦距95b(参见图4B))的照相机型号94、遮蔽命令96、与采集计划98相关的信息、与采集策略100相关的信息或其他适宜的信息。这样，看门人算法60(参见图3)为一个或多个控制器63(参见图2)提供关于一个或多个像素126(参见图4B)中的哪一个要改变的看门人(GK)命令62(参见图2、图3)。
在一个实施方式中，遮蔽命令96(参见图3)可以包括对于固定或移动的物体或人们而动态更新的移动遮蔽命令96a(参见图4B)，从而公开地传播他们的定位或位置。例如，这个实施方式允许不想照片被公开拍摄的第一人利用诸如移动电话97(参见图4B)的设备将他的或她的定位或位置传播至拍照片的第二人。第二人的光学系统20(参见图2)(诸如照相机20a(参见图2)或传感器)将接收第一人的位置并且基于照相机型号94(参见图4B)、和照相机参数95(参见图4B)(诸如视野95a(参见图4B)、焦距95b(参见图4B)、设定、或其他适宜的照相机参数95(参见图5B))来确定第一人是否可在照相机框架中被识别。如果可以，光学系统20(参见图2)(诸如照相机20a(参见图2)或传感器)将遮蔽或模糊第一人的图像。
动态图像遮蔽系统10(参见图2、图4A)优选地是包括看门人算法60(参见图2、图3、图4B)的自动化图像采集系统148(参见图4A)，看门人算法60向经由动态图像遮蔽处理11(参见图4A至图4B)控制定位在动态图像遮蔽系统10(参见图2)中的一个或多个图像改变位置90(参见图2)的一个或多个控制器63(参见图2、图4B)提供看门人命令62(参见图2、图3、图4B)。
如本文中使用的，“动态图像遮蔽”指遮蔽、消隐(blankingout)、遮挡(blockingout)、改写、光饱和(失明)、不采集、消除、限制或以其他方式改变排除区域124(参见图4A)的一个或多个图像122(参见图4A)中的一个或多个像素126(参见图4B)，在排除区域124中，一个或多个像素126(参见图4B)是不想要的、不相关的、或受限的。动态图像遮蔽系统10(参见图2、图4A)和动态图像遮蔽处理11(参见图4A至图4B)产生遮蔽的图像50(参见图4A)，诸如过滤的自治远程感测图像51(参见图4A)，遮蔽的图像50是可靠的和可重复的并且优选地仅利用获得的感兴趣像素126(参见图4B)产生的产物集。经历动态图像遮蔽处理11的一个或多个像素126(参见图4B)可以导致例如遮蔽的像素126a(参见图4B)、消隐的像素126b(参见图4B)、未采集的像素126c(参见图4B)、改写的像素126d(参见图4B)、光饱和的像素126e(参见图4B)、或其他适宜改变的像素。
如图2、图4A所示，动态图像遮蔽系统10包括与如图1所示的远程感测平台14相关联的成像系统12。成像系统12(参见图2、图4A)可以包括二维成像系统12a(参见图4A)、诸如立体成像的三维成像系统12b(参见图4A)、或其他适宜的成像系统12(参见图4A)。如图2、图4A所示，成像系统12包括光学系统20和图像感测系统22。
如图4A所示，远程感测平台14可以包括机载的平台14a(诸如无人驾驶飞行器200(参见图6))、基于地面的平台14b、基于空间的平台14c、或基于水的平台14d。远程感测平台14(参见图4A)也可以包括其他适宜的平台。
如图2、图4A所示，动态图像遮蔽系统10进一步包括与成像系统12相关联的多级安全系统42。多级安全系统42(参见图2)包括非易失性结果存储器44(参见图2)和后处理过程48(参见图2)。非易失性结果存储器44(参见图2)可以包括任何适宜的计算机可读存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、视频存储器(VRAM)、硬盘、软盘、光盘(CD)、磁带、其组合、或其他适宜的计算机可读存储设备。
多级安全系统42(参见图2、图4A)优选地需要保持图像122(参见图4B)的数据的完整性。多级安全系统42(参见图2、图4A)控制对动态图像遮蔽系统10的存取以及对与单个像素126(参见图4B)有关的信息的存取。
如图2、图4B所示，动态图像遮蔽系统10进一步包括优选地定位在成像系统12和多级安全系统42中的一个或多个图像改变位置90。经由动态图像遮蔽处理11而发生一个或多个图像90的改变。一个或多个图像改变位置90(参见图2)也可以定位在成像系统12(参见图2)和多级安全系统42(参见图2)外部。
动态图像遮蔽系统10(参见图2、图4A)优选地包括用于计划、采集并且后处理在采集事件或任务期间采集的一个或多个图像122(参见图4A)的采集计划阶段112(参见图4A)、采集阶段114(参见图4A)以及后处理阶段116(参见图4A)。对于采集计划阶段112(参见图4A)，动态图像遮蔽系统10(参见图2、图4A)可以优选地包括预建立的采集计划过程16(参见图1、图2、图4A)。例如，预建立的采集计划过程16(参见图4A)可以包括机载的平台14a(参见图4A)(诸如无人驾驶飞行器200(参见图6))的预建立的飞行计划17(参见图4A)。
预建立的采集计划过程16(参见图1、图2、图4A)优选地包括在采集事件或任务之前(例如，在使无人驾驶飞行器200(参见图6)飞行在成像的区域118(参见图4A)上方之前)确定不利用成像系统12(参见图1、图2、图4A)成像的排除区域124(参见图4A)。预建立的采集计划过程16(参见图1、图2、图4A)允许在采集事件或任务开始之前动态地计划什么区域不采集图像122(参见图4A)并且从采集或任务计划中排除这类区域。
预建立的采集计划过程16(参见图2、图4A)可以进行为手动处理或自动化处理。自动化处理优选地使用看门人(GK)算法60(参见图2)(诸如看门人(GK)算法60a(参见图2))，被配置为在图像改变位置90(参见图2)(诸如图像改变位置90a(参见图2))处将看门人命令62(参见图2)(诸如看门人命令62a(参见图2))发送至预建立的采集计划过程16(参见图2)。看门人命令62(参见图2)(诸如看门人命令62a(参见图2))可以在这个采集计划阶段112(参见图4A)优选地包括规则集92(参见图3)，规则集92包括采集计划98(参见图3)和采集策略(100)、或其他适宜的规则和策略。采集计划98(参见图3)和采集策略100(参见图3)优选地包括在采集事件或任务的区域、地区、州、乡(country)和/或国家(nation)中以当前效果实施特定隐私策略和规则。
如图2所示，在输入至成像系统12的光学系统20之前，图像改变位置90(诸如图像改变位置90a)被定位。如图2进一步所示，采集计划过程的输出18从采集计划过程16输出并且输入到光学系统20中。
对于动态图像遮蔽系统10(参见图2、图4A)的采集阶段114(参见图4A)，成像系统12(参见图2、图4A)优选地用于指定用于成像的区域118(参见图4A)，从而获得待成像的指定区域118a(参见图4A)。多个基准点120(参见图4A)可以建立在待成像的指定区域118a(参见图4A)的表面118b(参见图4A)上。多个特定表面区域124a(参见图4A)可以被指定为排除区域124(参见图4A)而不参考多个基准点120(参见图4A)成像。
动态图像遮蔽系统10(参见图4A)可以进一步包括导航系统110(参见图4A)来定位(position)成像系统12(参见图2、图4A)，从而使待成像的指定区域118a(参见图4A)成像。导航系统110(参见图4A)可以包括全球定位系统(GPS)110a(参见图4A)、基于无线电的导航系统110b(参见图4A)、基于光学的导航系统110c(参见图4A)、惯性测量单元(IMU)系统110d(参见图4A)、配备有磁力仪的惯性测量单元(IMU)系统110e(参见图4A)、其组合、或其他适宜的导航系统110(参见图4A)。
如图1、图2、图4A所示，光学系统20可以包括照相机20a。优选地，照相机20a(参见图1、图2、图4A)是数字照相机20b(参见图4A)。光学系统20(参见图1、图2、图4A)也可以包括其他适宜的照相机设备或先进的光学设备。如上所述，光学系统20表示全世界的光学取景。
如图2、图4B所示，动态图像遮蔽系统10进一步包括位于光学系统20和图像感测系统22之间的光学失明(blindness)系统64。如图2、图4B进一步所示，看门人(GK)算法60(诸如看门人(GK)算法60b)被配置为将看门人命令62(诸如看门人命令62b)发送至控制器63(诸如光学失明系统64)，从而控制图像改变位置90(诸如图像改变位置90b)。看门人算法60b(参见图2)被配置为将看门人命令62b(参见图2)机械地或光学地发送至光学失明系统64(参见图2)，光学失明系统64控制位于光学系统20(参见图2)和图像感测系统22(参见图2)之间的图像改变位置90b(参见图2)。
关于此光学失明系统64(参见图2)实施方式，因为在图像感测系统22(参见图2)的焦点平面阵列26(参见图2)上记录之前改变像素126(参见图4B)，所以没有不相关的(extraneous)像素被处理。像素126(参见图4B)可以被抑制采集光子，或像素126(参见图4B)可以是通过100％照亮其从而引起“失明”发生的饱和光。
可以以图像改变硬件65(参见图4B)使用光学失明系统64(参见图2、图4B)。图像改变硬件65(参见图4B)可以包括可用于抑制多个像素126(参见图4B)采集光子的机械设备66(参见图4B)，诸如快门控制机械设备66a(参见图4B)。替换地，图像改变硬件65(参见图4B)可以包括可用于照亮焦点平面阵列26(参见图2)上的特定像素126(参见图4B)、引起像素126(参见图4B)失明的光学设备67(参见图4B)，诸如激光光学设备67a(参见图4B)和微镜光学设备67b(参见图4B)。
看门人命令62(参见图2)(诸如看门人命令62b(参见图2))可以在这个采集阶段114(参见图4A)优选地包括规则集92(参见图3)，规则集92包括照相机型号94(参见图3)、遮蔽命令96(参见图3)、采集计划98、采集策略(100)、或其他适宜的规则和策略。看门人命令62(参见图2)(诸如看门人命令62b(参见图2))可以在这个采集阶段114(参见图4A)优选地进一步包括时间102(参见图3)、姿态(IMU)104(参见图3)、测距传感器106(参见图3)、和/或定位(GPS)108(参见图3)。
如图1所示，光学系统20输出利用光学系统20获得的原始图像数据24，并且将原始图像数据24输入至成像系统12的图像感测系统22。如图2所示，通过使用看门人算法60(诸如看门人算法60b)和光学失明系统64，遮蔽或改变一个或多个像素126(参见图4B)，光学失明系统64使用光学失明系统输出68来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90b)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60b(参见图2))和光学失明系统64(参见图2)，遮蔽的原始图像数据24a(参见图2)被输入至图像感测系统22(参见图2)的焦点平面阵列26(参见图2)。
如图2、图4A所示，图像感测系统22包括包含焦点平面阵列26、模数转换器(A/D)30、易失性临时存储器34、数字信号处理器38以及数模转换器(D/A)54。如焦点平面阵列子系统22a(参见图2)可以是集成电路，焦点平面阵列子系统22a(参见图2)可能需要一些分解，从而将图像感测系统22(参见图2)的焦点平面阵列子系统22a(参见图2)中的期望图像改变位置90(参见图2)(诸如图像改变位置90c、90d和90e)处的信号中断。
如图4A所示，图像感测系统22可以进一步包括雷达成像系统22b、声纳成像系统22c、红外线成像系统22d、x射线成像系统22e、光检测和测距系统(LIDAR)22f、或其他适宜的图像感测系统22。
如图2所示，看门人算法60(诸如以看门人算法60c的形式)被配置为将看门人命令62(诸如以看门人命令62c的形式)发送至控制器63(诸如像素控制器69)。像素控制器69(参见图2)通过用零饱和140(参见图4A)或百分之一百饱和142(参见图4A)改写焦点平面阵列26(参见图2)上的一个或多个像素126(参见图2)，来通过动态图像遮蔽处理11(参见图4A至图4B)使用像素控制器输出70控制图像改变位置90(诸如图像改变位置90c)。
关于此像素控制器69(参见图2)实施方式，像素控制器69(参见图2)供应焦点平面阵列26(参见图2)并且利用或0(零)(相当于0)或100％(百分之一百)饱和(这个等级可以相当于8位系统的256值)本质上改写焦点平面阵列26(参见图2)上的像素126(参见图4B)。
如图1所示，焦点平面阵列26输出焦点平面阵列输出28，并且将焦点平面阵列输出28输入至模数转换器30。如图2所示，通过使用看门人算法60(诸如看门人算法60c)和像素控制器69，通过改写而遮蔽或改变一个或多个像素126(参见图4B)，像素控制器69使用像素控制器输出70来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90c)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60c(参见图2))和像素控制器69(参见图2)，遮蔽的焦点平面阵列输出28a(参见图2)被输入至模数转换器30。
如图2进一步所示，模数转换器30从焦点平面阵列26接收遮蔽的焦点平面阵列输出28a(参见图2)，其优选地为遮蔽的原始图像数据24a的形式。模数转换器30(参见图2)将遮蔽的原始图像数据24a从模拟信号转换为数字信号37(参见图4B)。
如图2所示，看门人算法60(诸如以看门人算法60d的形式)被配置为将看门人命令62(诸如以看门人命令62d的形式)发送至控制器63(诸如数字化控制器72)。数字化控制器72(参见图2)使用数字化控制器输出74来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90d)。图像改变位置90(参见图2)位于模数转换器30(参见图2)和易失性临时存储器34(参见图2)之间。通过设置一个或多个像素126(参见图4B)的数字化值146(参见图4B)(或最小值146a(参见图4B)或最大值146b(参见图4B))，优选地在图像改变位置90处改变一个或多个像素126(参见图4B)。
关于此数字化控制器72(参见图2)实施方式，在模数转换器30(参见图2)之后，数字化控制器72(参见图2)通过将数字化值146(参见图4B)设置为或高的(最小值146a(参见图4B))或低的(最大值146b(参见图4B))之后，来控制数字化。这样，对于某些像素126(参见图4B)的信号被在本质上缩短(值设置为低的)或最大化(maxedout)(值设置为高的)。这个实施方式可以用于自定义界面的电子设备，例如，作为布尔运算的硬件实施方式的有线-或功能144(参见图4B)。有线-或功能144(参见图4B)针对每个输入使用下拉电阻器和一个二极管，来电气执行或门的布尔逻辑运算。
如图1所示，模数转换器30输出模数转换器输出32，并且将模数转换器输出32输入至易失性临时存储器34。如图2所示，通过使用看门人算法60(诸如看门人算法60d)和数字化控制器72，通过改写而遮蔽或改变一个或多个像素126(参见图4B)，数字化控制器72使用数字化控制器输出74来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90d)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60d(参见图2))和数字化控制器72(参见图2)，遮蔽的模数转换器输出32a(参见图2)被输入至易失性临时存储器34(参见图2)。
如图2进一步所示，易失性临时存储器34从模数转换器30接收遮蔽的模数转换器输出32a，其优选地为数字信号37(参见图4B)的形式。易失性临时存储器34临时地存储来自模数转换器30的数字信号37(参见图4B)。
如图2所示，看门人算法60(诸如以看门人算法60e的形式)被配置为将看门人命令62(诸如以看门人命令62e的形式)发送至控制器63(诸如数字流控制器76)。数字流控制器76(参见图2)使用数字流控制器输出78来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90e)。图像改变位置90e(参见图2)位于易失性临时存储器34(参见图2)和数字信号处理器38(参见图2)之间。通过在某时改变单个图像122(参见图4A)并且在单个图像122(参见图4A)中遮蔽一个或多个像素126(参见图4B)，优选地在图像改变位置90e处改变一个或多个像素126(参见图4B)。
关于此数字流控制器76(参见图2)实施方式，易失性临时存储器34(参见图2)在某时将单个图像122(参见图4A)输出至数字信号处理器38(参见图2)。这自针对处理过的每个单个图像122(参见图4A)，易失性临时存储器34(参见图2)的存储(memory)被写入覆盖而发生。
如图1所示，易失性临时存储器34输出易失性临时存储器输出36并且将易失性临时存储器输出36输入至数字信号处理器38。如图2所示，通过使用看门人算法60(诸如看门人算法60e)和数字流控制器76，通过改写而遮蔽或改变一个或多个像素126(参见图4B)，数字流控制器76使用数字流控制器输出78来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90e)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60e(参见图2))和数字流控制器76(参见图2)，遮蔽的易失性临时存储器输出36a(参见图2)被输入至数字信号处理器38。
数字信号处理器38(参见图2)从易失性临时存储器34(参见图2)接收数字信号37(参见图4B)并且将数字信号37(参见图4B)处理为可读图像格式39(参见图4B)。当成像系统12(参见图2)使用模拟输出时，数模转换器54(参见图2)从数字信号处理器38(参见图2)接收可读数字信号并且将可读数字信号转换为模拟信号。
如图2所示，看门人算法60(诸如以看门人算法60f的形式)被配置为将看门人命令62(诸如以看门人命令62f的形式)发送至控制器63(诸如控制存储控制器80)。控制存储控制器80(参见图2)使用控制存储控制器输出82来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90f)。图像改变位置90f(参见图2)定位在成像系统12(参见图2)的焦点平面阵列子系统22a(参见图2)的数字信号处理器输出40(参见图1、图2)处，并且在至多级安全系统42(参见图2)的非易失性结果存储器44(参见图2)的输入之前。在图像改变位置90f处，可以通过遮蔽而改变一个或多个像素126(参见图4B)，使得它们不被写入非易失性结果存储器44(参见图2)。
关于此控制存储控制器80(参见图2)实施方式，控制存储控制器80(参见图2)在焦点平面阵列子系统22a(参见图2)的输出处改变图像122(参见图4A)。通过看门人算法60(参见图2)(诸如看门人算法60f(参见图2))确定需要限制或消除(遮蔽)的一个或多个像素126(参见图4B)，并且然后使这个像素信息与图像122(参见图4A)中的定位相关。结果是那个不想要的像素被遮挡并且不被写入非易失性结果存储器44(参见图2)。
如图1所示，数字信号处理器38输出数字输出40并且将数字输出40输入至多级安全系统42的非易失性结果存储器44。如图2所示，通过使用看门人算法60(诸如看门人算法60f)和控制存储控制器80，一个或多个像素126(参见图4B)通过遮挡而被遮蔽或改变并且不被写入非易失性结果存储器44，控制存储控制器80使用控制存储控制器输出82来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90f)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60f(参见图2))和控制存储控制器80(参见图2)，遮蔽的数字输出40a(参见图2)被输出至多级安全系统42(参见图2)的非易失性结果存储器44(参见图2)。
如图2所示，看门人算法60(诸如以看门人算法60g的形式)被配置为发送看门人命令62(诸如以看门人命令62g的形式)从而通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90g)。图像改变位置90g(参见图2)定位在非易失性结果存储器44(参见图2)和后处理过程48(参见图2)之间的多级安全系统42(参见图2)中。在图像改变位置90g处，可以通过用零饱和140(参见图4B)或百分之一百饱和142(参见图4B)改写一个或多个像素126(参见图4B)而改变一个或多个像素126(参见图4B)。
关于此实施方式，在图像自非易失性结果存储器44(参见图2)输出之后但在后处理过程48(参见图2)中被后处理之前，改变图像122(参见图4A)。通过利用已知实体使不想要像素的数字化值146(参见图4B)改写为0(零)或表示像素126(参见图4B)的允许值的100％(百分之一百)的值，遮挡如通过看门人算法60(参见图2)(诸如看门人算法60g(参见图2))确定的不想要的像素。
如图1所示，非易失性结果存储器44输出非易失性结果存储器输出46并且将非易失性结果存储器输出46输入至后处理过程48。如图2所示，通过使用看门人算法60(诸如看门人算法60g)，遮蔽或改变一个或多个像素126(参见图4B)，看门人算法用于通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90g)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60g(参见图2))，遮蔽的非易失性结果存储器输出46a(参见图2)被输出至后处理过程48(参见图2)。
如图2所示，看门人算法60(诸如以看门人算法60h的形式)被配置为发送看门人命令62(诸如以看门人命令62h的形式)，从而通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90h)。图像改变位置90h(参见图2)在后处理过程48(参见图2)处定位在多级安全系统42(参见图2)中。在图像改变位置90h处，可以通过编辑或忽略表示待成像的指定区域118a(参见图4B)的排除区域124(参见图4B)的一个或多个像素126(参见图4B)，来改变一个或多个像素126(参见图4B)。
关于作为后处理阶段116(参见图4A)的此实施方式，在后处理过程48(参见图2)处遮蔽一个或多个像素126(参见图4B)。通过编辑或简单地忽略一个或多个像素126(参见图4B)来在本质上改变图像122(参见图4A)，一个或多个像素126表示图像122中的不想要部分(参见图4A)(诸如排除区域124(参见图4B))。
如图1所示，后处理过程48将经后处理的输出49输出到多级安全系统42以外。如图2所示，通过使用看门人算法60(诸如看门人算法60h)，遮蔽或改变一个或多个像素126(参见图4B)，看门人算法60通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90h)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60h(参见图2))，后处理过程48将遮蔽的后处理输出49a输出到多级安全系统42以外从而获得遮蔽的图像50(参见图2)，诸如过滤的自治远程感测图像51(参见图2)。
如图2所示，看门人算法60(诸如以看门人算法60i的形式)被配置为将看门人命令62(诸如以看门人命令62i的形式)发送至控制器63(诸如模拟信号控制器84)。模拟信号控制器84(参见图2)使用模拟信号控制器输出86来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90i)。
图像改变位置90i(参见图2)定位在焦点平面阵列子系统22a(参见图2)的数模转换器54(参见图2)的模拟输出56(参见图2)处，并且在输入至定位在焦点平面阵列子系统22a(参见图2)外部的视频编辑系统58(参见图2)之前。优选地通过遮蔽一个或多个像素126(参见图4B)在图像改变位置90i处改变一个或多个像素126(参见图4B)，使得它们不被写入视频编辑系统58(参见图2)。
如图1所示，数字信号处理器38将来自模拟52的数字信号处理器输出输出至数模转换器54，并且数模转换器54将模拟输出56输出到焦点平面阵列子系统22a以外，并且将模拟输出56输入至视频编辑系统58。如图2所示，通过使用看门人算法60(诸如看门人算法60i)和模拟信号控制器84，遮蔽或改变多个像素126(参见图4B)，模拟信号控制器84使用模拟信号控制器输出86来通过动态图像遮蔽处理11(参见图4A至图4B)控制图像改变位置90(诸如图像改变位置90i)。因此，通过使用看门人算法60(参见图2)(诸如看门人算法60i(参见图2))和模拟信号控制器84(参见图2)，遮蔽的模拟输出56a(参见图2)被输入至视频编辑系统58(参见图2)。
如图4B所示，动态图像遮蔽系统10进一步包括与成像系统12相关联的计算机系统130。计算机系统130(参见图4B)包括被配置为将看门人命令62(参见图2、图4B)发送至一个或多个控制器63(参见图2、图4B)的看门人算法60(参见图2、图4B)，控制器63利用动态图像遮蔽处理11(参见图2、图4B)控制一个或多个图像改变位置90(参见图2、图4B)。
如图4B所示，计算机系统130优选地包括计算机132以及软件134、固件136和硬件138中的一个或多个。看门人算法60和控制器63可以优选地是硬件138和固件136的组合、或硬件138和软件134的组合。
软件134(参见图4B)或固件136(参见图4B)可以实施看门人算法60(参见图3)，其被设计为结合计算机系统130的计算机132(参见图4B)或计算机系统130(参见图4B)的其他硬件138(参见图4B)使用。
在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理11(参见图4B)提供过滤的自治远程感测图像51(参见图4A)的方法150(参见图5A)。图5A是本公开内容的方法150的实施方式的流程图的示意图。
如图5A所示，方法150包括给远程感测平台14(参见图2、图4A)配备成像系统12(参见图2、图4A)的步骤152。给远程感测平台14(参见图2、图4A)配备成像系统12(参见图2、图4A)的步骤152包括给远程感测平台14(参见图2、图4A)配备这样的成像系统12(参见图2、图4A)，即，其包括包含数字照相机20a(参见图2)的光学系统20(参见图2)以及包含焦点平面阵列子系统22a(参见图4A)、雷达成像系统22b(参见图4A)、声纳成像系统22c(参见图4A)、红外线成像系统22d(参见图4A)、x射线成像系统22e(参见图4A)、或光检测和测距(LIDAR)系统22f(参见图4A)的图像感测系统22(参见图2、图4A)。
给远程感测平台14(参见图2、图4A)配备成像系统12(参见图2、图4A)的步骤152进一步包括配备包括机载的平台14a(参见图4A)、基于地面的平台14b(参见图4A)、基于空间的平台14c(参见图4A)、或基于水的平台14d(参见图4A)的远程感测平台14(参见图2、图4A)。
如图5A所示，方法150进一步包括指定用于成像的区域118(参见图4A)以获得待成像的指定区域118a(参见图4A)的步骤154。如图5A所示，方法150进一步包括在待成像的指定区域118a(参见图4A)的表面118b(参见图4A)上建立多个基准点120(参见图4A)的步骤156。
如图5A所示，方法150进一步包括将多个特定表面区域124a(参见图4A)指定为不参考多个基准点120(参见图4A)成像的排除区域124(参见图4A)的步骤158。如图5A所示，方法150进一步包括控制覆盖待成像的指定区域118a(参见图4A)的预建立的采集计划过程16(参见图2、图4A)的步骤160。
如图5A所示，方法150包括使用包含全球定位系统(GPS)110a(参见图4A)、基于无线电的导航系统110b(参见图4A)、基于光学的导航系统110c(参见图4A)、惯性测量单元(IMU)系统110d(参见图4A)、配备有磁力仪的惯性测量单元(IMU)系统110e(参见图4A)或其组合的导航系统110(参见图4A)来定位成像系统12(参见图2、图4A)从而使待成像的指定区域118a(参见图4A)成像的步骤162。
如图5A所示，方法150进一步包括使用成像系统12(参见图2、图4A)来使由预建立的采集计划过程16(参见图2、图4A)覆盖的待成像的指定区域118a(参见图4A)成像的步骤164。
如图5A所示，方法150包括在排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤166。从排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤166包括改变排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4B)、使它们难辨认。
在一个实施方式中，优选地在待成像的指定区域118a(参见图4A)的成像期间实时地执行排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4A)的改变。在另一个实施方式中，在完成待成像的指定区域118a(参见图4A)的总体成像之后，并且在通过待成像的指定区域118a(参见图4A)的动态图像遮蔽处理11(参见图4B)以获得过滤的自治远程感测图像51(参见图2、图4A)之前，执行排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4A)的改变。
如图5A所示，方法150包括通过对待成像的指定区域118a(参见图4A)进行动态图像遮蔽处理11(参见图4B)而获得过滤的自治远程感测图像51(参见图2、图4A)的步骤168。
在本公开内容的另一个实施方式中，提供了一种用于通过动态图像遮蔽处理11(参见图4B)提供过滤的自治远程感测图像51(参见图4A)的方法170(参见图5B)。图5B是本公开内容的方法170的另一个实施方式的流程图的示意图。
如图5B所示，方法170包括给无人驾驶飞行器(UAV)200(参见图6)配备成像系统12(参见图2、图4A)的步骤172。
如图5B所示，方法170进一步包括指定用于成像的区域118(参见图4A)以获得待成像的指定区域118a(参见图4A)的步骤174。
如图5B所示，方法170进一步包括在待成像的指定区域118a(参见图4A)的表面118b(参见图4A)上建立多个基准点120(参见图4A)的步骤176。
如图5B所示，方法170进一步包括将多个特定表面区域124a(参见图4A)指定为不参考多个基准点120(参见图4A)成像的排除区域124(参见图4A)的步骤178。
如图5B所示，方法170进一步包括控制覆盖待成像的指定区域118a(参见图4A)的UAV200(参见图6)的预建立飞行计划17(参见图4A)的步骤180。
如图5B所示，方法170进一步包括使用包含全球定位系统(GPS)110a(参见图4A)、基于无线电的导航系统110b(参见图4A)、基于光学的导航系统110c(参见图4A)、惯性测量单元(IMU)系统110d(参见图4A)、配备有磁力仪的惯性测量单元(IMU)系统110e(参见图4A)或其组合的导航系统110(参见图4A)来定位成像系统12(参见图2、图4A)从而使待成像的指定区域118a(参见图4A)成像的步骤182。
如图5B所示，方法170进一步包括使UAV200飞行在待成像的指定区域118a(参见图4A)上方(参见图6)，并且使用成像系统12(参见图2、图4A)来使由UAV200(参见图6)的预建立的飞行计划17(参见图4A)覆盖的待成像的指定区域118a(参见图4A)成像的步骤184。
如图5B所示，方法170进一步包括在排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤186。在排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤186包括引导UAV200(参见图6)的预建立的飞行计划17(参见图4A)以避免在排除区域124(参见图4A)上方飞行。
在排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤186进一步包括实时动态消除UAV200(参见图6)飞行在排除区域124(参见图4A)上方时通过图像感测系统22(参见图2、图4A)的成像。
在排除区域124(参见图4A)的一个或多个图像122(参见图4A)中使一个或多个像素126(参见图4B)动态地无效的步骤186进一步包括改变排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4B)，使它们难辨认。
在一个实施方式中，优选地在待成像的指定区域118a(参见图4A)的成像期间实时地执行排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4A)的改变。在另一个实施方式中，在完成待成像的指定区域118a(参见图4A)的总体成像之后，并且在通过对待成像的指定区域118a(参见图4A)进行动态图像遮蔽处理11(参见图4B)以获得过滤的自治远程感测图像51(参见图2、图4A)之前，执行排除区域124(参见图4A)的一个或多个所捕捉的图像124b(参见图4A)的改变。
如图5B所示，方法170进一步包括通过对待成像的指定区域118a(参见图4A)进行动态图像遮蔽处理11(参见图5B)而获得过滤的自治远程感测图像51(参见图2、图4A)的步骤188。
图6是可在本公开内容的动态图像遮蔽系统10、方法150(参见图5A)以及方法170(参见图5B)的实施方式中使用的无人驾驶飞行器(UAV)200形式的远程感测平台14(诸如机载的平台14a)的实施方式的示意性表示的示意图。如图6所示，UAV200形式的远程感测平台14(诸如机载的平台14a)包括动态图像遮蔽系统10。如图6进一步所示，UAV200包括机头202、机身204、机翼206以及尾翼208。
图7是飞机制造和保养方法300的实施方式的流程图的示意图。图8是飞机320的实施方式的功能框图的示意图。参考图7至图8，在如图7所示的飞机制造和保养方法300以及如图8所示的飞机320的上下文中描述了本公开内容的实施方式。在预生产过程中，示例性飞机制造和保养方法300(参见图7)可包括飞机316(参见图8)的规格和设计302(参见图7)以及材料采购304(参见图7)。在制造过程中，进行部件和子组件制造306(参见图7)以及飞机316(参见图8)的系统集成308(参见图7)。此后，飞机316(参见图8)可通过验证和交付310(参见图7)以便处于服务状态312(参见图7)。在为客户提供服务312(参见图7)的同时，飞机316(参见图8)可以被安排进行例行维修和保养314(参见图7)，这还可以包括改造、重新构造、翻新、及其它适宜的服务。
系统集成商、第三方和/或运营商(例如，客户)可执行或者进行飞机制造和保养方法300(参见图7)的各个过程。对于该说明书的目的，系统集成商可包括(不限于)任意数量的飞机制造厂和主系统转包商；第三方可包括(不限于)任意数量的卖方、转包商以及供应商；并且运营商可包括航空公司、租赁公司、军事实体、服务组织、及其它适宜的运营商。
如图8所示，通过示例性飞机制造和保养方法300所生产的飞机320可包括具有多个系统324的机身322和内舱326。如图8进一步所示，系统324的实例可以包括推进系统328、电力系统330、液压系统332以及环境系统334中的一个或多个。可以包含任意数量的其他系统。尽管示出了航空航天实例，但是可将本公开内容的原理应用于其他行业，诸如，汽车行业。
在飞机制造和保养方法300(参见图7)的任意一个或者多个阶段期间可以采用本文所体现的方法和系统。例如，对应于部件和子组件制造306(参见图7)的部件或子组件可以以类似于在飞机320(参见图8)处于服务状态312(参见图7)时生产的部件或子组件的方式制备或者制造。另外，在部件和子组件制造306(参见图7)以及系统集成308(参见图7)过程中，可以利用一个或多个装置实施方式、方法实施方式或者其组合，例如，充分加快飞机320(参见图8)的组装或者降低成本。类似地，在飞机320(参见图8)处于服务状态312(参见图7)时，例如但不限于，可以利用一个或多个装置实施方式、方法实施方式、或者其组合进行例行维修和保养312[此处标号好像应为314，请留意](参见图7)。
动态图像遮蔽系统10(参见图2、图4A至图4B)、方法150(参见图5A)和方法170(参见图5B)的所公开的实施方式提供了优于已知的系统和方法的许多优点，包括仅使有用且希望的数据成像、以及不使被限制的、界外的或限制到用于远程感测平台任务(诸如机载的平台任务)的上下文以外的区域或数据成像。这种“保证的快门控制”解决可能关心的隐私入侵问题并且确保动态图像遮蔽系统10(参见图2、图4A至图4B)不被没用的数据(诸如在非客户区域上采集的数据)所累赘。
另外，动态图像遮蔽系统10(参见图2、图4A至图4B)、方法150(参见图5A)和方法170(参见图5B)的所公开的实施方式提供了用于图像采集的较好地定义的采集区域，并且提供了在全精耕市场中航空远程感测图像采集通常需要的自治操作，诸如在农田上飞行从而确定植物健康和茁壮。进一步，动态图像遮蔽系统10(参见图2、图4A至图4B)、方法150(参见图5A)和方法170(参见图5B)的所公开的实施方式集成成像系统12(参见图2、图4A)和远程感测平台14的自动驾驶仪(诸如无人驾驶飞行器(UAV)200(参见图6))，并且可以同时执行多个UAV200的飞行和快门控制操作。
此外，动态图像遮蔽系统10(参见图2、图4A至图4B)、方法150(参见图5A)和方法170(参见图5B)的所公开的实施方式产生可靠的、可重复的遮蔽的图像50(参见图2、图4A)产物，其优选地仅利用感兴趣的像素126(参见图4B)产生。可以或不采集、取消(blankingout)、改写、光饱和或以其他方式改变像素126(参见图4B)，从而致使像素126(参见图4B)在产物生成过程中成为没用的。并且，可以从在采集计划阶段112(参见图4A)中“取消”、至在采集阶段114(参见图4A)中改写、至在采集一个或多个图像122(参见图4A)之后的后处理阶段116(参见图4A)中后处理的产物生成过程中的任何地方中发生此。
进一步，本公开内容包括根据以下项的实施方式：
项1.一种用于通过动态图像遮蔽处理(11)提供过滤的自治远程感测图像(51)的动态图像遮蔽系统(10)，所述系统包括：
远程感测平台(14)；
与所述远程感测平台(14)相关联的成像系统(12)，所述成像系统(12)包括：
光学系统(20)；
图像感测系统(22)；
与所述成像系统(12)相关联的多级安全系统(42)；
位于所述成像系统(12)和所述多级安全系统(42)中的一个或多个图像改变位置(90)，其中，经由所述动态图像遮蔽处理(11)而进行一个或多个图像的改变；以及
与所述成像系统(12)相关联的计算机系统(130)，所述计算机系统(130)包括被配置为将看门人命令(62)发送至一个或多个控制器(63)的看门人算法(60)，所述控制器(63)通过所述动态图像遮蔽处理(11)控制所述一个或多个图像改变位置(90)。
项2.根据项1所述的动态图像遮蔽系统(10)，进一步包括导航系统(110)，用于定位所述成像系统(12)从而使待成像的指定区域(118a)成像，所述导航系统(110)包括全球定位系统(GPS)(110a)、基于无线电的导航系统(110b)、基于光学的导航系统(110c)、惯性测量单元(IMU)系统(110d)、配备有磁力仪的惯性测量单元(IMU)系统(110e)或其组合。
项3.根据项1或项2所述的动态图像遮蔽系统(10)，其中，所述远程感测平台(14)包括机载的平台(14a)、基于地面的平台(14b)、基于空间的平台(14c)或基于水的平台(14d)。
项4.根据项1、项2或项3所述的动态图像遮蔽系统(10)，其中，所述光学系统(20)包括包含数字照相机(20b)的照相机(20a)，并且其中，所述图像感测系统(22)包括焦点平面阵列子系统(22a)、雷达成像系统(22b)、声纳成像系统(22c)、红外线成像系统(22d)、x射线成像系统(22e)、或光检测和测距(LIDAR)系统(22f)。
项5.根据项1、项2、项3或项4所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)进一步被配置为通过确定不利用所述成像系统(12)成像排除区域(124)，而在输入至所述成像系统(12)之前将看门人命令(62)发送至位于所定位的预建立的采集计划过程(16)处的图像改变位置(90)处的预建立的采集计划过程(16)。
项6.根据项1、项2、项3、项4或项5所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)或机械地或光学地发送至光学失明系统(64)，所述光学失明系统(64)控制位于所述光学系统(20)和所述图像感测系统(22)之间的图像改变位置(90)，所述光学失明系统(64)包括快门控制机械设备(66a)从而抑制一个或多个像素(126)采集光子、或包括激光光学设备(67a)和微镜光学设备(67b)从而照亮一个或多个像素(126)，从而使所述一个或多个像素(126)失明。
项7.根据项1、项2、项3、项4、项5或项6所述的动态图像遮蔽系统(10)，其中，所述图像感测系统(22)包括包含以下的焦点平面阵列子系统(22a)：
焦点平面阵列(26)，从所述光学系统(20)读取原始图像数据(24)；
模数转换器(30)，从所述焦点平面阵列(26)接收所述原始图像数据(24)并且将所述原始图像数据(24)从模拟信号转换为数字信号；
易失性临时存储器(34)，从所述模数转换器(30)接收所述数字信号(37)并且临时地存储所述数字信号(37)；
数字信号处理器(38)，从所述易失性临时存储器(34)接收所述数字信号(37)并且将所述数字信号(37)处理为可读图像格式(39)；以及
当所述成像系统(12)使用模拟输出时，数模转换器(54)从所述数字信号处理器(38)接收可读数字信号并且将所述可读数字信号转换为模拟信号。
项8.根据项7所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)发送至像素控制器，所述像素控制器通过用零饱和(140)或百分之一百饱和(142)改写所述焦点平面阵列(26)上的一个或多个像素，控制在所述焦点平面阵列(26)上的图像改变位置(90)。
项9.根据项7所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)发送至数字化控制器(72)，所述数字化控制器(72)通过将一个或多个像素(126)的数字化值146(参见图4B)设置为最小值(146a)或最大值(146b)，控制位于所述模数转换器(30)和所述易失性临时存储器(34)之间的图像改变位置(90)。
项10.根据项7所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)发送至数字流控制器(73)，所述数字流控制器(73)通过在某时改变单个图像(122)并且遮蔽在所述单个图像(122)中的一个或多个像素(126)，控制位于所述易失性临时存储器(34)和所述数字信号处理器(38)之间的图像改变位置(90)。
项11.根据项7所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)发送至控制存储控制器(80)，所述控制存储控制器(80)通过遮蔽一个或多个像素(126)使得它们不被写入所述非易失性结果存储器(44)，控制位于所述焦点平面阵列子系统(22a)的所述数字信号处理器输出(40)处并且在输入至多级安全系统(42)的非易失性结果存储器(44)之前的图像改变位置(90)。
项12.根据项7所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)发送模拟信号控制器(84)，所述模拟信号控制器(84)通过遮蔽一个或多个像素(126)使得它们不被写入所述视频编辑系统(58)，控制位于所述焦点平面阵列子系统(22a)的所述数模转换器输出(56)处并且在输入至视频编辑系统(58)之前的图像改变位置(90)。
项13.根据项1、项2、项3、项4、项5、项6、项7、项8、项9、项10、项11或项12所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为发送看门人命令(62)，所述看门人命令(62)通过用零饱和(140)或百分之一百饱和(142)改写一个或多个像素(126)，控制所述多级安全系统(42)中的定位在非易失性结果存储器(44)和后处理过程(48)之间的图像改变位置(90)。
项14.根据项1、项2、项3、项4、项5、项6、项7、项8、项9、项10、项11、项12或项13所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为发送看门人命令(62)，所述看门人命令(62)通过编辑或忽略表示待成像的指定区域(118a)的排除区域(124)的一个或多个像素(126)，控制所述多级安全系统(42)的后处理过程(48)中的图像改变位置(90)。
项15.一种用于通过动态图像遮蔽处理(11)提供过滤的自治远程感测图像(51)的方法，所述方法包括以下步骤：
给远程感测平台(14)配备成像系统(12)；
指定用于成像的区域(118)以获得待成像的指定区域(118a)；
在所述待成像的指定区域(118a)的表面(118b)上建立多个基准点(120)；
将多个特定表面区域(124a)指定为不参考所述多个基准点(120)成像的排除区域(124)；
控制覆盖所述待成像的指定区域(118a)的预建立的采集计划过程(16)；
使用包含全球定位系统(GPS)(110a)、基于无线电的导航系统(110b)、基于光学的导航系统(110c)、惯性测量单元(IMU)系统(110d)、配备有磁力仪的惯性测量单元(IMU)系统(110e)或其组合的导航系统(110)来定位所述成像系统(12)，从而使所述待成像的指定区域(118a)成像；
使用所述成像系统(12)来使由所述预建立的采集计划过程(16)覆盖的所述待成像的指定区域(118a)成像；
使所述排除区域(124)的一个或多个图像(122)中的一个或多个像素(126)动态地无效；以及
通过对所述待成像的指定区域(118a)进行所述动态图像遮蔽处理(11)获得过滤的自治远程感测图像(51)。
项16.根据项15所述的方法，其中，给所述成像系统(12)配备所述远程感测平台(14)的所述步骤包括给所述远程感测平台(14)配备包括包含数字照相机(20a)的光学系统(20)以及包含焦点平面阵列子系统(22a)、雷达成像系统(22b)、声纳成像系统(22c)、红外线成像系统(22d)、x射线成像系统(22e)、或光检测和测距(LIDAR)系统(22f)的图像感测系统(22)的所述成像系统(12)。
项17.根据项15或项16所述的方法，其中，给所述远程感测平台(14)配备所述成像系统(12)的所述步骤包括配备包括机载的平台(14a)、基于地面的平台(14b)、基于空间的平台(14c)、或基于水的平台(14d)的所述远程感测平台(14)。
项18.根据项15、项16或项17所述的方法，其中，使所述排除区域(124)的所述一个或多个图像(122)中的所述一个或多个像素(126)动态地无效的所述步骤包括改变所述排除区域(124)的一个或多个所捕捉的图像(124b)、使它们难辨认。
项19.根据项18所述的方法，其中，在所述待成像的指定区域(118a)的成像期间实时地实现所述排除区域(124)的一个或多个所捕捉的图像(124b)的所述改变。
项20.一种用于通过动态图像遮蔽处理(11)提供过滤的自治远程感测图像(51)的方法，所述方法包括以下步骤：
给无人驾驶飞行器(UAV)配备成像系统(12)(200)；
指定用于成像的区域(118)以获得待成像的指定区域(118a)；
在所述待成像的指定区域(118a)的表面(118b)上建立多个基准点(120)；
将多个特定表面区域(124a)指定为不参考所述多个基准点(120)成像的排除区域(124)；
控制覆盖所述待成像的指定区域(118a)的所述UAV(200)的预建立的飞行计划(17)；
使用包含全球定位系统(GPS)(110a)、基于无线电的导航系统(110b)、基于光学的导航系统(110c)、惯性测量单元(IMU)系统(110d)、配备有磁力仪的惯性测量单元(IMU)系统(110e)或其组合的导航系统(110)来定位所述成像系统(12)，以使所述待成像的指定区域(118a)成像；
使所述UAV飞行在所述待成像的指定区域(118a)上方(200)、并且使用所述成像系统(12)来使由所述UAV(200)的所述预建立的飞行计划(17)覆盖的所述待成像的指定区域(118a)成像；
使所述排除区域(124)的一个或多个图像(122)中的一个或多个像素(126)动态地无效；以及
通过对所述待成像的指定区域(118a)进行所述动态图像遮蔽处理(11)获得过滤的自治远程感测图像(51)。
项21.根据项20所述的方法，其中，使所述排除区域(124)的一个或多个图像(122)中的所述一个或多个像素(126)动态地无效的所述步骤包括引导所述UAV(200)的所述预建立的飞行计划(17)从而避免在所述排除区域(124)上方飞行。
项22.根据项20或项21所述的方法，其中，使所述排除区域(124)的一个或多个图像(122)中的所述一个或多个像素(126)动态地无效的所述步骤包括实时动态地消除所述UAV(200)飞行在所述排除区域(124)上方时所述图像感测系统(22)拍摄的图像。
项23.根据项20、项21或项22所述的方法，其中，使所述排除区域(124)的所述一个或多个图像(122)中的所述一个或多个像素(126)动态地无效的所述步骤包括改变所述排除区域(124)的一个或多个所捕捉的图像(124b)、使它们难辨认。
项24.根据项23所述的方法，其中，在所述待成像的指定区域(118a)的成像期间实时地实现所述排除区域(124)的所述一个或多个所捕捉的图像(124b)的所述改变。
项25.根据项23所述的方法，其中，在完成所述待成像的指定区域(118a)的总体成像之后、并且在通过对所述待成像的指定区域(118a)进行所述动态图像遮蔽处理(11)而获得所述过滤的自治远程感测图像(51)之前，实现所述排除区域(124)的一个或多个所捕捉的图像(124b)的所述改变。
在上述描述和关联附图中所呈现的教导的益处下，本公开内容所属领域的技术人员将容易想到本公开的许多变形和其他实施方式。本公开中所描述的实施方式意为示出性并且并不旨在限制或者穷尽。虽然本文中使用了特定术语，但它们仅用于一般性和说明性的含义而并非出于限制的目的。

Claims (14)

1.一种动态图像遮蔽系统(10)，用于通过动态图像遮蔽处理(11)提供过滤的自治远程感测图像(51)，所述动态图像遮蔽系统包括：
远程感测平台(14)；
与所述远程感测平台(14)相关联的成像系统(12)，所述成像系统(12)包括：
光学系统(20)；
图像感测系统(22)；
与所述成像系统(12)相关联的多级安全系统(42)；
位于所述成像系统(12)和所述多级安全系统(42)中的一个或多个图像改变位置(90)，其中，经由所述动态图像遮蔽处理(11)进行一个或多个图像的改变；以及
与所述成像系统(12)相关联的计算机系统(130)，所述计算机系统(130)包括被配置为将看门人命令(62)发送至一个或多个控制器(63)的看门人算法(60)，所述一个或多个控制器(63)通过所述动态图像遮蔽处理(11)控制所述一个或多个图像改变位置(90)。
2.根据权利要求1所述的动态图像遮蔽系统(10)，进一步包括导航系统(110)，用于定位所述成像系统(12)从而使待成像的指定区域(118a)成像，所述导航系统(110)包括全球定位系统(110a)、基于无线电的导航系统(110b)、基于光学的导航系统(110c)、惯性测量单元系统(110d)、配备有磁力仪的惯性测量单元系统(110e)或其组合。
3.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述远程感测平台(14)包括机载的平台(14a)、基于地面的平台(14b)、基于空间的平台(14c)或基于水的平台(14d)。
4.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述光学系统(20)包括包含数字照相机(20b)的照相机(20a)，并且其中，所述图像感测系统(22)包括焦点平面阵列子系统(22a)、雷达成像系统(22b)、声纳成像系统(22c)、红外线成像系统(22d)、x射线成像系统(22e)或光检测和测距(LIDAR)系统(22f)。
5.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)进一步被配置为通过确定不利用所述成像系统(12)成像的排除区域(124)，而在输入至所述成像系统(12)之前将看门人命令(62)发送至位于所定位的预建立的采集计划过程(16)处的图像改变位置(90)上的预建立的采集计划过程(16)。
6.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为将看门人命令(62)机械地或光学地发送至光学失明系统(64)，所述光学失明系统(64)控制位于所述光学系统(20)和所述图像感测系统(22)之间的图像改变位置(90)，所述光学失明系统(64)包括快门控制机械设备(66a)以抑制一个或多个像素(126)采集光子或包括激光器光学设备(67a)和微镜光学设备(67b)以照亮一个或多个像素(126)，从而使所述一个或多个像素(126)失明。
7.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述图像感测系统(22)包括焦点平面阵列子系统(22a)，所述焦点平面阵列子系统(22a)包含：
焦点平面阵列(26)，从所述光学系统(20)读取原始图像数据(24)；
模数转换器(30)，从所述焦点平面阵列(26)接收所述原始图像数据(24)并且将所述原始图像数据(24)从模拟信号转换为数字信号；
易失性临时存储器(34)，从所述模数转换器(30)接收所述数字信号(37)并且临时地存储所述数字信号(37)；
数字信号处理器(38)，从所述易失性临时存储器(34)接收所述数字信号(37)并且将所述数字信号(37)处理为可读图像格式(39)；以及
当所述成像系统(12)使用模拟输出时，数模转换器(54)从所述数字信号处理器(38)接收可读数字信号并且将所述可读数字信号转换为模拟信号。
8.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为发送看门人命令(62)，该看门人命令通过用零饱和(140)或百分之一百饱和(142)改写一个或多个像素(126)，而控制在所述多级安全系统(42)中定位在非易失性结果存储器(44)和后处理过程(48)之间的图像改变位置(90)。
9.根据权利要求1或2所述的动态图像遮蔽系统(10)，其中，所述看门人算法(60)被配置为发送看门人命令(62)，该看门人命令通过编辑或忽略表示待成像的指定区域(118a)的排除区域(124)的一个或多个像素(126)，而控制位于所述多级安全系统(42)的后处理过程(48)中的图像改变位置(90)。
10.一种用于通过动态图像遮蔽处理(11)提供过滤的自治远程感测图像(51)的方法，所述方法包括以下步骤：
给远程感测平台(14)配备成像系统(12)；
指定用于成像的区域(118)以获得待成像的指定区域(118a)；
在所述待成像的指定区域(118a)的表面(118b)上建立多个基准点(120)；
将多个特定表面区域(124a)指定为不参考所述多个基准点(120)成像的排除区域(124)；
控制覆盖所述待成像的指定区域(118a)的预建立的采集计划过程(16)；
使用包含全球定位系统(GPS)(110a)、基于无线电的导航系统(110b)、基于光学的导航系统(110c)、惯性测量单元(IMU)系统(110d)、配备有磁力仪的惯性测量单元(IMU)系统(110e)或其组合的导航系统(110)来定位所述成像系统(12)，以使所述待成像的指定区域(118a)成像；
使用所述成像系统(12)来使由所述预建立的采集计划过程(16)覆盖的所述待成像的指定区域(118a)成像；
使所述排除区域(124)的一个或多个图像(122)中的一个或多个像素(126)动态地无效；以及
通过对所述待成像的指定区域(118a)进行所述动态图像遮蔽处理(11)而获得过滤的自治远程感测图像(51)。
11.根据权利要求10所述的方法，其中，给所述远程感测平台(14)配备所述成像系统(12)的所述步骤包括：给所述远程感测平台(14)配备包括包含数字照相机(20a)的光学系统(20)以及包含焦点平面阵列子系统(22a)、雷达成像系统(22b)、声纳成像系统(22c)、红外线成像系统(22d)、x射线成像系统(22e)、或光检测和测距(LIDAR)系统(22f)的图像感测系统(22)的所述成像系统(12)。
12.根据权利要求10或11所述的方法，其中，给所述远程感测平台(14)配备所述成像系统(12)的所述步骤包括配备包括机载的平台(14a)、基于地面的平台(14b)、基于空间的平台(14c)、或基于水的平台(14d)的所述远程感测平台(14)。
13.根据权利要求10或11所述的方法，其中，使所述排除区域(124)的所述一个或多个图像(122)中的所述一个或多个像素(126)动态地无效的所述步骤包括改变所述排除区域(124)的一个或多个捕捉的图像(124b)以使其难辨认。
14.根据权利要求13所述的方法，其中，在所述待成像的指定区域(118a)的成像期间实时地执行所述排除区域(124)的一个或多个捕捉的图像(124b)的所述改变。
CN201510634267.0A 2014-09-29 2015-09-29 动态图像遮蔽系统和方法 Active CN105526916B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/500,589 2014-09-29
US14/500,589 US9846921B2 (en) 2014-09-29 2014-09-29 Dynamic image masking system and method

Publications (2)

Publication Number Publication Date
CN105526916A true CN105526916A (zh) 2016-04-27
CN105526916B CN105526916B (zh) 2020-10-02

Family

ID=55485416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510634267.0A Active CN105526916B (zh) 2014-09-29 2015-09-29 动态图像遮蔽系统和方法

Country Status (4)

Country Link
US (1) US9846921B2 (zh)
JP (1) JP6629019B2 (zh)
CN (1) CN105526916B (zh)
FR (1) FR3026540B1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513567A (zh) * 2017-03-23 2018-09-07 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016109646A2 (en) * 2014-12-31 2016-07-07 AirMap, Inc. System and method for controlling autonomous flying vehicle flight paths
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
TW201836020A (zh) 2017-02-17 2018-10-01 日商半導體能源研究所股份有限公司 半導體裝置及半導體裝置的製造方法
US10606271B2 (en) 2017-07-17 2020-03-31 The Boeing Company Magnetic navigation and positioning system
US10922431B2 (en) 2017-12-27 2021-02-16 Honeywell International Inc. Systems and methods for dynamically masking video and images captured by a drone device camera
EP4009226B1 (en) * 2020-12-04 2024-05-29 Axis AB Tag for indicating a region of interest and method for finding a region of interest in an image
CA3137651A1 (en) 2020-12-19 2022-06-19 The Boeing Company Combined multi-spectral and polarization sensor

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023072A (ja) * 1999-07-05 2001-01-26 Nippon Signal Co Ltd:The 道路交通情報提供システム
JP2003173449A (ja) * 2001-12-06 2003-06-20 Dowa Koei Kk リモートセンシング支援装置、そのプログラム並びにプログラム記録媒体
US20030183765A1 (en) * 2002-03-26 2003-10-02 Lockheed Martin Corporation Method and system for target detection using an infra-red sensor
JP2004030460A (ja) * 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理プログラム及びそれを記録した記録媒体
CN1578507A (zh) * 2003-07-18 2005-02-09 乐金电子(中国)研究开发中心有限公司 便携终端中应用的数码照相机的使用限制系统及方法
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
CN101273586A (zh) * 2005-09-26 2008-09-24 摩托罗拉公司 基于服务质量需求为用户数据连接调度优先值
US20080310714A1 (en) * 2007-06-13 2008-12-18 Sensors Unlimited, Inc. Method and Apparatus for Enhancing Images
US20090251534A1 (en) * 2006-11-09 2009-10-08 Aisin Seiki Kabushiki Kaisha Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device
US20120044476A1 (en) * 2008-05-09 2012-02-23 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3d lidar
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US20130004017A1 (en) * 2011-06-30 2013-01-03 The Boeing Company Context-Based Target Recognition
US20130073775A1 (en) * 2009-05-29 2013-03-21 Jack Wade Systems and methods for image stream processing
US20130317667A1 (en) * 2010-09-30 2013-11-28 Empire Technology Development Llc Automatic flight control for uav based solid modeling
WO2014031557A1 (en) * 2012-08-20 2014-02-27 Drexel University Dynamically focusable multispectral light field imaging
US20140119716A1 (en) * 2012-10-31 2014-05-01 Kabushiki Kaisha Topcon Aerial Photogrammetry And Aerial Photogrammetric System
US8731234B1 (en) * 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US20140140575A1 (en) * 2012-11-19 2014-05-22 Mace Wolf Image capture with privacy protection
CN105917647A (zh) * 2013-11-14 2016-08-31 Ksi数据科技公司 一种管理和分析多媒体信息的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4508753B2 (ja) * 2003-07-12 2010-07-21 エルジー エレクトロニクス インコーポレイティド 携帯端末機のカメラ撮影制限システム及びその方法
US8918540B2 (en) * 2005-09-26 2014-12-23 The Boeing Company Unmanned air vehicle interoperability agent
US20140347482A1 (en) * 2009-02-20 2014-11-27 Appareo Systems, Llc Optical image monitoring system and method for unmanned aerial vehicles
US9163909B2 (en) 2009-12-11 2015-10-20 The Boeing Company Unmanned multi-purpose ground vehicle with different levels of control
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023072A (ja) * 1999-07-05 2001-01-26 Nippon Signal Co Ltd:The 道路交通情報提供システム
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
JP2003173449A (ja) * 2001-12-06 2003-06-20 Dowa Koei Kk リモートセンシング支援装置、そのプログラム並びにプログラム記録媒体
US20030183765A1 (en) * 2002-03-26 2003-10-02 Lockheed Martin Corporation Method and system for target detection using an infra-red sensor
JP2004030460A (ja) * 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理プログラム及びそれを記録した記録媒体
CN1578507A (zh) * 2003-07-18 2005-02-09 乐金电子(中国)研究开发中心有限公司 便携终端中应用的数码照相机的使用限制系统及方法
CN101273586A (zh) * 2005-09-26 2008-09-24 摩托罗拉公司 基于服务质量需求为用户数据连接调度优先值
US20090251534A1 (en) * 2006-11-09 2009-10-08 Aisin Seiki Kabushiki Kaisha Vehicle-mounted image processing device, and method for controlling vehicle-mounted image processing device
US20080310714A1 (en) * 2007-06-13 2008-12-18 Sensors Unlimited, Inc. Method and Apparatus for Enhancing Images
US20120044476A1 (en) * 2008-05-09 2012-02-23 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3d lidar
US8731234B1 (en) * 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US20130073775A1 (en) * 2009-05-29 2013-03-21 Jack Wade Systems and methods for image stream processing
US20130317667A1 (en) * 2010-09-30 2013-11-28 Empire Technology Development Llc Automatic flight control for uav based solid modeling
US20130004017A1 (en) * 2011-06-30 2013-01-03 The Boeing Company Context-Based Target Recognition
WO2014031557A1 (en) * 2012-08-20 2014-02-27 Drexel University Dynamically focusable multispectral light field imaging
US20140119716A1 (en) * 2012-10-31 2014-05-01 Kabushiki Kaisha Topcon Aerial Photogrammetry And Aerial Photogrammetric System
US20140140575A1 (en) * 2012-11-19 2014-05-22 Mace Wolf Image capture with privacy protection
CN105917647A (zh) * 2013-11-14 2016-08-31 Ksi数据科技公司 一种管理和分析多媒体信息的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513567A (zh) * 2017-03-23 2018-09-07 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置

Also Published As

Publication number Publication date
JP6629019B2 (ja) 2020-01-15
CN105526916B (zh) 2020-10-02
JP2017027571A (ja) 2017-02-02
US9846921B2 (en) 2017-12-19
US20170018058A1 (en) 2017-01-19
FR3026540A1 (fr) 2016-04-01
FR3026540B1 (fr) 2019-03-29

Similar Documents

Publication Publication Date Title
CN105526916A (zh) 动态图像遮蔽系统和方法
JP7129069B2 (ja) ドローンを用いた作業を支援するシステムおよび方法
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
US10614562B2 (en) Inventory, growth, and risk prediction using image processing
US11086324B2 (en) Structure from motion (SfM) processing for unmanned aerial vehicle (UAV)
Hodgson et al. Drones count wildlife more accurately and precisely than humans
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
WO2020103110A1 (zh) 一种基于点云地图的图像边界获取方法、设备及飞行器
Roth et al. PhenoFly Planning Tool: flight planning for high-resolution optical remote sensing with unmanned areal systems
US10891483B2 (en) Texture classification of digital images in aerial inspection
WO2020103108A1 (zh) 一种语义生成方法、设备、飞行器及存储介质
WO2020103109A1 (zh) 一种地图生成方法、设备、飞行器及存储介质
CN111225855A (zh) 无人机
US20230026679A1 (en) Mobile sensing system for crop monitoring
US11769225B2 (en) Image processing apparatus, image processing method, and program
WO2018198313A1 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
KR102262382B1 (ko) 무인기 기반 영상 취득의 광지역 공간정보 구축시스템
Guerra et al. Optimal UAV movement control for farming area scanning using hyperspectral pushbroom sensors
Domozi et al. Surveying private pools in suburban areas with neural network based on drone photos
US11183073B2 (en) Aircraft flight plan systems
Nguyen et al. Characteristics of optical flow from aerial thermal imaging,“thermal flow”
Ibrahim et al. Survey of irrigation area using micro unmanned aerial vehicle (micro-uav) in gumbasa irrigation area
EP4315277A2 (en) Estimating properties of physical objects, by processing image data with neural networks
Gomathi et al. Computer vision for unmanned aerial vehicles in agriculture: applications, challenges, and opportunities
Zanone et al. A Drone-based Prototype Design and Testing for Under-the-canopy Imaging and Onboard Data Analytics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant