CN107851358B - 用于监控的方法和装置 - Google Patents

用于监控的方法和装置 Download PDF

Info

Publication number
CN107851358B
CN107851358B CN201680040223.8A CN201680040223A CN107851358B CN 107851358 B CN107851358 B CN 107851358B CN 201680040223 A CN201680040223 A CN 201680040223A CN 107851358 B CN107851358 B CN 107851358B
Authority
CN
China
Prior art keywords
monitoring
space
scene
computer implemented
virtual boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680040223.8A
Other languages
English (en)
Other versions
CN107851358A (zh
Inventor
F·克里克里
J·萨里宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107851358A publication Critical patent/CN107851358A/zh
Application granted granted Critical
Publication of CN107851358B publication Critical patent/CN107851358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Abstract

一种方法，包括：在监控的场景空间中识别第一双手手势和第二双手手势以至少部分地定义计算机实现的虚拟边界在对应的监控空间中的形状和位置，其中，监控的场景空间中的第一双手手势指定监控空间中的第一两点，监控的场景空间中的第二双手手势指定监控空间中的第二两点；使得计算机实现的虚拟边界在与监控的场景空间对应的监控空间中实现，其中，计算机实现的虚拟边界的形状和位置至少部分地由监控空间中的第一两点和监控空间中的第二两点限定；以及当监控的场景空间的一部分相对于对应的监控空间中的计算机实现的虚拟边界发生变化时，处理所接收的数据以产生响应事件。

Description

用于监控的方法和装置
技术领域
本发明的实施例涉及监控场景。具体地，本发明的实施例涉及自动监控场景。
背景技术
目前的诸如监视系统的监控系统可包括一个或多个用于视频记录的具有或不具有音频记录的照相机，这些照相机经由有线或无线连接到存储或使能存储从场景记录的数据的集线器。在一些示例中，操作员可能够使用集线器以对照相机和/或集线器的设置编程。
发明内容
根据本公开的各种但并非全部示例，提供了如权利要求1至14中任一项所述的方法。
根据本公开的各种但并非全部示例，提供了如权利要求14所述的装置。
根据本公开的各种但并非全部示例，提供了一种装置，其包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使所述装置至少执行如权利要求1至14中任一项所述的方法。
根据本公开的各种但并非全部示例，提供了计算机程序代码，所述计算机程序代码在由至少一个处理器执行时，使得执行权利要求1至14中至少一项的方法。
根据本公开的各种但并非全部示例，提供了一种计算机程序，所述计算机程序在计算机上运行时，执行如权利要求1至14中任一项所述的方法。
根据本公开的各种但并非全部示例，提供了一种方法，其包括：在监控的场景空间中定位第一可移动物以至少部分地定义计算机实现的虚拟边界在对应的监控空间中的形状和位置；使得计算机实现的虚拟边界在与监控的场景空间对应的监控空间中实现；响应于监控的场景空间的至少一部分相对于对应的监控空间中的计算机实现的虚拟边界的变化，处理从监控的场景空间的传感器接收的数据以产生响应事件；识别从第一可移动物到第二可移动物的切换；在监控的场景空间中定位第二可移动物以至少部分地定义在对应的监控空间中的新的计算机实现的虚拟边界；以及响应于监控的场景空间的至少一部分相对于在对应的监控空间中的新的计算机实现的虚拟边界的变化，处理从监控的场景空间的传感器接收的数据以使得能够产生响应事件。
根据本公开的各种但并非全部实施例，提供了如所附权利要求中所述的示例。
附图说明
为了更好地理解有助于理解简要说明的各种示例，现在将仅以示例的方式参照附图，其中：
图1示意性示出系统的示例；
图2示出状态机的示例；
图3示出处理模块的示例；
图4示出用于计算机程序的传送机制的示例；
图5示出可移动物的示例；
图6A-6D示出系统的操作；
图7A-7C示出使用可移动物的计算机实现的虚拟边界定义/重定义；
图8A-8C示出使用可移动物之间的切换的计算机实现的虚拟边界定义；
图9示出方法的示例。
具体实施方式
定义
在本文中，术语“机动(maneuver)”在用作与一个可移动物有关的名词时是指可移动物的位置随时间的变化，在用作与多个可移动物有关的名词时是指在某一时刻这些可移动物的相对位置，或者是指一个或多个可移动物的位置或相对位置随时间的变化。如果考虑一组空间坐标限定在特定时间的位置，则“机动”由限定空间中不同位置的一个或多个可移动物的多组不同的空间坐标来定义。术语“机动”在用作动词或形容词时是指机动的性能。
在本文中，“可移动物”是运输工具(conveyance)、车辆或其它交通工具。
在本文中，“监控的场景空间”或“场景空间”或“场景”是被监控的三维空间。
在本文中，“监控空间”是与监控的场景空间对应的虚拟三维空间，在该监控空间内定义计算机实现的虚拟边界。
在本文中，“计算机实现的虚拟边界”是监控空间中的边界，其中监控空间是计算机实现的虚拟空间。
在本文中，“事件”是发生的事件。
在本文中，“响应事件”是响应于检测到的监控的场景空间的变化而产生的事件。
具体描述
所描述的系统100是监控至少一个场景140的系统。场景140是其中事件可能发生的空间。因此，场景140也可被称为监控的场景空间140。系统100的操作可由在监控的场景空间140内机动的一个或多个可移动物控制。例如，一个或多个可移动物可定义要由系统100监控的至少一个计算机实现的虚拟边界144。
图1示意性地示出了系统100，其包括：一个或多个传感器110，其被配置为记录来自场景140的传感器数据112；处理模块120，其被配置为处理从场景140记录的传感器数据112，以自动识别在场景140中发生的事件并自动作出决定作为识别的结果；以及通信模块130，其被配置为在处理模块120做出要通信的决定时进行通信。
一些但并非全部被识别的事件可涉及场景140中的物体152或特定物体152。物体可以是场景140中的无生命物体、动物、人或特定的人。在系统100的一些但并非全部示例中，系统100是实时识别系统，并且基本在记录传感器数据112的同时进行自动识别和决定(如果有的话)。
系统100可使用户能够例如从场景140内控制监控。系统100可使用户能够例如经由场景内的用户或其它控制物体150的运动来控制识别和/或识别的结果。控制物体150可以是场景140中的人的一部分或由人携带的物体，或者可以是场景140内的可移动物200。
所执行的动作的示例可以是产生告警或通知。
在一些但并非全部示例中，系统100可包括多个分立装置。例如，传感器110可被安置在一个或多个单独的装置中，处理模块120可被安置在一个或多个装置中，通信模块130可被安置在一个或多个装置中。在系统100的一个或多个组件被安置在分立装置中的情况下，这些装置可以是本地的或彼此远程，在它们是远程的情况下，它们例如可通过网络进行通信。
在一些但并非全部示例中，系统100可被安置在单个装置中。
传感器110被配置为记录或使能记录来自场景140的传感器数据112。
场景140可包括例如具有固定相对位置的静态组件，例如静态物体。这些静态物体在场景的三维空间(场景空间)中具有不同的静态位置。场景140可包括移动组件，例如移动物体。移动物体随时间在场景空间中具有不同的位置。提及与不同的传感器数据112或不同的时间相关的“场景”意味着感应到场景140的那些静态组件的连续性，但并非意味着感应到一些或全部动态组件的连续性，尽管这可能发生。
传感器数据112的记录可仅包括临时记录，或者可包括永久记录，或者可包括临时记录和永久记录两者。临时记录表示临时记录数据。这例如可在感应期间发生，在动态存储器处发生，在诸如循环缓冲器、寄存器、高速缓存等的缓冲器处发生。永久记录表示数据采用可寻址数据结构的形式，可从可寻址存储空间中检索，因此可被存储和检索直到被删除或覆盖，尽管长期存储可能或可能不发生。
传感器110可被配置为将诸如声波和/或光波的传播波转换成电信号，将来自场景140的传播波数据编码为传感器数据112。
在一些但并非全部示例中，一个或多个传感器110相对于场景空间140在空间中固定。在其它示例(其可以是相同或不同的示例)中，一个或多个传感器110相对于场景空间140可移动或在移动。例如，一个或多个传感器110可以是一个或多个可移动物200中的一些、全部的一部分，或者不是其一部分。
在一些但并非全部实施例中，传感器110是或包括图像传感器114。图像传感器114的示例是被配置为作为照相机工作的数字图像传感器。这样的照相机可被操作以记录静态图像和/或视频图像。
在一些但并非全部实施例中，照相机可采用立体或其它空间分布布置进行配置，以便从不同的角度观看场景140。这可使得能够例如经由视差效应来创建三维图像和/或处理以建立深度。
在一些但并非全部实施例中，传感器110是或包括音频传感器116。音频传感器116的示例是一个或多个麦克风。麦克风可采用诸如麦克风阵列的立体或其它空间分布布置进行配置，以便从不同的角度对场景140进行采样。这可使能三维空间音频处理，允许在场景140内定位音频。
在一些但并非全部实施例中，传感器是或包括深度传感器118。深度传感器118可包括发射器和接收器。发射器发射信号(例如，诸如超声波或红外光的人类不能感应到的信号)，接收器接收反射信号。使用单个发射器和单个接收器，可经由测量从发射到接收的飞行时间来获得一些深度信息。可通过使用更多的发射器和/或更多的接收器(空间分集)实现更好的分辨率。在一个示例中，发射器被配置为用光“描绘(paint)”场景140，优选地用诸如红外光的不可见光用空间相关的图案来描绘场景。接收器对某些图案的检测允许在空间上分辨场景140。到场景140的空间分辨部分的距离可通过飞行时间和/或立体视觉(如果接收器相对于发射器处于立体位置)来确定。
在这些“被动”或“非主动”深度感应的示例中，深度感应是被动的，仅仅反射由发射器发射的入射光或声波。然而，可附加地或替代地使用“主动”示例，其在感应的物体处要求主动性。
在所示的示例，但并非全部示例中，处理模块120包括存储子模块122、处理子模块124、识别子模块126和控制子模块128。虽然这些“模块”被单独描述和示出，但它们可以是(尽管不必)单独的或采用不同的组合进行组合。例如，处理子模块124、识别子模块126和控制子模块128可由相同的电路或在相同的计算机程序的控制下执行。可替代地，处理子模块124、识别子模块126和控制子模块128中的一个或多个可由专用电路或专用计算机程序执行。这些子模块可使用软件、专用硬件或编程硬件和软件的组合来执行。
存储子模块122可用于存储由处理模块120使用的未处理传感器数据和/或处理的传感器数据112(场景数据)、计算机程序、场景空间模型和其它数据，但其它子模块可具有它们自己的存储器。
处理子模块124可被配置为处理传感器数据112以确定对场景140有意义的场景数据。
处理子模块124可被配置为执行图像处理，其中，传感器数据110包括来自一个或多个照相机114的图像数据。处理子模块124可被配置为执行音频处理，其中，传感器数据110包括来自一个或多个麦克风116的音频数据。
处理子模块124可被配置为使用传感器数据112自动执行以下任务中的一项或多项以创建对场景140具有潜在含义的场景数据：
使用机器(计算机)视觉执行以下中的一项或多项：
检测(移动或静止)物体或人，
将(移动或静止)物体或人进行分类，和/或
跟踪(移动或静止)物体或人；
使用空间分析执行以下中的一项或多项：
使用深度确定在场景空间中定位(移动或静止)物体；和/或
创建场景空间的映射；和/或
使用行为分析描述在场景140中发生的事件作为潜在有意义的符号。
图像处理的示例是“梯度特征直方图”分析，其创建了图像的强度梯度或边缘方向的分布。图像可被划分成小的连接的区域(单元)，对于每个单元，为单元内的像素创建梯度方向或边缘定向的直方图。这些直方图的组合则代表描述符。
音频处理的示例是“梅尔频率倒谱系数”确定，例如使用音频波束形成技术、音频事件识别或分类、说话人识别或验证或语音识别的空间音频处理。
例如，可使用相对于背景模型的差分(背景减除)或相对于先前图像的差分(时间差分)，或者使用一些其它诸如使用基于矢量的方法的光流分析的方法来实现运动检测。
例如，可使用基于形状的分析和/或基于运动的分析来实现物体分类。
人的分类可以是物体是人的分类或者物体是特定的人(识别)的分类。可使用在一组可能是人内唯一地识别人的属性或属性的组合来实现识别。属性的示例包括：对于一个人是或可能是特定的生物特征，诸如他们的脸或他们的声音；他们的外形和体型；他们的行为。
物体跟踪可通过标记物体并记录所标记的物体在场景140中的位置来实现。该算法可能需要处理以下事件中的一个或多个：物体进入场景140；物体从场景140离开；物体重新进入场景140；物体遮挡、物体合并。如何处理这些事件在本领域中是已知的。
物体跟踪可用于确定物体或人何时发生变化。例如，在大的宏观范围上跟踪物体允许创建随物体一起移动的参照系。该参照系则可用于通过使用关于物体的时间差分来跟踪物体形状的时间演变。这可用于检测小范围人体运动，诸如手势、手部运动、面部运动。这些是与用户相关的(仅)场景独立用户运动。
该系统可跟踪与人体相关的多个物体和/或点，例如人体的一个或多个关节。在一些示例中，系统100可执行人体的全身骨骼跟踪。
系统100可使用与人体相关的一个或多个物体和/或点的跟踪来进行手势识别等。
行为分析要求使用有意义的符号体系来描述发生在场景140中发生的事件。事件可能是在时空实例中发生的事情，或者它可能是时空序列(随时间推移的时空实例模式)。事件可涉及物体(或人)的运动或者人与物体的交互。
在一些但并非全部实现中，事件可由根据从机器(计算机)视觉分析和/或空间分析确定的参数而定义的推定符号表示。这些参数对以下中的一些或更多进行编码：发生了什么、发生在哪里、何时发生和谁在做。
识别子模块126被配置为将对场景140中的事件进行编码的推定符号识别为与特定含义相关联的有意义的符号。
识别子模块126可被配置为将根据从机器(计算机)视觉分析和/或空间分析确定的参数而定义并由处理子模块124生成的推定符号识别为具有含义。例如，识别子模块126可存储或访问有意义的参考符号的数据库，并且可使用相似性测试以确定推定符号是否与有意义的符号“相似”。
识别子模块126可被配置为机器(计算机)推理引擎或其它识别引擎，诸如人工神经网络或参数空间中的聚类。在一些示例中，识别子模块126可经由指导的学习来训练以识别与参考符号相似的有意义的符号。
控制子模块128对根据事件确定在场景140中发生了有意义的事件进行响应：
a)如果推定符号与响应符号相似，则有意义的事件是“响应”事件，控制子模块126执行响应动作。
在一些但并非全部示例中，执行的动作可由用户编程。在一些但并非全部示例中，编程可经由场景内的用户或其它控制物体150的运动而发生。执行的动作的示例可以是产生告警或通知。
该告警或通知可经由通信模块130来提供。例如，通信模块130可经由无线电波与本地或远程装置进行无线通信或经由有线连接与本地或远程装置进行通信。这种装置的示例包括但不限于显示器、电视机、音频输出装置、诸如移动电话或个人计算机的个人设备、投影仪或其它用户输出装置。
在一些但并非全部示例中，响应符号可由用户编程。例如，用户可能够对由有意义的响应符号表示的有意义的事件进行编程或教导。由用户创建的响应符号可被添加到参考符号数据库中或以其它方式用于将推定符号识别为有意义的符号。在一些但并非全部示例中，编程可经由用户在场景140内的运动而发生。由有意义的符号表示的有意义的事件的示例包括诸如用户输入手势执行的特定动作或移动。
单个人的动作或许多人的集体动作可用作响应符号。在一些但并非全部示例中，特定手势用户输入或手势用户输入集可用作响应符号。
b)如果推定符号与控制符号相似，则有意义的事件是“控制”事件，控制子模块126使能控制监控和/或控制响应。
例如，用户可能够对被添加到参考符号数据库中的有意义的响应符号进行编程或教导。在一些但并非全部示例中，编程可经由场景140内的控制对象150(例如用户或可移动物)的运动而发生。
例如，当推定符号与响应符号匹配时，用户可能够对执行的动作进行编程或教导。执行的动作的示例可以是产生告警或通知。
处理模块120的操作可根据图2来进一步理解，图2示出了处理模块120的状态机20。状态机20具有监控状态21、控制状态22和自动响应状态23。
在监控状态21中，传感器110提供传感器数据112，处理子模块124自动处理传感器数据112(视频和/或音频和/或深度)以创建具有潜在含义的场景数据。识别子模块126自动处理场景数据以识别场景数据内的实际含义，即有意义的符号。
有意义的符号是预先确定的在识别之前已发生的确定符号的动作。但是，“预先确定”不应当被认为是确切或固定意义的。用于相似性匹配的符号仅仅是事先确定的，它可动态演进或者可以是固定的。
如果识别子模块126确定在场景140中已发生有意义的事件，则控制子模块126根据事件自动进行响应。如果有意义的事件是“响应”事件，则状态机20转换到响应状态23，并且控制子模块126执行响应动作。响应动作可与响应事件相关联。如果事件是“控制”事件，则状态机20转换到控制状态22，并且使能控制监控和/或响应。该使能可采用与控制状态22相关联的方式进行。
单个人的动作或许多人的集体动作可用作“控制”符号。在一些但并非全部示例中，特定手势用户输入可用作控制符号。
在一些示例中，系统100可在手势识别中跟踪与人体相关的一个或多个物体和/或点。例如，系统100可在手势识别中执行人体的全身骨骼跟踪。
处理器模块120或处理器模块120的一部分的实现可以是作为控制器电路。控制器电路120可仅采用硬件实现，可具有采用仅包括固件的软件的某些方面，或者可以是硬件和软件(包括固件)的组合。
如图3所示，控制器120可使用指令来实现，这些指令例如通过在通用或专用处理器310中使用可存储在计算机可读存储介质(磁盘、存储器等)上以由这样的处理器310执行的可执行计算机程序指令322来使能硬件功能。
处理器310被配置为从存储器320中读取和写入存储器320。处理器310还可包括处理器310经由其输出数据和/或命令的输出接口和经由其向处理器310输入数据和/或命令的输入接口。
存储器320存储包括计算机程序指令(计算机程序代码)的计算机程序322，所述计算机程序指令在被加载到处理器310中时，控制处理模块120的操作。计算机程序322的计算机程序指令提供使处理模块能够执行参照附图讨论的方法的逻辑和例程。处理器310通过读取存储器320能够加载并执行计算机程序322。
因此，系统100可包括装置120，其包括：
至少一个处理器310；以及包括计算机程序代码322的至少一个存储器320，至少一个存储器320和计算机程序代码322被配置为与至少一个处理器310一起使装置120至少执行图1的框124、126、128中的一个或多个和/或图8的框中的一个或多个。
如图4所示，计算机程序322可经由任何合适的传送机制324到达这样的装置。传送机制324例如可以是非暂时性计算机可读存储介质、计算机程序产品、存储器件、诸如光盘只读存储器(CD-ROM)或数字多功能光盘(DVD)的记录介质、有形具体化计算机程序322的制造品。传送机制可以是被配置为可靠传送计算机程序322的信号，诸如调制的电磁波或数字编码的电信号。装置120可将计算机程序322作为计算机数据信号进行传播或传输。
虽然存储器320被示出为单个组件/电路，但其可被实现为一个或多个单独的组件/电路，其中的一些或全部可以是集成/可移除的和/或可提供永久/半永久/动态/缓存存储。
虽然处理器310被示出为单个组件/电路，但其可被实现为一个或多个单独的组件/电路，其中的一些或全部可以是集成/可移除的。处理器310可以是单核或多核处理器。
提及“计算机可读存储介质”、“计算机程序产品”、“有形具体化计算机程序”等，或者“控制器”、“计算机”、“处理器”等，应当被理解为不仅包括具有诸如单个/多个处理器架构和串行(冯诺依曼)/并行架构的不同架构的计算机，而且还包括诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、信号处理设备和其它处理电路的专用电路。提及计算机程序、指令、代码等，应当被理解为包括用于可编程处理器的软件、或者可包括用于处理器的指令的例如硬件设备的可编程内容的固件、或者用于固定功能器件、门阵列或可编程逻辑器件等的配置设置。
如在本申请中使用的，术语“电路”是指以下的全部：
(a)仅硬件电路实现(诸如仅模拟和/或数字电路的实现)；
(b)电路和软件(和/或固件)的组合，诸如(如果适用)：(i)处理器的组合或(ii)处理器/软件的部分(包括数字信号处理器、软件和存储器，其一起工作以使诸如移动电话或服务器的装置执行各种功能)；
(c)电路，诸如微处理器或微处理器的一部分，其需要软件或固件来操作，即使软件或固件并不是物理存在的。
“电路”的这一定义应用于在本申请中的该术语的全部使用，包括在任何权利要求中的使用。作为另一个示例，如在本申请中使用的，术语“电路”还涵盖仅处理器(或多个处理器)或处理器的部分及其伴随的软件和/或固件的实现。术语“电路”还涵盖(例如且如果适用于具体要求的元件)用于移动电话或服务器中的类似集成电路、蜂窝网络设备或其它网络设备的基带集成电路或应用处理器集成电路。
图1中示出的框124、126、128和/或图9中示出的框可表示方法中的步骤和/或计算机程序322中的代码段。对框的特定顺序的说明并不意味着对于框存在要求或优选的顺序，并且框的顺序和布置可变化。此外，可以省略一些框。
在一些但并非全部示例中，控制物体150可以是用户，例如，场景140中的人150。在一些但并非全部示例(其可以是相同或不同的示例)中，控制物体150可以是一个或多个可移动物200。在一些但并非全部示例中，可移动物200可以是飞机。可移动物200的一个示例是“无人机”。无人机是无人驾驶的无线电控制的可移动物。无人驾驶飞机是无人驾驶的无线电控制的飞机。
图5示出了无人机200的示例。在该示例但并非全部示例中，无人机是无人驾驶飞机。无人驾驶飞机200包括用于在三维中移动无人驾驶飞机200的推进系统202。
无人驾驶飞机的定位或重定位可由用户手动或经由语音控制半自主或自主地执行。在一些示例中，无人驾驶飞机200的位置可仅由位置限定，在其它示例中，无人驾驶飞机200的位置可仅由定向限定，在其它示例中，无人驾驶飞机200的位置可由位置和定向两者限定。因此，在一些但并非全部示例中，无人驾驶飞机可自主、半自主或完全用户控制地改变其三维位置和/或三维定向。
术语“完全自主”在用于描述功能时意思是可移动物可根据预定义的规则执行功能，而无需任何实时用户输入。实时控制完全基于规则。
术语“半自主”在用于描述功能时意思是可移动物可根据预定义的规则执行功能，但额外需要一些实时用户输入。实时控制不完全基于规则，也不完全在用户的控制下。
术语“自主”包括“完全自主”和“半自主”两者。如果某个特征被描述为“自主”，则其可能是“完全自主”也可能是“半自主”。
无人驾驶飞机200可选择性地包括自主位置稳定性系统204。自主位置稳定性系统204控制推进系统202以将无人驾驶飞机200维持在特定的三维位置处。所维持的三维位置例如可以是采用相对于地球固定的坐标系限定的绝对位置，或者所维持的三维位置例如也可以是采用例如与监控的场景空间140中跟踪的物体152一起移动的坐标系限定的相对位置。跟踪的物体152例如可以是另一个无人驾驶飞机200。
无人驾驶飞机200可选择性地包括自主定向稳定性系统206。自主定向稳定性系统206控制推进系统202以将无人驾驶飞机200维持在特定的三维定向。所维持的三维定向例如可以是采用相对于地球固定的坐标系限定的绝对定向，或者所维持的三维定向例如也可以是采用例如与监控的场景空间140中跟踪的物体152一起移动的坐标系限定的相对定向。跟踪的物体152例如可以是另一个无人驾驶飞机200。
无人驾驶飞机200可选择性地包括用于与系统100的通信模块130进行通信的无线通信系统208。
无人驾驶飞机200可选择性地包括导航系统210，其用于例如经由卫星定位或一些其它定位技术来使能无人驾驶飞机200的三维定位。在一些示例中，无人驾驶飞机200的位置被传送到系统100。导航系统210还可使能规划无人驾驶飞机200所遵循的路线和/或向位置稳定性系统204和/或推进系统202提供输入。
无人驾驶飞机200可选择性地包括运动传感器212，其用于例如使用的电子罗盘、陀螺仪、磁力计和加速度计检测沿不同轴的位置和/或定向的变化。这些运动传感器212可向位置稳定性系统204和/或定向稳定性系统206提供输入。
无人驾驶飞机200可选择性地包括被配置为对监控的场景空间140的传感器110中的至少一些进行监控。传感器110被配置为记录或使能记录来自场景140的传感器数据112。
无人驾驶飞机200可被配置为在户外工作。例如，无人驾驶飞机200可被配置为在风和雨中工作。无人驾驶飞机可以是防水的。
例如，无人驾驶飞机200可用于限定户外数十、数百或数千米的大范围和/或延伸到某个高度的计算机实现的虚拟边界。这对于大规模户外活动是特别有用的，诸如音乐会、节日、体育赛事、需要人群控制的区域或需要监视的区域。
图6示出了系统100的操作的示例。部分A示出了由系统100监控的三维空间内的真实世界场景。场景140还可被称为监控的场景空间140。
在图6的示例中，可移动物200(例如无人驾驶飞机)正在执行机动146以定义至少一个计算机实现的虚拟边界144。
在所示示例中，可移动物200正在执行机动以定义单个计算机实现的虚拟边界144。机动148包括在一个空间维度、两个空间维度或三个空间维度中的任何运动或一系列运动，并且可采取任何形式。
图6的示例的部分C示出了监控的场景空间140的俯视图，其中示出了可移动物200进行机动146以定义计算机实现的虚拟边界144。
在图6的示例的部分A和C中可以看到，在时间t，对于每个用户输入物体i，机动146在场景140中具有具有笛卡尔正交坐标(xi(t),yi(t),zi(t))的位置。在该示例中，xi(t)是从左边测量的，yi(t)是从前面测量的，而zi(t)是从底部测量的。应理解，可使用其它坐标系，并且可使用不同定向的笛卡尔坐标系。
为了简化图6的图示，机动146包括一个可移动物200在一个空间维度中的运动，如x的值变化，而y和z的值保持不变。在其它示例中，x、y和/或z的值可随着从监控的场景空间140中的任何起始位置开始的移动148以任何方式发生变化。例如还可同时使用多个可移动物200。
图6的示例的部分B和D示出了与监控的场景空间140对应的监控空间142(对应的监控空间142)。监控空间142包括由系统100创建并使用的监控的场景空间140的虚拟表示。监控空间142例如可由传感器110接收的数据(诸如接收的图像数据和/或深度数据)形成。部分B和D分别示出了与图6的部分A和C中所示的相同的视图。
在一些示例中，系统100可使用监控的场景空间140的几何形状信息形成监控空间142。例如，系统100可在形成监控空间142时使用监控的场景空间140的三维模型。监控的场景空间140的三维模型可由系统100创建和/或可由系统100接收。用于创建监控的场景空间140的三维模型的方法在本领域中是已知的。
系统100可使用监控空间142监控场景空间140。例如，系统可使用监控空间142实现并监控至少一个计算机实现的虚拟边界144。
如图6的部分A和B与部分C和D之间的箭头所指示的，在监控空间142与监控的场景空间140之间存在对应关系。在一些示例中，监控空间142与监控的场景空间140之间可存在一对一映射M。
在其它示例中，在监控的场景空间140与监控空间142之间可存在尺度不变的变换。
系统100识别由可移动物200执行的机动146，并且作为响应，在监控空间142中实现至少一个计算机实现的虚拟边界144。
在一些示例中，识别机动146可包括处理所接收的数据。在一个示例中，所接收的数据可以是被使用图像处理分析以定位可移动物200的图像数据。在另一个示例中，所接收的数据可包括定位可移动物200的位置数据，在一些示例中，位置数据可以是由可移动物200内的定位系统提供的位置。
在示例中，监控空间中的计算机实现的虚拟边界144的形状和位置至少部分地由监控的场景空间140中的机动146确定，计算机实现的虚拟边界144位于监控空间中相当于监控的场景空间140中的机动146的位置的对应位置处。
因此应理解，系统100在监控的场景空间140中使得能够定位一个或多个可移动物200以至少部分地定义计算机实现的虚拟边界144在对应的监控空间142中的形状和位置；使得计算机实现的虚拟边界144在与监控的场景空间140对应的监控空间142中实现；以及响应于监控的场景空间140的至少一部分相对于对应的监控空间142中的计算机实现的虚拟边界144的变化，处理从监控的场景空间140的传感器110接收的数据以产生响应事件。
图7A、图7B、图7C、图8A、图8B、图8C示出了监控的场景空间140中的一个或多个可移动物200的不同位置的不同示例，其定义210计算机实现的虚拟边界144在对应的监控空间142中的形状和位置。
在一些但并非全部示例中，可能需要将可移动物200与系统100“配对”，以使这个可移动物200能够控制计算机实现的虚拟边界144的形状和位置。例如，配对可包括识别可移动物200的认证过程和/或检查一个或多个安全凭据的认证过程。
在这些附图中，点pn(tx)是指在时间tx监控的空间140中由可移动物n限定的点214。点pn(tx)与监控的场景空间140中的特定点pn’(tx)216相对应，其中在两个空间中一致使用相同的标签n标记对应的点214、216，并且标签x在这两个空间中一致用于标记对应的时间。
监控的场景空间140中的机动148指定一组不同的点{pn(tx)}，其映射到监控空间142中的一组对应的点{pn’(tx)}。将监控的场景空间140映射到监控空间142的映射M还将监控的场景空间140中的该组不同的点{pn(tx)}映射到监控空间142中一组对应的不同的点{pn’(tx)}。
监控空间142中的这组不同的点{pn’(tx)}限定计算机实现的虚拟边界144在对应的监控空间142中的形状和位置。
在所示示例中，监控空间中的计算机实现的虚拟边界144穿过该组点{pn’(tx)}中的每个点216。在所示示例中，计算机实现的虚拟边界144是具有在该组点{pn’(tx)}中的每个点216处的顶点(角点)的N边形。
计算机实现的虚拟边界144可以是一维、二维或三维的。
在图7A中，计算机实现的虚拟边界144由仅包括单个可移动物200在监控的场景空间140中移动的机动148限定210。计算机实现的虚拟边界144由监控的场景空间140中的单个可移动物200的位置214序列限定210。监控的场景空间140中的可移动物200指定与监控空间142中的点216对应的监控的场景空间140中的点214的序列。计算机实现的虚拟边界144的形状和位置由监控空间142中的点216的位置限定。在该示例中，计算机实现的虚拟边界144是具有在点216处的N个顶点(角点)的N边形。监控的场景空间140中的单个可移动物200在每个位置214处限定N个顶点中的一个。可移动物200可发送路标信号以向系统100标识在其旅程上的路标指定点214。
如图7A所示，监控的场景空间140中的机动148限定监控的场景空间140中的点p1(t1)、p1(t2)、p1(t3)、p1(t4)。监控的场景空间140中的点p1(t1)、p1(t2)、p1(t3)、p1(t4)确定210监控空间412中的对应的点p1’(t1)、p1’(t2)、p1’(t3)、p4’(t4)216。因此，监控的场景空间140中的机动148指定监控空间142中限定计算机实现的虚拟边界144的点p1’(t1)、p1’(t2)、p1’(t3)、p4’(t4)。
在图7B中，计算机实现的虚拟边界144由包括多个可移动物200在监控的场景空间140中同时定位的机动148限定。计算机实现的虚拟边界144由监控的场景空间140中的多个可移动物200的同时位置214限定210。监控的场景空间140中的可移动物200指定监控的场景空间140中的点214的排列，其与监控空间142中的点216的排列相对应。计算机实现的虚拟边界144的形状和位置由监控空间142中的点216的位置限定。在该示例中，计算机实现的虚拟边界144是具有在点216处的N个顶点(角点)的N边形。监控的场景空间140中的每个不同的可移动物200限定N个顶点中的一个。可移动物200可发送路标信号以向系统100标识此时在其旅程上的路标指定点214或者标识此时在多个可移动物200的旅程上的多个可移动物的路标指定点214。
如图7B所示，监控的场景空间140中的机动148限定监控的场景空间140中的点p1(t1)、p2(t1)、p3(t1)、p4(t1)。如图7B所示，监控的场景空间140中的点p1(t1)、p2(t1)、p3(t1)、p4(t1)确定监控空间142中的对应的点p1’(t1)、p2’(t1)、p3’(t1)、p4’(t1)。因此，监控的场景空间140中的机动148指定监控空间142中限定计算机实现的虚拟边界144的点p1’(t1)、p2’(t1)、p3’(t1)、p4’(t1)。
在另一个示例(未单独示出)中，计算机实现的虚拟边界144由包括第一组一个或多个可移动物200在监控的场景空间140中同时定位(如图7B中)，还包括第二组一个或多个可移动物200在监控的场景空间140中移动(如图7A中)的机动148限定。计算机实现的虚拟边界144部分地由监控的场景空间140中的第一组多个可移动物200的同时位置214限定210，部分地由监控的场景空间140中的第二组可移动物200的位置214序列限定210。监控的场景空间140中的第一组可移动物200指定监控的场景空间140中的第一组点214的排列，其与监控空间142中的点216的排列相对应。计算机实现的虚拟边界144的一个或多个第一部分的形状和位置由监控空间142中的第一组点216的位置限定。监控的场景空间140中的第二组可移动物200指定与监控空间142中的第二组点216对应的监控的场景空间140中的点214的一个或多个序列。计算机实现的虚拟边界144的一个或多个第二部分的形状和位置由监控空间142中的第二组点216的位置限定。在一些示例中，计算机实现的虚拟边界144是具有在第一和第二组点216处的N个顶点(角点)的N边形。可移动物200可发送路标信号以向系统100标识此时在其旅程上的路标指定点214。
动态修改计算机实现的虚拟边界144是可能的。在图7C中，如在图7B中定义的计算机实现的虚拟边界144由包括一个或多个可移动物200在监控的场景空间140中重定位的新的机动148重定义。计算机实现的虚拟边界144由监控的场景空间140中的多个可移动物200的新位置214重限定210。监控的场景空间140中的可移动物200指定监控的场景空间140中的点214的新排列，其与监控空间142中的点216的新排列相对应。计算机实现的虚拟边界144的新形状和位置由监控空间142中的点216的新位置限定。在该示例中，计算机实现的虚拟边界144是具有在点216处的N个顶点(角点)的N边形。监控的场景空间140中的每个不同的可移动物200重限定N个顶点中的一个。可移动物200可发送路标信号以向系统100标识此时在其旅程上的路标指定点214或者标识此时在多个可移动物200的旅程上的多个可移动物的路标指定点214。
如图7C所示，监控的场景空间140中的机动148限定监控的场景空间140中的点p1(t2)、p2(t2)、p3(t2)、p4(t2)。如图7C所示，监控的场景空间140中的点p1(t2)、p2(t2)、p3(t2)、p4(t2)确定监控空间142中的对应的点p1’(t2)、p2’(t2)、p3’(t2)、p4’(t2)。因此，监控的场景空间140中的机动148指定监控空间142中重限定计算机实现的虚拟边界144的点p1’(t2)、p2’(t2)、p3’(t2)、p4’(t2)。
例如参考图7A、7B、7C描述的机动148可以是自主、半自主或用户控制的。
例如，用户可指定计算机实现的虚拟边界144的大小。用户可定义固定大小。用户可定义自主控制重设计算机实现的虚拟边界144的大小的规则。
例如，用户可指定计算机实现的虚拟边界144的形状。用户可定义固定形状。用户可定义自主控制重设计算机实现的虚拟边界144的规则。例如，这可在更多或更少的可移动物200可使用时发生。
例如，用户可指定计算机实现的虚拟边界144的位置。用户可定义固定绝对位置，或相对于用户指定跟踪的物体的固定相对位置。用户可定义自主控制重定位计算机实现的虚拟边界144的规则。例如，这可在一个或多个跟踪的物体改变位置时或者在诸如太阳的位置的其它上下文因素改变时发生。
可通过任何合适的方式来提供用户控制以使能用户指定计算机实现的虚拟边界144的特征或控制计算机实现的虚拟边界144的特征的规则。例如，用户可能够经由系统100，例如使用手势控制、触摸屏界面、编程接口、语音命令等向多个可移动物200提供用户输入命令。
图8A、图8B和图8C示出了从第一可移动物2001到第二可移动物2002的切换过程。在切换前，第一可移动物2001用于限定计算机实现的虚拟边界144。在切换后，第一可移动物2001不再用于限定计算机实现的虚拟边界144，而第二可移动物2002用于限定计算机实现的虚拟边界144。
在这些附图中，计算机实现的虚拟边界144由包括多个可移动物200在监控的场景空间140中同时定位的机动148限定。计算机实现的虚拟边界144由监控的场景空间140中的多个可移动物200的同时位置214限定210。监控的场景空间140中的可移动物200指定监控的场景空间140中的点214的排列，其与监控空间142中的点216的排列相对应。计算机实现的虚拟边界144的形状和位置由监控空间142中的点216的位置限定。在该示例中，计算机实现的虚拟边界144是具有在点216处的N个顶点(角点)的N边形。监控的场景空间140中的每个不同的可移动物200限定N个顶点中的一个。可移动物200可发送路标信号以向系统100标识此时在其旅程上的路标指定点214或者此时在多个可移动物200的旅程上的多个可移动物的路标指定点214。
监控的场景空间140中的机动148限定监控的场景空间140中的点p1(t1)、p2(t1)、p3(t1)、p4(t1)。
如图8A所示，在切换300前，监控的场景空间140中的点p1(t1)、p2(t1)、p3(t1)、p4(t1)确定监控空间142中限定计算机实现的虚拟边界144的对应的点p1’(t1)、p2’(t1)、p3’(t1)、p4’(t1)。第一可移动物2001与位置p2(t1)相关联并限定计算机实现的虚拟边界144的至少一部分。第二可移动物2002与位置p5(t1)相关联，并未限定计算机实现的虚拟边界144的任何部分。
如图8B所示，在切换300后，监控的场景空间140中的点p1(t2)、p5(t2)、p3(t2)、p4(t2)确定监控空间142中限定计算机实现的虚拟边界144的对应的点p1’(t2)、p5’(t2)、p3’(t2)、p4’(t2)。与位置p2(t1)相关联的第一可移动物2001不再限定计算机实现的虚拟边界144的任何部分。与位置p5(t2)相关联的第二可移动物2002限定计算机实现的虚拟边界144的一部分。
在图8C所示的示例但并非全部示例中，在切换300后接下来，与位置p5(t)相关联的第二可移动物2002改变位置302，使得其位置p5(t3)＝p2(t1)。也即是说，第二可移动物2002占据第一可移动物2001在切换前所占据的相同位置214。监控的场景空间140中的点p1(t3)、p5(t3)、p3(t3)、p4(t3)确定监控空间142中限定计算机实现的虚拟边界144的对应的点p1’(t3)、p5’(t3)、p3’(t3)、p4’(t3)。在时间t3的计算机实现的虚拟边界144与在时间t1的计算机实现的虚拟边界144相同，然而它现在是由第二可移动物2002而不是由第一可移动物2001限定。
可移动物200之间的切换300可以是自动的。例如，如果第一可移动物2001使用的电池放电到低于阈值电平，则其可发送替换信号。第二可移动物2002响应于替换信号而接近第一可移动物2001并与第一可移动物2001进行切换300。
切换300还可涉及系统100，使得从系统100到第一可移动物2001的通信改变为从系统100到第二可移动物2002的通信。例如，系统100可能需要与第一可移动物2001解除配对，并与第二可移动物2002配对。
因此，在时间t1，系统100在监控的场景空间140中定位第一可移动物2001以至少部分地定义计算机实现的虚拟边界144在对应的监控空间142中的形状和位置，并使得计算机实现的虚拟边界144在与监控的场景空间140对应的监控空间142中实现。系统100响应于监控的场景空间140的至少一部分相对于对应的监控空间142中的计算机实现的虚拟边界144的变化而处理从监控的场景空间140的传感器110接收的数据112以使得能够产生响应事件。
在时间t1与时间t2之间，系统100识别从第一可移动物2001到第二可移动物2002的切换300。
在时间t2，系统100在监控的场景空间140中定位第二可移动物2002以至少部分地定义在对应的监控空间142中的新的计算机实现的虚拟边界144；以及，响应于监控的场景空间140的至少一部分相对于在对应的监控空间142中的新的计算机实现的虚拟边界144的变化而处理从监控的场景空间140的传感器110接收的数据112以使得能够产生响应事件。
在上述示例中，切换300用于用另一个可移动物替换一个可移动物200。在其它示例中，一个或多个可移动物可添加以增加N个，或者可移除以减少N个。
在其它示例中，一个或多个不同的计算机实现的边界可组合以定义新的计算机实现的边界214。
系统100可向用户提供反馈以确认系统100已经识别机动146并且已经实现计算机实现的边界144。反馈可包括任何合适的反馈，例如音频和/或视觉和/或触觉反馈等。附加地或可替代地，系统100可向一个或多个设备发送一个或多个消息以通知用户系统100已经实现计算机实现的边界144。
系统100可在监控的场景空间140的一部分相对于至少一个虚拟边界144发生变化使得由计算机实现的边界划定的监控空间142的一部分发生变化时，处理所接收的数据以产生响应事件。
例如，系统100可处理由传感器110接收的数据，诸如音频和/或图像数据，以产生响应事件。系统可分析一个或多个音频和/或视频反馈以产生响应事件。在一些示例中，处理所接收的数据以产生响应事件可被视为监控计算机实现的边界144。
在示例中，可使用相同的传感器(诸如照相机)来识别限定至少一个虚拟边界144的机动146并用于监控至少一个虚拟边界144。
在一些示例中，处理所接收的数据以产生响应事件可包括处理所接收的数据以监控计算机实现的边界144以检测跨越计算机实现的边界144的活动和/或在计算机实现的边界144的阈值内的活动。例如，系统100可处理音频和/或图像和/或深度数据以监控计算机实现的边界144以检测跨越计算机实现的边界144或在计算机实现的边界144的阈值内的活动。
响应事件可包括例如使用通信模块130提供反馈。在一些示例中，反馈可包括一个或多个告警。一个或多个告警可包括任何形式的告警，诸如音频和/或视觉告警。附加地或可替代地，反馈可包括向诸如移动电话、平板计算机、膝上型计算机、桌面计算机等设备提供一个或多个消息。
在一些示例中，响应事件可附加或可替代地包括递增计数器。例如，系统100可监控诸如物体152接触和/或跨越和/或接近计算机实现的边界144的阈值内的边界交互的次数。附加地或可替代地，系统100可监控边界交互的方向，诸如边界交叉的方向。系统100可被配置为提供边界交互的统计信息。
系统100的用户可配置响应事件。
在一些示例中，系统100可在与任意物体152相关的监控的场景空间140的一部分相对于计算机实现的边界144发生变化时，处理所接收的数据以产生响应事件。例如，系统可在任何物体152跨越、接触和/或进入计算机实现的边界144的阈值内时，产生响应事件。这种虚拟边界144可被认为是一般的虚拟边界144。
在其它示例中，系统可在与一个或多个用户指定的物体152相关的监控的场景空间140的一部分相对于计算机实现的边界144发生变化时，处理所接收的数据以产生响应事件。
例如，在定义计算机实现的虚拟边界144后，系统100的用户可向系统100指示一个或多个物体152。作为响应，系统100可仅在与所指示的物体152相关的监控的场景空间140的一部分相对于计算机实现的边界144发生变化时才产生响应事件。例如，系统100可仅在所指示的物体152中的一个跨越、接触和/或进入计算机实现的边界144的阈值内时才产生响应事件。这种虚拟边界144可被认为是物体特定的虚拟边界。
在一些示例中，可有条件地监控和/或有条件地使能/禁用计算机实现的虚拟边界144。例如，当满足一个或多个标准时，系统100可在监控的场景空间140的一部分相对于计算机实现的虚拟边界144发生变化时处理所接收的数据以产生响应事件，否则，不处理所接收的数据以产生响应事件。
标准可预定义和/或可由用户配置。
在示例中，可使用任何准则/标准。例如，可使用任何时间和/或物理标准。在示例中，计算机实现的虚拟边界144可根据一天中的时间和/或一周中的天和/或一个月中的周和/或一年中的月有条件地监控，和/或不依赖于监控的场景空间140中的一个或多个物体152的存在而有条件地监控。
图9示出了方法800的示例。方法800可由系统100执行。方法800包括在框802处：在监控的场景空间140中定位一个或多个可移动物200以至少部分地定义计算机实现的虚拟边界144在对应的监控空间142中的形状和位置。方法800包括在框804处：使得计算机实现的虚拟边界144在与监控的场景空间140对应的监控空间142中实现。方法800包括在框806处：响应于监控的场景空间140的至少一部分相对于对应的监控空间142中的计算机实现的虚拟边界144的变化，处理从监控的场景空间140的传感器110接收的数据112以产生响应事件。
在此已经描述了结构特征，但可使用用于执行结构特征的一个或多个功能的装置来替换结构特征，无论该功能或这些功能是否明确或隐含描述。
本公开的示例提供了一种定义监视系统的虚拟边界的简单而直观的方式。
在本文中使用的术语“包括”具有包容而非排它性的含义。也即是说，任何提到“X包括Y”指示“X可以仅包括一个Y”或“X可以包括多于一个的Y”。如果意图使用具有排它性含义的“包括”，则将通过提及“仅包括一个”或通过使用“由...组成”在上下文中明确说明。
在此简要描述中，已经参考了各种示例。针对示例的特征或功能的描述指示这些特征或功能存在于该示例中。无论是否明确陈述，在文本中术语“示例”或“例如”或“可”的使用表示这种特征或功能至少存在于所描述的示例中，无论是否作为示例来描述，并且这种特征或功能可以但不必存在于一些或所有其它示例中。因此“示例”、“例如”或“可”是指一类示例中的特定的实例。实例的性质可以仅是该实例的性质或该类实例的性质或包括一些但未包括全部该类实例的该类实例的子类的性质。因此，隐含公开针对一个示例但未针对另一个示例描述的特征可以但不必用于其它示例。
尽管本发明的实施例已经在之前的段落中参考各种示例进行了描述，但应当理解，可在不背离本发明要求保护的范围的情况下对给出的示例进行修改。在之前的描述中描述的特征可用于除了明确描述的组合以外的组合中。尽管已经参考某些特征描述了功能，但这些功能可由其它特征来执行，无论是否描述。尽管已经参考某些实施例描述了特征，但这些特征也可存在于其它实施例中，无论是否描述。虽然在之前的描述中试图指出那些被认为是特别重要的本发明的特征，但应当理解，申请人要求保护关于在本文中之前参考附图和/或在附图中示出的任何可具专利性的特征或特征组合的内容，无论是否已经强调。

Claims (14)

1.一种用于监控的方法，包括：
在监控的场景空间中定位一个或多个无人机以至少部分地定义计算机实现的虚拟边界在对应的监控空间中的形状和位置；
使得所述计算机实现的虚拟边界在与所述监控的场景空间对应的监控空间中实现；以及
响应于所述监控的场景空间的至少一部分相对于所述对应的监控空间中的所述计算机实现的虚拟边界的变化，处理从所述监控的场景空间的传感器接收的数据以产生响应事件。
2.根据权利要求1所述的方法，其中，所述无人机是被配置为自主维持三维位置和/或被配置为自主维持三维定向的无人驾驶飞机。
3.根据权利要求2所述的方法，其中，所述无人驾驶飞机被配置为在户外工作。
4.根据权利要求1所述的方法，其中，所述监控的场景空间中的所述一个或多个无人机指定所述监控的场景空间中的与所述监控空间中的点对应的点，其中，所述计算机实现的虚拟边界的形状和位置至少部分地由所述监控空间中的点限定。
5.根据权利要求1所述的方法，其中，所述计算机实现的虚拟边界是具有N个顶点的N边形，其中，所述监控的场景空间中的所述一个或多个无人机限定所述N个顶点。
6.根据权利要求1至5中任一项所述的方法，其中，所述计算机实现的虚拟边界仅由所述监控的场景空间中的单个无人机的移动限定。
7.根据权利要求1至5中任一项所述的方法，其中，所述计算机实现的虚拟边界由所述监控的场景空间中的多个无人机的位置限定。
8.根据权利要求1至5中任一项所述的方法，其中，定位所述一个或多个无人机包括：
处理所接收的数据以跟踪所述一个或多个无人机在所述监控的场景空间中的运动。
9.根据权利要求1至5中任一项所述的方法，还包括：
与所述监控的场景空间中的所述一个或多个无人机配对，以使得能够在所述监控的场景空间中定位所述一个或多个无人机和定义所述计算机实现的虚拟边界的形状和位置。
10.根据权利要求1至5中任一项所述的方法，还包括：
识别至少一个预定路标信号以允许识别所述计算机实现的虚拟边界中的顶点。
11.根据权利要求1至5中任一项所述的方法，其中，所述监控的场景空间的至少一部分传感器是所述一个或多个无人机的一部分。
12.根据权利要求1至5中任一项所述的方法，其中，处理所接收的数据以产生响应事件包括：
处理图像数据以监控所述计算机实现的虚拟边界，以检测跨越所述计算机实现的虚拟边界的活动和/或在所述计算机实现的虚拟边界的阈值内的活动。
13.根据权利要求1至5中任一项所述的方法，还包括：
识别从第一无人机到第二无人机的切换；
在所述监控的场景空间中定位所述第二无人机以至少部分地定义在所述对应的监控空间中的新的计算机实现的虚拟边界；以及
响应于所述监控的场景空间的至少一部分相对于在所述对应的监控空间中的所述新的计算机实现的虚拟边界的变化，处理从所述监控的场景空间的传感器接收的数据以使得能够产生响应事件。
14.一种用于监控的装置，包括用于执行权利要求1至13中任一项的方法的装置，或者包括计算机程序，所述计算机程序在由至少一个处理器运行时，使得权利要求1至13中任一项的方法被执行。
CN201680040223.8A 2015-07-09 2016-07-05 用于监控的方法和装置 Active CN107851358B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15175986.7A EP3115978B1 (en) 2015-07-09 2015-07-09 Monitoring
EP15175986.7 2015-07-09
PCT/FI2016/050492 WO2017005976A1 (en) 2015-07-09 2016-07-05 Monitoring

Publications (2)

Publication Number Publication Date
CN107851358A CN107851358A (zh) 2018-03-27
CN107851358B true CN107851358B (zh) 2019-09-17

Family

ID=53717885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680040223.8A Active CN107851358B (zh) 2015-07-09 2016-07-05 用于监控的方法和装置

Country Status (7)

Country Link
US (1) US10776631B2 (zh)
EP (1) EP3115978B1 (zh)
JP (2) JP6705886B2 (zh)
KR (1) KR102096191B1 (zh)
CN (1) CN107851358B (zh)
ES (1) ES2667096T3 (zh)
WO (1) WO2017005976A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2667096T3 (es) * 2015-07-09 2018-05-09 Nokia Technologies Oy Monitorización
JP6302956B2 (ja) * 2016-06-15 2018-03-28 株式会社Ｓｕｂａｒｕ 隊形設定装置、隊形設定方法及び隊形設定プログラム
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
CN111824406A (zh) * 2020-07-17 2020-10-27 南昌航空大学 一种基于机器视觉的公共安全自主巡查四旋翼无人机

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564348B2 (en) * 2004-11-05 2009-07-21 Wirelesswerx International, Inc. Method and system to monitor movable entities
CN103002729A (zh) * 2010-05-18 2013-03-27 伍德斯特姆公司 定制形状的无线狗围栏系统和方法
CN104156821A (zh) * 2014-08-11 2014-11-19 江苏恒创软件有限公司 一种基于无人机的自然草场畜牧业管理方法
CN104299365A (zh) * 2014-08-06 2015-01-21 江苏恒创软件有限公司 基于无人机的监测山区山体滑坡、泥石流的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
WO2003081964A2 (en) * 2002-03-19 2003-10-02 Rocket City Technology, Inc. Keeping pets in a defined boundary having exclusion areas
JP2004062611A (ja) 2002-07-30 2004-02-26 Denso Corp 車両盗難防止センタ、および車両盗難防止装置
JP2004106802A (ja) 2002-09-20 2004-04-08 Nippon Telegr & Teleph Corp <Ntt> 盗難検出装置及び盗難監視装置
US7317927B2 (en) * 2004-11-05 2008-01-08 Wirelesswerx International, Inc. Method and system to monitor persons utilizing wireless media
JP2006281830A (ja) 2005-03-31 2006-10-19 Yamaha Motor Co Ltd カメラの視点表示システム
JP2007099197A (ja) 2005-10-07 2007-04-19 Toyota Motor Corp 車両用盗難防止装置
JP2008068710A (ja) 2006-09-13 2008-03-27 Yamaha Motor Co Ltd 無人ヘリコプタのデータ管理方法
US9043052B2 (en) * 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
JP5248292B2 (ja) 2008-12-03 2013-07-31 株式会社東芝 捜索作業支援システム及び捜索作業支援方法
US8726847B2 (en) * 2010-05-18 2014-05-20 Woodstream Corporation Custom-shape wireless dog fence system and method with temperature compensated crystal oscillator for reduced clock speed variation between multiple base units and collar
CN102682627B (zh) 2012-05-04 2014-04-09 北京民航天宇科技发展有限公司 一种基于ads-b的通用航空飞行监视机载系统
US9102406B2 (en) * 2013-02-15 2015-08-11 Disney Enterprises, Inc. Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays
US9075415B2 (en) 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9847032B2 (en) * 2014-07-15 2017-12-19 Richard Postrel System and method for automated traffic management of intelligent unmanned aerial vehicles
EP3800532A1 (en) 2014-12-24 2021-04-07 Nokia Technologies Oy Monitoring
JP2018516024A (ja) * 2015-03-12 2018-06-14 ナイチンゲール インテリジェント システムズ 自動ドローンシステム
EP3101511A1 (en) 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
EP3115926A1 (en) 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
ES2667096T3 (es) * 2015-07-09 2018-05-09 Nokia Technologies Oy Monitorización
EP3115870B1 (en) 2015-07-09 2023-11-08 Nokia Technologies Oy Monitoring

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7564348B2 (en) * 2004-11-05 2009-07-21 Wirelesswerx International, Inc. Method and system to monitor movable entities
CN103002729A (zh) * 2010-05-18 2013-03-27 伍德斯特姆公司 定制形状的无线狗围栏系统和方法
CN104299365A (zh) * 2014-08-06 2015-01-21 江苏恒创软件有限公司 基于无人机的监测山区山体滑坡、泥石流的方法
CN104156821A (zh) * 2014-08-11 2014-11-19 江苏恒创软件有限公司 一种基于无人机的自然草场畜牧业管理方法

Also Published As

Publication number Publication date
JP2018523231A (ja) 2018-08-16
EP3115978B1 (en) 2018-03-07
KR102096191B1 (ko) 2020-04-02
EP3115978A1 (en) 2017-01-11
JP2019198077A (ja) 2019-11-14
US20180197015A1 (en) 2018-07-12
JP6705886B2 (ja) 2020-06-03
WO2017005976A1 (en) 2017-01-12
KR20180031013A (ko) 2018-03-27
CN107851358A (zh) 2018-03-27
ES2667096T3 (es) 2018-05-09
US10776631B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
US10402984B2 (en) Monitoring
US11429189B2 (en) Monitoring
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
CN107851358B (zh) 用于监控的方法和装置
CN107211113B (zh) 用于监控的方法和装置
EP3115870B1 (en) Monitoring
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN107111363B (zh) 用于监视的方法、装置和系统
JP2018523231A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant