CN110023949B - 用于鸟的自动监视的系统及有关的使用方法 - Google Patents
用于鸟的自动监视的系统及有关的使用方法 Download PDFInfo
- Publication number
- CN110023949B CN110023949B CN201780073356.XA CN201780073356A CN110023949B CN 110023949 B CN110023949 B CN 110023949B CN 201780073356 A CN201780073356 A CN 201780073356A CN 110023949 B CN110023949 B CN 110023949B
- Authority
- CN
- China
- Prior art keywords
- image
- tracking
- data item
- processing unit
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012544 monitoring process Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 137
- 238000012545 processing Methods 0.000 claims description 183
- 239000013598 vector Substances 0.000 claims description 146
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 230000000052 comparative effect Effects 0.000 claims 1
- 241000894007 species Species 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 4
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明涉及使用人工视觉技术自动监视空间或区域中任何鸟的存在的自动监视系统(1)和方法。该系统和方法还允许自动检测这些鸟所属的物种、它们关于观察空间或区域的移动(例如飞行轨迹),以及这些鸟的数量。
Description
技术领域
本发明涉及使用人工视觉技术自动地监视空间或区域中鸟的存在或不存在的自动监视系统和方法。该系统和方法还允许自动检测这些鸟所属的物种、它们关于观察空间或区域的移动(例如飞行轨迹),以及这些鸟的数量。
根据本发明的系统可被应用于监视机场周围的鸟类的飞行安全的领域中,但也可被应用于其它领域,诸如农业,受保护的自然区域中、垃圾场和/或特别是暴露于鸟的存在的城市区域中的观察,或者在属于一个或多个物种的鸟的重新种群构成(re-population)的项目的情况下。
监视观察空间或区域中鸟的存在或不存在的表述是指包括以下的活动:观察这种观察空间或区域,以及至少检测作为这种观察的结果的在这样的观察空间或区域中一只或多只鸟的存在或不存在。
背景技术
目前,通过涉及由配备有观瞄系统(sight system)(诸如望远镜或双筒望远镜)的人员和/或使用雷达系统来观察空间的方法,监视观察空间或区域中鸟的存在或不存在。这些方法不允许完全自动化检测观察空间或区域中鸟的存在。
特别地,由在现场的人员执行的观察是高度主观的,并且受参数(诸如培训和人员的知识的水平)影响。
而且,除了具有不可持续的成本(例如由于需要存在由许多负责观察的操作员组成的人员或包括高度专业化的操作员的人员)之外,用于监视观察空间或区域中鸟的存在或不存在的现有技术方法不允许在观察大的观察空间或区域时实现良好的精度并在整个观察空间或区域中具有可接受的精度。
目前还存在用于检测鸟的雷达系统。
这样的雷达系统必须由能够解释信息并维护这样的雷达系统的高度专业化的人员操作。购买和维护这样的雷达系统的成本非常高。
发明内容
本描述的目的是使得监视观察空间或区域中鸟的存在或不存在的自动系统可用,其允许鸟监视活动完全自动化。
本描述的另一个目的是提供监视观察空间或区域中鸟的存在或不存在的自动系统,其可以在大的空间或区域中执行监视,并且在整个观察空间或区域中具有优良的观察精度,成本比现有技术系统的成本更具可持续性。
本描述的另一个目的是提供自动监视观察空间或区域中鸟的存在或不存在的方法,该方法可被用于实现参考监视系统的上面提到的目的。
根据本描述,这些目的通过监视系统或监视方法来实现,如本申请所附的权利要求中的一项或多项的任何组合中所描述的。
在本申请中,表述“观察空间”是指人们打算监视其中一只或多只鸟的存在或不存在的空间或区域。
还应当注意的是,图像可以被认为包括自相同(self-same)的图像的多个部分。
在本申请中,当参考与图像相关的特征向量时,对于图像的每个部分,这意味着包括至少一个特征的特征向量,所述至少一个特征表示对应部分中的至少一个物理量的值。
该物理量可以例如是图像传感器上的入射光如果必要的话在具体频带中对其进行滤波的强度或者任何其它视觉特点,所述图像传感器是例如摄像机或相机的一部分。
特征向量是数值(大约1000-1500)的n维向量,其表示捕获的图像或图像的一部分。
根据本发明的一个有利实施例,特征向量被用于通过处理单元中的最新一代神经网络进行统计处理。
神经网络是基于生物神经网络的数学/计算机化的计算模型。实际上,神经网络是作为建模工具组织的非线性统计数据结构。它们可被用于模拟其它分析函数无法表示的输入与输出之间的复杂关系。人工神经网络在输入节点(处理单元)的层上接收外部信号,每个输入节点连接到许多内部节点,这些内部节点在多个级别上组织。每个节点处理接收到的信号并将结果发送到后续节点。
有利地,统计处理与本体论相关联,本体论允许甚至在整个处理过程的上游的基本分类标准的限定。
在计算机科学中,术语“本体论”描述在包含所有重要实体及其在域中的关系的数据结构中组合各种方案的方式。计算机程序可以将本体论用于各种目的,包括归纳推理、分类和各种问题解决技术。
在本申请中,当参考与图像相关的参考向量时,它意味着对于图像的每个部分包括对应部分中的描述符的至少一个值的数据向量。
描述符可以是形状和/或颜色和/或纹理描述符和/或任何其它类型的描述符。
与图像相关的参考向量可以例如通过处理单元来计算,从与相同图像相关的特征向量开始。
根据本描述的第一方面,其涉及一种自动监视系统。根据第一方面的监视系统被设计为自动检测观察空间中至少一只鸟的存在或观察空间中多只鸟的存在。
根据第二方面,本描述涉及一种自动驱散(dispersal)系统。
根据第二方面的驱散系统包括:
-根据第一方面的监视系统;
-鸟驱散单元。
根据本描述的第二方面的驱散系统被设计为从观察空间自动地驱散和/或赶走由根据本描述的第一方面的监视系统自动地检测到的至少一只鸟或多只鸟。
在任何情况下,根据本描述的第一方面的监视系统都可以独立于根据本描述的第二方面的驱散系统使用,并且因此可以在其它背景中使用和/或用于其它目的。
根据本描述的第一方面的监视系统包括图像获取单元。
根据本描述的第一方面的监视系统包括处理单元。
获取单元被设计为捕获观察空间的图像。为此,获取单元包括至少一个获取设备。获取设备限定用于捕获图像的至少一个视场(fieldof view)。
监视系统可以包括一个或多个获取设备。
例如,可以根据自相同监视系统的第一变体或第二变体来制造根据本描述的第一方面的监视系统。
在根据本描述的第一方面的监视系统的第一变体中,获取单元包括第一获取设备。
在根据本描述的第一方面的监视系统的第二变体中,获取单元包括第一获取设备和第二获取设备。
根据本描述的第二方面的驱散系统优选地包括第二接口或通信系统。
第二接口或通信系统可操作地插入处理单元和驱散单元之间。第二接口系统优选地被设计为允许在处理单元和驱散单元之间交换一个或多个命令信号。
获取单元被设计为捕获在相应的检测时刻所述观察空间的相应检测图像的至少一个序列。
在根据本描述的第一方面的监视系统的第一变体和第二变体中,获取单元都被设计为通过上面提到的第一获取设备来捕获检测图像。
处理单元被编程为处理由获取单元捕获的至少一个相应的检测图像,以便获得至少一个相应检测数据项。
处理单元优选地被编程为处理与相应的检测图像相关的至少一个相应的特征向量,以便获得相应检测数据项。
为了获得相应的检测数据项,处理单元优选地被编程为计算与相应的检测图像相关的至少一个相应的参考向量。
为了获得相应的检测数据项,处理单元优选地被编程为将与相应检测图像相关的相应参考向量与至少一个比较参考向量进行比较。
创建与参考特征向量对应的鸟的物种的数据库,然后将其与和捕获的图像有关的特征向量进行比较。特别地,参考特征向量被用于训练统计分类器,该统计分类器将被应用于与捕获的图像有关的特征向量。
获取单元优选地被设计为捕获在所述检测时刻之后的相应跟踪时刻检测到的鸟的或检测到的多只鸟的相应图像的至少一个序列。
检测到的鸟的或检测到的多只鸟的这些图像可以被称为“跟踪图像”,出于下面更详细地描述的原因,并且为了将它们与上面提到的检测图像区分开。
在根据本描述的第一方面的监视系统的第一变体中,获取单元被设计为通过第一获取设备捕获跟踪图像。
在根据本描述的第一方面的监视系统的第二变体中,获取单元被设计为通过第二获取设备捕获跟踪图像。
处理单元优选地被编程为处理至少一个相应的跟踪图像,以便导出与检测到的鸟相关联的至少一个相应的运动学数据项。
处理单元优选地被编程为处理与相应跟踪图像相关的至少一个相应特征向量,以便导出相应的运动学数据项。
处理单元优选地被编程为处理相应的跟踪图像,以便导出与检测到的鸟相关联的至少一个相应的识别数据项。
相应的识别数据项指示在相应的跟踪图像所指的相应跟踪时刻中检测到的鸟所属的物种。
处理单元优选地被编程为处理相应的跟踪图像,以便如果检测数据项指示观察空间中多只鸟的存在,就导出至少一个相应的集中度数据项。集中度数据项指示检测到的多只鸟的鸟的数量。
处理单元优选地被编程为处理与相应的跟踪图像相关的至少一个相应的特征向量,以便导出相应的识别数据项和/或相应的集中度数据项。
为了导出相应的识别数据项和/或相应的集中度数据项,处理单元优选地被编程为计算与相应的跟踪图像相关的至少一个相应的参考向量。
为了导出相应的识别数据项和/或相应的集中度数据项,处理单元优选地被编程为将与相应的跟踪图像相关的相应参考向量与在相应的跟踪图像之前捕获的先前跟踪图像相关的参考向量进行比较。
为了导出相应的识别数据项和/或相应的集中度数据项,处理单元优选地被编程为将与相应的跟踪图像相关的相应参考向量与在相应的跟踪图像之前捕获的相应先前跟踪图像相关联的多个参考向量进行比较。
为了导出相应的识别数据项和/或相应的集中度数据项,处理单元优选地被编程为将与相应的跟踪图像相关的相应参考向量与处理单元中存储或预先设置的信息数据进行比较。信息数据涉及鸟的多个物种的物理特征和/或典型移动。例如,信息数据可以涉及多个物种的典型形状和/或大小和/或翅膀拍打的频率和/或颜色。
处理单元可以被编程为处理相应的跟踪图像,以便导出至少一个相应的多个识别数据,每个识别数据与检测到的多只鸟中的检测的对应鸟相关联。
处理单元优选地被编程为根据至少所述相应运动学数据项和/或根据至少所述相应识别数据项和/或根据至少所述相应集中度数据项和/或根据所述多个运动学数据和/或根据所述多个识别数据控制获取单元,以便捕获在所述相应的跟踪时刻之后由获取单元捕获的跟踪图像,从而跟踪所述检测到的鸟关于观察空间的移动或者检测到的多只鸟关于观察空间的移动。
处理单元优选地被编程为根据至少所述相应运动学数据项和/或根据至少所述相应识别数据项和/或根据至少所述相应集中度数据项和/或根据所述多个运动学数据和/或根据所述多个识别数据控制获取单元的移动系统,以便通过获取单元的至少一个获取设备关于观察空间的移动以及因此通过至少一个获取设备的视场关于观察空间的移动,捕获在所述相应跟踪时刻之后由获取单元捕获的跟踪图像,从而跟踪所述检测到的鸟关于观察空间的移动或者检测到的多只鸟关于观察空间的移动。
处理单元优选地被编程为根据至少所述相应运动学数据项和/或根据至少所述相应识别数据项和/或根据至少所述相应集中度数据项和/或根据所述多个运动学数据和/或根据所述多个识别数据控制鸟驱散单元,以便所述驱散单元可以基于至少所述相应运动学数据项和/或基于至少所述相应识别数据项和/或基于至少所述相应集中度数据项和/或基于至少所述多个运动学数据和/或基于至少所述多个识别数据,从所述观察空间驱散和/或赶走至少所述检测到的鸟和/或所述检测到的多只鸟。
处理单元优选地被编程为切换获取单元,以便如果所述相应检测数据项指示观察空间中至少一只鸟的存在,或者如果所述相应检测数据项指示观察空间中多只鸟的存在,那么所述获取单元从获取所述检测图像改变为获取所述跟踪图像。
在这种情况下,处理单元被编程为,如果相应检测数据项指示观察空间中至少一只鸟的存在,或者如果相应检测数据项指示观察空间中多只鸟的存在,那么在每个检测时刻之后切换获取单元。
根据本描述的第三方面,本描述涉及一种监视方法。通过根据本描述的第三方面的监视方法,可能的是自动检测观察空间中至少一只鸟的或观察空间中的多只鸟的存在。
根据本描述的第三方面的监视方法可以例如通过根据本描述的第一方面的监视系统来执行。
根据本描述的第四方面,本描述涉及一种驱散方法。
根据本描述第四方面的驱散方法包括:
-根据本描述第三方面的监视方法;
-从观察空间驱散和/或赶走至少一只鸟或多只鸟的自动步骤,所述鸟是在根据本描述的第三方面的监视方法期间自动检测到的。
通过根据本描述的第四方面的驱散方法,可能的是从观察空间自动赶走和/或驱散至少一只鸟或多只鸟,所述鸟是通过根据本描述的第三方面的监视方法检测到的。
根据本描述的第四方面的驱散方法可以例如通过根据本描述的第二方面的驱散系统来执行。
在任何情况下,根据本描述的第三方面的监视方法都可以独立于根据本描述的第四方面的驱散方法和/或根据本描述的第二方面的驱散系统来使用或应用,并且因此在其它背景中使用和/或用于其它目的。
根据本描述的第三方面的监视方法包括操作检测阶段。
根据本描述的第三方面的监视方法优选地包括操作跟踪阶段。
对于每个跟踪时刻,操作跟踪阶段包括相应的操作跟踪序列。
每个相应的操作跟踪序列包括相应的跟踪步骤。
每个相应的操作跟踪序列包括相应的处理步骤。
每个相应的操作跟踪序列优选地包括相应的导出步骤。
导出步骤根据和/或取决于相应的处理步骤来执行。
在导出步骤期间,处理单元导出至少一个相应的运动学数据项和/或至少一个相应的识别数据项和/或至少一个相应的集中度数据项。
根据本描述的第三方面的监视方法优选地包括操作切换阶段。
根据本描述的第四方面的驱散方法允许从所述观察空间自动驱散和/或赶走检测到的鸟或检测到的多只鸟。
因此,即使根据本描述的第四方面的驱散方法也包括上面提到的操作检测阶段和操作跟踪阶段。
因此,即使根据本描述的第四方面的驱散方法也包括操作中间切换阶段。
附图说明
关于根据本描述的第一方面的监视系统的可能实施例以及关于根据本描述的第三方面的监视方法的可能实施例,根据本描述的监视系统和监视方法的特点在下面的详细描述中更为显而易见。以下详细描述是通过示例提供的,并且不限制所要求保护的更一般的概念。
但是,应当注意的是,根据本描述的第一方面的监视系统以及根据本描述的第三方面的监视方法可以在与其在驱散系统或驱散方法中的使用不同的其它背景中使用和/或应用,并且因此用于与驱散系统或驱散方法不同的目的。
以下详细描述涉及附图,其中:
-图1是与根据本描述的第三方面的监视方法的可能实施例的操作检测阶段有关的框图,并且通过根据本描述的第一方面的监视系统来实现;
-图2是与作为图1的操作检测阶段的一部分的操作检测序列有关的流程图;
-图3是与根据本描述的第二方面的监视方法的可能实施例的操作切换阶段有关的框图;
-图4是与根据本描述的第二方面的监视方法的可能实施例的操作跟踪阶段有关的框图;
-图5是与作为图4的操作跟踪阶段的一部分的操作跟踪序列有关的流程图。
具体实施方式
在图1和4中,标号1表示用虚线画出的框,其包含根据本描述的第一方面的监视系统的可能实施例的框图。监视系统1被设计为自动检测在观察空间中的至少一只鸟的存在或在观察空间中的多只鸟的存在。
在图1和4中,标号1'表示用虚线画出的框,其包含根据本描述的第四方面的驱散系统的可能实施例的框图。
驱散系统1'包括:
-监视系统1;
-鸟驱散单元,由方框B表示。
驱散系统1'被设计为从观察空间自动地驱散和/或赶走由监视系统1自动检测到的至少一只鸟或多只鸟。
但是,应当注意的是,本描述与监视系统1有关,无论监视系统1是否被用在驱散系统1'中。
监视系统1包括图像获取单元,由方框A表示。
监视系统1包括处理单元,由方框E表示。
获取单元A被设计为捕获所述观察空间的图像。为此,获取单元A包括至少一个获取设备。获取设备限定用于捕获图像的至少一个视场。
可以认为图像由图1的箭头IR或由图4的箭头IS指示。
在监视系统1的第一变体中,获取单元A包括第一获取设备。
在监视系统1的第二变体中,获取单元A包括第一获取设备和第二获取设备。
第一获取设备和/或第二获取设备中的至少一个可以是例如相机或摄像机。
相机或摄像机可以是例如PTZ(平移-倾斜-缩放)相机。
相机或摄像机可以例如包括CMOS(互补金属氧化物半导体)传感器或CCD传感器或红外阵列传感器。
第一获取设备和/或第二获取设备中的至少一个可以例如包含用于检测到帧中的对象的距离的红外传感器或激光传感器。
例如,相机或摄像机可以使用立体技术来检测到帧中的对象的距离。
处理单元E被编程为处理由获取单元A捕获的一个或多个图像。
处理单元E被编程为处理与由获取单元A捕获的一个或多个图像相关的一个或多个特征向量。
特征向量以数字格式表示图像的特征。因此,与图像相关的表述“特征向量”意味着表示捕获的图像或图像的一部分的数值(大约1000-1500)的n维向量。
在本发明的一个有利实施例中,特征向量被用于通过处理单元中的最新一代神经网络进行统计处理。
有利地,统计处理与本体论相关联,本体论允许甚至在整个处理过程的上游的基本分类标准的限定。
获取单元A被设计为向处理单元E发送与一个或多个图像相关的一个或多个特征向量。
处理单元E被设计为接收一个或多个特征向量。
可以认为特征向量由图1的箭头SIR或由图4的箭头SIS指示。
处理单元E被编程为基于由处理单元E执行的处理步骤(用于检测或跟踪)和/或根据该处理步骤和/或取决于该处理步骤来获得并导出或计算一个或多个数据项。
监视系统1包括未在附图中图示的第一接口或通信系统。第一接口或通信系统可操作地插入在处理单元E和获取单元A之间。
第一接口或通信系统被设计为允许在处理单元E和获取单元A之间交换一个或多个特征向量SIR或SIS。
处理单元E被编程为切换获取单元A。
处理单元E被设计为向获取单元A发送至少一个切换信号。
获取单元A被设计为接收至少一个切换信号。
可以认为切换信号由图3的箭头W指示。
第一接口或通信系统被设计为允许在处理单元E和获取单元A之间交换至少一个切换信号W。
处理单元E被编程为控制获取单元A。
处理单元E被设计为向获取单元A发送一个或多个控制信号。
获取单元A被设计为接收一个或多个控制信号。
可以认为控制信号由图4的箭头Z指示。
第一接口或通信系统被设计为允许在处理单元E和获取单元A之间交换一个或多个控制信号Z。
获取单元A包括至少一个移动系统,所述移动系统被设计为引起获取单元A的至少一个获取设备关于观察空间的移动。该移动适于进而引起由至少一个获取设备限定的至少一个视场关于观察空间的对应移动,并且因此引起由至少一个获取设备捕获的图像的视场的对应变化。
因此,至少一个获取设备与移动系统相关联。
在根据本描述的第一方面的监视系统的第一变体中,与移动系统相关联的至少一个获取设备是第一获取设备。
在根据本描述的第一方面的监视系统的第二变体中,与移动系统相关联的至少一个获取设备是第二获取设备。
处理单元E被编程为控制移动系统,用于引起与自相同的移动系统相关联的至少一个获取设备的移动。
处理单元E被设计为向移动系统发送一个或多个控制信号Z。
移动系统被设计为接收一个或多个控制信号Z。
第一接口或通信系统被设计为允许在处理单元E和移动系统之间交换一个或多个控制信号Z。
处理单元E可以被编程为控制鸟驱散单元B。
处理单元E可以被编程为向鸟驱散单元B发送一个或多个命令信号。
鸟驱散单元B被设计为接收一个或多个命令信号。
可以认为命令信号由图4的箭头U指示。
驱散系统1'包括未在附图中图示的第二接口或通信系统。
第二接口或通信系统可操作地插入在处理单元E和驱散单元B之间。第二接口系统被设计为允许在处理单元E和驱散单元B之间交换一个或多个命令信号U。
根据本描述的第三方面的监视方法的一个可能实施例包括:
-操作检测阶段,如图1中;
-操作切换阶段,如图3中;
-操作跟踪阶段,如图4中。
操作检测阶段发生在第一时间间隔中,其包括一个接一个地位于时间中的一系列检测时刻。
检测时刻可以在时间上彼此远离。
因此,在不同瞬间检测观察空间的图像达预先确定的时间间隔。
对于每个检测时刻,操作检测阶段包括相应的操作检测序列。可以认为每个相应的操作检测序列与相应的检测时刻相关联。
优选地,精确时刻中的检测与步骤的预先确定序列关联。
图1示出了在与相应检测时刻相关联的相应操作检测序列期间的监视系统1。
图2是描述与相应检测时刻相关联的相应操作检测序列的流程图。
每个相应的操作检测序列包括相应的图像捕获步骤。
相应的图像捕获步骤由图2中的方框101指示。在相应的操作检测序列的相应图像捕获步骤101中,获取单元A捕获观察空间的至少一个相应检测图像。在相应的图像捕获步骤期间由获取单元A捕获的相应检测图像由图1的箭头IR指示。
不论是使用根据本描述的第一方面的监视系统的第一变体还是使用根据本描述的第一方面的监视系统的第二变体来实现根据本描述的第三方面的监视方法,都使用上面提到的第一获取设备来执行相应的图像捕获步骤。
每个相应的操作检测序列包括相应的处理步骤。处理步骤由图2中的方框102指示。在相应的处理步骤102中,处理单元E处理由获取单元A捕获的相应检测图像IR。
在相应的处理步骤102中,处理单元E处理与相应检测图像相关的至少一个相应的特征向量。与相应检测图像相关的相应特征向量由图1中的箭头SIR指示。
在相应的处理步骤102之前,每个相应的操作检测序列包括相应的发送步骤,其中获取单元A向处理单元E发送与相应检测图像IR相关的相应特征向量SIR。
在相应的处理步骤102之前,每个相应的操作检测序列包括接收步骤,其中处理单元E从获取单元A接收与相应检测图像IR相关的相应特征向量SIR。
从图像捕获步骤获得了特征向量,该特征向量与捕获的图像或图像的一部分对应,并且该特征向量被发送到处理单元E并由处理单元E接收。
然后,特征向量由处理单元进一步处理。
每个相应的操作检测序列包括相应的获得步骤。相应的获得步骤由图2中的方框“103”指示。在相应的获得步骤103中,处理单元102获得至少一个相应的检测数据项。根据和/或取决于相应的处理步骤102执行相应的获得步骤103。
相应的检测数据项指示或表示:
-在相应的检测图像与之有关的相应检测时刻,位于所述观察空间中的至少一只鸟的存在;
-或者,在所述相应的检测时刻,所述观察空间中不存在任何鸟。
因此,相应的检测数据项可以指示在相应的检测图像与之有关的相应检测时刻,或者在观察空间中存在至少一只鸟,或者在观察空间中不存在鸟。
相应的检测数据项还可以指示或表示:
-在相应的检测图像与之有关的相应检测时刻,位于所述观察空间中的至少一群多只鸟的存在;
-或者,在所述检测时刻,所述观察空间中的任何多只鸟的不存在。
因此,相应的检测数据项可以指示在相应的检测图像与之有关的相应检测时刻,或者在观察空间中存在至少一群多只鸟,或者在观察空间中不存在多只鸟。
在下文中,表述“检测到的鸟”是指观察空间中存在的至少一只鸟,其存在是通过获得至少一个相应的检测数据项来检测的。
在下文中,表述“检测到的多只鸟”是指观察空间中存在的至少一群多只鸟,其存在是通过获得至少一个相应的检测数据项来检测的。
在图2中,相应的检测数据项由标记为“dril”的箭头表示,并且出自与相应的获得步骤103有关的方框。
检测数据项“dril”优选地是布尔型数据项(真/假),其指示观察空间中至少一只鸟的存在或不存在。
通过处理与捕获的图像对应的特征向量来获得该数据项。
相应的处理步骤102包括至少一个相应的计算步骤。在相应的计算步骤中,处理单元E计算与相应检测图像IR相关的至少一个相应的参考向量。
与相应检测图像相关的表述“参考向量”是指数据向量或数值的n维向量,其对于图像的每个部分在表示与检测图像对应的观察空间的参考图像的对应部分中包括描述符(例如,形状和/或颜色和/或纹理描述符)的至少一个值。
换句话说,从捕获的图像和对应的特征向量开始,处理单元计算对应的参考特征向量。
相应的处理步骤102包括至少一个相应的比较步骤。在相应的比较步骤中,处理单元E将与相应检测图像IR相关的相应参考向量与比较参考向量进行比较。
这时应当注意的是,相应的检测图像示出了在相应的检测时刻观察空间的至少一部分。因此,观察空间的该部分落入由相应检测时刻中的相应检测图像限定的相应视场内。
比较参考向量是处理单元中预先设置并存储的参考向量。比较参考向量是与预先设置的图像相关的参考向量。预先设置的图像可以示出落入相应检测图像的视场内的观察空间的相同部分中的至少一只鸟或一群多只鸟。预先设置的图像可以示出落入相应检测图像的视场内的鸟群。
在相应的比较步骤中,处理单元可以将与相应检测图像相关的相应参考向量与多个比较参考向量进行比较。
多个比较参考向量是处理单元中预先设置并存储的多个参考向量。预先设置的参考向量是与相应预先设置的图像相关的相应参考向量。每个预先设置的图像可以示出落入相应检测图像的视场内的在观察空间的相同部分中的至少一只相应的鸟或至少一群相应的多只鸟。
可以存在多个比较参考特征向量:一个具有空背景,一个具有仅一只鸟,一个具有预先确定的数量的鸟,一个具有分布在观察空间中的一只或多只鸟,一个具有集中在观察空间的预先确定的分区中的一只或多只鸟,等等。
在图2中图示的方法的示例实施例中,在图像捕获步骤101中捕获图像。
首先处理图像,以便获得以数字格式表示所捕获图像的特征的特征向量。
从与捕获的图像对应的特征向量,获得参考特征向量。
将该参考特征向量与比较参考特征向量进行比较,所述比较参考特征向量可以与例如“空”视场的图像对应或者与其中出现一只或多只鸟的相同图像对应。
基于该比较,识别第一数据项dril,用于指示一只或多只鸟的存在或不存在。
该数据项dril被发送到处理单元。
在其中确定存在一只或多只鸟的操作检测阶段之后,该方法涉及跟踪阶段。
该操作跟踪阶段发生在第二时间间隔中,其包括一个接一个地位于时间中的一系列跟踪时刻。
跟踪时刻可以在时间上彼此远离。
优选地,设置其中在相继的时刻监视观察空间的时间间隔。
对于每个跟踪时刻,操作跟踪阶段包括相应的操作跟踪序列。可以认为每个相应的操作跟踪序列与相应的跟踪时刻相关联。
图4示出了与相应的跟踪时刻相关联的相应操作跟踪序列期间的监视系统1。
图5是描述与相应跟踪时刻相关联的相应操作跟踪序列的流程图。
每个相应的操作跟踪序列包括相应的跟踪步骤。相应的跟踪步骤由图5中的方框201指示。在相应的操作跟踪序列的相应跟踪步骤201中,获取单元A捕获观察空间的至少一个相应的跟踪图像。图4的箭头IS指示了在相应跟踪步骤期间由获取单元A捕获的相应跟踪图像。
如在检测序列中的,在跟踪序列中,也存在捕获观察空间中的图像的步骤。
如果为了执行根据本描述的第三方面的监视方法而使用根据第一方面的监视系统1的第一变体,那么相应的操作跟踪序列的相应捕获步骤201通过上面提到的第一获取设备来执行。
如果为了执行根据本描述的第三方面的监视方法而使用根据第一方面的监视系统1的第二变体,那么相应的操作跟踪序列的相应捕获步骤201通过上面提到的第二获取设备来执行。
每个相应的操作跟踪序列包括相应的处理步骤。相应的处理步骤由图5中的方框202指示。在相应的处理步骤202中,处理单元E处理由获取单元A捕获的至少一个相应的跟踪图像IS。相应的跟踪图像IS与和相应的操作跟踪序列相关联的相应跟踪时刻有关。
在相应的处理步骤202中,处理单元E处理与相应的跟踪图像IS相关的至少一个相应的特征向量。与相应的跟踪图像IS相关的相应特征向量由图4中的箭头SIS指示。
在相应的处理步骤202之前,每个相应的操作跟踪序列包括相应的发送步骤,其中获取单元A向处理单元E发送与相应的跟踪图像IS相关的相应特征向量SIS。
在相应的处理步骤202之前,每个相应的操作跟踪序列包括接收步骤,在所述接收步骤中处理单元E从获取单元A接收与相应的跟踪图像IS相关的相应特征向量SIS。
如用于检测的情况,对于跟踪也是从捕获步骤获得特征向量,所述特征向量与在跟踪时刻捕获的图像或图像的一部分对应。该特征向量被发送到处理单元E并由处理单元E接收,在所述处理单元E中该特征向量被进一步处理。
每个相应的操作跟踪序列优选地包括相应的导出步骤。相应的导出步骤由图5中的方框203指示。
根据和/或取决于相应的处理步骤202,执行相应的导出步骤。
在该导出步骤中,处理单元E优选地导出至少一个相应的运动学数据项。
在图5中,该相应的运动学数据项由标记为“dcin”的任何箭头示出,并且离开关于相应的导出步骤203的方框,因为它是在相应的导出步骤203期间导出的。
至少一个相应的运动学数据项指示在相应的跟踪图像IS所指的相应跟踪时刻中检测到的鸟的至少一个运动学量。
该至少一个运动学量可以包括例如检测到的鸟关于所述观察空间的速度。
该至少一个运动学量可以包括例如检测到的鸟关于所述观察空间的定位。
通过至少该相应的运动学数据项,从相应的跟踪图像IS所指的相应跟踪时刻开始,处理单元E可以预测检测到的鸟将遵循的飞行轨迹。
在导出步骤203期间,处理单元E可以导出相应的多个运动学数据,每个数据项与检测到的多只鸟中的检测到的对应鸟相关联。以这种方式,从相应的跟踪图像IS所指的相应跟踪时刻开始,处理单元E可以预测检测到的多只鸟中的鸟将遵循的对应飞行轨迹。
在导出步骤203期间,处理单元E处理与在跟踪时刻中捕获的图像对应的特征向量,以获得图像中存在的一只或多只鸟的一个或多个运动学量。
在该导出步骤中,处理单元E优选地导出至少一个相应的识别数据项。
在图5中,该相应的识别数据项由标记为“dsp”的箭头示出,并且离开关于相应的导出步骤203的方框,因为它是在相应的导出步骤203期间导出的。
相应的识别数据项“dsp”指示在相应的跟踪图像IS所指的相应跟踪时刻中检测到的鸟所属的物种。
在导出步骤期间,处理单元E可以导出相应的多个识别数据,每个数据项与检测到的多只鸟中的检测到的对应鸟相关联。
在该导出步骤203中,处理单元E优选地导出至少一个相应的集中度数据项。
因此,在导出步骤期间,处理单元E可以获得图像中存在的鸟的物种。
在图5中,相应的集中度数据项由标记为“dcon”的箭头示出,并且离开关于相应的导出步骤203的方框,因为它是在相应的导出步骤203期间导出的。
如果检测数据项“dril”指示在观察空间中多只鸟的存在,那么集中度数据项“dcon”指示检测到的多只鸟中的鸟的数量。
在导出步骤期间,处理单元E可以确定图像中存在的鸟的集中度。
相应的处理步骤202可以包括用于分析相应的跟踪图像IS的至少一个相应的分析步骤。
相应的处理步骤202包括至少一个相应的计算步骤。在相应处理步骤202的相应计算步骤中,处理单元E计算与相应跟踪图像IS相关的至少一个相应参考向量。
如在检测步骤中的,在跟踪步骤中,也从跟踪时刻中捕获的图像的特征向量开始计算参考特征向量。
相应的处理步骤202优选地包括至少一个相应的比较步骤。在相应的处理步骤202的相应比较步骤中,处理单元E将与相应跟踪图像IS相关的相应参考向量与以下内容进行比较:
-与在相应跟踪图像IS之前捕获的先前跟踪图像相关的参考向量,和/或
-与在相应跟踪图像IS之前捕获的各先前跟踪图像相关的多个参考向量;和/或
-处理单元中存储或预先设置的并且与鸟的多个物种的物理特点和/或典型移动有关的信息数据。例如,信息数据可以与鸟的多个物种的典型形状和/或大小和/或翅膀拍打的频率和/或颜色有关。
因此,处理单元可以将从在跟踪时刻中捕获的新图像开始获得的新参考特征向量与从先前捕获的图像获得的一个或多个参考特征向量进行比较。
有利地,处理单元可以将从在跟踪时刻中捕获的新图像获得的新参考特征向量与已经在处理单元中存储或预先设置的数据进行比较。
这种比较允许应用在处理单元中预先设置的本体论,从而仅基于统计方法来集成识别。
预先设置的本体论可以包括关于鸟类和关于领土的信息的先验知识,并且允许包括对提高物种的分类的精度有用的“推理”步骤。
本体论集成了神经网络,所述神经网络既作为输入,又作为对神经网络的输出的过滤器。作为输入,考虑例如一年的时段、各种物种的迁徙习性以及用于鸟分类的其它已知信息。一旦从与捕获的图像对应的向量的处理中已获得统计结果,本体论就允许进行检查,以确保信息中不存在允许排除某些结果的形式不一致性。
例如,如果从特征向量的处理中确立的是一只鸟具有80cm的翼展,在10只鸟的群中以预先确定的速度飞行,并且是红色的,那么神经网络将鸟分类为“海鸥”,因为4条信息中的3条是海鸥的典型特征,但是本体论利用海鸥不是红色的信息进行干预,并且因此该鸟不能被分类为“海鸥”。
每个相应的操作跟踪序列包括用于控制所述获取单元的相应控制步骤。相应的控制步骤由图5中的方框204a指示。在用于控制获取单元A的相应控制步骤204a中,处理单元E根据至少所述相应运动学数据项“dcin”和/或至少所述相应识别数据项“dsp”和/或根据至少所述相应集中度数据项“dcon”和/或根据所述多个运动学数据和/或根据所述多个识别数据来控制获取单元A。
因此,相应的控制步骤204a根据相应的导出步骤203而发生。
执行相应的控制步骤204a,以便通过至少一个获取设备的移动,捕获在所述相应的跟踪时刻之后由所述获取单元A捕获的图像,从而跟踪所述检测到的鸟关于观察空间的移动或者检测到的多只鸟关于观察空间的移动。
在该控制步骤204a中,处理单元E优选地控制移动系统。
相应的控制步骤优选地包括相应的移动步骤。在相应的移动步骤中,移动系统生成获取单元A的至少一个获取设备关于观察空间的移动。
该移动进而引起由至少一个获取设备限定的至少一个视场关于观察空间的对应移动,以及因此引进由至少一个获取设备捕获的图像的视场的对应变化。
执行相应的移动步骤,以便通过至少一个获取设备的移动,捕获在所述相应的跟踪时刻之后由所述获取单元捕获的图像,从而跟踪所述检测到的鸟关于观察空间的移动或者检测到的多只鸟关于观察空间的移动。
如果为了执行根据本描述的第三方面的监视方法而使用根据本描述的第一方面的监视系统的第一变体,那么在移动步骤期间移动的至少一个获取设备是上面提到的第一获取设备。
如果为了执行根据本描述的第三方面的监视方法而使用根据本描述的第一方面的监视系统的第二变体,那么在移动步骤期间移动的至少一个获取设备是上面提到的第二获取设备。
通过相应的控制步骤204a,因此有可能获得由获取单元A捕获的跟踪图像检测到的鸟或检测到的多只鸟的跟踪。因为跟踪是根据导出步骤203,考虑到导出步骤203可以允许预测多只鸟的相应飞行轨迹,在操作跟踪阶段期间在通过跟踪图像跟踪那些鸟时获得了优良的精度,以便还增加轨迹的预测的精度,其在每个跟踪时刻发生。
用于控制获取单元A的相应控制步骤204a包括通过处理单元E向获取单元A发送至少一个控制信号Z的步骤。
用于控制获取单元A的相应控制步骤204a包括获取单元A接收从所述处理单元E到达的至少一个控制信号Z的步骤。
在图4中,控制信号Z被指示为根据至少运动学数据项“dcin”和/或识别数据项“dsp”和/或集中度数据项“dcon”,因为用于控制获取单元A的控制步骤204a可以根据至少运动学数据项“dcin”和/或至少识别数据项“dsp”和/或至少集中度数据项“dcon”而发生。
在操作切换阶段期间,处理单元E切换获取单元A,以便监视系统1从操作检测阶段改变为操作跟踪阶段。
处理单元E可以被编程,使得在任何检测时刻,如果在相应的获得步骤期间获得的至少一个相应的检测数据项指示了在观察空间中至少一只鸟的存在,或者如果其指示了在观察空间中多只鸟的存在,则执行切换阶段。
因此,如果在相应的获得步骤期间获得的至少一个相应的检测数据项指示了观察空间中至少一只鸟的存在,或者如果其指示了在观察空间中多只鸟的存在,则操作切换阶段可以从每个检测时刻开始和/或在每个检测时刻之后发生。
用于切换获取单元A的切换步骤优选地包括由处理单元E向获取单元A发送至少一个切换信号W的步骤。
用于切换获取单元A的切换步骤优选地包括获取单元A接收从处理单元E到达的至少一个切换信号W的步骤。
每个相应的操作跟踪序列可以包括用于向鸟驱散单元B发出命令的相应命令步骤。相应的命令步骤由图5中的方框204b指示。在相应的命令步骤中,根据至少所述相应运动学数据项“dcin”和/或至少所述相应识别数据项“dsp”和/或根据至少所述相应集中度数据项“dcon”和/或根据所述多个运动学数据和/或根据所述多个识别数据,处理单元E向驱散单元B发出命令。
因此,相应的命令步骤204b根据相应的导出步骤203而发生。
执行相应的命令步骤204b,以便基于至少所述相应运动学数据项“dcin”和/或基于至少所述相应识别数据项“dsp”和/或基于至少所述相应集中度数据项“dcon”和/或基于至少所述多个运动学数据和/或基于至少所述多个识别数据,所述驱散单元B从所述观察空间驱散和/或赶走检测到的鸟或检测到的多只鸟。
考虑到导出步骤203可以允许预测检测到的多只相应鸟的相应飞行轨迹和那些鸟的种群,在驱散单元B驱散鸟群(如果存在的话)时获得了优良的精度,因为该驱散根据导出步骤203。
相应的命令步骤204b包括由处理单元E并向驱散单元B发送至少一个命令信号U的步骤。
命令步骤包括驱散单元B接收从所述处理单元E到达的至少一个命令信号U的步骤。
在图4中,命令信号U被指示为根据至少运动学数据项“dcin”的和/或识别数据项“dsp”和/或集中度数据项“dcon”,因为用于向驱散单元B发出命令的命令步骤204b可以根据至少运动学数据项“dcin”和/或至少识别数据项“dsp”和/或至少集中度数据项“dcon”而发生。
在图5中存在两个标记为“dcin”的箭头,所述箭头离开关于导出步骤203的方框,并且分别导向关于用于控制获取单元A的相应控制步骤的方框204a并且导向关于用于向驱散单元B发出命令的相应命令步骤的方框204b,因为控制步骤204a和命令步骤204b都可以根据相应运动学数据项“dcin”。
在图5中,有两个标记为“dsp”的箭头,所述箭头离开关于导出步骤203的方框,并且分别导向关于用于控制获取单元A的相应控制步骤的方框204a并且导向关于用于向驱散单元B发出命令的相应命令步骤的方框204b,因为控制步骤204a和命令步骤204b都可以根据相应识别数据项“dsp”。
在图5中,有两个标记为“dcon”的箭头,所述箭头离开关于导出步骤203的方框,并且分别导向关于用于控制获取单元A的相应控制步骤的方框204a并且导向关于用于向驱散单元B发出命令的相应命令步骤的方框204b,因为控制步骤204a和命令步骤204b都可以根据相应集中度数据项“dcon”。
由于检测系统进行自学习的可能性,根据本描述的检测系统还允许自相同的检测系统在检测鸟的存在、存在的鸟的数量、它们的物种以及在预测它们的飞行轨迹的精度方面提高其性能。
Claims (23)
1.一种用于自动监视观察空间中至少一只鸟的存在的系统(1),包括图像获取单元(A)和处理单元(E),
其中所述获取单元(A)被配置为捕获在相应的检测时刻所述观察空间的相应的检测图像的序列,
其中所述处理单元(E)被编程为处理至少一个相应的检测图像(IR),以便获得与所述检测图像(IR)有关的至少一个相应的检测数据项(“dril”),
所述相应的检测数据项(“dril”)指示在相应的检测时刻位于所述观察空间中的至少一只鸟的存在或者不存在,所述相应的检测图像(IR)与所述相应的检测时刻有关,
其中所述处理单元(E)被编程为处理与相应的检测图像(IR)相关的至少一个相应的特征向量;
其中,为了获得相应的检测数据项(“dril”),所述处理单元(E)被编程为从检测图像(IR)和与相应的检测图像(IR)相关的特征向量开始,计算与相应的检测图像(IR)相关的至少一个相应的参考向量,与相应的检测图像(IR)相关的所述参考向量是数据向量,所述数据向量对于图像的每个部分在图像的对应部分中包括描述符的至少一个值;
其中,为了获得相应的检测数据项(“dril”),所述处理单元(E)被编程为将与相应的检测图像(IR)相关的相应的参考向量与至少一个比较参考向量进行比较;
其中所述至少一个比较参考向量是处理单元(E)中预先设置并存储的参考向量;
其中比较参考向量是与预先设置的图像相关的参考向量;
其中预先设置的图像示出落入相应的检测图像(IR)的视场内的观察空间的相同部分中的至少一只鸟,
其中所述获取单元(A)被设计为捕获在所述检测时刻之后的相应的跟踪时刻作为检测到的鸟的相应的图像的跟踪图像的至少一个序列;
其中所述处理单元(E)被编程为处理与相应的跟踪图像(IS)相关的至少一个相应的特征向量;
其中所述处理单元(E)被编程为从与跟踪图像(IS)相关的特征向量开始计算与相应的跟踪图像(IS)相关的参考特征向量;
其中所述处理单元(E)被编程为将与相应的跟踪图像(IS)相关的参考特征向量和与在相应的跟踪图像(IS)之前捕获的先前跟踪图像相关的参考向量进行比较;
其中所述处理单元(E)被编程为处理与相应的跟踪图像相关的至少一个相应的特征向量,以便导出与检测到的鸟相关联的至少一个相应的运动学数据项(“dcin”);
其中所述处理单元(E)被编程为处理与相应的跟踪图像相关的至少一个相应的特征向量,以便导出与检测到的鸟相关联的至少一个相应的识别数据项(“dsp”)。
2.如权利要求1所述的系统,其中所述处理单元(E)被编程为切换所述获取单元(A),以便如果所述相应的检测数据项(“dril”)指示观察空间中至少一只鸟的存在,那么所述获取单元(A)从获取所述相应的检测图像改变为获取在所述检测时刻之后的相应的跟踪时刻中所述至少一只鸟的相应的跟踪图像的序列,所述跟踪图像是检测到的所述至少一只鸟的图像;
其中所述处理单元(E)被编程为处理至少一个相应的跟踪图像(IS),以便导出至少一个相应的运动学数据项(“dcin”),所述相应的运动学数据项指示在所述相应的跟踪图像(IS)所指的相应的跟踪时刻中所述至少一只鸟的至少一个运动学量,
其中所述至少一个相应的运动学数据项(“dcin”)包括所述至少一只鸟关于所述观察空间的速度和/或定位;
其中所述处理单元(E)被编程为根据所述至少一个相应的运动学数据项(“dcin”)控制所述获取单元(A),以便捕获在所述相应的跟踪时刻之后由所述获取单元(A)捕获的图像,从而跟踪所述至少一只鸟关于观察空间的移动。
3.如权利要求2所述的系统,其中所述处理单元(E)被编程为处理相应的跟踪图像(IS),以便导出指示所述至少一只鸟所属的物种的至少一个相应的识别数据项(“dsp”)。
4.如权利要求2或3所述的系统,其中所述相应的检测数据项(“dril”)指示所述观察空间中多只鸟的存在,并且其中所述处理单元(E)被编程为处理相应的跟踪图像(IS),以便导出指示所述多只鸟的数量的至少一个相应的集中度数据项(“dcon”)。
5.如权利要求4所述的系统,其中,为了导出相应的运动学数据项(“dcin”)和/或相应的识别数据项(“dsp”)和/或相应的集中度数据项(“dcon”),所述处理单元(E)被编程为计算与相应的跟踪图像(IS)相关的至少一个相应的参考向量;
其中,为了导出相应的运动学数据项(“dcin”)和/或相应的识别数据项(“dsp”)和/或相应的集中度数据项(“dcon”),所述处理单元(E)被编程为将与相应的跟踪图像(IS)相关的相应的参考向量和与在相应的跟踪图像(IS)之前捕获的先前跟踪图像相关的至少一个参考向量进行比较;
其中,为了导出相应的运动学数据项(“dcin”)和/或相应的识别数据项(“dsp”)和/或相应的集中度数据项(“dcon”),所述处理单元(E)被编程为将与相应的跟踪图像(IS)相关的相应的参考向量和与在相应的跟踪图像之前捕获的相应的先前跟踪图像相关的多个参考向量进行比较;
其中,为了导出相应的运动学数据项(“dcin”)和/或相应的识别数据项(“dsp”)和/或相应的集中度数据项(“dcon”),所述处理单元(E)被编程为将与相应的跟踪图像(IS)相关的相应的参考向量和与处理单元(E)中存储或预先设置的并且与鸟的多个物种的物理特点和/或典型移动有关的信息数据进行比较;所述信息数据能够与鸟的多个物种的典型形状和/或大小和/或翅膀拍打的频率和/或颜色有关。
6.一种用于自动监视观察空间中至少一只鸟的存在的方法,包括在第一时间间隔内发生的操作检测阶段,所述第一时间间隔包括一个接一个地位于时间中的一系列检测时刻;
其中,对于每个检测时刻,所述操作检测阶段包括相应的操作检测序列,每个相应的操作检测序列与相应的检测时刻相关联;
其中每个相应的操作检测序列包括:
-相应的图像捕获步骤(101),其中获取单元(A)捕获所述观察空间的至少一个相应的检测图像(IR);
-相应的处理步骤(102),其中处理单元(E)处理相应的检测图像(IR);
-相应的获得步骤(103),其中处理单元(E)获得至少一个相应的检测数据项(“dril”),相应的获得步骤(103)根据和/或取决于相应的处理步骤(102)来执行;
所述相应的检测数据项(“dril”)指示在所述相应的检测时刻位于所述观察空间中的至少一只鸟的存在或不存在,所述相应的检测图像(IR)与所述相应的检测时刻有关,
其中相应的处理步骤(102)包括处理与相应的检测图像(IR)相关的至少一个相应的特征向量;
其中相应的处理步骤(102)包括至少一个相应的计算步骤,在所述至少一个相应的计算步骤中处理单元(E)从检测图像(IR)和与相应的检测图像(IR)相关的特征向量开始计算与相应的检测图像(IR)相关的至少一个相应的参考向量,与相应的检测图像(IR)相关的所述参考向量是数据向量,所述数据向量对于图像的每个部分在图像的对应部分中包括描述符的至少一个值;
其中相应的处理步骤(102)包括至少一个相应的比较步骤,在所述至少一个相应的比较步骤中处理单元(E)将与相应的检测图像(IR)相关的相应的参考向量与至少一个比较参考向量进行比较;
其中至少一个比较参考向量是处理单元(E)中预先设置并存储的至少一个参考向量;
其中至少一个比较参考向量是与图像相关的至少一个参考向量,所述图像示出了落入相应的检测图像(IR)的视场内的观察空间的相同部分中的至少一只鸟,
所述方法还包括在第二时间间隔内发生的跟踪阶段,所述第二时间间隔包括一个接一个地位于时间中的一系列跟踪时刻;
其中,对于每个跟踪时刻,所述跟踪阶段包括相应的操作跟踪序列;
其中每个相应的操作跟踪序列包括:
-相应的跟踪步骤(201),其中获取单元(A)捕获观察空间的至少一个相应的跟踪图像(IS),
-相应的处理步骤(202),其中处理单元(E)处理相应的跟踪图像(IS),其中处理步骤(202)包括:处理与相应的跟踪图像(IS)相关的至少一个相应的特征向量;从与跟踪图像(IS)相关的特征向量开始计算与相应的跟踪图像(IS)相关的参考特征向量;将与相应的跟踪图像(IS)相关的相应的参考向量和与在相应的跟踪图像(IS)之前捕获的先前跟踪图像相关的参考向量进行比较;
-相应的导出步骤(203),其中所述处理单元(E)通过处理与在跟踪时刻中捕获的图像对应的特征向量,导出至少一个相应的运动学数据项(“dcin”);
其中,在导出步骤(203)中,所述处理单元(E)通过处理与相应的跟踪图像相关的至少一个相应的特征向量,导出至少一个相应的识别数据项(“dsp”)。
7.如权利要求6所述的方法,包括:
-在第二时间间隔内发生的操作跟踪阶段,所述第二时间间隔包括一个接一个地位于时间中的一系列跟踪时刻;
-所述操作检测和跟踪阶段之间的中间切换阶段;
其中,在所述切换阶段中,处理单元(E)切换获取单元(A),以便如果相应的检测数据项(“dril”)指示在所述相应的检测时刻相应的所述至少一只鸟的存在,以及然后“检测到”的群的存在,那么操作跟踪阶段开始;
其中,如果相应的检测数据项(“dril”)指示在观察空间中所述至少一只鸟的存在,那么操作切换阶段在每个检测时刻之后发生;
其中,对于每个跟踪时刻,所述操作跟踪阶段包括相应的操作跟踪序列,每个相应的操作跟踪序列与相应的跟踪时刻相关联;
其中每个相应的操作跟踪序列包括:
-相应的跟踪步骤(201),其中获取单元(A)捕获所述至少一只鸟的至少一个相应的跟踪图像(IS),其中所述跟踪图像是检测到的所述至少一只鸟的图像;
-相应的处理步骤(202),其中处理单元(E)处理相应的跟踪图像(IS);
-相应的导出步骤(203),相应的导出步骤(203)根据和/或取决于相应的处理步骤(202)来执行。
8.如权利要求7所述的方法,其中,在该导出步骤(203)中,处理单元(E)导出至少一个相应的运动学数据项(“dcin”),
其中所述至少一个相应的运动学数据项(“dcin”)指示在相应的跟踪图像(IS)所指的相应的跟踪时刻中所述至少一只鸟的至少一个运动学量;所述至少一个运动学量能够包括所述至少一只鸟关于所述观察空间的速度和/或定位。
9.如权利要求7或8所述的方法,其中,在该导出步骤(203)中,处理单元(E)导出至少一个相应的识别数据项(“dsp”);
其中所述至少一个相应的识别数据项(“dsp”)指示在相应的跟踪图像(IS)所指的相应的跟踪时刻中所述至少一只鸟所属的物种。
10.如权利要求6至8中任一项所述的方法,其中所述相应的检测数据项(“dril”)指示在所述观察空间中多只鸟的存在,其中,在该导出步骤(203)中,处理单元(E)导出至少一个相应的集中度数据项(“dcon”);其中所述至少一个相应的集中度数据项(“dcon”)指示在相应的跟踪图像(IS)所指的相应的跟踪时刻中多只鸟的数量。
11.如权利要求10所述的方法,其中每个相应的操作跟踪序列包括相应的控制步骤(204a),其中,在相应的控制步骤中,处理单元(E)根据至少所述相应的运动学数据项(“dcin”)和/或至少所述相应的识别数据项(“dsp”)和/或至少所述相应的集中度数据项(“dcon”)控制获取单元(A);
其中执行相应的控制步骤(204a),以便捕获在所述相应的跟踪时刻之后由所述获取单元(A)捕获的图像,从而跟踪所述至少一只鸟关于观察空间的移动。
12.如权利要求6至8中任一项所述的方法,其中,所述相应的处理步骤(202)包括:
-相应的计算步骤,其中处理单元(E)计算与相应的跟踪图像(IS)相关的至少一个相应的参考向量;
-相应的比较步骤,其中处理单元(E)将与相应的跟踪图像(IS)相关的相应的参考向量与以下进行比较:
-与在相应的跟踪图像(IS)之前捕获的先前跟踪图像相关的参考向量,和/或
-与在相应的跟踪图像(IS)之前捕获的相应的先前跟踪图像相关的多个参考向量;和/或
-在处理单元中存储或预先设置的并且与鸟的多个物种的物理特点和/或典型移动有关的信息数据,所述信息数据能够与鸟的多个物种的典型形状和/或大小和/或翅膀拍打的频率和/或颜色有关。
13.如权利要求6至8中任一项所述的方法,其中所述处理步骤和/或所述导出步骤包括通过至少一个神经网络进行的特征向量的统计处理。
14.如权利要求6至8中任一项所述的方法,其中所述处理步骤和/或所述导出步骤包括将特征向量与在所述处理单元(E)存储的至少一个预先设置的本体论进行比较,其中所述预先设置的本体论限定基本分类标准。
15.如权利要求6至8中任一项所述的方法,其中,通过处理与所述检测图像相关的特征向量来获得所述检测数据项(“dril”)。
16.如权利要求6至8中任一项所述的方法,其中所述检测图像是所述观察空间的预先确定的分区的图像。
17.如权利要求6至8中任一项所述的方法,其中所述检测数据项(“dril”)是与位于所述观察空间中的至少一只鸟的存在或不存在对应的布尔型数据项。
18.如权利要求6至8中任一项所述的方法,其中所述处理单元(E)通过处理与相同图像相关的特征向量来计算与检测图像和/或跟踪图像相关的所述参考向量。
19.如权利要求18所述的方法,其中,对于图像的每个部分,与所述检测图像和/或跟踪图像相关的所述特征向量包括代表图像的所述部分中至少一个物理量的值的至少一个特征。
20.如权利要求18所述的方法,其中所述特征向量是数值的n维向量,所述数值的n维向量表示检测和/或跟踪图像或图像的一部分。
21.如权利要求6至8中任一项所述的方法,其中与所述相应的检测图像和/或跟踪图像相关的所述参考向量是数据向量,对于所述检测图像和/或跟踪图像的每个部分,所述数据向量包括图像的所述部分中的描述符的至少一个值。
22.如权利要求6至8中任一项所述的方法,其中所述比较参考向量是与预先设置的图像相关的参考向量,所述比较参考向量是数据向量,对于所述预先设置的图像的每个部分,所述数据向量包括预先设置的图像的所述部分中的描述符的至少一个值。
23.如权利要求6至8中任一项所述的方法,其中所述比较参考向量是数值的n维向量,所述数值的n维向量表示预先设置的图像或预先设置的图像的一部分,所述预先设置的图像或预先设置的图像的一部分与落入相应的检测图像(IR)的视场内的观察空间的相同部分有关。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102016000120787 | 2016-11-29 | ||
IT102016000120787A IT201600120787A1 (it) | 2016-11-29 | 2016-11-29 | Sistema di monitoraggio automatico di volatili e relativo metodo di utilizzo |
PCT/IT2017/000270 WO2018100594A1 (en) | 2016-11-29 | 2017-11-28 | System for automatic monitoring of birds and related method of use |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110023949A CN110023949A (zh) | 2019-07-16 |
CN110023949B true CN110023949B (zh) | 2023-12-19 |
Family
ID=58455445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780073356.XA Active CN110023949B (zh) | 2016-11-29 | 2017-11-28 | 用于鸟的自动监视的系统及有关的使用方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10956741B2 (zh) |
EP (1) | EP3549060A1 (zh) |
CN (1) | CN110023949B (zh) |
IT (1) | IT201600120787A1 (zh) |
RU (1) | RU2729532C1 (zh) |
WO (1) | WO2018100594A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018008694A1 (de) * | 2018-11-06 | 2020-05-07 | Bürgerwindpark Hohenlohe GmbH | Vorrichtung und Verfahren zum Monitoring fliegender Tiere durch Verbindung eines "Deep Learning"-Netzwerkes mit einem intelligenten Tracking |
NO20210472A1 (en) * | 2021-04-15 | 2022-10-17 | Spoor As | Bird detection and species determination |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014157058A1 (ja) * | 2013-03-28 | 2014-10-02 | 日本電気株式会社 | 鳥検知装置、鳥検知システム、鳥検知方法およびプログラム |
CA2947138A1 (en) * | 2014-05-07 | 2015-11-12 | Nec Corporation | Object detection device, object detection method, and object detection system |
CN105580356A (zh) * | 2013-09-30 | 2016-05-11 | 索尼公司 | 信息处理装置及信息处理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2426310C1 (ru) | 2010-03-17 | 2011-08-20 | Закрытое акционерное общество Медико-техническая ассоциация "Крайне высокие частоты" (ЗАО "МТА-КВЧ") | Способ обеспечения орнитологической безопасности аэропорта |
WO2013144676A1 (en) | 2012-03-26 | 2013-10-03 | Volacom Ad | Animal collision avoidance system |
US20140313345A1 (en) * | 2012-11-08 | 2014-10-23 | Ornicept, Inc. | Flying object visual identification system |
-
2016
- 2016-11-29 IT IT102016000120787A patent/IT201600120787A1/it unknown
-
2017
- 2017-11-28 US US16/347,098 patent/US10956741B2/en active Active
- 2017-11-28 WO PCT/IT2017/000270 patent/WO2018100594A1/en unknown
- 2017-11-28 RU RU2019113910A patent/RU2729532C1/ru active
- 2017-11-28 CN CN201780073356.XA patent/CN110023949B/zh active Active
- 2017-11-28 EP EP17838165.3A patent/EP3549060A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014157058A1 (ja) * | 2013-03-28 | 2014-10-02 | 日本電気株式会社 | 鳥検知装置、鳥検知システム、鳥検知方法およびプログラム |
CN105580356A (zh) * | 2013-09-30 | 2016-05-11 | 索尼公司 | 信息处理装置及信息处理方法 |
CA2947138A1 (en) * | 2014-05-07 | 2015-11-12 | Nec Corporation | Object detection device, object detection method, and object detection system |
Non-Patent Citations (1)
Title |
---|
Hierarchical incorporation of shape and shape dynamics for flying bird detection;ZHANG JUN等;《NEUROCOMPUTING》;20141231;第2.2节;图3a、3c * |
Also Published As
Publication number | Publication date |
---|---|
US20190272429A1 (en) | 2019-09-05 |
CN110023949A (zh) | 2019-07-16 |
EP3549060A1 (en) | 2019-10-09 |
WO2018100594A1 (en) | 2018-06-07 |
IT201600120787A1 (it) | 2018-05-29 |
US10956741B2 (en) | 2021-03-23 |
RU2729532C1 (ru) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106412501B (zh) | 一种视频的施工安全行为智能监控系统及其监控方法 | |
Liu et al. | Combined frame-and event-based detection and tracking | |
CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
CN101079109B (zh) | 基于制服特征的身份识别方法和系统 | |
Qu et al. | Moving vehicle detection with convolutional networks in UAV videos | |
CN113326719A (zh) | 一种用于目标追踪的方法、设备及系统 | |
CN111209848A (zh) | 一种基于深度学习的实时跌倒检测方法 | |
CN115272037A (zh) | 一种基于物联网的智慧城市区域治安管理预警方法和系统 | |
KR101788225B1 (ko) | 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템 | |
CN103246896A (zh) | 一种鲁棒性车辆实时检测与跟踪方法 | |
CN102254394A (zh) | 一种基于视频差异分析的输电线路杆塔防盗监控方法 | |
CN109376660A (zh) | 一种目标监测方法、装置及系统 | |
CN110023949B (zh) | 用于鸟的自动监视的系统及有关的使用方法 | |
Malhi et al. | Vision based intelligent traffic management system | |
Zheng et al. | Detection, localization, and tracking of multiple MAVs with panoramic stereo camera networks | |
CN109271877A (zh) | 一种人形识别方法及装置 | |
Dodia et al. | A comparison of yolo based vehicle detection algorithms | |
CN102244769A (zh) | 物件及其关键人监控系统与方法 | |
CN116700228A (zh) | 机器人路径规划方法、电子设备及可读存储介质 | |
CN109271828A (zh) | 基于深度学习的施工隔离栅栏状态智能检测的方法及系统 | |
Nandhini et al. | Anamoly detection for safety monitoring | |
CN114067437B (zh) | 一种基于定位和视频监控数据的脱管检测方法及系统 | |
Araújo Jr et al. | Towards autonomous investigation of crime scene by using drones | |
Mohindru et al. | Forest fire detection: various approaches | |
Oates et al. | The implementation of a novel, bio-inspired, robotic security system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |