CN108876823B - 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 - Google Patents
基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 Download PDFInfo
- Publication number
- CN108876823B CN108876823B CN201810709597.5A CN201810709597A CN108876823B CN 108876823 B CN108876823 B CN 108876823B CN 201810709597 A CN201810709597 A CN 201810709597A CN 108876823 B CN108876823 B CN 108876823B
- Authority
- CN
- China
- Prior art keywords
- target
- module
- time
- space
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000005259 measurement Methods 0.000 claims description 12
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 230000002265 prevention Effects 0.000 abstract description 3
- 238000012731 temporal analysis Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法，包括信息采集模块、时间同步模块、服务器和显示屏，所述信息采集模块包括若干个光学感应设备，所述时间同步模块包括设于光学感应设备内的时钟模块和设于服务器内的授时模块，所述服务器内还设有数据库、畸变矫正模块、视场标定模块、目标识别模块、分类检测模块、时空分析模块、在线学习模块和坐标匹配模块，所述光学感应设备通过通信网络与服务器连接，所述显示屏通过视频线与服务器连接。本发明可以实现单目、跨相机、多目标的识别与跟踪，并形成目标的运动轨迹，以此来追溯、跟踪目标的运动行为，可广泛应用于交通监控、治安防控等领域，提高了居住和办公环境的安全性。
Description
技术领域
本发明涉及目标轨迹跟踪监控技术领域，特别涉及一种基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法。可以应用于武器系统、航空航天、铁路交通、军事、经济、社会等领域，具体在智能视频监控（基于运动识别、基于步法的人类识别、自动物体检测等）、自动化监测（监视一个场景以检测可疑行为）、交通监视（实时收集交通数据用来指挥交通流动）、治安防控等方面具有很好的应用前景。
背景技术
随着经济和科技的发展，人们对居住和办公环境的安全性提出了更高的要求 ，对关乎经济命脉的重点设施或区域 （如核电站、水电站、银行、高速公路和机场等）的安全运行和防护，名胜古迹和文物博物馆 ( 文字博物馆和故宫博物院等 ) 的安防以及重点军事目标和区域(如军械库)的安防提出了更高的要求 ，当重点目标和区域发生突发事件时，对现场事件的远程分析、指挥和调度的快速性、准确性提出了更高的要求。对这些目标进行安防的一种重要手段就是跨相机监控识别及跟踪。现有技术的监控跟踪都是单个相机在一定的范围和场景内的识别跟踪，在跨相机监控跟踪领域依旧存在时间和空间的跟踪难同步，多个目标交叉难识别，难跟踪等问题。
发明内容
为了克服现有技术不足，本发明提供一种基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法，目的是通过建立相机之间出现目标的坐标、特性和时间序列之间的关系来快速的识别目标、跟踪目标并展现目标的历史轨迹，以提高在复杂场景、多监控视频、多目标中更为准确、快速的识别并跟踪目标。
本发明的技术解决方案：
基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：包括信息采集模块、时间同步模块、服务器和显示屏，所述信息采集模块包括若干个光学感应设备，所述时间同步模块包括设于光学感应设备内的时钟模块和设于服务器内的授时模块，所述服务器内还设有数据库、畸变矫正模块、视场标定模块、目标识别模块、分类检测模块、时空分析模块、在线学习模块和坐标匹配模块，所述光学感应设备通过通信网络与服务器连接，所述显示屏通过视频线与服务器连接，所述光学感应设备负责输出视频流，所述授时模块负责给所有光学感应设备统一时间序列，所述时钟模块负责校对光学感应设备的内部时间轴，所述畸变矫正模块负责将光学感应设备输出的视频流的畸变部分进行矫正，所述视场标定模块负责将矫正后的所有视频流统一坐标系，所述目标识别模块负责识别视频中特定目标的特性并进行标定，所述分类检测模块负责识别目标的类别并输出特定目标的坐标信息和时间序列，所述时空分析模块负责分析相邻两个时刻的目标是否是同一个目标，所述在线学习模块负责将目标识别模块和分类检测模块给出的目标特征做初步记录和保存，并将通过时空分析模块分析得出的同一目标特征再进行分类在线学习，所述显示屏用于显示特定目标的当前坐标和历史轨迹。
优选的，所述畸变矫正模块包括MATLAB、OPENCV，MATLAB计算光学感应设备输出的视频流所需矫正的参数，OPENCV根据MATLAB计算出来的参数，对光学感应设备输出的视频流进行矫正，并输出矫正后的视频流。
优选的，所述目标识别模块包括CNN算法和RNN算法，目标识别模块内预存有目标标准参数库，所述分类检测模块包括CNN算法和RNN算法，分类检测模块内预存有多种类别特征库。
优选的，所述时空分析模块包括时间分析算法和空间分析算法。
优选的，所述在线学习模块包括TLD算法，同时包括多种类别特征库、目标参数以及目标识别模块和分类检测模块新增的目标参数和特征，特征库和目标参数涵盖的目标的特征包括颜色、行为、姿态及周边背景信息。
基于时空连续性的单目跨相机多目标识别定位跟踪方法，其特征在于：包括以下步骤：
（1）第一步：使用多路光学感应设备，将当前现实场景进行全覆盖；
（2）第二步：每一路光学感应设备输出视频流，在畸变矫正模块的作用下，得到畸变矫正后的视频流；
（3）第三步：对现实场景中的多个特定点通过大地坐标BLH转自定义空间直角坐标XYZ的公式标定相关参数，建立统一的自定义空间直角坐标系，再将现实场景进行网格化处理，将第二步中的结果与网格交点一一对应，建立像素坐标系，最后将自定义空间直角坐标系与像素坐标系相互匹配，得出像素坐标与自定义空间直角坐标之间的相互转换公式；
（4）第四步：将第二步和第三步的输出结果与时间同步模块中矫正时间轴后的时间序列相互结合，从而得到同步后的视频流，并且视场中任何位置都有相应的空间坐标信息；
（5）第五步：每一路光学感应设备同时开启目标识别模块和分类检测模块，实现对多个目标的识别，分类检测模块识别目标的类别并输出特定目标的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块识别出特定目标的特性，并给特定目标打上标识，例如特定目标为人，分类检测模块会检测出人并且给出人的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块会识别出这个人是谁，当识别到特定目标时，特定目标所在的相机编号，时间序列号，目标的当前像素坐标信息、自定义空间直角坐标信息和特性储存到服务器的数据库中，识别到的目标的特性包括颜色、行为、姿态及周边背景信息；
（6）第六步：服务器开启时空分析模块，针对同一时间序列、相邻两个时间点，即T和T+1时刻的坐标信息进行空间和邻域分析，若符合标准参数，则认定这先后变化的两处坐标信息上的特定目标，为同一目标，再将此目标的特性，附加到符合标准参数的目标上，并存储在服务器的数据库内，按时间序列排列的自定义空间直角坐标构成特定目标的轨迹，从而实现对特定目标的跟踪和历史轨迹的查看；
（7）第七步：开启坐标匹配模块，将自定义空间直角坐标系匹配转换成需要的不同的坐标系，显示屏显示特定目标的坐标信息和历史轨迹；
（8）第八步：在线学习模块针对拥有相同特性的目标，进行在线归类学习，将学习的结果反馈给每一路光学感应设备中的分类检测模块的特征库和目标识别模块目标标准参数库内，增强跟踪特定目标的效果；
（9）第九步：重复（5）到（9）的步骤。
优选的，第三步中大地坐标BLH转换为自定义空间直角坐标XYZ的方式为：
优选的，第六步中时空分析模块的具体工作过程为：
（6.1）时空分析模块首先分析经第五步采集到的相邻两个时间点的相机编号是否属于同一相机，是则进行短时间尺度下的时空分析工作，包括距离、速度、方向、时空上下文的分析，得出分析结果，分析方法为：
距离：计算T时刻上的识别目标与T+1时刻上识别目标的像素坐标欧氏距离值；
速度、方向：利用LK光流法计算时间T时的目标在时间T+1时的速度矢量；
时空上下文：利用时空上下文法判断识别出的特定目标与其周边背景的空间位置关系；
（6.2）如果分析出的相机编号不属于同一相机，则进行跨相机后、长时间尺度下的分析工作，即时空分析模块将当前相机中出现的目标的颜色、行为、姿态、轨迹连通、时空聚类特征与数据库中储存的关联相机中的目标的颜色、行为、姿态、轨迹连通、时空聚类特征进行对比分析；
（6.3）若特征分析结果与关联相机中之前记录的目标的特征相符，则判定在跨相机后出现的目标与上一关联相机中跟踪的目标为同一目标，然后再执行（6.1），进行距离、速度、方向和时空上下文的分析预判，得出在当前相机中需要继续跟踪的目标，以此来不间断的预判、跟踪；
（6.4）所述时空分析模块中预存有距离、速度、方向和时空上下文的预定值，判断（6.1）中得到的结果是否符合预定值，是，则得出结论，在时间T和T+1上的目标是同一目标，跟踪此目标。
优选的，第七步中的坐标匹配模块是将自定义空间直角坐标XYZ转换成大地坐标BLH，转换方法为：
式中，e2为第一偏心率的平方，
，a为地球的长轴，b为地球的短轴，N为卯酉圈曲率半径，
，式中，L可根据X、Y直接计算，大地纬度B和大地高H需经过迭代计算，迭代初值设为：
N0=a，
H0=
，
B0=
，
然后每次迭代下述公式
Ni=
，
Bi=arctan
，
Hi=
，
直到H的计算精度为0.001m，B的计算精度为
时，停止迭代。
优选的，第七步中的坐标匹配模块是将自定义空间直角坐标XYZ转换成大地坐标BLH，转换方法为：
L=
，
B=
，
H=
，
其中：
，
本发明的有益效果：本发明提供了一种方便、简单、高效的目标识别、跟踪方法，可以实现单目、跨相机、多目标的识别与跟踪，并形成目标的运动轨迹，以此来追溯、跟踪目标的运动行为，可广泛应用于交通监控、治安防控等领域，提高了居住和办公环境的安全性。
附图说明
图1是本发明的流程图。
图2是单目测量示意图。
图3是时空分析流程图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明：
基于时空连续性的单目跨相机多目标识别定位跟踪装置，包括信息采集模块、时间同步模块、服务器和显示屏。所述信息采集模块包括若干个光学感应设备，所述光学感应设备为摄像机。所述时间同步模块包括设于光学感应设备内的时钟模块和设于服务器内的授时模块。所述服务器内还设有数据库、畸变矫正模块、视场标定模块、目标识别模块、分类检测模块、时空分析模块、在线学习模块和坐标匹配模块。所述光学感应设备通过通信网络与服务器连接，所述通信网络为CDMA、4G、WIFI自组网中的一种或几种，或者为有线通信网络。所述显示屏通过视频线与服务器连接。所述光学感应设备负责输出视频流。所述授时模块负责给所有光学感应设备统一时间序列。所述时钟模块负责校对光学感应设备的内部时间轴，时钟模块包括系统总线时钟、内部时钟MCLK，像素时钟PCLK，内部时钟MCLK 。所述畸变矫正模块负责将光学感应设备输出的视频流的畸变部分进行矫正，畸变矫正模块包括MATLAB、OPENCV，MATLAB计算光学感应设备输出的视频流所需矫正的参数，OPENCV根据MATLAB计算出来的参数，对光学感应设备输出的视频流进行矫正，并输出矫正后的视频流。所述视场标定模块负责将矫正后的所有视频流统一坐标系。所述目标识别模块负责识别视频中特定目标的特性并进行标定，目标识别模块包括CNN算法和RNN算法，目标识别模块内预存有目标标准参数库。所述分类检测模块负责识别目标的类别并输出特定目标的坐标信息和时间序列，分类检测模块包括CNN算法和RNN算法，分类检测模块内预存有多种类别特征库。所述时空分析模块负责分析相邻两个时刻的目标是否是同一个目标，时空分析模块包括时间分析算法和空间分析算法。所述在线学习模块负责将目标识别模块和分类检测模块给出的目标特征做初步记录和保存，并将通过时空分析模块分析得出的同一目标特征再进行分类在线学习。所述在线学习模块包括TLD算法，同时包括多种类别特征库和参数以及目标识别模块和分类检测模块新增的特征库和参数，特征库和参数涵盖的目标的特征包括颜色、行为、姿态及周边背景信息。所述显示屏用于显示特定目标的当前坐标和历史轨迹。
基于时空连续性的单目跨相机多目标识别定位跟踪方法，其特征在于：包括以下步骤：
（1）第一步：使用多路光学感应设备，将当前现实场景进行全覆盖。
（2）第二步：每一路光学感应设备输出视频流，在畸变矫正模块的作用下，得到畸变矫正后的视频流。
（3）第三步：对现实场景中的多个特定点通过大地坐标BLH转自定义空间直角坐标XYZ的公式标定相关参数，建立统一的自定义空间直角坐标系，再将现实场景进行网格化处理，将第二步中的结果与网格交点一一对应，建立像素坐标系，最后将自定义空间直角坐标系与像素坐标系相互匹配，得出像素坐标与自定义空间直角坐标之间的相互转换公式。此步骤中大地坐标BLH转换为自定义空间直角坐标XYZ的方法为：
P1O2与O1O2之间的夹角
，
P1O2与Y轴之间的夹角
-
，
则垂直方向的坐标为：
Y1=
，
因为O2P1=
，O2P
，
由
，得到水平方向的坐标X1=PQ=
，
坐标转换：
X=Y1cos
-X1sin
，Y= Y1sin
+X1cos
，
则测量目标在自定义空间直角系内的对应坐标为（La+X，Lo+Y，Al-H）。
（4）第四步：将第二步和第三步的输出结果与时间同步模块中矫正时间轴后的时间序列相互结合，从而得到同步后的视频流，并且视场中任何位置都有相应的空间坐标信息。
（5）第五步：每一路光学感应设备同时开启目标识别模块和分类检测模块，实现对多个目标的识别，分类检测模块识别目标的类别并输出特定目标的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块识别出特定目标的特性，并给特定目标打上标识，例如特定目标为人，分类检测模块会检测出人并且给出人的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块会识别出这个人是谁，当识别到特定目标时，特定目标所在的相机编号，时间序列号，目标的当前像素坐标信息、自定义空间直角坐标信息和特性储存到服务器的数据库中，识别到的目标的特性包括颜色、行为、姿态及周边背景信息。
（6）第六步：服务器开启时空分析模块，针对同一时间序列、相邻两个时间点，即T和T+1时刻的坐标信息进行空间和邻域分析，若符合标准参数，则认定这先后变化的两处坐标信息上的特定目标，为同一目标，再将此目标的特性，附加到符合标准参数的目标上，并存储在服务器的数据库内，按时间序列排列的自定义空间直角坐标构成特定目标的轨迹，从而实现对特定目标的跟踪和历史轨迹的查看。如图3所示为时空分析模块的工作流程图，其具体过程为：
（6.1）时空分析模块首先分析经第五步采集到的相邻两个时间点的相机编号是否属于同一相机，是则进行短时间尺度下的时空分析工作，包括距离、速度、方向、时空上下文的分析，得出分析结果，分析方法为：
距离：计算T时刻上的识别目标与T+1时刻上识别目标的像素坐标欧氏距离值；
速度、方向：利用LK光流法计算时间T时的目标在时间T+1时的速度矢量；
时空上下文：利用时空上下文法判断识别出的特定目标与其周边背景的空间位置关系；
（6.2）如果分析出的相机编号不属于同一相机，则进行跨相机后、长时间尺度下的分析工作，即时空分析模块将当前相机中出现的目标的颜色、行为、姿态、轨迹连通、时空聚类特征与数据库中储存的关联相机中的目标的颜色、行为、姿态、轨迹连通、时空聚类特征进行对比分析；
（6.3）若特征分析结果与关联相机中之前记录的目标的特征相符，则判定在跨相机后出现的目标与上一关联相机中跟踪的目标为同一目标，然后再执行（6.1），进行距离、速度、方向和时空上下文的分析预判，得出在当前相机中需要继续跟踪的目标，以此来不间断的预判、跟踪；
（6.4）所述时空分析模块中预存有距离、速度、方向和时空上下文的预定值，判断（6.1）中得到的结果是否符合预定值，是，则得出结论，在时间T和T+1上的目标是同一目标，跟踪此目标。
（7）第七步：开启坐标匹配模块，将自定义空间直角坐标系匹配转换成需要的不同的坐标系，显示屏显示特定目标的坐标信息和历史轨迹。本实施例中是将自定义空间直角坐标XYZ转换成大地坐标BLH，转换方式包括采用迭代法和不采用迭代法。
采用迭代法的转换过程为：
N0=a，
H0=
，
B0=
，
然后每次迭代下述公式
Ni=
，
Bi=arctan
，
Hi=
，
直到H的计算精度为0.001m，B的计算精度为
时，停止迭代。
不采用迭代法的转换方法为：
L=
，
B=
，
H=
，
其中：
，
（8）第八步：在线学习模块针对拥有相同特性的目标，进行在线归类学习，将学习的结果反馈给每一路光学感应设备中的分类检测模块的特征库和目标识别模块目标标准参数库内，增强跟踪特定目标的效果。
（9）第九步：重复（5）到（9）的步骤。
综上，本发明达到预期效果。
Claims (5)
1.一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：基于时空连续性的单目跨相机多目标识别定位跟踪装置包括信息采集模块、时间同步模块、服务器和显示屏，所述信息采集模块包括若干个光学感应设备，所述时间同步模块包括设于光学感应设备内的时钟模块和设于服务器内的授时模块，所述服务器内还设有数据库、畸变矫正模块、视场标定模块、目标识别模块、分类检测模块、时空分析模块、在线学习模块和坐标匹配模块，所述光学感应设备通过通信网络与服务器连接，所述显示屏通过视频线与服务器连接，所述光学感应设备负责输出视频流，所述授时模块负责给所有光学感应设备统一时间序列，所述时钟模块负责校对光学感应设备的内部时间轴，所述畸变矫正模块负责将光学感应设备输出的视频流的畸变部分进行矫正，所述视场标定模块负责将矫正后的所有视频流统一坐标系，所述目标识别模块负责识别视频中特定目标的特性并进行标定，所述分类检测模块负责识别目标的类别并输出特定目标的坐标信息和时间序列，所述时空分析模块负责分析相邻两个时刻的目标是否是同一个目标，所述在线学习模块负责将目标识别模块和分类检测模块给出的目标特征做初步记录和保存，并将通过时空分析模块分析得出的同一目标特征再进行分类在线学习，所述显示屏用于显示特定目标的当前坐标和历史轨迹，该装置用于执行基于时空连续性的单目跨相机多目标识别定位跟踪方法，该方法包括以下步骤：
(1)第一步：使用多路光学感应设备，将当前现实场景进行全覆盖；
(2)第二步：每一路光学感应设备输出视频流，在畸变矫正模块的作用下，得到畸变矫正后的视频流；
(3)第三步：对现实场景中的多个特定点通过大地坐标BLH转自定义空间直角坐标XYZ的公式标定相关参数，建立统一的自定义空间直角坐标系，再将现实场景进行网格化处理，将第二步中的结果与网格交点一一对应，建立像素坐标系，最后将自定义空间直角坐标系与像素坐标系相互匹配，得出像素坐标与自定义空间直角坐标之间的相互转换公式，此步骤中大地坐标BLH转换为自定义空间直角坐标XYZ的方式为：
式中，e2为第一偏心率的平方，
a为地球的长轴，b为地球的短轴，N为卯酉圈曲率半径，
像素坐标与自定义空间直角坐标的转换方法为：
单目测量是对最终得到的与真实世界存在一一对应关系的图像进行处理，从图像逆推到所要测量目标在真实世界的具体的三维坐标，单目测量的具体方案为无变焦、无云台、无变倍摄像机架设于某一已知高度，在单目测量的场景中存在三个坐标系，即像素坐标系UO1V，摄像机坐标系EO2F，自定义空间直角坐标系XO3Y，其中O1M垂直于像素坐标系UO1V所构成的平面，已知摄像机的高度为H，摄像机的俯仰角为αf，摄像机的航向角为αb，摄像机的三维大地坐标为(La，Lo，Al)，摄像机坐标系中的E轴与O1O2之间的夹角为α，测量目标的像素坐标为Q1(u，v)，测量目标在V轴上的映射点为P1(u，0)，图像中心点的像素坐标为(u0，v0)，实际像素的长度为xpix，实际像素的宽度为ypix，摄像机的焦距为f，则：
P1O2与O1O2之间的夹角
P1O2与Y轴之间的夹角β＝α-γ，
则垂直方向的坐标为：
因为
由
得到水平方向的坐标
坐标转换：
X＝Y1cosαb-X1sinαb，Y＝Y1sinαb+X1cosαb，
则测量目标在自定义空间直角系内的对应坐标为(La+X，Lo+Y，Al-H)；
(4)第四步：将第二步和第三步的输出结果与时间同步模块中矫正时间轴后的时间序列相互结合，从而得到同步后的视频流，并且视场中任何位置都有相应的空间坐标信息；
(5)第五步：每一路光学感应设备同时开启目标识别模块和分类检测模块，实现对多个目标的识别，分类检测模块识别目标的类别并输出特定目标的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块识别出特定目标的特性，并给特定目标打上标识，例如特定目标为人，分类检测模块会检测出人并且给出人的当前像素坐标信息和自定义空间直角坐标信息，目标识别模块会识别出这个人是谁，当识别到特定目标时，特定目标所在的相机编号，时间序列号，目标的当前像素坐标信息、自定义空间直角坐标信息和特性储存到服务器的数据库中，识别到的目标的特性包括颜色、行为、姿态及周边背景信息；
(6)第六步：服务器开启时空分析模块，针对同一时间序列、相邻两个时间点，即T和T+1时刻的坐标信息进行空间和邻域分析，若符合标准参数，则认定这先后变化的两处坐标信息上的特定目标，为同一目标，再将此目标的特性，附加到符合标准参数的目标上，并存储在服务器的数据库内，按时间序列排列的自定义空间直角坐标构成特定目标的轨迹，从而实现对特定目标的跟踪和历史轨迹的查看，时空分析模块的具体工作过程为：
(6.1)时空分析模块首先分析经第五步采集到的相邻两个时间点的相机编号是否属于同一相机，是则进行短时间尺度下的时空分析工作，包括距离、速度、方向、时空上下文的分析，得出分析结果，分析方法为：
距离：计算T时刻上的识别目标与T+1时刻上识别目标的像素坐标欧氏距离值；速度、方向：利用LK光流法计算时间T时的目标在时间T+1时的速度矢量；时空上下文：利用时空上下文法判断识别出的特定目标与其周边背景的空间位置关系；
(6.2)如果分析出的相机编号不属于同一相机，则进行跨相机后、长时间尺度下的分析工作，即时空分析模块将当前相机中出现的目标的颜色、行为、姿态、轨迹连通、时空聚类特征与数据库中储存的关联相机中的目标的颜色、行为、姿态、轨迹连通、时空聚类特征进行对比分析；
(6.3)若特征分析结果与关联相机中之前记录的目标的特征相符，则判定在跨相机后出现的目标与上一关联相机中跟踪的目标为同一目标，然后再执行(6.1)，进行距离、速度、方向和时空上下文的分析预判，得出在当前相机中需要继续跟踪的目标，以此来不间断的预判、跟踪；
(6.4)所述时空分析模块中预存有距离、速度、方向和时空上下文的预定值，判断(6.1)中得到的结果是否符合预定值，是，则得出结论，在时间T和T+1上的目标是同一目标，跟踪此目标；
(7)第七步：开启坐标匹配模块，将自定义空间直角坐标XYZ转换成大地坐标BLH，显示屏显示特定目标的坐标信息和历史轨迹，将自定义空间直角坐标XYZ转换成大地坐标BLH的转换方式包括采用迭代法和不采用迭代法：
采用迭代法的转换过程为：
式中，e2为第一偏心率的平方，
a为地球的长轴，b为地球的短轴，N为卯酉圈曲率半径，
式中，L可根据X、Y直接计算，大地精度B和大地高H需经过迭代计算，迭代初值设为：
N0＝a，
然后每次迭代下述公式
直到H的计算精度为0.001m，B的计算精度为
时，停止迭代；
不采用迭代法的转换方法为：
其中：
a为地球的长轴，b为地球的短轴，
(8)第八步：在线学习模块针对拥有相同特性的目标，进行在线归类学习，将学习的结果反馈给每一路光学感应设备中的分类检测模块的特征库和目标识别模块目标标准参数库内，增强跟踪特定目标的效果；
(9)第九步：重复(5)到(9)的步骤。
2.如权利要求1所述的一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：所述畸变矫正模块包括MATLAB、OPENCV，MATLAB计算光学感应设备输出的视频流所需矫正的参数，OPENCV根据MATLAB计算出来的参数，对光学感应设备输出的视频流进行矫正，并输出矫正后的视频流。
3.如权利要求1所述的一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：所述目标识别模块包括CNN算法和RNN算法，目标识别模块内预存有目标标准参数库，所述分类检测模块包括CNN算法和RNN算法，分类检测模块内预存有多种类别特征库。
4.如权利要求1所述的一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：所述时空分析模块包括时间分析算法和空间分析算法。
5.如权利要求1所述的一种基于时空连续性的单目跨相机多目标识别定位跟踪装置，其特征在于：所述在线学习模块包括TLD算法，同时包括多种类别特征库、目标参数以及目标识别模块和分类检测模块新增的目标参数和特征，特征库和目标参数涵盖的目标的特征包括颜色、行为、姿态及周边背景信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810709597.5A CN108876823B (zh) | 2018-07-02 | 2018-07-02 | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810709597.5A CN108876823B (zh) | 2018-07-02 | 2018-07-02 | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108876823A CN108876823A (zh) | 2018-11-23 |
| CN108876823B true CN108876823B (zh) | 2022-05-17 |
Family
ID=64297741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810709597.5A Active CN108876823B (zh) | 2018-07-02 | 2018-07-02 | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108876823B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110288718A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景坐标认定方法 |
| CN112561953A (zh) * | 2019-09-26 | 2021-03-26 | 北京外号信息技术有限公司 | 用于现实场景中的目标识别与跟踪的方法和系统 |
| CN113743163A (zh) * | 2020-05-29 | 2021-12-03 | 中移(上海)信息通信科技有限公司 | 交通目标识别模型训练方法、交通目标定位方法、装置 |
| CN112085003B (zh) * | 2020-09-24 | 2024-04-05 | 湖北科技学院 | 公共场所异常行为自动识别方法及装置、摄像机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724482A (zh) * | 2012-06-18 | 2012-10-10 | 西安电子科技大学 | 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN107240124A (zh) * | 2017-05-19 | 2017-10-10 | 清华大学 | 基于时空约束的跨镜头多目标跟踪方法及装置 |
| CN108055501A (zh) * | 2017-11-22 | 2018-05-18 | 天津市亚安科技有限公司 | 一种目标检测及跟踪的视频监控系统及方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI492188B (zh) * | 2008-12-25 | 2015-07-11 | Univ Nat Chiao Tung | 利用多攝影機自動偵測與追蹤多目標的方法及系統 |
| WO2015165092A1 (zh) * | 2014-04-30 | 2015-11-05 | 中国科学院自动化研究所 | 大范围优先的跨摄像机视觉目标再识别方法 |
-
2018
- 2018-07-02 CN CN201810709597.5A patent/CN108876823B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102724482A (zh) * | 2012-06-18 | 2012-10-10 | 西安电子科技大学 | 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN107240124A (zh) * | 2017-05-19 | 2017-10-10 | 清华大学 | 基于时空约束的跨镜头多目标跟踪方法及装置 |
| CN108055501A (zh) * | 2017-11-22 | 2018-05-18 | 天津市亚安科技有限公司 | 一种目标检测及跟踪的视频监控系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于时空关联图模型的视频监控目标跟踪;张诚等;《北京航空航天大学学报》;20150430;第41卷(第04期);第713-720页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108876823A (zh) | 2018-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108876823B (zh) | 基于时空连续性的单目跨相机多目标识别定位跟踪装置及方法 | |
| US9520040B2 (en) | System and method for real-time 3-D object tracking and alerting via networked sensors | |
| CN104253482A (zh) | 基于图像数据库和巡检机器人的设备故障检测方法 | |
| CN111079600A (zh) | 多摄像头的行人识别方法及识别系统 | |
| JP2004533682A (ja) | 識別を備えた追跡のための方法と装置 | |
| CN103168467A (zh) | 使用热图像坐标的安防摄像机追踪和监控系统及方法 | |
| CN111027462A (zh) | 跨多摄像头的行人轨迹识别方法 | |
| CN110378292B (zh) | 三维空间定位系统和方法 | |
| CN112085003A (zh) | 公共场所异常行为自动识别方法及装置、摄像机设备 | |
| CN104166137A (zh) | 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法 | |
| CN109145796A (zh) | 一种基于视频图像融合分析算法的电力管廊火源识别及火点测距方法 | |
| CN111466892A (zh) | 一种基于热成像和人脸识别的远距离测温系统及方法 | |
| CN113762161B (zh) | 一种障碍物智能监测方法及系统 | |
| KR101916093B1 (ko) | 객체 추적 방법 | |
| CN110991306A (zh) | 自适应的宽视场高分辨率智能传感方法和系统 | |
| CN109785562A (zh) | 一种立式光电地面威胁警戒系统及可疑目标识别方法 | |
| CN109753930B (zh) | 人脸检测方法及人脸检测系统 | |
| CN111860378A (zh) | 基于枪球联动和视频事件感知的商场消防设施巡检方法 | |
| CN111832542A (zh) | 三目视觉识别与定位方法及装置 | |
| CN115984768A (zh) | 一种基于固定型单目摄像头的多目标行人实时检测定位方法 | |
| CN115994953A (zh) | 电力现场安监追踪方法及系统 | |
| CN103986917A (zh) | 多视角热像监控系统 | |
| CN114325573A (zh) | 变电站运维人员身份及位置信息快速检测方法 | |
| CN115035470A (zh) | 一种基于混合视觉的低小慢目标识别与定位方法及系统 | |
| CN114663473A (zh) | 基于多视角信息融合的人员目标定位与追踪方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231221 Address after: No. 88 Xianning Avenue, Xianning, Hubei Province, Hubei Patentee after: HUBEI University OF SCIENCE AND TECHNOLOGY Address before: 223800 laser Industrial Park, Sucheng District, Suqian City, Jiangsu Province Patentee before: Jin Jianzhi |
|
| TR01 | Transfer of patent right |