CN114067267A - 一种基于地理视频的搏斗行为检测方法 - Google Patents

一种基于地理视频的搏斗行为检测方法 Download PDF

Info

Publication number
CN114067267A
CN114067267A CN202111353787.6A CN202111353787A CN114067267A CN 114067267 A CN114067267 A CN 114067267A CN 202111353787 A CN202111353787 A CN 202111353787A CN 114067267 A CN114067267 A CN 114067267A
Authority
CN
China
Prior art keywords
behavior
fighting
coordinate system
geographic
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111353787.6A
Other languages
English (en)
Inventor
梁起明
程传奇
崔翛龙
李永
郭少哲
张友善
丁丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Engineering University of Chinese Peoples Armed Police Force
Original Assignee
Engineering University of Chinese Peoples Armed Police Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Engineering University of Chinese Peoples Armed Police Force filed Critical Engineering University of Chinese Peoples Armed Police Force
Priority to CN202111353787.6A priority Critical patent/CN114067267A/zh
Publication of CN114067267A publication Critical patent/CN114067267A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于地理视频的搏斗行为检测方法，首先采用基于深度学习的行为检测算法对视频画面中的搏斗行为进行检测，输出行为主体在图像坐标系中的位置信息；而后将图像坐标系中的位置信息映射到世界坐标系中，实现深度学习模型获取的动态信息向静态的地理空间映射；最后将行为主体的位置信息自动标注在遥感影像中，完成可视化。搏斗行为检测与地理视频的融合及可视化设计可以将监控画面中的位置信息准确映射到地理空间，有助于对监控场景安全情况的全局性把握，实现对搏斗行为的自动检测，并将检测信息映射到地理空间，在遥感影像地图中实现自动标绘。

Description

一种基于地理视频的搏斗行为检测方法
技术领域
本发明属于计算机信息技术领域，涉及深度学习与视觉SLAM领域，具体涉及一种基于地理视频的搏斗行为检测方法。
背景技术
智能监控系统的发展方向已经从单纯的人脸识别、车辆识别转向更加复杂的二分类、多分类问题。
将深度学习与测绘学科进行跨学科的融合，能够将割裂的图像空间信息映射到地理空间中，构建可以动态感知监控区域的超媒体地图，有助于对区域的全局性掌握。采用深度学习的方法对监控视频进行处理，可以有效解决传统视频监控系统存在的弊端，自动识别监控区域突发的事件，为监控摄像头装上智慧的大脑。具体来说，当今的行为检测面临两个关键的挑战：1、对于监控场景中发生的搏斗行为无法检测，缺乏预警作用；2、随着监控摄像头的广泛部署，导致画面与真实场景之间的对应关系复杂。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于地理视频的搏斗行为检测方法，实现对搏斗行为的自动检测，并将检测信息映射到地理空间，在遥感影像地图中实现自动标绘。
为了实现以上目的，本发明所采用的技术方案包括：
步骤1：构建行为检测模型，实现对监控视频画面中发生的搏斗行为的自动检测，输出行为类别及像素坐标；
步骤2：采用航拍方式提前获取目标区域的遥感影像地图；
步骤3：通过张正友标定法获取相机内参矩阵，通过标定控制点获取外参矩阵，而后构建透视变换模型，将摄像头拍摄背景画面映射到地理空间得到空间映射图；
步骤4：将空间映射图与遥感影像地图配准，而后将检测到的像素坐标映射为世界坐标系坐标，并在配准后的遥感影像地图中自动标绘。
进一步地，所述步骤1中在SlowFast网络的基础上引入YOLOv3目标检测器和DeepSort多目标跟踪器构建行为检测模型，对行为主体进行检测。
进一步地，所述步骤1中行为检测模型包括：首先，对于输入的连续视频帧采用差分筛查的方式剔除背景帧，采用YOLOv3检测器实现对行人的检测，输出行为主体目标框的坐标；然后通过DeepSort多目标跟踪器来区分不同的行为人；最后，将目标框内的行为主体送入SlowFast网络实现对行为类别的区分，将目标框的坐标、行为类别以及类别得分输出，在画面中标定行为的主体，实现对行为的检测。
进一步地，所述步骤1中选择目标框的右下角坐标为初值，并结合检测的场景对位置信息进行优化，包括：
若检测到行为的双方并没有做出涉及搏斗的行为，此时不提取二者的位置信息；
若检测到行为的一方做出来涉及搏斗的行为，另一方没有做出涉及搏斗的行为，此时输出涉及搏斗行为人的坐标，假设此时检测到的目标框右下角坐标为 p1(u1,v1)，左上角坐标为p2(u2,v2)，则将涉及搏斗行为人的位置校准为：
Figure RE-GDA0003398851910000021
若检测到行为的双方均做出来涉及搏斗的行为，此时输出搏斗双方的边界框坐标，假设行为人A目标框右下角坐标为p1(u1,v1)，左上角坐标为p2(u2,v2)，行为人B 目标框右下角坐标为p3(u3,v3)，左上角坐标为p4(u4,v4)，则将此时行为主体的位置统一校准为：
Figure RE-GDA0003398851910000022
进一步地，所述步骤1中通过行为检测获取了行为主体在图像坐标系中的位置信息后，通过图像空间向地理空间的映射变换获取行为主体在世界坐标系中的位置，而后在遥感影像地图中标绘出行为发生的位置，实现监控视频获取的动态信息向静态的地理空间的映射：
(Pw|1)T＝H-1(P|1)T
其中，Pw为世界坐标系中行为主体的坐标，P对应图像坐标系中行为主体的坐标。
进一步地，所述步骤2中采用无人机航拍方式获取目标区域的高清遥感影像地图。
进一步地，所述步骤3中构建的透视变换模型为：
Figure RE-GDA0003398851910000031
其中K为内参矩阵，T为外参矩阵，u、v为像素坐标，Xw、Yw为世界坐标系坐标，λ为尺度因子。
进一步地，所述步骤3中采用张正友标定法拍摄多张黑白棋盘标定板照片进行标定，采用MATLAB中的camera calibrator进行测算，得到标定误差和相机姿态，以及标定的整体平均误差，得到内参矩阵。
进一步地，所述步骤3中在拍摄区域世界坐标系中标定了若干点，与图像坐标系中的像素点进行对应，采用EPNP+迭代优化的算法测算映射的外参矩阵。
进一步地，所述步骤4中在监控视频拍摄区域进行实地标定，获取控制点在世界坐标系中的位置信息，根据标定的控制点坐标信息，在超图SuperMap中将空间映射图与遥感影像地图配准融合。
与现有技术相比，本发明基于地理视频提出一种搏斗行为检测的应用方案，通过目标检测、目标跟踪与行为识别算法的结合实现对搏斗行为的检测，可以输出行为的种类与行为主体在画面中的坐标。
本发明同时也采用视觉SLAM技术构建了透视变换模型，可以将监控画面准确映射到遥感影像地图中，实现多图层的融合，获取了具备查询功能的超媒体地图。将行为检测输出的像素坐标进行映射变换，可以获取行为主体在真实世界中的位置信息，进而在获取的超媒体地图中实现自动标绘。
通过多摄像头的协同，可以有效覆盖监控盲区。同理，本模型也具备相应的延展性，通过多摄像头的协同可以扩大感知区域，通过空间信息的映射可以构筑覆盖面积更大的超媒体地图，有助于对区域的全局性把握。
附图说明
图1是本发明的方法流程图；
图2是行为检测流程图；
图3a是内参矩阵测量结果的标定误差，图3b是相机姿态；
图4a是监控视频背景图，图4b是监控视频地理空间映射图；
图5a是低空遥感正射影像图；图5b是标定后的低空遥感正射影像图；
图6是地理信息配准图；
图7是本发明的实施例的映射可视化结果，其中a列为搏斗行为检测结果，b 列为空间映射示意图，c列为自动标绘结果；
图8是本发明的实施例的多场景地理信息配准图；
图9是本发明的实施例的多场景映射可视化结果，其中a列为搏斗行为检测结果，b列为空间映射示意图，c列为自动标绘结果。
具体实施方式
下面结合说明书附图和具体的实施例对本发明作进一步地解释说明，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明提供了一种基于地理视频的搏斗行为检测方法，参见图1，包括：
步骤1：构建行为检测模型，实现对监控视频画面中发生的搏斗行为的自动检测，输出行为类别及像素坐标；
步骤2：采用航拍方式提前获取目标区域的遥感影像地图；
步骤3：通过张正友标定法获取相机内参矩阵，通过标定控制点获取外参矩阵，而后构建透视变换模型，将摄像头拍摄背景画面映射到地理空间得到空间映射图；
步骤4：将空间映射图与遥感影像地图配准，而后将检测到的像素坐标映射为世界坐标系坐标，并在配准后的遥感影像地图中自动标绘。
本发明可以根据需要重复步骤3和4扩大感知区域，构筑面积更大的超媒体地图。通过多摄像头协同的方式，可以在原始感知区域的右侧扩大感知区域，同样可以对搏斗行为进行检测以及空间映射。通过多摄像头协同，将各个孤立的监控画面整体性映射到遥感影像地图中，对于监控系统感知到的搏斗行为可以直接标绘在地图中，由此构建了覆盖面积更广的超媒体地图。
具体地，参见图2，行为检测模型的构建包括：在SlowFast网络的基础上引入YOLOv3目标检测器和DeepSort多目标跟踪器构建模型，对行为的主体进行检测跟踪。具体而言，对于输入的连续视频帧，首先采用差分筛查的方式剔除背景帧，采用YOLOv3检测器实现对行人的检测，输出行为主体目标框的坐标，而后通过DeepSort多目标跟踪器来区分不同的行为人。最终，将目标框内的行为主体送入SlowFast网络实现对行为类别的区分，将目标框的坐标、行为类别以及类别得分输出，在画面中标定行为的主体，实现对行为的检测。在检测过程中针对搏斗场景有针对性地调整了边框的颜色，对于做出打斗动作的行为主体，采用红色边框进行标定，其余动作采用绿色边框进行标定。
为了提取出行为主体在图像空间中的位置信息，本发明将目标检测器 YOLOv3检测到的目标框的坐标信息输出。为了反映出行为主体在图像空间中的真实位置，选择目标框的右下角坐标为初值，并结合检测的场景进一步对位置信息进行优化。针对设定的场景，对搏斗行为的检测会出现三种情况：
(1)检测到行为的双方并没有做出涉及搏斗的行为，此时不提取二者的位置信息；
(2)检测到行为的一方做出来涉及搏斗的行为，另一方没有做出涉及搏斗的行为，此时输出涉及搏斗行为人的坐标，但模型输出的坐标与行为主体在画面中的真实位置存在一定的偏差，需要对坐标进行校准。假设此时检测到的目标框右下角坐标为p1(u1,v1)，左上角坐标为p2(u2,v2)，则将行为主体的位置校准为：
Figure RE-GDA0003398851910000061
(3)检测到行为的双方都做出来涉及搏斗的行为，也即行为的双方互相搏斗，此时模型输出搏斗双方的边界框坐标，假设行为人A目标框右下角坐标为 p1(u1,v1)，左上角坐标为p2(u2,v2)，行为人B目标框右下角坐标为p3(u3,v3)，左上角坐标为p4(u4,v4)，则将此时行为主体的位置统一校准为：
Figure RE-GDA0003398851910000062
通过行为检测获取了行为主体在图像坐标系中的位置信息后，通过图像空间向地理空间的映射变换即可以获取行为主体在世界坐标系中的位置，而后在低空遥感正射影像地图中标绘出行为发生的位置，实现监控视频获取的动态信息向静态的地理空间的映射：
(Pw|1)T＝H-1(P|1)T
其中Pw为世界坐标系中行为主体的坐标，P对应图像坐标系中行为主体的坐标。
具体地，步骤3构建的透视变换模型为：
Figure RE-GDA0003398851910000063
其中K为内参矩阵，T为外参矩阵，u、v为像素坐标，Xw、Yw为世界坐标系坐标，λ为尺度因子。
更加具体地，步骤3中采用张正友标定法拍摄多张黑白棋盘标定板照片进行标定，采用MATLAB中的camera calibrator进行测算，得到标定误差和相机姿态，以及标定的整体平均误差，得到内参矩阵；步骤3中在拍摄区域世界坐标系中标定了若干点，与图像坐标系中的像素点进行对应，采用EPNP+迭代优化的算法测算映射的外参矩阵。
为了获取相机的内参矩阵，本发明实施例采用张正友标定法拍摄16张黑白棋盘标定板照片进行标定，采用MATLAB中的camera calibrator进行测算，运算的结果如图3a和3b，获得标定误差和相机姿态，由图3a和3b可以看出标定的整体平均误差为0.46像素，最终计算的内参矩阵为：
Figure RE-GDA0003398851910000071
为了获取映射的外参矩阵，本发明在拍摄区域世界坐标系中标定了若干点，与图像坐标系中的像素点进行对应。本章采用多点透视问题(perspective-n-points, PNP)中常用的EPNP+迭代优化的算法测算映射的外参矩阵，具体的对应关系如表1所示。
表1坐标映射关系
Figure RE-GDA0003398851910000072
经过运算最终的结果为：
Figure RE-GDA0003398851910000081
t3×1＝(-19534.65036013-13672.775246340571.22851043)T
Figure RE-GDA0003398851910000082
Figure RE-GDA0003398851910000083
Figure RE-GDA0003398851910000084
得到空间映射模型公式：
Figure RE-GDA0003398851910000085
参见图4a和图4b，在获取了映射的内外参数矩阵后，根据空间映射模型公式可以实现对监控视频的单应矩阵变换，将监控图像转换为具备真实地理信息的鸟瞰图，实现了从图像空间向地理空间的映射。
本发明采用无人机航拍方式获取目标区域的高清遥感影像地图。具体为了获取监控视频区域的低空遥感正射影像图，本发明采用无人机进行航拍，航拍的高度为60米，得到如图5a的低空遥感正射影像图，边框内为监控视频拍摄的区域。
具体步骤4的地理信息的配准，为了实现不同空间图层的融合，可以在监控视频拍摄区域进行实地标定，标定了多组控制点，如图5b所示，本方案共标定了 18组控制点，获取了控制点在世界坐标系中的位置信息。本发明在图4b获取了监控视频地理空间映射图，可以用来查询、测量地理空间信息。根据标定的控制点坐标信息，在超图SuperMap软件中实现了图4b与图5a的融合，也即完成了监控视频与低空遥感正射影像图的配准，得到如图6所示的地理信息配准图。
与监控视频地理空间映射图配准后的低空遥感正射影像图，实现了监控视频中图像空间信息与地理空间信息的融合，融合后获取的地理信息配准图可以真实反映监控画面中行为主体在真实世界中的位置。
为了验证空间映射的效果，本发明在实验目标区域内标定了14个点进行映射变换。映射的结果如表2，其中图像坐标系的单位为像素，世界坐标系以及均方误差的单位为毫米。从表2中可以看出，14个映射的点均方误差最大为64.761 毫米，最小为3.162毫米，最终14个点的平均均方误差为28.271毫米。映射的结果表明，从视频中获取行为主体的位置信息映射到地理空间后平均误差不足3厘米，可以满足在地理空间中判断行为主体位置信息的需要。
表2映射结果
图像坐标 标记世界坐标 映射世界坐标 均方误差(单位：mm)
(679,78) (21683,16202) (21662,16230) 24.748
(1183,70) (21685,22190) (21618,22200) 47.901
(723,36) (17683,16201) (17605,16249) 64.761
(521,232) (29731,16201) (29709,16217) 19.235
(1022,226) (29731,20000) (29750,20007) 14.317
(1022,235) (30000,20000) (30004,20004) 4
(1035,234) (30000,20010) (30020,20093) 60.369
(1037,342) (32721,20000) (32816,19988) 67.708
(1072,530) (35732,20000) (35703,20016) 23.420
(1508,528) (35732,21900) (35703,21908) 21.272
(1573,526) (35732,22190) (35734,22194) 3.162
(1195,232) (30000,21290) (30030,21274) 24.041
(1282,188) (28493,22190) (28496,22181) 6.7082
(1236,231) (30000,21590) (30016,21578) 14.142
平均均方差 28.271
下面本发明通过具体实施例进行详细说明。
实施例采用开源算法YOLOv3、DeepSort、SlowFast构建行为检测模型，而后采用无人机在目标区域获取遥感影像地图，实地测量控制点数据，获取映射所需的内外参数矩阵，完成方案准备。
本发明在某广场进行了实验，采用摄像头拍摄了一段约2分钟时长的视频，并作了搏斗行为演示，参见图7，左列a为监控视频搏斗行为检测结果，在检测过程中输出了行为主体在画面中的位置信息；中间列b为监控视频与地理空间融合的示意图，融合后搏斗行为检测模型获取的位置信息也映射到了地理空间中；右列c为地理空间信息图，搏斗行为检测模型获取的位置信息经过变换后可以直接在经过空间融合后的地理空间中进行标记，图中红点即为根据左列输出的坐标信息采用OpenCV自动标记出的搏斗行为发生的位置。
从图7可以看出，本发明将搏斗行为检测与地理视频进行的融合能够将目标区域中发生的搏斗行为信息准确映射到地理空间中，实现搏斗信息在遥感影像中的直观展示。
按照上述方法，在不同监控位置重复了上述实验，获得了覆盖面积更广的感知区域，参见图8，即多场景地理信息配准图。参见图9，a列为搏斗行为检测结果，b列为空间映射示意图，c列为自动标绘结果，通过多摄像头协同的方式，可以在原始感知区域的右侧扩大感知区域，同样可以对搏斗行为进行检测以及空间映射。通过多摄像头协同，将各个孤立的监控画面整体性映射到遥感影像地图中，对于监控系统感知到的搏斗行为可以直接标绘在地图中，由此构建了覆盖面积更广的超媒体地图。
本发明首先采用基于深度学习的行为检测算法对视频画面中的搏斗行为进行检测，输出行为主体在图像坐标系中的位置信息；而后将图像坐标系中的位置信息映射到世界坐标系中，实现深度学习模型获取的动态信息向静态的地理空间映射；最后将行为主体的位置信息自动标注在遥感影像中，完成可视化。搏斗行为检测与地理视频的融合及可视化设计可以将监控画面中的位置信息准确映射到地理空间，有助于对监控场景安全情况的全局性把握，实现对搏斗行为的自动检测，并将检测信息映射到地理空间，在遥感影像地图中实现自动标绘。
本发明主要目的是通过深度学习与视觉SLAM的跨学科结合，解决监控场景中异常情况发生后要结合摄像头位置来推测情况发生地点，监控画面与地理空间割裂的问题。通过深度学习在监控画面中检测搏斗行为，而后将检测到的图像空间信息映射到地理空间，实现在地图中的自动标绘；该方法还可以通过多摄像头的协同实现区域的全覆盖。本发明使得监控画面与真实世界的对应关系变得简单，对于发生的异常情况可以直接标绘在地图中，使得对于区域的掌握更加全面。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于地理视频的搏斗行为检测方法，其特征在于，包括：
步骤1：构建行为检测模型，实现对监控视频画面中发生的搏斗行为的自动检测，输出行为类别及像素坐标；
步骤2：采用航拍方式提前获取目标区域的遥感影像地图；
步骤3：通过张正友标定法获取相机内参矩阵，通过标定控制点获取外参矩阵，而后构建透视变换模型，将摄像头拍摄背景画面映射到地理空间得到空间映射图；
步骤4：将空间映射图与遥感影像地图配准，而后将检测到的像素坐标映射为世界坐标系坐标，并在配准后的遥感影像地图中自动标绘。
2.根据权利要求1所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤1中在SlowFast网络的基础上引入YOLOv3目标检测器和DeepSort多目标跟踪器构建行为检测模型，对行为主体进行检测。
3.根据权利要求2所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤1中行为检测模型包括：首先，对于输入的连续视频帧采用差分筛查的方式剔除背景帧，采用YOLOv3检测器实现对行人的检测，输出行为主体目标框的坐标；然后通过DeepSort多目标跟踪器来区分不同的行为人；最后，将目标框内的行为主体送入SlowFast网络实现对行为类别的区分，将目标框的坐标、行为类别以及类别得分输出，在画面中标定行为的主体，实现对行为的检测。
4.根据权利要求3所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤1中选择目标框的右下角坐标为初值，并结合检测的场景对位置信息进行优化，包括：
若检测到行为的双方并没有做出涉及搏斗的行为，此时不提取二者的位置信息；
若检测到行为的一方做出来涉及搏斗的行为，另一方没有做出涉及搏斗的行为，此时输出涉及搏斗行为人的坐标，假设此时检测到的目标框右下角坐标为p1(u1,v1)，左上角坐标为p2(u2,v2)，则将涉及搏斗行为人的位置校准为：
Figure RE-FDA0003398851900000021
若检测到行为的双方均做出来涉及搏斗的行为，此时输出搏斗双方的边界框坐标，假设行为人A目标框右下角坐标为p1(u1,v1)，左上角坐标为p2(u2,v2)，行为人B目标框右下角坐标为p3(u3,v3)，左上角坐标为p4(u4,v4)，则将此时行为主体的位置统一校准为：
Figure RE-FDA0003398851900000022
5.根据权利要求4所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤1中通过行为检测获取了行为主体在图像坐标系中的位置信息后，通过图像空间向地理空间的映射变换获取行为主体在世界坐标系中的位置，而后在遥感影像地图中标绘出行为发生的位置，实现监控视频获取的动态信息向静态的地理空间的映射：
(Pw|1)T＝H-1(P|1)T
其中，Pw为世界坐标系中行为主体的坐标，P对应图像坐标系中行为主体的坐标。
6.根据权利要求1所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤2中采用无人机航拍方式获取目标区域的高清遥感影像地图。
7.根据权利要求1所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤3中构建的透视变换模型为：
Figure RE-FDA0003398851900000023
其中K为内参矩阵，T为外参矩阵，u、v为像素坐标，Xw、Yw为世界坐标系坐标，λ为尺度因子。
8.根据权利要求7所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤3中采用张正友标定法拍摄多张黑白棋盘标定板照片进行标定，采用MATLAB中的cameracalibrator进行测算，得到标定误差和相机姿态，以及标定的整体平均误差，得到内参矩阵。
9.根据权利要求7所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤3中在拍摄区域世界坐标系中标定了若干点，与图像坐标系中的像素点进行对应，采用EPNP+迭代优化的算法测算映射的外参矩阵。
10.根据权利要求1所述的一种基于地理视频的搏斗行为检测方法，其特征在于，所述步骤4中在监控视频拍摄区域进行实地标定，获取控制点在世界坐标系中的位置信息，根据标定的控制点坐标信息，在超图SuperMap中将空间映射图与遥感影像地图配准融合。
CN202111353787.6A 2021-11-16 2021-11-16 一种基于地理视频的搏斗行为检测方法 Pending CN114067267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111353787.6A CN114067267A (zh) 2021-11-16 2021-11-16 一种基于地理视频的搏斗行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111353787.6A CN114067267A (zh) 2021-11-16 2021-11-16 一种基于地理视频的搏斗行为检测方法

Publications (1)

Publication Number Publication Date
CN114067267A true CN114067267A (zh) 2022-02-18

Family

ID=80272420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111353787.6A Pending CN114067267A (zh) 2021-11-16 2021-11-16 一种基于地理视频的搏斗行为检测方法

Country Status (1)

Country Link
CN (1) CN114067267A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782555A (zh) * 2022-06-20 2022-07-22 深圳市海清视讯科技有限公司 地图映射方法、设备、及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782555A (zh) * 2022-06-20 2022-07-22 深圳市海清视讯科技有限公司 地图映射方法、设备、及存储介质

Similar Documents

Publication Publication Date Title
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN107507235B (zh) 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
CN111462200A (zh) 一种跨视频行人定位追踪方法、系统及设备
CN112232279B (zh) 一种人员间距检测方法和装置
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
CN111739250A (zh) 结合图像处理技术与红外传感器的火灾探测方法及系统
CN104361603B (zh) 枪机图像目标标定方法及其系统
CN107295230A (zh) 一种基于红外热像仪的微型目标物移动侦测装置及方法
CN111996883B (zh) 一种检测公路路面宽度的方法
WO2022206161A1 (zh) 一种基于特征点识别的块体运动实时检测方法
CN112348775A (zh) 基于车载环视的路面坑塘检测系统及方法
CN114399882A (zh) 一种用于消防机器人的火源探测识别并预警方法
CN115937746A (zh) 一种烟火事件监测方法、装置及存储介质
CN116310678A (zh) 固态激光雷达与热成像视觉融合的火源识别及定位方法
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN114067267A (zh) 一种基于地理视频的搏斗行为检测方法
CN112488022B (zh) 一种环视全景监控方法、装置及系统
Bastanlar A simplified two-view geometry based external calibration method for omnidirectional and PTZ camera pairs
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN116152471A (zh) 基于视频流的厂区安全生产监管方法及其系统、电子设备
TWM610371U (zh) 動作識別系統
JP2023168262A (ja) データ分割装置及び方法
TWI755950B (zh) 動作識別方法及其系統
CN112598738B (zh) 一种基于深度学习的人物定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination