CN115063750A - 区域位置更新方法、安防系统和计算机可读存储介质 - Google Patents

区域位置更新方法、安防系统和计算机可读存储介质 Download PDF

Info

Publication number
CN115063750A
CN115063750A CN202210770654.7A CN202210770654A CN115063750A CN 115063750 A CN115063750 A CN 115063750A CN 202210770654 A CN202210770654 A CN 202210770654A CN 115063750 A CN115063750 A CN 115063750A
Authority
CN
China
Prior art keywords
target area
coordinate data
target
video image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210770654.7A
Other languages
English (en)
Inventor
王震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN115063750A publication Critical patent/CN115063750A/zh
Priority to PCT/CN2023/077106 priority Critical patent/WO2023207276A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本公开是关于一种区域位置更新方法、安防系统和计算机可读存储介质。该方法包括：获取视频图像中目标区域的初始坐标数据；根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果；在所述识别结果中包含目标坐标数据时，判断摄像头的姿态是否发生变化；在所述摄像头的姿态发生变化后，根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。本实施例的方案可以目标区域不会随着摄像头的移动和/或转动而发生错位，从而在后续识别目标区域内对象的过程中并不会发生误识别且误报警的问题，有利于提升识别效率，进一步提升使用体验。

Description

区域位置更新方法、安防系统和计算机可读存储介质
相关申请的交叉引用
本公开要求于2022年04月29日提交的、申请号为202210474787.X、发明名称为“区域位置更新方法、安防系统和计算机可读存储介质”的中国专利申请的优先权，该专利申请的全文以引用的方式并入本公开的方案之中。
技术领域
本公开涉及数据处理技术领域，尤其涉及一种区域位置更新方法、安防系统和计算机可读存储介质。
背景技术
随着安防技术的迅速发展，在很多重点区域会布置安防系统。安防系统中的摄像头可以通过采集、录制视频的方式对安防区域进行全天候监控。并且，现有的安防系统还允许用户通过网页端在视频画面中规划出区域A作为禁区，并对禁区进行重点监控。
发明内容
本公开提供一种区域位置更新方法、安防系统和计算机可读存储介质，以解决相关技术的不足。
根据本公开实施例的第一方面，提供一种区域位置更新方法，所述方法包括：
获取视频图像中目标区域的初始坐标数据；
根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果；
在所述识别结果中包含目标坐标数据时，判断摄像头的姿态是否发生变化；
在所述摄像头的姿态发生变化后，根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
可选地，获取视频图像中目标区域的初始坐标数据，包括：
响应于检测到表征绘制目标区域的操作，获取各个触发位置的坐标数据；
依次连接各个触发位置，得到目标区域；
当所述目标区域的形状为矩形时，将各个触发位置的坐标数据作为所述目标区域的初始坐标数据；当所述目标区域的形状为除矩形之外的其他形状时，获取所述其他形状的最小外接矩形，并将所述最小外接矩形的各个顶点的坐标数据作为所述目标区域的初始坐标数据。
可选地，根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，包括：
基于所述初始坐标数据获取目标视频图像中所述初始坐标数据对应目标区域的图像，得到基准图像；
基于所述初始坐标数据获取第一跟踪图像，所述第一跟踪图像是指所述目标视频图像之后各视频图像中包含所述目标区域的图像；
将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得识别结果，所述识别结果包括所述各视频图像包含至少一个候选区域的概率值及其坐标数据。
可选地，所述区域跟踪模型包括孪生网络模块、区域候选网络模块和识别结果模块；
所述孪生网络模块包括上支路网络和下支路网络；所述上支路网络和所述下支路网络的网络结构和参数相同；所述上支路网络输出第一尺寸的特征图像，所述下支路网络输出第二尺寸的特征图像；
所述区域候选网络模块包括分类分支网络和回归分支网络；所述分类分支网络用于根据所述第一尺寸的特征图像和所述第二尺寸的特征图像区分出目标和背景；所述回归分支网络用于调整候选区域的位置；
所述识别结果模块包括类别输出单元和坐标数据输出单元；所述类别输出单元与所述分类分支网络连接，用于输出各个候选区域的概率值；所述坐标数据输出单元与所述回归分支网络连接，用于输出各个候选区域的坐标数据。
可选地，所述方法还包括判断所述识别结果中是否包含目标坐标数据的步骤，具体包括：
获取所述至少一个候选区域的概率值的最大值；
当所述最大值超过预设概率阈值时，确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据。
可选地，所述方法还包括：
当所述最大值小于所述预设概率阈值时，确定所述各视频图像未跟踪到所述目标区域。
可选地，确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的顶点；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的视频图像；
当所述目标区域位于所述第一视频图像的顶点时，获取所述目标区域中位于所述第一视频图像内的至少一个目标像素点；
获取所述至少一个目标像素点和所述第一视频图像的边界之间的第一距离；
当所述第一距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型。
可选地，确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的视频图像；
当所述目标区域存在位于所述第一视频图像的边界的顶点时，获取所述目标区域中远离所述边界的顶点与所述边界的第二距离；
当所述第二距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型。
可选地，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述方法还包括：
当所述各视频图像未跟踪到所述目标区域时，按照预设步长减小所述跟踪匹配阈值，并执行根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，直至确定所述各视频图像跟踪到所述目标区域为止或者所述跟踪匹配阈值等于第一概率阈值为止，所述第一概率阈值是指所述跟踪匹配阈值的最小值。
可选地，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述方法还包括：
以所述各视频图像对应的第一跟踪图像的各个顶点为中心且所述第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。
可选地，所述方法还包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离小于中心距离阈值时，更新为新识别的目标区域的坐标数据；
当所述预设点的距离超过所述中心距离阈值时，将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
可选地，判断摄像头的姿态是否发生变化，包括：
获取所述摄像头的角度变化量；
当所述角度变化量满足预设条件时，确定所述摄像头的姿态发生变化。
可选地，判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域内各像素点的距离；
当存在至少一个像素点的距离超过像素点距离阈值时，确定所述摄像头的姿态发生变化。
可选地，判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离超过中心阈值时，确定所述摄像头的姿态发生变化。
可选地，根据所述目标坐标数据更新所述初始坐标数据，包括：
当所述目标区域的形状为矩形时，将所述初始坐标数据更新成所述目标坐标数据；或者，
当所述目标区域的形状为除矩形之外的其他形状时，获取预设的目标区域与最小外接矩形的相对位置数据；根据所述目标坐标数据和所述相对位置数据计算出所述目标区域的目标恢复数据；将所述初始坐标数据更新成所述目标恢复数据。
根据本公开实施例的第二方面，提供一种安防系统，所述系统包括区域配置模块、区域跟踪模块、更新判断模块和坐标回传模块；
所述区域配置模块，用于获取视频图像中目标区域的初始坐标数据，并将所述初始坐标数据发送给所述区域跟踪模块；
所述区域跟踪模块，用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，并在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块；
所述更新判断模块，用于判断摄像头的姿态是否发生变化，并在所述摄像头的姿态发生变化后将所述目标坐标数据发送给所述坐标回传模块；
所述坐标回传模块，用于将所述目标坐标数据回传到所述区域配置模块，以使所述区域配置模块根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
可选地，所述区域配置模块包括：
坐标数据获取单元，用于响应于检测到表征绘制目标区域的操作，获取各个触发位置的坐标数据；
目标区域获取单元，用于依次连接各个触发位置，得到目标区域；
初始坐标获取单元，用于在所述目标区域的形状为矩形时，将各个触发位置的坐标数据作为所述目标区域的初始坐标数据；在所述目标区域的形状为除矩形之外的其他形状时，获取所述其他形状的最小外接矩形，并将所述最小外接矩形的各个顶点的坐标数据作为所述目标区域的初始坐标数据。
可选地，所述区域跟踪模块用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，包括：
基于所述初始坐标数据获取目标视频图像中所述初始坐标数据对应目标区域的图像，得到基准图像；
基于所述初始坐标数据获取所述目标视频图像之后各视频图像中包含所述目标区域的图像，得到各视频图像对应的第一跟踪图像；
将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得所述区域跟踪模型输出的识别结果，所述识别结果包括所述各视频图像包含至少一个候选区域的概率值及其坐标数据。
可选地，所述区域跟踪模块用于在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块，包括：
获取所述至少一个候选区域的概率值的最大值；
当所述最大值超过预设概率阈值时，确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据；
将所述目标区域的目标坐标数据发送给所述更新判断模块。
可选地，所述区域跟踪模块还用于：
当所述最大值小于所述预设概率阈值时，确定所述各视频图像未跟踪到所述目标区域。
可选地，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的视频图像；
当所述目标区域存在位于所述第一视频图像的边界的顶点时，获取所述目标区域中远离所述边界的顶点与所述边界的第二距离；
当所述第二距离小于预设距离阈值时确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型。
可选地，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
当所述各视频图像未跟踪到所述目标区域时，按照预设步长减小所述跟踪匹配阈值，并执行根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，直至确定所述各视频图像跟踪到所述目标区域为止或者所述跟踪匹配阈值等于第一概率阈值为止，所述第一概率阈值是指所述跟踪匹配阈值的最小值。
可选地，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
以所述各视频图像对应的第一跟踪图像的各个顶点为中心且所述第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。
可选地，所述区域跟踪模块还用于：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离小于中心距离阈值时，更新为新识别的目标区域的坐标数据；
当所述预设点的距离超过所述中心距离阈值时，将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
可选地，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取所述摄像头的角度变化量；
当所述角度变化量满足预设条件时，确定所述摄像头的姿态发生变化。
可选地，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域内各像素点的距离；
当存在至少一个像素点的距离超过像素点距离阈值时，确定所述摄像头的姿态发生变化。
可选地，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离超过中心阈值时，确定所述摄像头的姿态发生变化。
可选地，所述区域配置模块包括：
第一配置模块，用于在所述目标区域的形状为矩形时，直接根据所述目标坐标数据更新所述初始坐标数据；或者，
第二配置模块，用于在所述目标区域的形状为除矩形之外的其他形状时，获取预设的目标区域与最小外接矩形的相对位置数据；根据所述目标坐标数据和所述相对位置数据计算出所述目标区域的目标恢复数据；将所述初始坐标数据更新成所述目标恢复数据。
根据本公开实施例的第三方面，提供一种安防系统，包括至少一个摄像头、至少一个配置终端和服务器；所述摄像头用于采集图像并发送给服务器；所述配置终端用于获取目标区域的初始坐标数据并发送给所述服务器；所述服务器包括：
处理器；
用于存储所述处理器可执行的计算机程序的存储器；
其中，所述处理器被配置为执行所述存储器中的计算机程序，以实现如第一方面所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本公开实施例提供的方案中可以获取视频图像中目标区域的初始坐标数据；然后，根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果；之后，在所述识别结果中包含目标坐标数据时，判断摄像头的姿态是否发生变化；最后，在所述摄像头的姿态发生变化后，根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。这样，本实施例中视频图像中的目标区域在摄像头的姿态未发生变化时保持位置不变，以及摄像头的姿态发生变化后会更新目标区域的坐标数据为目标坐标数据即摄像头的移动和/或转动后同步更新目标区域的位置，以使目标区域不会随着摄像头的移动和/或转动而发生错位，从而在后续识别目标区域内对象的过程中并不会发生误识别且误报警的问题，有利于提升识别效率，进一步提升使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种区域位置更新方法的流程图。
图2是根据一示例性实施例示出的一种目标区域为多边形的示意图。
图3是根据一示例性实施例示出的另一种目标区域为圆形的示意图。
图4是根据一示例性实施例示出的配置目标区域的效果示意图。
图5是根据一示例性实施例示出的一种获取识别结果的流程图。
图6是根据一示例性实施例示出的一种区域跟踪模型的结构示意图。
图7是根据一示例性实施例示出的一种获取目标坐标数据的流程图。
图8是根据一示例性实施例示出的一种跟踪稳定机制的流程图。
图9是根据一示例性实施例示出的另一种跟踪稳定机制的流程图。
图10是根据一示例性实施例示出的一种目标区域位于当前视频图像的边缘的示意图。
图11是根据一示例性实施例示出的一种获取目标区域偏移出视频图像之外的流程图。
图12是根据一示例性实施例示出的另一种获取目标区域偏移出视频图像之外的流程图。
图13是根据一示例性实施例示出的一种获取目标区域的目标坐标数据的流程图。
图14是根据一示例性实施例示出的一种安防系统的工作流程图。
图15是根据一示例性实施例示出的又一种安防系统的工作流程图。
图16是根据一示例性实施例示出的又一种安防系统的工作流程图。
图17是根据一示例性实施例示出的一种获取目标区域的效果示意图。
图18是根据一示例性实施例示出的一种安防系统的框图。
图19是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置例子。需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
实际应用中，视频图像内设置禁区等目标区域时，由于目标区域内的对象移动时会移出上述目标区域，此时用户需要调整摄像头的朝向来监控不同区域的安全情况。当移动和/或转动摄像头的朝向时，上述目标区域会随之同步变化即目标区域的覆盖范围从区域A变为区域B。此时，摄像头可以将区域B的对象识别出来报警。然而，区域B并不是预期监控的目标区域A，从而造成误报警，降低使用体验。
为解决上述技术问题，本公开实施例提供了一种区域位置更新方法，可以应用于安防系统。在一示例中，该安防系统包括至少一个摄像头和至少一个配置终端。在另一示例中，该安防系统包括至少一个摄像头、服务器和至少一个配置终端。其中，配置终端可以作为网页配置端对视频图像进行相应配置，例如设置目标区域(如禁区)，以防止对象进入该目标区域。服务器可以与安防系统中的任一个摄像头通信，通信方式包括有线方式或者无线方式，以无线方式为例包括但不限于蓝牙方式、WiFi方式、Zigbee方式等。服务器可以经由上述通信方式获取摄像头所采集的视频图像(图片或者视频图像)，并分发到各个配置终端进行显示。当然在摄像头的处理资源足够的情况下其也可替代配置终端将所采集的图像分发到各个配置终端进行显示。也就是说，本公开中摄像头和服务器均可执行一种区域位置更新方法，可以根据具体场景进行设置。后续实施例中以摄像头仅采集图像并将图像上传到服务器以及服务器执行一种区域位置更新方法为例描述各实施例的方案。
图1是根据一示例性实施例示出的一种区域位置更新方法的流程图。参见图1，一种区域位置更新方法，包括步骤11～步骤14。
在步骤11中，获取视频图像中目标区域的初始坐标数据。
本实施例中，配置终端可以显示摄像头所采集的视频图像，用户可以选择视频图像中的至少一处背景作为目标区域。该目标区域是配置终端所显示视频图像中的一部分对应的区域，用于确定识别范围，以确定对象进入或者离开该目标区域。以目标区域是禁区为例，该禁区用于确定对象禁止进入的区域，当检测到有对象进入该区域时安防系统可以进行报警。
本实施例中，上述目标区域的形状可以为矩形，也可以为除矩形之外的其他形状。
在一实施例中，当目标区域为矩形(例如用户选择矩形组件)时，配置终端可以获取目标区域的初始坐标数据，包括：当检测到表征绘制目标区域的操作时，配置终端可以获取当前视频图像中触发位置的坐标数据。上述触发位置的坐标数据可以包括预设时长内检测到的多个单次触发的触发位置，可以适用于离散触控操作的场景，例如在A点、B点、C点和D点共4个点的坐标数据作为触发位置的坐标数据，上述触发位置的坐标数据可以包括配置终端检测到用户第一次按下位置和最后一次弹起位置之间按照设定周期采集到的各个位置的坐标数据，可以适用于连续触控操作的场景，例如从A点按下，经过B点和C点，最后到D点弹起时，配置终端按照设定周期采集到ABCD点的坐标数据作为触发位置的坐标数据。当检测到表征保存所述目标区域的操作时，配置终端可以获取所有触发位置的坐标数据得到所述初始坐标数据。
在一实施例中，当目标区域为矩形之外的其他形状(例如用户选择其他形状组件或者未选择组件)时，配置终端可以获取目标区域的初始坐标数据，包括：当检测到表征绘制目标区域的操作时，配置终端可以获取当前视频图像中各个触发位置的坐标数据，并将各个触发位置依次连接形成一个封闭的候选区域。当候选区域的形状为矩形时，配置终端可以将候选区域的顶点坐标数据作为目标区域的初始坐标数据。当所述候选区域的形状为矩形之外的其他形状时，获取所述其他形状的最小外接矩形，并将所述最小外接矩形的各个顶点的坐标数据作为所述目标区域的初始坐标数据。
需要说明的是，在将最小外接矩形的坐标数据作为目标区域的初始坐标数据之后，相当于最小外接矩形所在区域的图像替换为目标区域内的图像作为跟踪时所需要处理的数据。为保证跟踪后能够准确还原出目标区域，本实施例中在确定出目标区域的初始坐标数据的过程中或者之后，还可以获取目标区域与最小外接矩形的相对坐标数据，以最小外接矩形的位置更新时还原出目标区域，达到更新目标区域的位置的效果。
参见图2，当前视频图像201内的目标区域202，该目标区域202的最小外接矩形203。假设最小外接矩形203的左上角坐标为(0，0)，右下角坐标为(1，1)，此时配置终端可以计算目标区域内各个点与最小外接矩形的相对坐标数据，例如，最下方点的相对坐标为(0.65，1)。参见图3，当前视频图像301内的目标区域302，当目标区域302为圆形/椭圆形或者手动绘制的连续不规则形状时，配置终端可以找到最小外接矩形303后，可以计算所有离散点相对于其最小外接矩形303的相对坐标数据。例如，离散点集合为[(0.5，0)，(0.45，0.05)，……(0.55，0.05)]。
另外，在获取初始坐标数据的过程中，当检测到表征清除所述目标区域的操作时，配置终端可以删除所有触发位置的坐标数据或者最近一次触发位置的坐标数据。这样，本实施例中允许人工设置目标区域，可以保证目标区域的准确性，并提升人机交互的趣味性和实用性。
实际应用中，配置界面内通常设置有功能组件，当检测到选择视频图像中的功能组件的操作时，安防系统中的配置终端可以显示上述功能组件对应的配置界面。其中配置界面可以包括画笔组件和保存组件。参见图4，该配置界面内可以包括画笔组件21和保存组件23。
当检测到选择画笔组件的操作时，配置终端可以获取画笔组件在视频图像中的触发位置，并将该触发位置作为目标区域的一个顶点，此时可以获取该触发位置的坐标数据。
用户可以利用画笔组件在视频图像内重复操作(即多次点击操作)，配置终端可以检测到多个触发位置以及每个触发位置的坐标数据。实际应用中，当检测到3个以上的触发位置后，配置终端即可将这几个触发位置依次连接形成一个封闭的候选区域，并在视频图像内显示出来供用户观看。
在一实施例中，配置终端在检测到选择保存组件的操作时，在视频图像内显示用于提示目标区域完成配置的预设提示信息。在一示例中，配置终端可以在视频图像的左上角出现“区域配置完成”的预设提示信息，并采用3秒内淡出的动画效果来提醒用户，以使用户确定目标区域完成匹配，提升使用体验。然后，配置终端可以以目标区域的中心为基准，按照顺时针顺序记录目标区域的各个顶点的坐标数据，并且目标区域所有顶点的坐标数据可以构成初始位置数据。最终，配置终端可以将上述初始位置数据上传到服务器。这样，服务器可以获取到视频图像中目标区域的初始坐标数据。
在另一实施例中，服务器还可以获取摄像头移动和/或转动后目标区域的目标坐标数据并更新为上述初始坐标数据，其中获取目标坐标数据的方案会在后续实施例进行描述，在此先不作说明。其中，摄像头可以在三个维度上移动和/或转动，以摄像头的支点为基准，可以向上旋转、向下旋转、向左旋转、向右旋转、沿光轴顺时针和沿光轴逆时针旋转。当然，摄像头也可以在七个维度上移动和/或转动，除了以摄像头的支点为基准进行三个维度移动和/或转动外，还可以以摄像头的依附物(如立柱)的固定端在四个维度上移动和/或转动，如固定端前后维度(导致摄像头在X轴移动)、左右维度(导致摄像头在Y轴移动)、上下维度(导致摄像头在Z轴移动)以及围绕立柱的Z轴逆时针或者顺时针旋转(导致摄像头向左向右旋转)等。可理解的是，无论摄像头在哪个维度上移动和/或转动，均以其所采集图像为基准来获取目标坐标数据，并不影响本公开方案的实施。
在步骤12中，根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果。
本实施例中，配置终端可以显示至少一个摄像头所采集的视频图像。例如各摄像头将采集的视频图像上传到服务器。服务器可以获取配置信息，并将上述视频图像推送给上述配置信息中所指定的配置终端。或者说，服务器可以确定配置终端所显示的各视频图像。
然后，服务器可以根据初始坐标数据和各视频图像跟踪目标区域在各视频图像中的位置得到识别结果，参见图5，包括步骤31～步骤33。
在步骤31中，服务器可以基于初始坐标数据获取目标视频图像中初始坐标数据对应目标区域的图像，得到基准图像。其中目标视频图像是指获取初始坐标数据之后所获得的第一帧视频图像。例如配置终端将更新后的初始坐标数据上传到服务器后，服务器接收到上述初始坐标数据后会拉流，此时拉取到的第一帧视频图像即是目标视频图像。在获得目标视频图像后，服务器可以在目标视频图像中找到初始坐标数据所对应的各个顶点，再将各个顶点(按照顺时针或者逆时针方式)顺次连接得到一个封闭区域。该封闭区域内的图像即是基准图像。
在步骤32中，服务器可以基于所述初始坐标数据获取第一跟踪图像，该第一跟踪图像是目标视频图像之后各视频图像中包含目标区域的图像。假设目标视频图像的编号为1，那么各帧视频图像的编号为n，n＝2、3、4、……，即n为大于或等于2的整数。服务器可以根据步骤31的方案在视频图像确定初始坐标数据对应的区域，可理解的是此时初始坐标数据对应的区域有可能与目标视频图像中的目标区域的位置相同，也有可能不同，因此本公开的方案需要预测目标视频图像之后的各帧视频图像中目标区域的位置。本步骤中服务器可以生成一个包含上述初始坐标数据对应区域的较大区域，例如在初始坐标数据对应区域为矩形时可以将其长度和宽度各扩大一倍，得到一个面积为之前面积4倍的较大矩形。然后，服务器可以将上述较大区域之内的图像作为第一跟踪图像。重复上述步骤，服务器可以获得目标视频图像之后的各帧视频图像对应的第一跟踪图像。
在步骤33中，服务器可以将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得识别结果，所述识别结果包括所述各视频图像中至少一个候选区域的概率值及其坐标数据。
本步骤中，服务器内可以存储预设的区域跟踪模型，该区域跟踪模型已经预先完成训练，并且可以对目标区域进行跟踪。本示例中区域跟踪模型包括孪生网络模块、区域候选网络模块和识别结果模块。其中，
孪生网络模块包括上支路网络和下支路网络；上支路网络和下支路网络的网络结构和参数相同，且即上支路网络和下支路网络的网络结构不包括输出层，因此上支路网络和下支路网络的区别在于，上支路网络输出第一尺寸的特征图像，下支路网络输出第二尺寸的特征图像；区域候选网络模块包括分类分支网络和回归分支网络；分类分支网络分别与所述上支路网络和所述下支路网络连接，用于根据所述第一尺寸的特征图像和所述第二尺寸的特征图像区分出目标和背景；回归分支网络分别与上支路网络和下支路网络连接，用于调整候选区域的位置。识别结果模块包括类别输出单元和坐标数据输出单元；类别输出单元与分类分支网络连接，用于输出各个候选区域的概率值；坐标数据输出单元与所述回归分支网络连接，用于输出各个候选区域的坐标数据。在一示例中，上述区域跟踪模型可以采用基于深度特征的区域跟踪模型，包括但不限于SiamFC、siamRPN、DaSiamRPN、siamRPN++等。本示例中，上述区域跟踪模型可以采用siamRPN++算法。
参见图6，该区域跟踪模型的左侧部分是孪生网络结构41，上支路网络和下支路网络的网络结构和参数完全相同。并且，上支路网络的输入数据为基准图像，以依据该基准图像确定待跟踪的对象。或者说，获取基准图像的特征数据作为基准特征数据。下支路网络的输入数据为第一跟踪图像，或者说是待检测的视频图像。很显然，第一跟踪图像的面积要大于基准图像的面积，即第一跟踪图像的搜索区域比基准图像的搜索区域大，以保证偏移后的目标区域仍然位于搜索区域之内。孪生网络结构41的两个分支分别获取基准图像和第一跟踪图像的特征数据，获得两个特征向量的相似度，相似度越大表明测试图像和基准图像越有可能是同一个类别。
继续参见图6，该区域跟踪模型的中间部分是区域候选网络42，该区域候选网络42由两个分支组成，上分支是用来区分目标和背景(如后续实施例中的目标区域内的内容)的分类分支，基准图像和第一跟踪图像经过孪生网络后的特征数据再经过一个卷积层变为2k*256通道，k是anchor box数量，2k是指分为两类。下分支是微调候选区域的回归分支，是边界框回归支路，由于有四个量[x,y,w,h]，因此通道数量为4k*256。其中x、y、w和h分别指目标区域的横坐标偏移量、纵坐标偏移量、宽度偏移量和高度偏移量。实际应用中，下分支还可以在上述坐标偏移数据的基础上输出坐标数据，在此不作限定。
继续参见图6，该区域跟踪模型的右边部分是跟踪到的目标区域。
需要说明的是，本公开中区域跟踪模型的构思在于，通过对摄像头采集到的视频图像序列进行处理，计算出目标视频图像中目标区域(如禁区)中对象(如禁区内停车位、马路等等)在每一帧视频图像中的位置；然后，根据对象相关的特征值，将视频图像序列中同一对象关联起来得到每帧视频图像中对象的运动参数以及相邻帧间对象的对应关系，从而得到对象的运动轨迹。或者说，本公开中区域跟踪模型的构思即在第一跟踪图像中找到基准图像中所存在的对象，所找到对象所在区域即是第一跟踪图像中的目标区域。换言之，本公开是以目标区域对应的物理世界中不动的对象为跟踪目标并结合上述跟踪目标在摄像头中成像基本不变的原理，找到各个视频图像中跟踪目标，并确定跟踪目标对应的目标区域，即在第一跟踪图像中找到了目标区域。需要说明的是，目标区域内包含部分可移动的对象和不动的对象时，考虑到目标区域内不动的对象所占(面积)比例超过预设比例阈值(如60％)时，可以根据可移动对象的所占比例来调整后续的预设概率阈值，例如可移动对象对应比例越大，则预设概率阈值越小，从而选择出相匹配的目标坐标数据。
本实施例中，服务器可以调用上述预设的区域跟踪模型，将基准图像和第一跟踪图像输入到上述区域跟踪模型，即将基准图像输入到孪生网络的上分支且将第一跟踪图像输入到孪生网络的下分支。然后，区域跟踪模型可以对上述基准图像和第一跟踪图像进行处理，并输出识别结果。可理解的是，上述识别结果包括各视频图像中至少一个候选区域的概率值及其坐标数据(即各个区域的坐标数据)。这样，服务器可以获得上述识别结果。
在步骤13中，在所述识别结果中包含目标坐标数据时，判断摄像头的姿态是否发生变化。
本实施例中，在获取识别结果后，服务器可以判断上述识别结果中是否包含目标坐标数据，参见图7，包括步骤51和步骤52。
在步骤51中，服务器可以获取上述识别结果中至少一个候选区域的概率值的最大值。例如服务器直接对上述至少一个候选区域进行排序即可获得最大值。服务器内可以存储预先设置的预设概率阈值，该预设概率阈值的范围为0.6～1.0。然后，服务器可以对比最大值和上述预设概率阈值，得到最大值和预设概率阈值的大小关系。
在步骤52中，当所述最大值超过预设概率阈值时，服务器可以确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据。当最大值小于上述预设概率阈值时，服务器可以确定在各视频图像中未跟踪到的目标区域。本步骤中通过选取最大值和预设概率阈值来确定是否跟踪到目标区域，可以提升结果的准确性。
考虑到区域跟踪模型可能无法保证在所有情况下均能准确无误地跟踪目标区域，例如视频图像出现严重模糊或者花屏等异常情况时，区域跟踪模型可能会失效。考虑到各视频图像未跟踪到目标区域可以分别2种情况：第1种，区域跟踪模型正常而目标区域已经偏移到视频图像范围之外；第2种，目标区域在视频图像范围之内而区域跟踪模型异常。针对上述问题，本公开实施例还提供了跟踪稳定性机制，以确保在区域跟踪模型异常的情况下能够正常跟踪目标区域。参见图8和图9，服务器对目标区域进行跟踪并确定是否跟踪到目标区域。
当确定跟踪到目标区域后，判断上述目标区域是否为误跟踪，如果确定不是误跟踪，则服务器可以确定上述目标区域是准确的。此时，服务器可以判断目标区域是否位于当前视频图像的边缘，如果目标区域不在当前视频图像的边缘，则采用最新的目标区域的目标坐标数据。如果目标区域在当前视频图像的边缘，则对目标区域进行裁切与补偿，即获取目标区域位于当前视频图像之内部分的坐标数据。参见图10，服务器可以根据当前视频图像的边界对目标区域进行裁切与补偿，确定出多形边ABCDE的坐标数据作为目标坐标数据。如果确定是误跟踪，则服务器可以确定当前视频图像(即未跟踪到目标区域的视频图像)的目标区域保持前一帧视频图像的目标区域，或者采用构造区域。其中，构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
当确定跟踪到目标区域后，判断上述目标区域是否出界，出界包括从第一视频图像的顶点出界或者从第一视频图像的边界出界。如果确定目标区域出界，则确定视频图像中无目标区域。如果确定目标区域未出界，则判断是否需要重新搜索，如果不需要重新搜索，则保持前一帧视频图像的目标区域，如果需要重新搜索，则降低跟踪匹配阈值或者更新第一跟踪图像来重新搜索。
在一实施例中，第1种情况，服务器可以判断目标区域是否(从第一视频图像的顶点)出界，参见图11，包括步骤71～步骤74。
在步骤71中，服务器可以确定第一视频图像中目标区域是否位于所述第一视频图像的顶点；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像。例如，服务器可以获取第一视频图像中目标区域的各个顶点。可理解的是，当目标区域的一部分偏移出第一视频图像时，目标区域可以位于第一视频图像的左上角/右上角/左下角/右下角，此时目标区域的至少一个顶点与第一视频图像的顶点是重合的。因此，服务器可以判断目标区域的左上顶点的坐标数据是否为[0,0]，左下顶点的横坐标x是否为0，右上顶点的纵坐标y是否为0，右下顶点的横坐标是否为横坐标取值的最大值和纵坐标是否为纵坐标取值的最大值，来判断目标区域是否位于视频图像的某个角点。
在步骤72中，当所述目标区域位于所述第一视频图像的顶点时，服务器可以获取所述目标区域中位于所述第一视频图像内的至少一个目标像素点。也就是说，服务器可以获取目标区域在第一视频图像内那一部分中的目标像素点。
在步骤73中，服务器可以获取所述至少一个目标像素点和所述第一视频图像的边界之间的第一距离。其中，目标像素点到第一视频图像的边界的第一距离或者转换成数学中一个点到一条线的距离，具体可以参见相关技术，在此不再赘述。
在步骤74中，当所述第一距离小于预设距离阈值时，服务器可以确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型(为偏移出第一视频图像)，并且将所述目标区域的坐标数据赋值为空值。其中，上述预设距离阈值的范围可以为5～20像素，在一示例中上述预设距离阈值的取值为10像素。由于目标区域的坐标数据被强制赋值为空值，那么在后续读取到空值时即可以确定目标区域已经移出边界。
在另一实施例中，第1种情况，服务器可以判断目标区域是否(从第一视频图像的边界)出界，参见图12，包括步骤81～步骤83。
在步骤81中，服务器可以确定第一视频图像中目标区域的各个顶点是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像。例如，服务器可以获取第一视频图像中目标区域的各个顶点是否位于第一视频图像的边界(即边界)。可理解的是，确定目标区域的某一个顶点是否位于第一视频图像的边界，服务器可以判断目标区域的左上顶点的横坐标是否为0，左下顶点的横坐标x是否为0来判断目标区域是否位于第一视频图像的左边界。又如，服务器可以判断目标区域的左上顶点的纵坐标是否为0，右上顶点的纵坐标是否为0，来判断目标区域是否位于第一视频图像的上边界。又如，服务器可以判断目标区域的右上顶点的横坐标是否为横坐标取值的最大值，右下顶点的横坐标是否为横坐标取值的最大值，来判断目标区域是否位于第一视频图像的右边界。又如，服务器可以判断目标区域的左下顶点的纵坐标是否为纵坐标取值的最大值，右下顶点的纵坐标是否为纵坐标取值的最大值，来判断目标区域是否位于第一视频图像的下边界。
在步骤82中，当所述目标区域位于所述第一视频图像的边界时，服务器可以获取所述目标区域中远离所述边界的顶点与所述边界的第二距离。服务器在确定目标区域位于第一视频图像的某一条边界时，可以获取远离边界的顶点与该边界的第二距离，其中第二距离的计算可以参考数据中一个点到一条边距离的计算，在此不再赘述。
在步骤83中，当所述第二距离小于预设距离阈值时，服务器可以确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型(为偏移出第一视频图像)，并且将所述目标区域的坐标数据赋值为空值。该预设距离阈值可以参考图7所示实施例的内容。
本实施例中通过确定目标区域偏移出视频图像之外，可以确定区域跟踪模型能够正常工作，保证检测结果的准确性。
对于没有偏移到视频图像之外的情况即第2种情况，服务器可以判断是否需要重新搜索。
在一实施例中，未匹配到目标区域的原因可能是跟踪匹配阈值较大，因此没有搜索到相匹配的目标区域，此时，服务器可以降低跟踪匹配阈值。假设，跟踪匹配阈值的范围为0.3～0.9，在确定未匹配的目标区域时当前的跟踪匹配阈值为0.6，那么服务器可以按照预设步长(如0.1)减少跟踪匹配阈值；然后重要执行步骤12即根据初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，再确定视频图像中是否存在目标区域；如果没有目标区域则继续减少跟踪匹配阈值，如此重复直至确定各视频图像跟踪到目标区域为止或者说跟踪匹配阈值等于第一概率阈值为止。其中第一概率阈值是指跟踪匹配阈值的最小值，即上述区域跟踪模型输出可信的或者有效的候选区域的识别结果的最小基准值。
在另一实施例中，考虑到第一视频图像的面积是基准图像的4倍可能较小，从而存在一定的概率而搜索不到目标区域，本实施例中可以更新搜索范围。例如，服务器可以以各视频图像对应的第一跟踪图像的各个顶点为中心且第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，如2～4个，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。这样，本实施例中第二跟踪图像的数量远多于第一跟踪图像的数量，可以增加目标区域的搜索范围，从而增加搜索到目标区域的概率。需要说明的是，当按照上述多种方案解决上述2种未跟踪到目标区域的情况时，若仍然无法跟踪到当前视频图像的目标区域时，服务器可以将当前视频图像的目标区域采用前一帧视频图像的目标区域，从而避免误跟踪的问题，有利于提升跟踪结果的准确性。
可理解的是，本公开实施例中通过判断目标区域是否偏移出视频图像之外或者区域识别模型是否异常，从而保证本公开提供的区域位置更新方法能够可靠工作，保证跟踪目标区域的准确性。
在一实施例中，在确定各视频图像跟踪到目标区域后，服务器可以判断是否存在误跟踪，参见图13，包括步骤91～步骤93。
在步骤91中，服务器可以获取相邻两帧视频图像中目标区域的预设点的距离。其中预设点可以根据目标区域来设置，例如目标区域的顶点、中心点、重心等，在此不作限定。例如，当目标区域为规则图形时，如规则图像是矩形，则预设点可以为中心点。当目标区域为不规则图像时，则预设点可以为目标区域的其中一个顶点。两个预设点的距离可以转化成数学中两个点之间的欧式距离，具体可以参见相关技术中欧式距离的计算方式，在此不再赘述。
在步骤92中，当所述预设点的距离小于中心距离阈值时，服务器可以更新为新识别的目标区域的坐标数据。其中，中心距离阈值的范围为1～10像素，在一示例中上述中心距离阈值为5像素。当预设点的距离小于中心距离阈值时，服务器可以确定视频图像中的目标区域不是发生误跟踪，此时服务器可以将视频图像的目标区域采用最新的目标坐标数据。
需要说明的是，上述中心距离阈值与摄像头的采集频率相关，当摄像头的采集频率越大时该中心距离阈值越小。示例地，以摄像头的采集频率为25Hz时，中心距离阈值可以设置为10像素，当摄像头的采集频率为50Hz时，中心距离阈值可以设置为5像素，技术人员可以根据具体场景进行设置，在此不作限定。
在步骤93中，当所述预设点的距离超过所述中心距离阈值时，服务器可以将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。例如，服务器可以记录目标区域在x，y方向的偏移量至少5次，历史禁区五次x方向的偏移为[1,2,-1,0,1],y方向的偏移历史为[1,1,-1,1,0]；然后，通过取平均值的方式来预测当前视频图像相对于上一视频图像中目标区域的偏移量，当前视频图像的目标区域的偏移量为[1,0]([0.6,0.4]四舍五入之后的结果)，再结合基准图像的坐标数据即可得到当前视频图像中目标区域的目标坐标数据。
在步骤14中，在所述摄像头的姿态发生变化后，根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
本实施例中，在确定出各视频图像中的目标区域以及目标坐标数据后，服务器可以判断摄像头的姿态是否发生变化。例如，服务器可以获取摄像头的角度变化量，服务器与摄像头可以通信，获得摄像头的移动和/或转动角度变化量，通过移动和/或转动角度变化量来确定角度变化量，如移动和/或转动角度变化量为0时确定摄像头为静止状态，当移动和/或转动角度变化量为不等于0的某一个值时确定摄像头的姿态发生变化。其中，上述预设条件是指摄像头从静止到运动再到静止并静止一定时长(如30～100秒)，或者角度变化量超过预设角度阈值(如5度)。
又如，服务器可以获取相邻两帧视频图像中目标区域内各像素点的距离。然后，服务器可以对比各像素点的距离与预设的像素点距离阈值，得到至少一个像素点的距离超过像素点距离阈值，此时服务器可以确定摄像头的姿态发生变化；如果像素点的距离均小于像素点距离阈值，服务器可以确定摄像头的姿态未发生变化。
再如，服务器可以获取相邻两帧视频图像中目标区域的预设点的距离。当预设点的距离超过中心阈值时，确定摄像头的姿态发生变化；当预设点的距离小于中心阈值时，服务器可以确定摄像头的姿态未发生变化。
本实施例中，在确定摄像头的姿态发生变化后，服务器可以根据目标坐标数据更新初始坐标数据。例如，当目标区域的形状为矩形时，服务器可以将初始坐标数据更新成目标坐标数据。又如，当目标区域的形状为除矩形之外的其他形状时，服务器可以获取预设的目标区域与最小外接矩形的相对位置数据，其中，上述预设的目标区域与最小外接矩形的相对位置数据的获取方式参见步骤11以及图2和图3所示例的内容，在此不再赘述。然后，服务器可以根据目标坐标数据和相对位置数据计算出目标区域的目标恢复数据；将初始坐标数据更新成上述目标恢复数据。
也就是说，服务器可以通过更新初始坐标数据可以重新获得一个初始坐标数据，并重新执行步骤11～步骤14，以更新视频图像中目标区域的位置。
至此，本实施例中视频图像中的目标区域在摄像头未移动和/或转动时保持位置不变，以及摄像头发生移动和/或转动后会更新目标区域的坐标数据为目标坐标数据即摄像头转动后同步更新目标区域的位置，以使目标区域不会随着摄像头的移动和/或转动而发生错位，从而在后续识别目标区域内对象的过程中并不会发生误识别且误报警的问题，有利于提升识别效率，进一步提升使用体验。
下面结合禁区闯入识别场景来描述本公开实施例提供的一种区域位置更新方法，其中禁区作为上述的目标区域。参见图14～图16，本公开实施例提供的一种安防系统可以包括区域配置模块、区域跟踪模块、更新判断模块和坐标回传模块。其中，
区域配置模块可以包括显示视频图像、手动配置禁区、自动接收坐标回传模块发送的禁区配置和发送禁区坐标到区域跟踪模块。
区域配置模块
区域配置模块中的web页面可以显示要配置摄像头的视频图像。实际应用中，参见图4，web页面中可以包括三个交互式操作按钮：画笔组件21、橡皮擦组件22和保存组件23。用户可以点击画笔组件21逐点绘制禁区，绘制过程中还可以使用橡皮擦组件22擦除已经绘制的顶点。在绘制完成后可以点击保存组件23，得到禁区所有顶点的坐标数据即上述实施例中的初始坐标数据，具体可以参见图1所示例的步骤11的内容。区域配置模块可以将此禁区坐标发送至区域跟踪模块。这样，完成一次人工手动配置禁区的操作。
另外，区域配置模块可以实时等待接收坐标回传模块发送的最新禁区坐标即目标坐标数据。当接收到目标坐标数据后，区域更新模块可以将禁区的初始坐标数据更新为上述的目标坐标数据，并将更新后的初始坐标数据发送给匹配跟踪模块。同时根据更新的坐标数据在显示的视频图像中重新绘制禁区，如图17中禁区A1A2A3A4所示。
区域跟踪模块
区域跟踪模块的工作过程可以参见图8和图9所示例的内容。并且区域跟踪模型利用深度特征的跟踪方法，利用区域配置模块发来的禁区坐标数据和拉取的视频流跟踪上述禁区。
禁区跟踪的具体流程为：
首先，区域跟踪模型从区域配置模块获取禁区坐标并获取最新的视频图像即上述的目标图像。
然后，区域跟踪模型将最新视频图像中禁区框内的内容作为模板即上述的基准图像，并提取模板的特征；并将最新的视频图像后的各帧视频图像比模板大一倍区域的内容(即上述的第一跟踪图像)和模板送入孪生网络。然后，孪生网络将提取到的特征分别送入区域候选网络RPN的分类分支和回归分支；分类分支输出每个各个区域属于背景和目标(即禁区内的内容)的类别的概率，回归分支输出每个区域的[x,y,w,h]偏移量预测值(即上述的目标坐标数据)。
最后，区域跟踪模块可以取概率值最大的区域为跟踪到的禁区；若所有区域的概率值小于预设概率阈值，可以判断此帧视频图像中无禁区。
跟踪稳定性机制
区域跟踪模型并不能保证在所有情况下都能准确无误地跟踪禁区，比如图像严重模糊或者花屏等异常情况时，区域跟踪模型会失效。本公开还提供了跟踪稳定性机制，确保在区域跟踪模型异常情况下保证正常跟踪禁区，可以提高跟踪稳定性。
首先，判断区域跟踪模型是否跟到禁区，若没有跟踪到禁区，此时分为两种情况：区域跟踪模型正常而禁区已偏移到视频图像之外；禁区没有偏移出视频图像的边界而区域跟踪模型异常。跟踪稳定性机制的具体原理包括：
判断前一帧中禁区是否位于视频图像的左上角/右上角/左下角/右下角，通过判断禁区的左上角是否为[0,0]；左下角的横坐标x是否为0；右上角y坐标是否为0来判断禁区是否位于视频图像的左上角。其他角点判断以此类推。如果禁区位于角点，判断禁区不在图像边界的像素点距离视频图像的边界是否小于10像素值，如果小于则判断禁区已偏移到视频图像之外。
判断前一帧中禁区是否位于视频图像的边界，通过判断禁区的左上角的横坐标x是否为0；左下角的横坐标x是否为0来判断禁区是否位于视频图像的左边界。其他边界以此类推。如果禁区位于视频图像的边界，判断禁区另外两个不在视频图像边界的顶点距离该视频图像的边界是否小于10像素值，如果小于则判断禁区已偏移到视频图像之外。
针对已偏移到视频图像之外的情况直接判断此当前视频图像中无禁区并将当前视频图像中的禁区信息赋值为空。
针对未偏移到视频图像之外的情况，需要判断是否需要重新搜索，本公开实施例提供两种重新搜索方法：
1.降低跟踪匹配阈值，由于已经判断禁区在视频图像中而没有搜索到禁区可能是跟踪匹配阈值设置较高造成没有找到禁区。此时可以降低区域跟踪模型中跟踪匹配阈值并重新搜索。假设当前跟踪匹配阈值为0.6且跟踪匹配阈值的最小值为0.3，预设步长为0.1。若需要降低跟踪匹配阈值，将跟踪匹配阈值减小0.1，重新在区域跟踪模型中判断。若没有跟踪到禁区则再次降低跟踪匹配阈值并重新判断，直到达到跟踪匹配阈值的最小值或者跟踪到禁区为止。
2.更改搜索区域，由于区域跟踪模型搜索区域为当前模板所在区域的扩大一倍的区域，导致存在搜索不到禁区的概率，此时可更改搜索区域重新进行搜索，包括：
以当前搜索区域(即上述第一跟踪图像)的四个顶点为中心，沿用当前搜索区域的长度和宽度，可以构造出4个新的搜索区域，得到上述的第二跟踪图像)。然后，将上述四个第二跟踪图像一次送入区域跟踪模型，并重新跟踪禁区。
如果以上两种方式仍然搜索不到当前视频图像的禁区，此时当前视频图像的禁区保持前一帧视频图像的禁区，即当前视频图像禁区的坐标数据使用上一帧视频图像的坐标数据，从而避免区域跟踪模型不准确而带来的跟踪结果不准确的问题，有利于提升跟踪结果的准确性。
然后，判断跟踪结果是否存在误跟踪，包括：
判断当前视频图像的禁区和前一帧视频图像的禁区两者预设点的距离是否大于预设点阈值(如5像素)，若小于可以确定没有误跟踪。然后判断目标区域是否位于当前视频图像的边缘，当目标区域位于当前视频图像的边缘时，对禁区进行裁切与补偿(如补边使位于当前视频图像内的部分形成一个封闭区域)，匹配并恢复禁区坐标，即可以采用最新的坐标数据；若大于则确定为误跟踪。对于误跟踪的处理方式可以包括：
1.保持前一帧视频图像的禁区；
2.采取构造区域，例如获取五次历史禁区在x和y方向的偏移量，通过取平均值的方式来预测当前帧视频图像相对于前一帧视频图像中禁区的偏移量。如，x方向的偏移量为[1,2,-1,0,1],y方向的偏移量为[1,1,-1,1,0],则当前帧视频图像中禁区的偏移量为[0.6,0.4]，四舍五入之后得到[1,0]。
更新判断模块
区域跟踪模块会得到每一帧视频图像中禁区的坐标数据。由于区域跟踪模型需要实时处理，每一帧视频图像均会预测禁区目标框的位置，但并不是每一帧视频图像的坐标数据均需要回传到区域配置模块。那么，区域跟踪模块判断回传坐标数据的方式包括：
1.通过判断摄像头的移动和/或转动状态来判断是否需要回传禁区坐标。更新判断模块实时获取摄像头的移动和/或转动角度，当判断由移动和/或转动状态变为静止状态后设定时长后，可以确定摄像头经过一次移动和/或转动，此时需要更新禁区的坐标数据。另外，为提升本方式的准确性，本方式中还可以设置定时更新坐标，如每隔一小时强制更新一次禁区的坐标数据。
2.通过判断禁区框坐标在图像中的相对位置变化量来判断是否需要回传禁区坐标。如果摄像头移动和/或转动，禁区的目标坐标数据和初始坐标数据会有存在偏差，因此通过比较禁区坐标的偏差可以判断摄像头是否移动和/或转动，包括：将两个禁区内的各个像素点进行逐点比较，当存在一个像素点的位置超过像素点距离阈值(如5像素)即确定摄像头的姿态发生变化。或者计算两个禁区预设点的距离，若预设点距离超过中心阈值即可以确定摄像头的姿态发生变化。
坐标回传模块
当更新判断模块确定需要回传禁区坐标(即回传禁区的目标坐标数据)时，坐标回传模块会获取当前视频图像中禁区的目标坐标数据并将目标坐标数据发送至区域配置模块。区域配置模块接收到
目标坐标数据后，可以将初始坐标数据的取值更新为上述目标坐标数据的取值，并且在显示界面内更新禁区和发送到区域跟踪模块。至此完成一次禁区坐标的自动更新。
在本公开实施例提供的一种区域位置更新方法的基础上，本公开实施例还提供了一种安防系统，参见图18，所述系统包括：区域配置模块131、区域跟踪模块132、更新判断模块133和坐标回传模块134；
所述区域配置模块131，用于获取视频图像中目标区域的初始坐标数据，并将所述初始坐标数据发送给所述区域跟踪模块；
所述区域跟踪模块132，用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，并在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块；
所述更新判断模块133，用于判断摄像头的姿态是否发生变化，并在所述摄像头的姿态发生变化后将所述目标坐标数据发送给所述坐标回传模块134；
所述坐标回传模块134，用于将所述目标坐标数据回传到所述区域配置模块131，以使所述区域配置模块131根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
在一实施例中，所述区域跟踪模块用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，包括：
基于所述初始坐标数据获取目标视频图像中所述初始坐标数据对应目标区域的图像，得到基准图像；
基于所述初始坐标数据获取所述目标视频图像之后各视频图像中包含所述目标区域的图像，得到各视频图像对应的第一跟踪图像；
将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得所述区域跟踪模型输出的识别结果，所述识别结果包括所述各视频图像中至少一个候选区域的概率值及其坐标数据。
在一实施例中，所述区域跟踪模块用于在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块，包括：
获取所述至少一个候选区域的概率值的最大值；
当所述最大值超过预设概率阈值时，确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据；
将所述目标区域的目标坐标数据发送给所述更新判断模块。
在一实施例中，所述区域跟踪模块还用于：
当所述最大值小于所述预设概率阈值时，确定所述各视频图像未跟踪到所述目标区域。
在一实施例中，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的顶点；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像；
当所述目标区域位于所述第一视频图像的顶点时，获取所述目标区域中位于所述第一视频图像内的至少一个目标像素点；
获取所述至少一个目标像素点和所述第一视频图像的边界之间的第一距离；
当所述第一距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型，并且将所述目标区域的坐标数据赋值为空值。
在一实施例中，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域的各个顶点是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像；
当所述目标区域位于所述第一视频图像的边界时，获取所述目标区域中远离所述边界的顶点与所述边界的第二距离；
当所述第二距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型，并且将所述目标区域的坐标数据赋值为空值。
在一实施例中，所述未跟踪到所述目标区域为跟踪模型异常且禁区位于第一视频图像之内时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
当所述各视频图像未跟踪到所述目标区域时，按照预设步长减小所述跟踪匹配阈值，并执行根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，直至确定所述各视频图像跟踪到所述目标区域为止或者所述跟踪匹配阈值等于第一概率阈值为止。
在一实施例中，所述未跟踪到所述目标区域为跟踪模型异常且禁区位于第一视频图像之内时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
以所述各视频图像对应的第一跟踪图像的各个顶点为中心且所述第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。
在一实施例中，所述区域跟踪模块还用于：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离小于中心距离阈值时，更新为新识别的目标区域的坐标数据；
当所述预设点的距离超过所述中心距离阈值时，将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
在一实施例中，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取所述摄像头的角度变化量；
当所述角度变化量满足预设条件时，确定所述摄像头的姿态发生变化。
在一实施例中，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域内各像素点的距离；
当存在至少一个像素点的距离超过像素点距离阈值时，确定所述摄像头的姿态发生变化。
在一实施例中，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离超过中心阈值时，确定所述摄像头的姿态发生变化。
需要说明的是，本实施例中示出的装置与方法实施例的内容相匹配，可以参考上述方法实施例的内容，在此不再赘述。
在示例性实施例中，还提供了一种安防系统，包括至少一个摄像头、至少一个配置终端和服务器。所述摄像头用于采集图像并发送给服务器；所述配置终端用于获取目标区域的初始坐标数据并发送给所述服务器；参见图19，所述服务器包括：
处理器141；用于存储所述处理器可执行的计算机程序的存储器142；
其中，所述处理器被配置为执行所述存储器中的计算机程序，以实现如图1～图17所述的方法。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括可执行的计算机程序的存储器，上述可执行的计算机程序可由处理器执行，以实现如图1～图12所示实施例的方法。其中，可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (30)

1.一种区域位置更新方法，其特征在于，所述方法包括：
获取视频图像中目标区域的初始坐标数据；
根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果；
在所述识别结果中包含目标坐标数据时，判断摄像头的姿态是否发生变化；
在所述摄像头的姿态发生变化后，根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
2.根据权利要求1所述的方法，其特征在于，获取视频图像中目标区域的初始坐标数据，包括：
响应于检测到表征绘制目标区域的操作，获取各个触发位置的坐标数据；
依次连接各个触发位置，得到目标区域；
当所述目标区域的形状为矩形时，将各个触发位置的坐标数据作为所述目标区域的初始坐标数据；当所述目标区域的形状为除矩形之外的其他形状时，获取所述其他形状的最小外接矩形，并将所述最小外接矩形的各个顶点的坐标数据作为所述目标区域的初始坐标数据。
3.根据权利要求1或者2所述的方法，其特征在于，根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，包括：
基于所述初始坐标数据获取目标视频图像中所述初始坐标数据对应目标区域的图像，得到基准图像；
基于所述初始坐标数据获取第一跟踪图像，所述第一跟踪图像是指所述目标视频图像之后各视频图像中包含所述目标区域的图像；
将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得识别结果，所述识别结果包括所述各视频图像中至少一个候选区域的概率值及其坐标数据。
4.根据权利要求3所述的方法，其特征在于，所述区域跟踪模型包括孪生网络模块、区域候选网络模块和识别结果模块；
所述孪生网络模块包括上支路网络和下支路网络；所述上支路网络和所述下支路网络的网络结构和参数相同；所述上支路网络输出第一尺寸的特征图像，所述下支路网络输出第二尺寸的特征图像；
所述区域候选网络模块包括分类分支网络和回归分支网络；所述分类分支网络用于根据所述第一尺寸的特征图像和所述第二尺寸的特征图像区分出目标和背景；所述回归分支网络用于调整候选区域的位置；
所述识别结果模块包括类别输出单元和坐标数据输出单元；所述类别输出单元与所述分类分支网络连接，用于输出各个候选区域的概率值；所述坐标数据输出单元与所述回归分支网络连接，用于输出各个候选区域的坐标数据。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括判断所述识别结果中是否包含目标坐标数据的步骤，具体包括：
获取所述至少一个候选区域的概率值的最大值；
当所述最大值超过预设概率阈值时，确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述最大值小于所述预设概率阈值时，确定所述各视频图像未跟踪到所述目标区域或者跟踪到所述目标区域的一部分。
7.根据权利要求6所述的方法，其特征在于，确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像；
当所述目标区域位于所述第一视频图像的边界时，获取所述目标区域中远离所述边界的顶点与所述边界的第二距离；
当所述第二距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型。
8.根据权利要求6所述的方法，其特征在于，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述方法还包括：
当所述各视频图像未跟踪到所述目标区域时，按照预设步长减小所述跟踪匹配阈值，并执行根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，直至确定所述各视频图像跟踪到所述目标区域为止或者所述跟踪匹配阈值等于第一概率阈值为止，所述第一概率阈值是指所述跟踪匹配阈值的最小值。
9.根据权利要求6所述的方法，其特征在于，所述未跟踪到所述目标区域为跟踪模型异常且目标区域位于第一视频图像之内时，所述方法还包括：
以所述各视频图像对应的第一跟踪图像的各个顶点为中心且所述第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。
10.根据权利要求6～9任一项所述的方法，其特征在于，所述方法还包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离小于中心距离阈值时，更新为新识别的目标区域的坐标数据；
当所述预设点的距离超过所述中心距离阈值时，将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
11.根据权利要求1所述的方法，其特征在于，判断摄像头的姿态是否发生变化，包括：
获取所述摄像头的角度变化量；
当所述角度变化量满足预设条件时，确定所述摄像头的姿态发生变化。
12.根据权利要求1所述的方法，其特征在于，判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域内各像素点的距离；
当存在至少一个像素点的距离超过像素点距离阈值时，确定所述摄像头的姿态发生变化。
13.根据权利要求1所述的方法，其特征在于，判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离超过中心阈值时，确定所述摄像头的姿态发生变化。
14.根据权利要求1所述的方法，其特征在于，根据所述目标坐标数据更新所述初始坐标数据，包括：
当所述目标区域的形状为矩形时，将所述初始坐标数据更新成所述目标坐标数据；或者，
当所述目标区域的形状为除矩形之外的其他形状时，获取预设的目标区域与最小外接矩形的相对位置数据；根据所述目标坐标数据和所述相对位置数据计算出所述目标区域的目标恢复数据；将所述初始坐标数据更新成所述目标恢复数据。
15.一种安防系统，其特征在于，所述系统包括区域配置模块、区域跟踪模块、更新判断模块和坐标回传模块；
所述区域配置模块，用于获取视频图像中目标区域的初始坐标数据，并将所述初始坐标数据发送给所述区域跟踪模块；
所述区域跟踪模块，用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，并在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块；
所述更新判断模块，用于判断摄像头的姿态是否发生变化，并在所述摄像头的姿态发生变化后将所述目标坐标数据发送给所述坐标回传模块；
所述坐标回传模块，用于将所述目标坐标数据回传到所述区域配置模块，以使所述区域配置模块根据所述目标坐标数据更新所述初始坐标数据，以更新视频图像中目标区域的位置。
16.根据权利要求15所述的系统，其特征在于，所述区域配置模块包括：
坐标数据获取单元，用于响应于检测到表征绘制目标区域的操作，获取各个触发位置的坐标数据；
目标区域获取单元，用于依次连接各个触发位置，得到目标区域；
初始坐标获取单元，用于在所述目标区域的形状为矩形时，将各个触发位置的坐标数据作为所述目标区域的初始坐标数据；在所述目标区域的形状为除矩形之外的其他形状时，获取所述其他形状的最小外接矩形，并将所述最小外接矩形的各个顶点的坐标数据作为所述目标区域的初始坐标数据。
17.根据权利要求15或者16所述的系统，其特征在于，所述区域跟踪模块用于根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果，包括：
基于所述初始坐标数据获取目标视频图像中所述初始坐标数据对应目标区域的图像，得到基准图像；
基于所述初始坐标数据获取第一跟踪图像，所述第一跟踪图像是指所述目标视频图像之后各视频图像中包含所述目标区域的图像；
将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型，获得识别结果，所述识别结果包括所述各视频图像中至少一个候选区域的概率值及其坐标数据。
18.根据权利要求17所述的系统，其特征在于，所述区域跟踪模型包括孪生网络模块、区域候选网络模块和识别结果模块；
所述孪生网络模块包括上支路网络和下支路网络；所述上支路网络和所述下支路网络的网络结构和参数相同；所述上支路网络输出第一尺寸的特征图像，所述下支路网络输出第二尺寸的特征图像；
所述区域候选网络模块包括分类分支网络和回归分支网络；所述分类分支网络用于根据所述第一尺寸的特征图像和所述第二尺寸的特征图像区分出目标和背景；所述回归分支网络用于调整候选区域的位置；
所述识别结果模块包括类别输出单元和坐标数据输出单元；所述类别输出单元与所述分类分支网络连接，用于输出各个候选区域的概率值；所述坐标数据输出单元与所述回归分支网络连接，用于输出各个候选区域的坐标数据。
19.根据权利要求17所述的系统，其特征在于，所述区域跟踪模块用于在所述识别结果中包含目标坐标数据时将所述目标坐标数据发送给所述更新判断模块，包括：
获取所述至少一个候选区域的概率值的最大值；
当所述最大值超过预设概率阈值时，确定所述最大值对应的候选区域为在所述各视频图像跟踪到的目标区域，并获得所述目标区域的目标坐标数据；
将所述目标区域的目标坐标数据发送给所述更新判断模块。
20.根据权利要求19所述的系统，其特征在于，所述区域跟踪模块还用于：
当所述最大值小于所述预设概率阈值时，确定所述各视频图像未跟踪到所述目标区域。
21.根据权利要求20所述的系统，其特征在于，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域，包括：
确定第一视频图像中目标区域是否位于所述第一视频图像的边界；所述第一视频图像是指未跟踪到所述目标区域的视频图像之前的前一帧视频图像；
当所述目标区域位于所述第一视频图像的边界时，获取所述目标区域中远离所述边界的顶点与所述边界的第二距离；
当所述第二距离小于预设距离阈值时，确定所述各视频图像未跟踪到所述目标区域为所述目标区域已偏移到视频图像外的类型。
22.根据权利要求20所述的系统，其特征在于，所述未跟踪到所述目标区域为跟踪模型异常且目标区域没有出界时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
当所述各视频图像未跟踪到所述目标区域时，按照预设步长减小所述跟踪匹配阈值，并执行根据所述初始坐标数据和各视频图像跟踪所述目标区域在所述各视频图像中的位置得到识别结果的步骤，直至确定所述各视频图像跟踪到所述目标区域为止或者所述跟踪匹配阈值等于第一概率阈值为止，所述第一概率阈值是指所述跟踪匹配阈值的最小值。
23.根据权利要求20所述的系统，其特征在于，所述未跟踪到所述目标区域为跟踪模型异常且目标区域没有出界时，所述区域跟踪模块用于确定所述各视频图像未跟踪到所述目标区域之后，所述区域跟踪模块还用于：
以所述各视频图像对应的第一跟踪图像的各个顶点为中心且所述第一跟踪图像的长度和宽度为基准生成多个第二跟踪图像，并执行将所述基准图像和所述第一跟踪图像输入到预设的区域跟踪模型的步骤。
24.根据权利要求20～23任一项所述的系统，其特征在于，所述区域跟踪模块还用于：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离小于中心距离阈值时，更新为新识别的目标区域的坐标数据；
当所述预设点的距离超过所述中心距离阈值时，将未跟踪到目标区域的视频图像保持前一帧视频图像的目标区域或者采用构造区域；所述构造区域是指未跟踪到目标区域的视频图像之前的多帧视频图像中目标区域的坐标数据的加权值。
25.根据权利要求15所述的系统，其特征在于，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取所述摄像头的角度变化量；
当所述角度变化量满足预设条件时，确定所述摄像头的姿态发生变化。
26.根据权利要求15所述的系统，其特征在于，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域内各像素点的距离；
当存在至少一个像素点的距离超过像素点距离阈值时，确定所述摄像头的姿态发生变化。
27.根据权利要求15所述的系统，其特征在于，所述更新判断模块用于判断摄像头的姿态是否发生变化，包括：
获取相邻两帧视频图像中目标区域的预设点的距离；
当所述预设点的距离超过中心阈值时，确定所述摄像头的姿态发生变化。
28.根据权利要求15所述的系统，其特征在于，所述区域配置模块包括：
第一配置模块，用于在所述目标区域的形状为矩形时，直接根据所述目标坐标数据更新所述初始坐标数据；或者，
第二配置模块，用于在所述目标区域的形状为除矩形之外的其他形状时，获取预设的目标区域与最小外接矩形的相对位置数据；根据所述目标坐标数据和所述相对位置数据计算出所述目标区域的目标恢复数据；将所述初始坐标数据更新成所述目标恢复数据。
29.一种安防系统，其特征在于，包括至少一个摄像头、至少一个配置终端和服务器；所述摄像头用于采集图像并发送给服务器；所述配置终端用于获取目标区域的初始坐标数据并发送给所述服务器；
所述服务器包括：
处理器；
用于存储所述处理器可执行的计算机程序的存储器；
其中，所述处理器被配置为执行所述存储器中的计算机程序，以实现如权利要求1～14任一项所述的方法。
30.一种计算机可读存储介质，其特征在于，当所述存储介质中的可执行的计算机程序由处理器执行时，能够实现如权利要求1～14任一项所述的方法。
CN202210770654.7A 2022-04-29 2022-06-30 区域位置更新方法、安防系统和计算机可读存储介质 Pending CN115063750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2023/077106 WO2023207276A1 (zh) 2022-04-29 2023-02-20 区域位置更新方法、安防系统和计算机可读存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210474787X 2022-04-29
CN202210474787 2022-04-29

Publications (1)

Publication Number Publication Date
CN115063750A true CN115063750A (zh) 2022-09-16

Family

ID=83204908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210770654.7A Pending CN115063750A (zh) 2022-04-29 2022-06-30 区域位置更新方法、安防系统和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN115063750A (zh)
WO (1) WO2023207276A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116600194A (zh) * 2023-05-05 2023-08-15 深圳市门钥匙科技有限公司 一种用于多镜头的切换控制方法及系统
WO2023207276A1 (zh) * 2022-04-29 2023-11-02 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117811218B (zh) * 2024-02-29 2024-05-14 广东电网有限责任公司 一种无人机输变配一体化协同巡检方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778890A (zh) * 2016-12-28 2017-05-31 南京师范大学 基于sift匹配的云台相机姿态变化检测方法
CN109325967B (zh) * 2018-09-14 2023-04-07 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN113011258A (zh) * 2021-02-08 2021-06-22 深圳英飞拓科技股份有限公司 一种对象监控跟踪方法、装置及电子设备
CN115063750A (zh) * 2022-04-29 2022-09-16 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207276A1 (zh) * 2022-04-29 2023-11-02 京东方科技集团股份有限公司 区域位置更新方法、安防系统和计算机可读存储介质
CN116600194A (zh) * 2023-05-05 2023-08-15 深圳市门钥匙科技有限公司 一种用于多镜头的切换控制方法及系统

Also Published As

Publication number Publication date
WO2023207276A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
CN115063750A (zh) 区域位置更新方法、安防系统和计算机可读存储介质
KR101457313B1 (ko) 템플릿 스위칭 및 특징 적응을 이용한 오브젝트 추적을 제공하는 방법, 장치 및 컴퓨터 프로그램 제품
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
JP4575829B2 (ja) 表示画面上位置解析装置及び表示画面上位置解析プログラム
EP3084577B1 (en) Selection and tracking of objects for display partitioning and clustering of video frames
Fan et al. Heterogeneous information fusion and visualization for a large-scale intelligent video surveillance system
US7436887B2 (en) Method and apparatus for video frame sequence-based object tracking
JP4541316B2 (ja) 映像監視検索システム
WO2014122884A1 (en) Information processing apparatus, information processing method, program, and information processing system
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN107886048A (zh) 目标跟踪方法及系统、存储介质及电子终端
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
CN111242973A (zh) 目标跟踪方法、装置、电子设备及存储介质
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US20090033745A1 (en) Method and apparatus for video frame sequence-based object tracking
CN112183353A (zh) 一种图像数据处理方法、装置和相关设备
CN111612696B (zh) 图像拼接方法、装置、介质及电子设备
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
Davis et al. An adaptive focus-of-attention model for video surveillance and monitoring
CN110555377A (zh) 一种基于鱼眼相机俯视拍摄的行人检测与跟踪方法
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
CN107358621B (zh) 对象跟踪方法及装置
CN111539990A (zh) 运动物体位置检测方法、装置、设备及介质
KR20160048428A (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination