CN110135359A - 一种基于声源定位的监控视频评估行为分析处理方法 - Google Patents

一种基于声源定位的监控视频评估行为分析处理方法 Download PDF

Info

Publication number
CN110135359A
CN110135359A CN201910414842.4A CN201910414842A CN110135359A CN 110135359 A CN110135359 A CN 110135359A CN 201910414842 A CN201910414842 A CN 201910414842A CN 110135359 A CN110135359 A CN 110135359A
Authority
CN
China
Prior art keywords
monitor video
moving objects
auditory localization
abnormal
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910414842.4A
Other languages
English (en)
Inventor
曾庆魏
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yizhao Technology Co Ltd
Original Assignee
Shenzhen Yizhao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yizhao Technology Co Ltd filed Critical Shenzhen Yizhao Technology Co Ltd
Priority to CN201910414842.4A priority Critical patent/CN110135359A/zh
Publication of CN110135359A publication Critical patent/CN110135359A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于声源定位的监控视频评估行为分析处理方法，涉及监控行业音视频图像处理技术领域，其包括以下步骤：S1，获取声源定位信息，并将声源定位信息输出给视频模组；S2，视频模组获取声源定位信息后，截取与声源定位信息相对的监控视频场景，进行视频分析；S3,获取监控视频场景中运动对象的时间、运动距离、运动方向、运动方式变量，将其导入至预先建立好的异常行为检测模型中进行检测，并输出异常行为检测结果，本发明的有益效果是：能够有效发挥监控视频后处理的非实时优势，提高识别准确度，并能够并行判定监控行为的多种特征，从而为监控视频点播服务器的视频回放提供了监控视频评估的后处理检测。

Description

一种基于声源定位的监控视频评估行为分析处理方法
技术领域
本发明涉及监控行业音视频图像处理技术领域，具体是一种基于声源定位的监控视频评估行为分析处理方法。
背景技术
在监控行业应用领域，对于图像识别的智能分析需求正在深化，因处理监控视频图像的分析、特征提取、行为识别等涉及较多交叉学科技术内容，特别是在将监控视频信息分析中，对于监控质量评估及音频行为算法就显得更加重要，算法必须高效且有监控行业针对性，才能保证在海量的监控点播视频中找到进行模糊智能分析，视频信息中音频的客观行为与客观监控质量进行比对，得出监控评估数据模型。
但是目前大部分监控视频图像处理，是基于简单的跟踪分析处理，其分析的行为归类和关注点，基本在音频课堂定位需求，这使得监控评估基本缺少的客观分析参考，主观评估占据核心，而忽略了音频行为分析算法能够提前发现问题和纠正监控行为的需求。
发明内容
本发明的目的在于提供一种基于声源定位的监控视频评估行为分析处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于声源定位的监控视频评估行为分析处理方法，其包括以下步骤：
S1，获取声源定位信息，并将声源定位信息输出给视频模组；
S2，视频模组获取声源定位信息后，截取与声源定位信息相对的监控视频场景，进行视频分析；
S3,获取监控视频场景中运动对象的时间、运动距离、运动方向、运动方式变量，将其导入至预先建立好的异常行为检测模型中进行检测，并输出异常行为检测结果。
作为本发明再进一步的方案：若运动对象存在异常行为，则检测结果至少包括异常类型T行为类型，行为开始时间s开始时间和行为结束时间s结束时间。
作为本发明再进一步的方案：所述运动对象的异常行为检测模型包括异常徘徊模型、异常离开模型和异常速度模型。
作为本发明再进一步的方案：所述异常徘徊模型为：
其中，x标定值，y标定值为运动对象在监控视频场景内停留大于等于一定时间阈值T停留时间阈值的坐标初始值，xn，yn为运动物体进入监控视频场景后任一时刻的坐标值，xΔ，yΔ为瞬时运动距离，lx距离阈值、ly距离阈值为满足判定x、y坐标的距离阈值；
f(|xΔ|≥lx距离阈值,|yΔ|≥ly距离阈值)＝P异常徘徊为分析是否存在徘徊行为的判定公式，当xΔ或yΔ绝对值出现次数大于距离阈值时lx距离阈值、ly距离阈值，P徘徊值为1时代表运动对象存在异常徘徊行为，反之P徘徊值为0时代表运动对象不存在异常徘徊行为。
作为本发明再进一步的方案：所述异常离开模型为：
Q(k场景起点(xn,yn),f(xΔ,yΔ)，tΔ≥T离开时间阈值)；
其中，k场景起点(xn,yn)为运动对象在监控视频场景中开始运动起点区域，f(xΔ,yΔ)为消失在监控视频场景中瞬时运动对象的位置，tΔ为运动对象消失在监控视频场景中的计时，T离开时间阈值为判断异常离开的时间阈值，当出现运动对象消失场景中开始tΔ大于等于T离开时间阈值的条件时，则运动对象存在异常离开行为。
作为本发明再进一步的方案：所述异常速度模型为：
其中，f(xts,yts)为ts时刻开始运动对象所在的坐标位置，f(xtn,ytn)为tn瞬时运动对象所在的坐标位置，tn与ts时间差为Δt，|ts-tn|＝Δt，υ移动速度为计算出运动对象的移动速度，υ异常速度阈值为设定的超过正常移动速度的阈值，p频率为统计运动对象出现速度异常的次数，在υ异常速度阈值为一个上限异常速度阈值；
定义当υ移动速度≤υ异常速度阈值时为正常速度，反之则代表运动对象存在速度异常,其为:
与现有技术相比，本发明的有益效果是：提供了异常徘徊模型、异常离开模型和异常速度模型三种模型，并加入了有限元的精度控制模式，能够有效发挥监控视频后处理的非实时优势，提高识别准确度，并能够并行判定监控行为的多种特征，从而为监控视频点播服务器的视频回放提供了监控视频评估的后处理检测。
附图说明
图1为一种基于声源定位的监控视频评估行为分析处理方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本实施例公开的一些方面相一致的装置和方法的例子。
实施例1
请参阅图1，本发明实施例中，一种基于声源定位的监控视频评估行为分析处理方法，其包括以下步骤：
S1，通过声音定位检测设备获取声源定位信息，并将声源定位信息输出给视频模组，声音定位检测设备可以获取监控视频中声音发出的坐标，包含横坐标x、纵坐标y、声音到摄像机的距离z，即相当于监控视频中谁在说话，那么这个人的坐标信息即可以被捕捉到；
S2，视频模组获取声源定位信息后，截取与声源定位信息相对的监控视频场景，进行视频分析；
S3,获取监控视频场景中运动对象的时间、运动距离、运动方向、运动方式等变量(这些变量即运动对象的运动特征值，也便于后期的有限元计算)，将其导入至预先建立好的异常行为检测模型中进行检测，并输出异常行为检测结果，运动对象的异常行为检测模型包括异常徘徊模型、异常离开模型和异常速度模型，若运动对象存在异常行为，则检测结果至少包括异常类型T行为类型，行为开始时间s开始时间和行为结束时间s结束时间。
其通过提取运动对象的时间、运动距离、运动方向、运动方式等变量来进行有限元的计算，能够有效发挥后处理的非实时优势提高识别准确度，并能够并行判定监控行为的多种特征，从而为监控视频点播服务器的视频回放提供了监控视频评估的后处理检测方法或依据。
实施例2
本发明实施例中，一种基于声源定位的监控视频评估行为分析处理方法，由于运动对象在监控视频场景中反复运动，例如以1080P的图像场景为坐标系，即横轴为1920，纵轴为1080，以左下角(0,0)为坐标起点，那么运动对象的异常徘徊模型为：
其中，x标定值，y标定值为运动对象在监控视频场景停留大于等于一定时间阈值T停留时间阈值的坐标初始值，xn，yn为运动物体进入监控视频场景后任一时刻的坐标值，xΔ，yΔ为瞬时运动距离，lx距离阈值、ly距离阈值为满足判定x、y坐标的距离阈值，
f(|xΔ|≥lx距离阈值,|yΔ|≥ly距离阈值)＝P异常徘徊为分析是否存在徘徊行为的判定公式，当xΔ或yΔ绝对值，且出现次数大于距离阈值时lx距离阈值、ly距离阈值，P徘徊值为1代表存在异常徘徊行为，反之P徘徊值为0代表不存在异常徘徊行为。
那么此时可以通过输入变量来直接判定运动对象是否存在异常徘徊行为。
同理，运动对象的异常离开是指运动对象出现消失在监控视频场景一定时间的行为，例如以1080P的图像场景为坐标系，即横轴为1920，纵轴为1080，以左下角(0,0)为坐标起点，则运动对象的异常离开模型为：
Q(k场景起点(xn,yn),f(xΔ,yΔ)，tΔ≥T离开时间阈值)；
k场景起点(xn,yn)为运动对象在监控视频场景中开始运动起点区域，f(xΔ,yΔ)为消失在监控视频场景中瞬时运动对象位置，tΔ为运动对象消失在场景中的计时，T离开时间阈值为判断异常离开的时间阈值，当出现运动对象满足消失在监控视频场景中的计时tΔ≥T离开时间阈值的条件时，可判断为运动对象存在异常离开行为。
在监控场景中运动对象出现速度异常，一般根据监控行为特点可能表现为音频较为急躁，这类异常行为是后处理算法需要重点检测分析的对象，以1080P的图像场景为坐标系，即横轴为1920，纵轴为1080，以左下角(0,0)为坐标起点，则其运动对象的异常速度模型为：
式中，f(xts,yts)为ts时刻开始运动对象所在的坐标位置，f(xtn,ytn)为tn瞬时运动对象所在的坐标位置，tn与ts时间差为Δt，|ts-tn|＝Δt，υ移动速度为计算出的运动对象的移动速度，根据有限元精度的不同，可以计算出监控视频场景中的不同瞬时速度，υ异常速度阈值为设定的超过正常移动速度的阈值，p频率为统计出现速度异常的次数，在υ异常速度阈值为一个上限异常速度阈值。一般在监控评估算法中,低速运动和静态是监控常态而高速运动为异常，
因此当υ移动速度≤υ异常速度阈值时为正常速度，反之则代表运动对象存在速度异常,具体表达式为:
需要特别说明的是，本技术方案提供了异常徘徊模型、异常离开模型和异常速度模型三种模型，并加入了有限元的精度控制模式，能够有效发挥监控视频后处理的非实时优势，提高识别准确度，并能够并行判定监控行为的多种特征，从而为监控视频点播服务器的视频回放提供了监控视频评估的后处理检测。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，包括以下步骤：
S1，获取声源定位信息，并将声源定位信息输出给视频模组；
S2，视频模组获取声源定位信息后，截取与声源定位信息相对的监控视频场景，进行视频分析；
S3,获取监控视频场景中运动对象的时间、运动距离、运动方向、运动方式变量，将其导入至预先建立好的异常行为检测模型中进行检测，并输出异常行为检测结果。
2.根据权利要求1所述的一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，所述运动对象的异常行为检测模型包括异常徘徊模型、异常离开模型和异常速度模型。
3.根据权利要求1或2所述的一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，若运动对象存在异常行为，则检测结果至少包括异常类型T行为类型，行为开始时间s开始时间和行为结束时间s结束时间。
4.根据权利要求2所述的一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，所述异常徘徊模型为：
其中，x标定值，y标定值为运动对象在监控视频场景内停留大于等于一定时间阈值T停留时间阈值的坐标初始值，xn，yn为运动物体进入监控视频场景后任一时刻的坐标值，xΔ，yΔ为瞬时运动距离，lx距离阈值、ly距离阈值为满足判定x、y坐标的距离阈值；
f(|xΔ|≥lx距离阈值,|yΔ|≥ly距离阈值)＝P异常徘徊为分析是否存在徘徊行为的判定公式，当xΔ或yΔ绝对值出现次数大于距离阈值时lx距离阈值、ly距离阈值，P徘徊值为1时代表运动对象存在异常徘徊行为，反之P徘徊值为0时代表运动对象不存在异常徘徊行为。
5.根据权利要求2所述的一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，所述异常离开模型为：
Q(k场景起点(xn,yn),f(xΔ,yΔ)，tΔ≥T离开时间阈值)；
其中，k场景起点(xn,yn)为运动对象在监控视频场景中开始运动起点区域，f(xΔ,yΔ)为消失在监控视频场景中瞬时运动对象的位置，tΔ为运动对象消失在监控视频场景中的计时，T离开时间阈值为判断异常离开的时间阈值，当出现运动对象消失场景中开始tΔ大于等于T离开时间阈值的条件时，则运动对象存在异常离开行为。
6.根据权利要求2所述的一种基于声源定位的监控视频评估行为分析处理方法，其特征在于，所述异常速度模型为：
其中，f(xts,yts)为ts时刻开始运动对象所在的坐标位置，f(xtn,ytn)为tn瞬时运动对象所在的坐标位置，tn与ts时间差为Δt，|ts-tn|＝△t，υ移动速度为计算出运动对象的移动速度，υ异常速度阈值为设定的超过正常移动速度的阈值，p频率为统计运动对象出现速度异常的次数，在υ异常速度阈值为一个上限异常速度阈值；
定义当υ移动速度≤υ异常速度阈值时为正常速度，反之则代表运动对象存在速度异常,其为:
CN201910414842.4A 2019-05-17 2019-05-17 一种基于声源定位的监控视频评估行为分析处理方法 Pending CN110135359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414842.4A CN110135359A (zh) 2019-05-17 2019-05-17 一种基于声源定位的监控视频评估行为分析处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414842.4A CN110135359A (zh) 2019-05-17 2019-05-17 一种基于声源定位的监控视频评估行为分析处理方法

Publications (1)

Publication Number Publication Date
CN110135359A true CN110135359A (zh) 2019-08-16

Family

ID=67571231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414842.4A Pending CN110135359A (zh) 2019-05-17 2019-05-17 一种基于声源定位的监控视频评估行为分析处理方法

Country Status (1)

Country Link
CN (1) CN110135359A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922143B1 (ko) 2011-08-25 2018-11-26 제너럴 일렉트릭 캄파니 기화기의 시동 중에 연료 공급을 전환하기 위한 시스템과 방법
CN112633150A (zh) * 2020-12-22 2021-04-09 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN113379381A (zh) * 2021-06-08 2021-09-10 深圳市宇航智造技术有限公司 一种消毒工作监测管理方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771814A (zh) * 2009-12-29 2010-07-07 天津市亚安科技电子有限公司 具有声音识别定位功能的云台摄像机
WO2010141116A3 (en) * 2009-02-19 2011-06-03 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
CN102522082A (zh) * 2011-12-27 2012-06-27 重庆大学 一种公共场所异常声音的识别与定位方法
CN103067692A (zh) * 2012-12-30 2013-04-24 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103116959A (zh) * 2013-01-25 2013-05-22 上海博超科技有限公司 一种智能视频中异常行为的分析识别方法
JP2014067383A (ja) * 2012-09-24 2014-04-17 Ramrock Co Ltd 行動監視通報システム
CN104318244A (zh) * 2014-10-16 2015-01-28 深圳锐取信息技术股份有限公司 一种基于教学视频的行为检测方法及装置
CN106412488A (zh) * 2015-07-29 2017-02-15 中兴通讯股份有限公司 一种监控系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010141116A3 (en) * 2009-02-19 2011-06-03 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
CN101771814A (zh) * 2009-12-29 2010-07-07 天津市亚安科技电子有限公司 具有声音识别定位功能的云台摄像机
CN102522082A (zh) * 2011-12-27 2012-06-27 重庆大学 一种公共场所异常声音的识别与定位方法
JP2014067383A (ja) * 2012-09-24 2014-04-17 Ramrock Co Ltd 行動監視通報システム
CN103067692A (zh) * 2012-12-30 2013-04-24 同方(深圳)云计算技术股份有限公司 基于网络硬盘录像机危险入侵的后处理检测方法及系统
CN103116959A (zh) * 2013-01-25 2013-05-22 上海博超科技有限公司 一种智能视频中异常行为的分析识别方法
CN104318244A (zh) * 2014-10-16 2015-01-28 深圳锐取信息技术股份有限公司 一种基于教学视频的行为检测方法及装置
CN106412488A (zh) * 2015-07-29 2017-02-15 中兴通讯股份有限公司 一种监控系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101922143B1 (ko) 2011-08-25 2018-11-26 제너럴 일렉트릭 캄파니 기화기의 시동 중에 연료 공급을 전환하기 위한 시스템과 방법
CN112633150A (zh) * 2020-12-22 2021-04-09 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN112633150B (zh) * 2020-12-22 2024-10-18 中国华戎科技集团有限公司 一种基于目标轨迹分析的滞留徘徊行为识别方法和系统
CN113379381A (zh) * 2021-06-08 2021-09-10 深圳市宇航智造技术有限公司 一种消毒工作监测管理方法及系统

Similar Documents

Publication Publication Date Title
CN110135359A (zh) 一种基于声源定位的监控视频评估行为分析处理方法
CN110659397B (zh) 一种行为检测方法、装置、电子设备和存储介质
US20200413138A1 (en) Adaptive Media Playback Based on User Behavior
WO2017177903A1 (zh) 一种实时手势检测的在线验证方法及系统
US10755081B2 (en) Method and apparatus for identifying pupil in image
Warburton et al. Measuring motion-to-photon latency for sensorimotor experiments with virtual reality systems
CN104065924A (zh) 一种在线同步课堂智能跟踪方法及系统
CN113553765B (zh) 锅炉运行过程的动态仿真模拟方法、装置及系统
CN111273232B (zh) 一种室内异常情况判断方法及系统
CN113052127A (zh) 一种行为检测方法、系统、计算机设备及机器可读介质
WO2020052062A1 (zh) 检测方法和装置
CN104679307A (zh) 一种检测触摸屏幕滑动灵敏度的方法及装置
JPWO2016199356A1 (ja) 動作分析装置、動作分析方法および動作分析プログラム
TWI624805B (zh) 用來呈現路徑分佈特性的物件統計方法及其影像處理裝置
Akash et al. Monitoring and Analysis of Students’ Live Behaviour using Machine Learning
CN112598953A (zh) 一种基于列车驾驶仿真系统乘务员的评价系统及方法
CN104318244A (zh) 一种基于教学视频的行为检测方法及装置
CN108022253A (zh) 图像处理装置、图像处理系统以及图像处理方法
Vrzakova et al. Speakers' head and gaze dynamics weakly correlate in group conversation
JP2020087091A (ja) 熟練度判定システム
CN104486581B (zh) 一种多仿生眼监控区域画面实时动态显示方法及系统
JP2018191182A (ja) 監視装置、監視方法、コンピュータプログラム、及び記憶媒体
Jindai et al. A nodding detection system based on the active appearance model
Liu et al. A scalable automated system to measure user experience on smart devices
JP7534689B2 (ja) 遠隔作業制御システム、遠隔作業制御方法及びコンピュータープログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication