CN109922311B - 基于音视频联动的监控方法、装置、终端及存储介质 - Google Patents

基于音视频联动的监控方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109922311B
CN109922311B CN201910111104.2A CN201910111104A CN109922311B CN 109922311 B CN109922311 B CN 109922311B CN 201910111104 A CN201910111104 A CN 201910111104A CN 109922311 B CN109922311 B CN 109922311B
Authority
CN
China
Prior art keywords
monitoring
hotspot
audio
area
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910111104.2A
Other languages
English (en)
Other versions
CN109922311A (zh
Inventor
王路生
陆进
陈斌
宋晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910111104.2A priority Critical patent/CN109922311B/zh
Publication of CN109922311A publication Critical patent/CN109922311A/zh
Priority to PCT/CN2019/118158 priority patent/WO2020164277A1/zh
Application granted granted Critical
Publication of CN109922311B publication Critical patent/CN109922311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于安防监控技术领域,尤其涉及一种基于音视频联动的监控方法、装置、终端及存储介质。其中,所述监控方法包括:获取监控区域的监控图像;对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控。本发明在进行较大范围的视频监控时能够降低视频监控设备的硬件成本,并且在进行音频监控时有利于提高声音质量。

Description

基于音视频联动的监控方法、装置、终端及存储介质
技术领域
本发明属于安防监控技术领域,尤其涉及一种基于音视频联动的监控方法、装置、终端及存储介质。
背景技术
视频监控是安全防范系统的重要组成部分,传统技术中的视频监控侧重于对监控区域的图像信息进行采集,通常不进行声音采集,而市场上存在的少量配置有声音采集设备的监控终端,由于监控区域具备一定的范围,声音采集方向难以对准声源方向,导致采集的声音质量较低,不能起到音频监控的应有作用。
另外,由于视频监控的摄像设备存在一定的监控视野范围,导致在监控视范围边缘附近发生的事件难以被摄像设备完整记录,传统技术中通常采用配备多个摄像设备的方式进行多摄像头组合监控,这样提高了监控的硬件成本。
发明内容
有鉴于此,本发明提供了一种基于音视频联动的监控方法、装置、终端及存储介质,以解决现有技术中音频监控的声音质量不高以及在进行较大范围视频监控时硬件成本高的问题。
本发明实施例的第一方面提供了一种基于音视频联动的监控方法,可以包括:
获取监控区域的监控图像;
对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;
若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;
将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;
将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控。
本发明实施例的第二方面提供了一种基于音视频联动的监控装置,可以包括:
图像获取单元,用于获取监控区域的监控图像;
第一热点分析单元,用于对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;
第一方位计算单元,用于若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;
视频监控单元,用于将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;
音频监控单元,用于将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控。
本发明实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如上述本发明的第一方面及第一方面任一种可能的实现方式中的基于音视频联动的监控方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如上述本发明的第一方面及第一方面任一种可能的实现方式中的基于音视频联动的监控方法的步骤。
本发明与现有技术相比存在的有益效果是:
本发明通过获取监控区域的监控图像;对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;也即,通过对监控图像进行热点分析来发现监控区域的监控热点,并通过调整监控视野的中心方向使监控热点处于监控视野中心,如此一来在进行较大范围的视频监控时可以无需额外布置多个监控设备,能够降低视频监控设备的硬件成本;另一方面,通过将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控,可以将音频监控设备的声音采集方向对准监控热点方向,从而在进行音频监控时有利于提高声音质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例中基于音视频联动的监控方法的一个实施例流程图;
图2为本发明实施例中基于音视频联动的监控方法的另一个实施例流程图;
图3为本发明实施例中基于音视频联动的监控装置的一个实施例结构图;
图4为本发明实施例中一种终端的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明实施例中基于音视频联动的监控方法的一个实施例可以包括:
在步骤S101中、获取监控区域的监控图像。
在本发明实施例中,获取监控终端拍摄的监控区域的监控图像,具体的,该监控终端可以配置有摄像组件,通过摄像组件对监控区域进行视频监控,采集监控区域的实时画面图像。
在一种实现方式中,摄像组件可以设置有云台,通过云台可以调整摄像组件的视频画面拍摄方向。
在本发明实施例中,当监控区域的范围大于摄像组件的监控视野时,可以通过云台来控制摄像组件的拍摄方向在监控区域范围内循环移动,实现对范围大于摄像组件的监控视野的监控区域的视频监控。
在步骤S102中、对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点。
在视频监控过程中,可以实时或每隔指定的时间间隔获取监控区域的监控图像,并对该监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点。
在本发明实施例中,第一监控热点是指监控区域中的监控重点,例如,监控热点可以是监控区域中出现的一个目标人物,也可以是监控区域中出现的一个冲突事件。在实际应用中,可以通过预先指定该监控热点的图像特征是来实现对监控区域中是否出现监控热点的判断。
例如,以某目标人物A为第一监控热点时,可以预先存储该目标人物A的人脸特征,在视频监控过程中,通过获取监控图像,并对监控图像进行人脸特征识别,当识别出监控图像上出现该目标人物A的人脸特征时,判定监控区域中出现第一监控热点,监控区域中目标人物A的所在位置也即第一监控热点的位置。
在一种实现方式中,上述步骤S102可以包括:
判断所述监控图像上是否存在人群密度大于预设密度阈值的图像区域;
若存在所述图像区域,则判定所述监控区域中存在第一监控热点;
若不存在所述图像区域,则判定所述监控区域中不存在第一监控热点。
在本实施例中,可以预先设置指定大小的滑动窗口,并将该滑动窗口遍历监控图像,在遍历过程中,统计滑动窗口的人群密度,并判断滑动窗口的人群密度是否大于预设的密度阈值,将滑动窗口的人群密度大于预设的密度阈值时,该滑动窗口所在位置对应的图像区域确定第一监控热点的所在区域。
需要说明的是,当监控图像中存在两个以上大于预设密度阈值的图像区域时,可以选取其中人群密度最大的一个监控热点作为第一监控热点。
在本实施例中,可以通过识别滑动窗口中的人头数量,来确定人群密度。人群密度较大时,表示可能为一个群体事件,故可将其作为监控终端。
在步骤S103中、若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位。
在本发明实施例中,由于监控图像和监控区域存在一定的对应关系,可以根据第一监控热点对应的图像区域在监控图像上的位置来确定第一监控热点在监控区域中的第一方位。
在一种实现方式中,上述步骤S103可以包括:
根据所述图像区域的中心像素点在所述监控图像上的位置,得到第一坐标;
根据预设的坐标方位对应关系,确定所述第一坐标在所述监控区域中的第一方位。
在本实施例中,监控图像和监控区域存在的对应关系与摄像组件的实际参数相关,基于摄像组件的实际参数,可以预先建立坐标方位对应关系,该坐标方位对应关系存储有监控图像上的像素点坐标与实际监控区域方位的对应关系。由此,对于监控图像上与第一监控热点对应的图像区域,可以选取该图像区域的中心像素点,根据坐标方位对应关系,查找与该中心像素点的坐标对应的方位,即可得到所述第一方位。
在步骤S104中、将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控。
在步骤S105中、将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控。
在本发明实施例中,由于第一方位为监控区域中的第一监控热点,可以通过调整云台将摄像组件监控的中心方向调整为该第一方向,也即使得第一监控热点位于摄像组件监控视野的中心位置,这样可以使得监控区域中发生监控热点对应的事件时,能够获得较为全面的监控视频信息。
同理,在本发明实施例中,由于第一方位为监控区域中的第一监控热点,可以通过调整音频监控设备的音频采集方向,使得音频监控设备的音频采集方向与该第一方向一致,也即使得音频监控设备的音频采集方向对准了第一监控热点,这样可以使得监控区域中发生监控热点对应的事件时,能够获得较高质量的监控音频信息。
综上所述,本发明通过获取监控区域的监控图像;对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;也即,通过对监控图像进行热点分析来发现监控区域的监控热点,并通过调整监控视野的中心方向使监控热点处于监控视野中心,如此一来在进行较大范围的视频监控时可以无需额外布置多个监控设备,能够降低视频监控设备的硬件成本;另一方面,通过将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控,可以将音频监控设备的声音采集方向对准监控热点方向,从而在进行音频监控时有利于提高声音质量。
请参阅图2,本发明实施例中基于音视频联动的监控方法的另一个实施例可以包括:
步骤S201、获取所述监控区域的监控音频。
在本发明实施例中,监控终端可以配置有音频采集组件,例如该音频采集组件可以为麦克风。通过音频采集组件采集监控区域的音频信息,获取音频采集组件采集到的监控区域的监控音频。
在一种实现方式中,可以以一定的速度调整音频采集组件的音频采集方向,使得该音频采集组件的音频采集方向可以遍历监控区域,以便采集到更多的音频信息。
步骤S202、对所述监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点。
在音频监控过程中,可以实时对采集的监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点。在这里,第二监控热点是指通过声音识别到的监控区域的监控重点,例如,第二监控热点可以为指定的声音(通过声纹特征进行识别),也可以为指定的语音(例如救命或者“help”,通过语音转文字进行语音识别),还可以为声音强度超过一定值的声源。
在一种实现方式中,上述步骤S202可以包括:
判断所述监控音频中是否存在声音强度大于预设强度阈值的目标声源;
若存在所述目标声源,则判定所述监控区域中存在第二监控热点;
若不存在所述目标声源,则判定所述监控区域中不存在第二监控热点。
监控音频中出现较大声音强度的声音,表示该监控区域中可能出现需重点监控的事件。在本实施例中,可以对采集的不同声源的声音信息进行声音强度的检测,当检测到声音强度大于预设强度阈值的目标声源时,判定监控区域中存在第二监控热点。
步骤S203、若所述监控区域中存在所述第二监控热点,则计算所述第二监控热点在所述监控区域中的第二方位。
在本发明实施例中,对于监控区域中的第二监控热点,可以通过声音传播时间和声音传播方向的信息进行计算,获得目标声源的方位。
在一种实现方式中,音频采集设备可以为麦克风阵列,通过麦克风阵列来采集监控区域的音频信息,上述步骤S203可以包括:
根据所述麦克风阵列中各麦克风的位置排布,以及,所述麦克风阵列中各麦克风采集到所述目标声源发出的声音的时间差,计算所述目标声源在所述第二监控热点在所述监控区域中的第二方位。
步骤S204、将所述第二方位所在的方向确定为视频监控的中心方向进行视频监控。
步骤S205、将所述第二方位所在的方向确定为音频监控的中心方向进行音频监控。
在本发明实施例中,由于第二方位为监控区域中的第二监控热点,可以通过调整云台将摄像组件监控的中心方向调整为该第二方向,也即使得第二监控热点位于摄像组件监控视野的中心位置,这样可以使得监控区域中发生监控热点对应的事件时,能够获得较为全面的监控视频信息。
同理,在本发明实施例中,由于第二方位为监控区域中的第二监控热点,可以通过调整音频监控设备的音频采集方向,使得音频监控设备的音频采集方向与该第二方向一致,也即使得音频监控设备的音频采集方向对准了第二监控热点,这样可以使得监控区域中发生监控热点对应的事件时,能够获得较高质量的监控音频信息。
在一种实现方式中,上述图1所示实施例和图2所示实施例可以共同实施,以实现音频监控和视频监控的联动。可以使得摄像组件能够获取到较多的视频画面信息,并且,使得音频采集设备获取到较高质量的声音信息。
可选的,在上述图1所示实施例和图2所示实施例合并实施的方案中,若所述监控区域中同时存在所述第一监控热点与所述第二监控热点,且,所述第一监控热点与所述第二监控热点对应的第一方位和第二方位不一致,则可以分别计算所述第一监控热点和第二监控热点的热点度得分;例如,不同的人群密度值对应于一定的热点度分值,不同的声音强度对应于一定的热点度分值,通过将热点度得分较高的监控热点对应的方位确定为目标方位;
将所述目标方位所在的方向确定为视频监控的中心方向进行视频监控;
将所述目标方位所在的方向确定为音频监控的中心方向进行音频监控。
在本发明实施例中,通过热点度得分的比较,从第一监控热点和第二监控热点中选取更重要的监控热点作为监控的中心点,得到目标方位,并将目标方位所在的方向确定为视频监控的中心方向进行视频监控,以及音频监控的中心方向进行音频监控,实现对监控区域中最重要的事件进行重点监控。
综上所述,本发明通过获取监控区域的监控图像;对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;也即,通过对监控图像进行热点分析来发现监控区域的监控热点,并通过调整监控视野的中心方向使监控热点处于监控视野中心,如此一来在进行较大范围的视频监控时可以无需额外布置多个监控设备,能够降低视频监控设备的硬件成本;另一方面,通过将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控,可以将音频监控设备的声音采集方向对准监控热点方向,从而在进行音频监控时有利于提高声音质量。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的基于音视频联动的监控方法,图3示出了本发明实施例提供的基于音视频联动的监控装置的一个实施例结构图。
本实施例中,基于音视频联动的监控装置3可以包括:图像获取单元31,第一热点分析单元32,第一方位计算单元33,视频监控单元34和音频监控单元35。
图像获取单元31,用于获取监控区域的监控图像;
第一热点分析单元32,用于对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;
第一方位计算单元33,用于若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;
视频监控单元34,用于将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;
音频监控单元35,用于将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控。
可选的,基于音视频联动的监控装置3还可以包括:
密度判断单元,用于判断所述监控图像上是否存在人群密度大于预设密度阈值的图像区域;
第一热点分析单元32具体用于,若密度判断单元判定存在所述图像区域,则判定所述监控区域中存在第一监控热点;以及,若密度判断单元判定不存在所述图像区域,则判定所述监控区域中不存在第一监控热点。
可选的,基于音视频联动的监控装置3还可以包括:
坐标获取单元,用于根据所述图像区域的中心像素点在所述监控图像上的位置,得到第一坐标;
第一方位计算单元33具体用于,根据预设的坐标方位对应关系,确定所述第一坐标在所述监控区域中的第一方位。
可选的,基于音视频联动的监控装置3还可以包括:
音频获取单元,用于获取所述监控区域的监控音频;
第二热点分析单元,用于对所述监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点;
第二方位计算单元,用于若所述监控区域中存在所述第二监控热点,则计算所述第二监控热点在所述监控区域中的第二方位;
视频监控单元34还用于,将所述第二方位所在的方向确定为视频监控的中心方向进行视频监控;
音频监控单元35还用于,将所述第二方位所在的方向确定为音频监控的中心方向进行音频监控。
可选的,基于音视频联动的监控装置3还可以包括:
强度判断单元,用于判断所述监控音频中是否存在声音强度大于预设强度阈值的目标声源;
第二热点分析单元具体用于,若强度判断单元判定存在所述目标声源,则判定所述监控区域中存在第二监控热点;以及,若强度判断单元判定不存在所述目标声源,则判定所述监控区域中不存在第二监控热点。
可选的,音频获取单元具体用于,利用麦克风阵列获取所述监控区域的监控音频;
相应的,第二方位计算单元具体用于,根据所述麦克风阵列中各麦克风的位置排布,以及,所述麦克风阵列中各麦克风采集到所述目标声源发出的声音的时间差,计算所述目标声源在所述第二监控热点在所述监控区域中的第二方位。
可选的,基于音视频联动的监控装置3还可以包括:
热点度计算单元,用于若所述监控区域中同时存在所述第一监控热点与所述第二监控热点,且,所述第一监控热点与所述第二监控热点对应的第一方位和第二方位不一致,则分别计算所述第一监控热点和第二监控热点的热点度得分。
目标方位确定单元,用于将热点度得分较高的监控热点对应的方位确定为目标方位;
相应的,视频监控单元34还用于,将所述目标方位所在的方向确定为视频监控的中心方向进行视频监控;音频监控单元35还用于,将所述目标方位所在的方向确定为音频监控的中心方向进行音频监控。
综上所述,本发明通过获取监控区域的监控图像;对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;也即,通过对监控图像进行热点分析来发现监控区域的监控热点,并通过调整监控视野的中心方向使监控热点处于监控视野中心,如此一来在进行较大范围的视频监控时可以无需额外布置多个监控设备,能够降低视频监控设备的硬件成本;另一方面,通过将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控,可以将音频监控设备的声音采集方向对准监控热点方向,从而在进行音频监控时有利于提高声音质量。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
图4示出了本发明实施例提供的一种终端的示意框图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本实施例中,所述终端4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端4可包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42,例如执行上述的基于音视频联动的监控方法的计算机可读指令。所述处理器40执行所述计算机可读指令42时实现上述各个基于音视频联动的监控方法实施例中的步骤,例如图1所示的步骤S101至步骤S105。或者,所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各单元的功能,例如图3所示单元31至35的功能。
示例性的,所述计算机可读指令42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令42在所述终端4中的执行过程。
所述处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端4的内部存储单元,例如终端4的硬盘或内存。所述存储器41也可以是所述终端4的外部存储设备,例如所述终端4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述终端4所需的其它指令和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于音视频联动的监控方法,其特征在于,包括:
获取监控区域的监控图像;
对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点,包括:判断所述监控图像上是否存在人群密度大于预设密度阈值的图像区域;若存在所述图像区域,则判定所述监控区域中存在第一监控热点;若不存在所述图像区域,则判定所述监控区域中不存在第一监控热点;其中,预先设置指定大小的滑动窗口,并将所述滑动窗口遍历监控图像,在遍历过程中,统计所述滑动窗口的人群密度,并判断所述滑动窗口的人群密度是否大于预设的密度阈值,当所述滑动窗口的人群密度大于预设的密度阈值时,所述滑动窗口所在位置对应的图像区域确定第一监控热点的所在区域;其中,通过识别滑动窗口中的人头数量,来确定人群密度;当监控图像中存在两个以上大于预设密度阈值的图像区域时,选取其中人群密度最大的一个监控热点作为第一监控热点;
若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;
将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;
将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控;
所述监控方法还包括:
获取所述监控区域的监控音频;
对所述监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点;
若所述监控区域中存在所述第二监控热点,则计算所述第二监控热点在所述监控区域中的第二方位;
将所述第二方位所在的方向确定为视频监控的中心方向进行视频监控;
将所述第二方位所在的方向确定为音频监控的中心方向进行音频监控;
若所述监控区域中同时存在所述第一监控热点与所述第二监控热点,且,所述第一监控热点与所述第二监控热点对应的第一方位和第二方位不一致,则分别计算所述第一监控热点和第二监控热点的热点度得分;
将热点度得分较高的监控热点对应的方位确定为目标方位;
将所述目标方位所在的方向确定为视频监控的中心方向进行视频监控;
将所述目标方位所在的方向确定为音频监控的中心方向进行音频监控。
2.根据权利要求1所述的基于音视频联动的监控方法,其特征在于,所述若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位,包括:
根据所述图像区域的中心像素点在所述监控图像上的位置,得到第一坐标;
根据预设的坐标方位对应关系,确定所述第一坐标在所述监控区域中的第一方位。
3.根据权利要求1所述的基于音视频联动的监控方法,其特征在于,所述对所述监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点,包括:
判断所述监控音频中是否存在声音强度大于预设强度阈值的目标声源;
若存在所述目标声源,则判定所述监控区域中存在第二监控热点;
若不存在所述目标声源,则判定所述监控区域中不存在第二监控热点。
4.根据权利要求3所述的基于音视频联动的监控方法,其特征在于,所述获取所述监控区域的监控音频包括:
利用麦克风阵列获取所述监控区域的监控音频;
相应的,所述若所述监控区域中存在所述第二监控热点,则计算所述第二监控热点在所述监控区域中的第二方位包括:
根据所述麦克风阵列中各麦克风的位置排布,以及,所述麦克风阵列中各麦克风采集到所述目标声源发出的声音的时间差,计算所述目标声源在所述第二监控热点在所述监控区域中的第二方位。
5.一种基于音视频联动的监控装置,其特征在于,包括:
图像获取单元,用于获取监控区域的监控图像;
第一热点分析单元,用于对所述监控图像进行热点分析,以判断所述监控区域中是否存在第一监控热点;
第一方位计算单元,用于若所述监控区域中存在所述第一监控热点,则计算所述第一监控热点在所述监控区域中的第一方位;
视频监控单元,用于将所述第一方位所在的方向确定为视频监控的中心方向进行视频监控;
音频监控单元,用于将所述第一方位所在的方向确定为音频监控的中心方向进行音频监控;
所述第一热点分析单元具体用于,判断所述监控图像上是否存在人群密度大于预设密度阈值的图像区域;若存在所述图像区域,则判定所述监控区域中存在第一监控热点;若不存在所述图像区域,则判定所述监控区域中不存在第一监控热点;其中,预先设置指定大小的滑动窗口,并将所述滑动窗口遍历监控图像,在遍历过程中,统计所述滑动窗口的人群密度,并判断所述滑动窗口的人群密度是否大于预设的密度阈值,当所述滑动窗口的人群密度大于预设的密度阈值时,所述滑动窗口所在位置对应的图像区域确定第一监控热点的所在区域;其中,通过识别滑动窗口中的人头数量,来确定人群密度;当监控图像中存在两个以上大于预设密度阈值的图像区域时,选取其中人群密度最大的一个监控热点作为第一监控热点;
所述监控装置还包括:
音频获取单元,用于获取所述监控区域的监控音频;
第二热点分析单元,用于对所述监控音频进行热点分析,以判断所述监控区域中是否存在第二监控热点;
第二方位计算单元,用于若所述监控区域中存在所述第二监控热点,则计算所述第二监控热点在所述监控区域中的第二方位;
所述视频监控单元还用于,将所述第二方位所在的方向确定为视频监控的中心方向进行视频监控;
所述音频监控单元还用于,将所述第二方位所在的方向确定为音频监控的中心方向进行音频监控;
热点度计算单元,用于若所述监控区域中同时存在所述第一监控热点与所述第二监控热点,且,所述第一监控热点与所述第二监控热点对应的第一方位和第二方位不一致,则分别计算所述第一监控热点和第二监控热点的热点度得分;
目标方位确定单元,用于将热点度得分较高的监控热点对应的方位确定为目标方位;
所述视频监控单元还用于,将所述目标方位所在的方向确定为视频监控的中心方向进行视频监控;
所述音频监控单元还用于,将所述目标方位所在的方向确定为音频监控的中心方向进行音频监控。
6.一种识别终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现如权利要求1至4中任一项所述的基于音视频联动的监控方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的基于音视频联动的监控方法的步骤。
CN201910111104.2A 2019-02-12 2019-02-12 基于音视频联动的监控方法、装置、终端及存储介质 Active CN109922311B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910111104.2A CN109922311B (zh) 2019-02-12 2019-02-12 基于音视频联动的监控方法、装置、终端及存储介质
PCT/CN2019/118158 WO2020164277A1 (zh) 2019-02-12 2019-11-13 一种基于音视频联动的监控方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910111104.2A CN109922311B (zh) 2019-02-12 2019-02-12 基于音视频联动的监控方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109922311A CN109922311A (zh) 2019-06-21
CN109922311B true CN109922311B (zh) 2022-01-28

Family

ID=66961420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910111104.2A Active CN109922311B (zh) 2019-02-12 2019-02-12 基于音视频联动的监控方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN109922311B (zh)
WO (1) WO2020164277A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922311B (zh) * 2019-02-12 2022-01-28 平安科技(深圳)有限公司 基于音视频联动的监控方法、装置、终端及存储介质
CN111010546A (zh) * 2019-12-20 2020-04-14 浙江大华技术股份有限公司 监控预置点的调整方法、装置及存储介质
CN113676593B (zh) * 2021-08-06 2022-12-06 Oppo广东移动通信有限公司 视频录制方法、装置、电子设备及存储介质
CN113840087B (zh) * 2021-09-09 2023-06-16 Oppo广东移动通信有限公司 声音处理方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204046720U (zh) * 2014-03-04 2014-12-24 深圳信息职业技术学院 一种安全监控系统
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
CN107889054A (zh) * 2017-12-08 2018-04-06 沈阳首视科技有限责任公司 人群位置采集装置、实时监控指引系统以及交互监控方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4316541B2 (ja) * 2005-06-27 2009-08-19 パナソニック株式会社 監視記録装置及び監視記録方法
US20080252722A1 (en) * 2007-04-11 2008-10-16 Yuan-Kai Wang System And Method Of Intelligent Surveillance And Analysis
CN101511000B (zh) * 2009-02-27 2011-02-16 中山大学 一种利用声波定位的智能监控摄像头装置
US9111147B2 (en) * 2011-11-14 2015-08-18 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
CN102833476B (zh) * 2012-08-17 2015-01-21 歌尔声学股份有限公司 终端设备用摄像头和终端设备用摄像头的实现方法
CN104135653A (zh) * 2014-08-15 2014-11-05 魏鹏 一种声源定位与视频联动平台
CN106303211B (zh) * 2015-10-27 2020-01-14 小米科技有限责任公司 控制拍摄的方法、装置及系统
CN106341665A (zh) * 2016-09-30 2017-01-18 浙江宇视科技有限公司 一种跟踪监控方法及装置
CN109241933A (zh) * 2018-09-21 2019-01-18 深圳市九洲电器有限公司 视频联动监控方法、监控服务器、视频联动监控系统
CN109922311B (zh) * 2019-02-12 2022-01-28 平安科技(深圳)有限公司 基于音视频联动的监控方法、装置、终端及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204046720U (zh) * 2014-03-04 2014-12-24 深圳信息职业技术学院 一种安全监控系统
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
CN107889054A (zh) * 2017-12-08 2018-04-06 沈阳首视科技有限责任公司 人群位置采集装置、实时监控指引系统以及交互监控方法

Also Published As

Publication number Publication date
CN109922311A (zh) 2019-06-21
WO2020164277A1 (zh) 2020-08-20

Similar Documents

Publication Publication Date Title
CN109922311B (zh) 基于音视频联动的监控方法、装置、终端及存储介质
CN110189378B (zh) 一种视频处理方法、装置及电子设备
WO2020094091A1 (zh) 一种图像抓拍方法、监控相机及监控系统
US8913103B1 (en) Method and apparatus for focus-of-attention control
CN107016322B (zh) 一种尾随人员分析的方法及装置
CN108491784B (zh) 面向大型直播场景的单人特写实时识别与自动截图方法
US20220215560A1 (en) Method and device for tracking multiple target objects in motion state
CN106529406B (zh) 一种获取视频摘要图像的方法和装置
WO2020094088A1 (zh) 一种图像抓拍方法、监控相机及监控系统
CN113676592B (zh) 录音方法、装置、电子设备及计算机可读介质
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN110889314B (zh) 图像处理方法、装置、电子设备、服务器及系统
US11315360B2 (en) Live facial recognition system and method
CN106338711A (zh) 一种基于智能设备的语音定向方法及系统
CN113302907B (zh) 拍摄方法、装置、设备及计算机可读存储介质
CN111079687A (zh) 证件伪装识别方法、装置、设备及存储介质
JP2019517079A (ja) 形状検知
Raju et al. Processing of egocentric camera images from a wearable food intake sensor
CN108764153A (zh) 人脸识别方法、装置、系统和存储介质
CN110472561B (zh) 足球进球类型识别方法、装置、系统及存储介质
CN113822927B (zh) 一种适用弱质量图像的人脸检测方法、装置、介质及设备
JP4708835B2 (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
CN113259734B (zh) 针对交互场景的智能导播方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant