CN115393798A - 预警方法、装置、电子设备及存储介质 - Google Patents

预警方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115393798A
CN115393798A CN202211065440.6A CN202211065440A CN115393798A CN 115393798 A CN115393798 A CN 115393798A CN 202211065440 A CN202211065440 A CN 202211065440A CN 115393798 A CN115393798 A CN 115393798A
Authority
CN
China
Prior art keywords
early warning
identified
video
images
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211065440.6A
Other languages
English (en)
Other versions
CN115393798B (zh
Inventor
卢明
唐军
卢汉利
陆振心
莫传喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Soyo Technology Development Co ltd
Original Assignee
Shenzhen Soyo Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Soyo Technology Development Co ltd filed Critical Shenzhen Soyo Technology Development Co ltd
Priority to CN202211065440.6A priority Critical patent/CN115393798B/zh
Publication of CN115393798A publication Critical patent/CN115393798A/zh
Application granted granted Critical
Publication of CN115393798B publication Critical patent/CN115393798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00Audible signalling systems; Audible personal calling systems
    • G08B3/10Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)

Abstract

本申请实施例公开了一种预警方法、装置、电子设备及存储介质。该方法包括:通过目标场所的图像采集装置实时获取待识别视频;获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值,不仅节约了人力资源,还实时通知相关人员使得对异常行为及时作出处理,减少目标场所的损失。

Description

预警方法、装置、电子设备及存储介质
技术领域
本申请涉及视频处理技术领域,具体涉及一种预警方法、装置、电子设备及存储介质。
背景技术
目前,安全场所是否存在异常行为是基于安保人员盯防监控视频实现的,但是,人力资源有限,不能保证实时盯着监控视频观看;当安保人员漏看或者未看监控视频时,或者发现出现异常行为时,由于传输距离限制原因无法及时通知相关人员,使得安全场所存在安全隐患。
发明内容
本申请实施例提供了一种预警方法、装置、电子设备及存储介质,通过智能识别异常行为、发送预警语音,不仅节约了人力资源,还实现了远距离实时通知相关人员目标场所发生异常行为。
第一方面,本申请实施例提供一种预警方法,该方法包括:
通过目标场所的图像采集装置实时获取待识别视频;
获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;
根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;
向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值。
第二方面,本申请实施例提供一种预警装置,该装置包括:收发单元和处理单元;
收发单元,通过目标场所的图像采集装置实时获取待识别视频;
获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;
处理单元,根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;
收发单元,向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值。
第三方面,本申请实施例提供一种电子设备,包括:处理器和存储器,处理器与存储器相连,存储器用于存储计算机程序,处理器用于执行存储器中存储的计算机程序,以使得电子设备执行如第一方面的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序使得计算机执行如第一方面的方法。
第五方面,本申请实施例提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机可操作来使计算机执行如第一方面的方法。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中,通过目标场所的图像采集装置实时获取待识别视频;获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值,不仅节约了人力资源,还实现了远距离实时通知相关人员目标场所发生异常行为,使得相关人员对异常行为及时作出处理,减少目标场所的损失。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种预警系统的示意图;
图2为本申请实施例提供的一种预警系统的场景示意图;
图3为本申请实施例提供的一种预警方法的流程示意图;
图4a为本申请实施例提供的一种根据多帧第三待识别图像确定多个第一路径点的示意图;
图4b为本申请实施例提供的一种根据多帧第四待识别图像确定多个第二路径点的示意图;
图4c为本申请实施例提供的一种根据多个第一路径点和多个第二路径点确定第一数量的示意图;
图5为本申请实施例提供的一种预警装置的功能单元组成框图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1为本申请实施例提供的一种预警系统的示意图。预警系统包括图像采集装置101、预警装置102和音频设备103。
图像采集装置101,可以安装在目标场所的外部或者内部,一般安装在目标场所的入口处;目标场所可以是商场各珠宝店、银行、别墅等等,本申请对此不作限定。
音频设备103,可以是目标场所监控中心的播放器、目标场所安保人员携带的播放设备、相关人员的手机等等;应说明,音频设备103的安装位置和图像采集装置101之间的距离应大于第一阈值。
预警装置102从图像采集装置101接收实时采集的目标场所的待识别视频以及从图像采集装置101获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为,也即是说,此处历史视频记录了目标场所发生的一个历史异常行为的过程。应说明,预警装置102获取待识别视频和历史视频的顺序本申请不作限定,预警装置102可以先获取待识别视频,再获取历史视频,或者先获取历史视频,再获取待识别视频,也可以同时获取待识别视频和历史视频。
然后,预警装置102根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件。最后,预警装置102向音频设备103发送预警语音,以通过音频设备103播放预警语音。
基于此,参见图2,图2为本申请实施例提供的一种预警系统的场景示意图,该预警系统包括珠宝店监控设备201、预警装置202和音频设备203,应说明,音频设备203的安装位置和珠宝店监控设备201之间的距离应大于第一阈值;音频设备203包括珠宝店监控中心203、珠宝店工作人员手机203和珠宝店负责人手机203(比如,珠宝店的经理、珠宝店的老板等等),等等。
预警装置202从珠宝店监控设备201接收实时采集的待识别视频,以及从珠宝店监控设备201获取珠宝店的历史视频。
然后,预警装置202根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音。
最后,预警装置202向音频设备203中的珠宝店监控中心203、珠宝店工作人员手机203以及珠宝店负责人手机203(比如,珠宝店的经理、珠宝店的老板等等)发送预警语音,以通过珠宝店监控中心203播放预警语音,或者通过珠宝店工作人员手机203、珠宝店负责人手机203播放预警语音,以提醒珠宝店安保人员、珠宝店工作人员以及珠宝店负责人珠宝店即将发生危险事件。
基于此,本申请的实施例还提供了另一种预警系统的场景应用,该预警系统包括某银行支行的监控设备30、预警装置31和音频设备32,应说明,音频设备32的安装位置和某银行支行的监控设备30之间的距离应大于第一阈值;音频设备32包括某银行支行的监控中心、某银行支行的安保人员身上的播放设备、某银行支行工作人员的手机和或某银行支行负责人的手机(比如,某银行支行的局长、某银行支行的主任、某银行支行的经理等等)。
预警装置31从某银行支行的监控设备30接收实时采集的待识别视频,以及从某银行支行的监控设备30获取某银行支行的历史视频。
然后,预警装置31根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音。
最后,预警装置31向音频设备32中的某银行支行的监控中心、某银行支行的安保人员携带的播放设备、某银行支行工作人员的手机和或某银行支行负责人的手机(比如,某银行支行的局长、某银行支行的主任、某银行支行的经理等等)发送预警语音,以通过某银行支行的监控中心的播放设备播放预警语音,或者通过某银行支行的安保人员身上的播放设备、某银行支行工作人员的手机和或某银行支行负责人的手机播放预警语音,以提醒某银行支行安保人员或者某银行支行工作人员和或某银行支行负责人银行即将发生危险事件。
应说明,本申请实施例提供的预警系统除了应用在上述珠宝店和银行,还可以应用在其他需要密切关注行为人的异常行为以及远距离无线传输来保护相关人员财物的场景,比如博物馆、别墅、商场各经营店等等,本申请不一一列举。
可以看出,在本申请实施例中,通过目标场所的图像采集装置实时获取待识别视频;获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值,不仅节约了人力资源,还实现了远距离实时通知相关人员目标场所发生异常行为,使得相关人员对异常行为及时作出处理,减少目标场所的损失。
参阅图3,图3为本申请实施例提供的一种预警方法的流程示意图,该方法包括但不限于步骤301-307:
301:图像采集装置实时获取待识别视频。
其中,图像采集装置可以安装在目标场所的外部或者内部,一般安装在目标场所的入口处;目标场所可以是商场各珠宝店、银行、别墅等等,本申请对此不作限定。
应说明,当历史前往目标场所的行为人发生异常行为时,图像采集装置也会采集相应的历史视频。因此,针对目标场所发生的历史异常行为,图像采集装置也会采集对应的历史视频,并且历史视频也会上传给预警装置。也就是说,预警装置侧存储有历史异常行为所对应的历史视频。
302:图像采集装置向预警装置发送待识别视频。相应地,预警装置接收到待识别视频。
303:预警装置获取目标场所的历史视频。
在本申请的实施例中,由于预警装置侧存储有历史异常行为所对应的历史视频,则预警装置可以直接从数据库中获取目标场所的历史视频。
304:预警装置根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为。
在本申请的实施例中,异常行为的种类可以包括抢劫、偷盗等,本申请不作限定;另外,步骤303包括但限于步骤S1-S3:
S1:对历史视频进行提取,得到多帧第一待识别图像;对待识别视频进行提取,得到多帧第二待识别图像。
其中,多帧第一待识别图像记录了历史视频对应的历史异常行为;多帧第二待识别图像记录了待识别视频中任意一个行为人所对应的行为。比如,某商场珠宝店里的历史视频为该珠宝店曾经发生的某一异常行为的监控视频,例如抢劫行为,那么对该抢劫行为的监控视频进行图像分帧处理,得到多帧第一待识别图像,此时多帧第一待识别图像记录了该抢劫行为发生前、发生时行为人的一系列动作。
S2:根据多帧第一待识别图像和待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率。
在本申请实施例中,步骤S2具体包括:对多帧第一待识别图像进行增强,得到多帧第三待识别图像,以及对待识别视频中行为人A的行为所对应的多帧第二待识别图像进行增强,得到多帧第四待识别图像,其中,行为人A为待识别视频中多个行为人中的任意一个;标记多帧第三待识别图像中每帧第三待识别图像中对应的行为人的位置,得到多个第一路径点,标记多帧第四待识别图像中每帧第四待识别图像中对应的行为人A的位置,得到多个第二路径点;根据多个第一路径点和多个第二路径点,确定第一数量,其中,第一数量为每个第二路径点和每个第一路径点之间距离小于或等于预设值的第二路径点的数量;将多帧第三待识别图像输入至预设姿态数据库,得到多个第一姿态,将多帧第四待识别图像输入至预设姿态数据库,得到多个第二姿态;根据多个第一姿态和多个第二姿态,确定第二数量,其中,第二数量为第一姿态和第二姿态相同的数量;根据待识别视频中每个行为人对应的第一数量和第二数量,得到多个第一概率。
其中,第一概率可以通过公式(1)得到:
Figure BDA0003828214500000061
其中,f为第一概率,m为第一数量,n为第二数量,P为第一权重系数,Q为第二权重系数。
示例性的,参阅图4a,图4a为本申请实施例提供的一种根据多帧第三待识别图像确定多个第一路径点的示意图,多帧第三待识别图像记录了图4a中珠宝店发生的某异常行为例如抢劫行为,然后对每帧第三待识别图像中的异常行为人进行路径位置标记,得到该异常行为人的多个第一路径点。参阅图4b,图4b为本申请实施例提供的一种根据多帧第四待识别图像确定多个第二路径点的示意图,多帧第四待识别图像记录了图4b中珠宝店附近任意一个行为人A的行为,然后对每帧第四待识别图像中的行为人A进行路径位置标记,得到该行为人A的多个第二路径点。
参阅图4c,图4c为本申请实施例提供的一种根据多个第一路径点和多个第二路径点确定第一数量的示意图,在确定第一数量时,可以以图4a中珠宝店为坐标原点建立坐标系,然后得出多个第一路径点和多个第二路径点的坐标,然后计算该坐标系下每个第二路径点和每个第一路径点之间的距离,将得到的距离小于或等于预设值所对应的第二路径点的数量确定为第一数量,正如图4c中第一数量等于9,即图4c中被圈出来的第二路径点。
S3:根据多个第一概率,确定待识别视频中R个行为人的当前异常行为。
在本申请的实施例中,若第一概率的值处于第一区间,则将该第一概率所对应行为人的当前行为认定为正常行为;若第一概率的值处于第二区间,则将该第一概率所对应行为人的当前行为认定为当前异常行为。因此,若多个第一概率中有R个第一概率的值处于第二区间,则将该R个第一概率对应的R个行为人的当前行为认定为当前异常行为,应说明,本申请根据多个第一概率确定R个行为人的当前异常行为的原理不限于此处所示意的一种,对此不作限定。
305:预警装置根据R个行为人的当前异常行为,生成预警语音。
在本申请的实施例中,预警语音用于提示目标场所即将发生危险事件。其中,预警语音可以为预先录入的语音;或者可以为预先录入的预警文本,对预警文本进行语音转换所生成的。
当然,本申请中也可以直接根据R个行为人的当前异常行为生成预警文本,然后直接向音频设备发送预警文本,将预警文本转换为预警语音的工作放在音频设备侧进行处理,而本申请主要以预警装置直接发送预警语音为例进行说明。
另外,步骤305包括但不限于步骤A1-A2:
A1:根据R,确定目标场所的危险等级。
在本申请实施例中,若R小于第二阈值,则确定目标场所的危险等级为一级;若R大于或等于第二阈值,则确定目标场所的危险等级为二级,当然,本申请对危险等级的列举数量并不作限定。
A2:根据R个行为人的当前异常行为和目标场所的危险等级,生成预警语音。
其中,预警语音的内容包括R个行为人的当前异常行为的类别和目标场所的危险等级。比如,若此时目标场所如珠宝店A的监控设备拍摄到的待识别视频中有R个行为人的当前行为是异常行为如抢劫行为,且R大于第二阈值,则此时该珠宝店的危险等级为第二等级,则生成预警语音的内容可以为“珠宝店A请注意,可能即将发生危险等级为第二等级的团伙作案抢劫行为”,本申请对此不作限定。
306:预警装置向音频设备发送预警语音。相应地,音频设备接收到预警语音。
在本申请的实施例中,向音频设备发送预警语音以通过音频设备播放预警语音,音频设备的安装位置与图像采集装置之间的距离大于第一阈值;另外,步骤305具体包括:对预警语音进行数字化,得到第一数字信号;对第一数字信号进行压缩编码,得到第二数字信号;对第二数字信号进行信道编码,得到第三数字信号;向音频设备发送第三数字信号,以使音频设备接收第三数字信号后播放预警语音。
当然,当预警装置向音频设备发送的是预警文本时,具体包括:对预警文本进行数字化,得到第四数字信号;对第四数字信号进行压缩编码,得到第五数字信号;对第五数字信号进行信道编码,得到第六数字信号;向音频设备发送第六数字信号。
应说明,在本申请实施例中,在向音频设备发送预警语音时,通过Lora(LongRange,远距离)协议进行传输,Lora协议无线传输方式不仅可以实现远距离传输,其传输距离范围长达15至20公里,还可以兼具低功耗、低成本等优点。因此,示例性的,预警装置的输出端将预警语音进行数字化得到第一数字信号,再将第一数字信号进行压缩编码,例如OPUS编码,得到第二数字信号;然后将第二数字信号进行信道编码,例如前向纠错编码(Forward Error Correction,FEC),得到第三数字信号;最后向音频设备发送第三数字信号,即通过Lora协议向音频设备发送第三数字信号。
可选地,当预警装置是将预警文本发送给音频设备时,则预警装置的输出端将预警文本进行数字化得到第四数字信号,再将第四数字信号进行压缩编码,例如OPUS编码,得到第五数字信号;然后将第五数字信号进行信道编码,例如FEC,得到第六数字信号;最后向音频设备发送第六数字信号,即通过Lora协议向音频设备发送第六数字信号。
307:音频设备播放预警语音。
相适应地,音频设备的接收端在接收到第三数字信号之后,将第三数字信号进行信道解码,得到上述第二数字信号;然后对第二数字信号进行压缩解码,得到上述第一数字信号;将第一数字信号进行模拟化,得到上述预警语音;最后,音频设备播放该预警语音。
当然,若预警装置向音频设备发送的是预警文本时,相应地,音频设备的接收端在接收到第六数字信号之后,将第六数字信号进行信道解码,得到上述第五数字信号;然后对第五数字信号进行压缩解码,得到上述第四数字信号;将第四数字信号进行文本转换,得到上述预警文本;对预警文本进行音频转换,例如文本语音转换(Text to Speech,TTS),得到预警音频;最后,音频设备播放该预警音频。
在本申请的一个实施方式中,预警装置除了向音频设备发送预警语音之外,还可以向音频设备发送频率播放参数;若目标场所的危险等级为第一等级,频率播放参数用于指示音频设备按照第一频率播放预警语音;若目标场所的危险等级为第二等级,频率播放参数用于指示音频设备按照第二频率播放预警语音,其中,第一等级小于第二等级,第一频率小于第二频率。
应说明,在本申请的实施例中,对向音频设备发送预警语音和频率播放参数的顺序不作限定,可以先向音频设备发送预警语音,再发送频率播放参数;或者先向音频设备发送频率播放参数,再发送预警语音;或者同时向音频设备发送预警语音和频率播放参数,对预警语音和频率播放参数均分别进行数字化、压缩编码和信道编码。然后,音频设备的接收端对上述均分别进行了数字化、压缩编码和信道编码的预警语音和频率播放参数进行解码、转换等处理,得到上述预警语音和频率播放参数,然后按照频率播放参数播放该预警语音,这种使音频设备以不同的频率播放预警语音,可以避免因目标场所相关人员(如安保人员、负责人等)的疏忽而忽略该预警语音,可以精确地提示相关人员目标场所即将发生危险事件,进而减少损失。
可以看出,在本申请实施例中,图像采集装置实时获取目标场所的待识别视频以及获取目标场所的历史视频;然后预警装置从图像采集装置接收到待识别视频和历史视频之后,根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;然后根据R个行为人的当前异常行为,生成预警语音;然后对预警语音依次进行数字化、压缩编码和信道编码处理,得到第三数字信号;然后向音频设备发送该第三数字信号;音频设备在接收到第三数字信号之后,对第三数字信号进行解码、模拟化等步骤得到上述的预警语音;除此之外,预警装置还向音频设备发送频率播放参数,以通过音频设备按照该频率播放参数播放上述预警语音;实时智能分析行为人的行为,节约了人力资源,对预警语音进行压缩编码和信道编码,借助Lora协议传输第三数字信号,提高了传输的效率,进一步提高了通知相关人员目标场所发生异常行为的速度,使得相关人员对异常行为及时作出处理,减少目标场所的损失。
参阅图5,图5为本申请实施例提供的一种预警装置的功能单元组成框图。预警装置500包括:收发单元501和处理单元502;
收发单元501,用于通过目标场所的图像采集装置实时获取待识别视频;
获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;
处理单元502,用于根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;
收发单元501,用于向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值。
在本申请的一个实施方式中,在根据R个行为人的当前异常行为,生成预警语音方面,处理单元502,具体用于:
根据R,确定目标场所的危险等级;
根据R个行为人的当前异常行为和目标场所的危险等级,生成预警语音。
在本申请的一个实施方式中,在向音频设备发送预警语音方面,处理单元502,具体用于:
对预警语音进行数字化,得到第一数字信号;
对第一数字信号进行压缩编码,得到第二数字信号;
对第二数字信号进行信道编码,得到第三数字信号;
向音频设备发送第三数字信号,以使音频设备接收第三数字信号后播放预警语音。
在本申请的一个实施方式中,收发单元501,具体用于:
向音频设备发送频率播放参数;
若目标场所的危险等级为第一等级,频率播放参数用于指示音频设备按照第一频率播放预警语音;
若目标场所的危险等级为第二等级,频率播放参数用于指示音频设备按照第二频率播放预警语音;
在本申请的一个实施方式中,在根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为方面,处理单元502,具体用于:
对历史视频进行提取,得到多帧第一待识别图像,其中,多帧第一待识别图像记录了历史异常行为;
对待识别视频进行提取,得到多帧第二待识别图像,多帧第二待识别图像记录了待识别视频中任意一个行为人所对应的行为;
根据多帧第一待识别图像和待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率;
根据多个第一概率,确定待识别视频中R个行为人的当前异常行为。
在本申请的一个实施方式中,在根据多帧第一待识别图像和待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率方面,处理单元502,具体用于:
对多帧第一待识别图像进行增强,得到多帧第三待识别图像,以及对待识别视频中行为人A的行为所对应的多帧第二待识别图像进行增强,得到多帧第四待识别图像,其中,行为人A为待识别视频中多个行为人中的任意一个;
标记多帧第三待识别图像中每帧第三待识别图像中对应的行为人的位置,得到多个第一路径点,标记多帧第四待识别图像中每帧第四待识别图像中对应的行为人A的位置,得到多个第二路径点;
根据多个第一路径点和多个第二路径点,确定第一数量,其中,第一数量为每个第二路径点和每个第一路径点之间距离小于或等于预设值的第二路径点的数量;
将多帧第三待识别图像输入至预设姿态数据库,得到多个第一姿态,将多帧第四待识别图像输入至预设姿态数据库,得到多个第二姿态;
根据多个第一姿态和多个第二姿态,确定第二数量,其中,第二数量为第一姿态和第二姿态相同的数量;
根据待识别视频中每个行为人对应的第一数量和第二数量,得到待识别视频中多个行为人对应的多个第一概率。
其中,第一概率可以通过公式(2)得到:
Figure BDA0003828214500000101
其中,f为第一概率,m为第一数量,n为第二数量,P为第一权重系数,Q为第二权重系数。
参阅图6,图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示,电子设备600包括收发器601、处理器602和存储器603。它们之间通过总线604连接。存储器603用于存储计算机程序和数据,并可以将存储器603存储的数据传输给处理器602。
处理器602用于读取存储器603中的计算机程序执行以下操作:
控制收发器601通过目标场所的图像采集装置实时获取待识别视频;
获取目标场所的历史视频,其中,历史视频记录了目标场所发生的历史异常行为;
根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据R个行为人的当前异常行为,生成预警语音,其中,预警语音用于提示目标场所即将发生危险事件;
向音频设备发送预警语音,以通过音频设备播放预警语音,其中,音频设备的安装位置与图像采集装置之间的距离大于第一阈值。
在本申请的一个实施方式中,在根据R个行为人的当前异常行为,生成预警语音方面,处理器602,具体用于执行以下步骤:
根据R,确定目标场所的危险等级;
根据R个行为人的当前异常行为和目标场所的危险等级,生成预警语音。
在本申请的一个实施方式中,在向音频设备发送预警语音方面,处理器602,具体用于执行以下步骤:
对预警语音进行数字化,得到第一数字信号;
对第一数字信号进行压缩编码,得到第二数字信号;
对第二数字信号进行信道编码,得到第三数字信号;
向音频设备发送第三数字信号,以使音频设备接收第三数字信号后播放预警语音。
在本申请的一个实施方式中,处理器602,具体用于执行以下步骤:
向音频设备发送频率播放参数;
若目标场所的危险等级为第一等级,频率播放参数用于指示音频设备按照第一频率播放预警语音;
若目标场所的危险等级为第二等级,频率播放参数用于指示音频设备按照第二频率播放预警语音;
其中,第一等级小于第二等级,第一频率小于第二频率。
在本申请的一个实施方式中,在根据历史视频中的历史异常行为对待识别视频进行行为分析,确定R个行为人的当前异常行为方面,处理器602,具体用于执行以下步骤:
对历史视频进行提取,得到多帧第一待识别图像,其中,多帧第一待识别图像记录了历史异常行为;
对待识别视频进行提取,得到多帧第二待识别图像,多帧第二待识别图像记录了待识别视频中任意一个行为人所对应的行为;
根据多帧第一待识别图像和待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率;
根据多个第一概率,确定待识别视频中R个行为人的当前异常行为。
在本申请的一个实施方式中,在根据多帧第一待识别图像和待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率方面,处理器602,具体用于执行以下步骤:
对多帧第一待识别图像进行增强,得到多帧第三待识别图像,以及对待识别视频中行为人A的行为所对应的多帧第二待识别图像进行增强,得到多帧第四待识别图像,行为人A为待识别视频中多个行为人中的任意一个;
标记多帧第三待识别图像中每帧第三待识别图像中对应的行为人的位置,得到多个第一路径点,标记多帧第四待识别图像中每帧第四待识别图像中对应的行为人A的位置,得到多个第二路径点;
根据多个第一路径点和多个第二路径点,确定第一数量,其中,第一数量为每个第二路径点和每个第一路径点之间距离小于或等于预设值的第二路径点的数量;
将多帧第三待识别图像输入至预设姿态数据库,得到多个第一姿态,将多帧第四待识别图像输入至预设姿态数据库,得到多个第二姿态;
根据多个第一姿态和多个第二姿态,确定第二数量,其中,第二数量为第一姿态和第二姿态相同的数量;
根据待识别视频中每个行为人对应的第一数量和第二数量,得到待识别视频中多个行为人对应的多个第一概率。
其中,第一概率可以通过公式(3)得到:
Figure BDA0003828214500000121
其中,f为第一概率,m为第一数量,n为第二数量,P为第一权重系数,Q为第二权重系数。
具体地,上述收发器601可为图5的实施例的预警装置500的收发单元501,上述处理器602可以为图5的实施例的预警装置500的处理单元502。
应理解,本申请中的电子设备可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(MobileInternet Devices,简称:MID)或穿戴式设备等。上述电子设备仅是举例,而非穷举,包含但不限于上述电子设备。在实际应用中,上述电子设备还可以包括:智能车载终端、计算机设备等等。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种预警方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种预警方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种预警方法,其特征在于,所述方法包括:
通过目标场所的图像采集装置实时获取待识别视频;
获取所述目标场所的历史视频,其中,所述历史视频记录了所述目标场所发生的历史异常行为;
根据所述历史视频中的历史异常行为对所述待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据所述R个行为人的当前异常行为,生成预警语音,其中,所述预警语音用于提示所述目标场所即将发生危险事件;
向音频设备发送所述预警语音,以通过所述音频设备播放所述预警语音,其中,所述音频设备的安装位置与所述图像采集装置之间的距离大于第一阈值。
2.根据权利要求1所述的方法,其特征在于,根据所述R个行为人的当前异常行为,生成预警语音,包括:
根据所述R,确定所述目标场所的危险等级;
根据所述R个行为人的当前异常行为和所述目标场所的危险等级,生成所述预警语音。
3.根据权利要求2所述的方法,其特征在于,所述向音频设备发送预警语音,包括:
对所述预警语音进行数字化,得到第一数字信号;
对所述第一数字信号进行压缩编码,得到第二数字信号;
对所述第二数字信号进行信道编码,得到第三数字信号;
向所述音频设备发送所述第三数字信号,以使所述音频设备接收所述第三数字信号后播放所述预警语音。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
向所述音频设备发送频率播放参数;
若所述目标场所的危险等级为第一等级,所述频率播放参数用于指示所述音频设备按照第一频率播放所述预警语音;
若所述目标场所的危险等级为第二等级,所述频率播放参数用于指示所述音频设备按照第二频率播放所述预警语音;
其中,所述第一等级小于所述第二等级,所述第一频率小于所述第二频率。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述根据所述历史视频中的历史异常行为对所述待识别视频进行行为分析,确定R个行为人的当前异常行为,包括:
对所述历史视频进行提取,得到多帧第一待识别图像,其中,所述多帧第一待识别图像记录了所述历史异常行为;
对所述待识别视频进行提取,得到多帧第二待识别图像,所述多帧第二待识别图像记录了所述待识别视频中任意一个行为人所对应的行为;
根据所述多帧第一待识别图像和所述待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率;
根据所述多个第一概率,确定所述待识别视频中R个行为人的当前异常行为。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多帧第一待识别图像和所述待识别视频中每个行为人的行为所对应的多帧第二待识别图像,得到多个第一概率,包括:
对所述多帧第一待识别图像进行增强,得到多帧第三待识别图像,以及对所述待识别视频中行为人A的行为所对应的多帧第二待识别图像进行增强,得到多帧第四待识别图像,其中,所述行为人A为待识别视频中多个行为人中的任意一个;
标记所述多帧第三待识别图像中每帧第三待识别图像中对应的行为人的位置,得到多个第一路径点,标记所述多帧第四待识别图像中每帧第四待识别图像中对应的行为人A的位置,得到多个第二路径点;
根据所述多个第一路径点和所述多个第二路径点,确定第一数量,其中,所述第一数量为所述每个第二路径点和所述每个第一路径点之间距离小于或等于预设值的第二路径点的数量;
将所述多帧第三待识别图像输入至预设姿态数据库,得到多个第一姿态,将所述多帧第四待识别图像输入至所述预设姿态数据库,得到多个第二姿态;
根据所述多个第一姿态和所述多个第二姿态,确定第二数量,其中,所述第二数量为所述第一姿态和所述第二姿态相同的数量;
根据所述待识别视频中每个行为人对应的第一数量和第二数量,得到所述待识别视频中多个行为人对应的多个第一概率。
7.根据权利要求6所述的方法,其特征在于,所述第一概率满足以下公式:
Figure FDA0003828214490000021
其中,f为所述第一概率,m为所述第一数量,n为所述第二数量,P为第一权重系数,Q为第二权重系数。
8.一种预警装置,其特征在于,所述装置包括:收发单元和处理单元;
所述收发单元,通过目标场所的图像采集装置实时获取待识别视频;
获取所述目标场所的历史视频,其中,所述历史视频记录了所述目标场所发生的历史异常行为;
所述处理单元,根据所述历史视频中的历史异常行为对所述待识别视频进行行为分析,确定R个行为人的当前异常行为;
根据所述R个行为人的当前异常行为,生成预警语音,其中,所述预警语音用于提示所述目标场所即将发生危险事件;
所述收发单元,向音频设备发送所述预警语音,以通过所述音频设备播放所述预警语音,其中,所述音频设备的安装位置与所述图像采集装置之间的距离大于第一阈值。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器与所述存储器相连,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序,以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-7中任一项所述的方法。
CN202211065440.6A 2022-09-01 2022-09-01 预警方法、装置、电子设备及存储介质 Active CN115393798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211065440.6A CN115393798B (zh) 2022-09-01 2022-09-01 预警方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211065440.6A CN115393798B (zh) 2022-09-01 2022-09-01 预警方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115393798A true CN115393798A (zh) 2022-11-25
CN115393798B CN115393798B (zh) 2024-04-09

Family

ID=84124229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211065440.6A Active CN115393798B (zh) 2022-09-01 2022-09-01 预警方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115393798B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329963A (zh) * 2020-10-28 2021-02-05 北京嘀嘀无限科技发展有限公司 数据处理方法、数据处理装置、存储介质和电子设备
CN112419120A (zh) * 2020-10-26 2021-02-26 青岛海信网络科技股份有限公司 群体性聚集事件预警方法、装置、系统和电子设备
CN113052029A (zh) * 2021-03-12 2021-06-29 天天惠民(北京)智能物流科技有限公司 基于动作识别的异常行为监管方法、装置及存储介质
CN113553952A (zh) * 2021-07-23 2021-10-26 上海商汤智能科技有限公司 异常行为识别方法及装置、设备、存储介质、程序产品
US20210407493A1 (en) * 2020-06-30 2021-12-30 Plantronics, Inc. Audio Anomaly Detection in a Speech Signal
KR20220059193A (ko) * 2020-11-02 2022-05-10 한국전력공사 오탐지 예방을 위한 조기 경보 시스템 및 방법
CN114581827A (zh) * 2022-03-01 2022-06-03 西安西古光通信有限公司 一种异常行为预警系统、方法、设备及介质
CN114708626A (zh) * 2021-12-17 2022-07-05 武汉众智数字技术有限公司 一种重点人员行为识别与预警的方法
CN114882251A (zh) * 2022-05-09 2022-08-09 深圳市中电网络技术有限公司 一种物联网大数据智能视频安防监控方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210407493A1 (en) * 2020-06-30 2021-12-30 Plantronics, Inc. Audio Anomaly Detection in a Speech Signal
CN112419120A (zh) * 2020-10-26 2021-02-26 青岛海信网络科技股份有限公司 群体性聚集事件预警方法、装置、系统和电子设备
CN112329963A (zh) * 2020-10-28 2021-02-05 北京嘀嘀无限科技发展有限公司 数据处理方法、数据处理装置、存储介质和电子设备
KR20220059193A (ko) * 2020-11-02 2022-05-10 한국전력공사 오탐지 예방을 위한 조기 경보 시스템 및 방법
CN113052029A (zh) * 2021-03-12 2021-06-29 天天惠民(北京)智能物流科技有限公司 基于动作识别的异常行为监管方法、装置及存储介质
CN113553952A (zh) * 2021-07-23 2021-10-26 上海商汤智能科技有限公司 异常行为识别方法及装置、设备、存储介质、程序产品
CN114708626A (zh) * 2021-12-17 2022-07-05 武汉众智数字技术有限公司 一种重点人员行为识别与预警的方法
CN114581827A (zh) * 2022-03-01 2022-06-03 西安西古光通信有限公司 一种异常行为预警系统、方法、设备及介质
CN114882251A (zh) * 2022-05-09 2022-08-09 深圳市中电网络技术有限公司 一种物联网大数据智能视频安防监控方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOULFANI, F ET AL.: "Anomaly detection for aircraft electrical generator using machine learning in a functional data framework", 《2020 GLOBAL CONGRESS ON ELECTRICAL ENGINEERING (GC-ELECENG)》, 6 September 2022 (2022-09-06), pages 27 - 32 *
邵荃 等,: "航站楼旅客群体性事件预警监控系统架构及关键技术", 《中国安全生产科学技术》, vol. 8, no. 11, 30 November 2012 (2012-11-30), pages 55 - 59 *

Also Published As

Publication number Publication date
CN115393798B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CA2716637A1 (en) Video analytics with pre-processing at the source end
CN109255937B (zh) 报警处理方法及终端设备
US20230206093A1 (en) Music recommendation method and apparatus
CN104376619A (zh) 一种监控方法和设备
WO2024082865A1 (zh) 预警方法、装置、电子设备及存储介质
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN112419639A (zh) 一种视频信息的获取方法及装置
CN113114986A (zh) 基于画面和声音同步的预警方法及相关设备
CN109120896B (zh) 安防视频监控卫士系统
CN110874582A (zh) 电信诈骗的确定方法及装置、存储介质、电子装置
CN107483544A (zh) 一种移动智能监控系统及监控方法
CN115393798A (zh) 预警方法、装置、电子设备及存储介质
CN116320878A (zh) 一种基于骨声纹传感器的耳机降噪方法及系统
CN115512479B (zh) 管理接待信息的方法以及后端设备
CN113645439B (zh) 事件检测方法及系统、存储介质及电子装置
CN115836516B (zh) 监视系统
CN113099283B (zh) 监控画面和声音同步的方法及相关设备
CN112804492B (zh) 一种电子猫眼的通信提示方法及装置
CN114827735A (zh) 视频回看方法、装置、设备及存储介质
CN111489276B (zh) 人员管理方法及相关装置
CN112419638B (zh) 一种告警视频的获取方法及装置
CN110738812B (zh) 门铃提示方法及相关产品
CN213042656U (zh) 信息处理装置
JP2005107895A (ja) セキュリティシステム及びセキュリティ方法
CN113516997A (zh) 一种语音事件识别装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant