CN113989924A - 一种暴力行为的预警方法及装置 - Google Patents

一种暴力行为的预警方法及装置 Download PDF

Info

Publication number
CN113989924A
CN113989924A CN202111234029.2A CN202111234029A CN113989924A CN 113989924 A CN113989924 A CN 113989924A CN 202111234029 A CN202111234029 A CN 202111234029A CN 113989924 A CN113989924 A CN 113989924A
Authority
CN
China
Prior art keywords
early warning
information
data
key point
action recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111234029.2A
Other languages
English (en)
Inventor
翟步中
唐大闰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202111234029.2A priority Critical patent/CN113989924A/zh
Publication of CN113989924A publication Critical patent/CN113989924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种暴力行为的预警方法及装置，在获取包含音频数据和图像数据的多媒体视频数据后；对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；先将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息；在得到第一预警信息后，从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息；最后根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。本申请可以实现实时预警暴力行为等级，及时发出预警信号，尽可能避免暴力行为的发生。

Description

一种暴力行为的预警方法及装置
技术领域
本申请涉及暴力行为预警技术领域，特别的，尤其涉及一种暴力行为的预警方法及装置。
背景技术
在相对的封闭环境内，发生的暴力行为可以分成不同的等级，而目前是否存在暴力行为主要是通过结合人预判发生暴力行为的过程，分别通过声音音调的高低、脏字和动作的识别，判断事件是否在升级，并产生不同级别的报警信息，需要现场人员通过预判来实现暴力行为的预警，但是这种预警方法对于大型商场来说，是无法及时预警可能发生的暴力行为的。
发明内容
鉴于上述内容中的问题，本申请提供了一种暴力行为的预警方法及装置，用以实时预警暴力行为等级，及时发出预警信号，尽可能避免暴力行为的发生。
为了实现上述目的，本申请提供了以下技术方案：
一种暴力行为的预警方法，包括：
获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
进一步的，所述对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据，包括：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
进一步的，所述预设知识图谱的生成方法，包括：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
进一步的，所述预设动作识别网络的构建方法，包括：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
进一步的，所述从所述图像数据中提取每个人对应的关键点信息，具体为：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
一种暴力行为的预警装置，包括：
第一处理单元，用于获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
第二处理单元，用于对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
第三处理单元，用于将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
第四处理单元，用于从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
第五处理单元，用于根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
进一步的，所述第二处理单元具体用于：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
进一步的，所述第三处理单元具体还用于：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
进一步的，所述第四处理单元具体还用于：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
进一步的，所述第四处理单元具体用于：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如上述所述的暴力行为的预警方法。
一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述所述的暴力行为的预警方法。
本申请所述的暴力行为的预警方法及装置，在获取包含音频数据和图像数据的多媒体视频数据后；对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；先将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；在得到第一预警信息后，从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；最后根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。本申请分别使用声音和图像信息，产生不同级别预警信息的同时，提高了预警信息的实时性(语音预警产生后，才会分析图像信息)，有助于该技术方案在实际场景中的应用，实现实时预警暴力行为等级，及时发出预警信号，尽可能避免暴力行为的发生。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种暴力行为的预警方法的流程示意图；
图2为本申请实施例公开的暴力行为声音预警流程示意图；
图3为本申请实施例公开的暴力行为动作预警流程示意图；
图4为本申请实施例公开的一种暴力行为的预警装置的结构示意图；
图5为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见附图1，为本申请实施例提供的一种暴力行为的预警方法流程示意图。如图1所示，本申请实施例提供了一种暴力行为的预警方法，该方法包括如下步骤：
S101：获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
本步骤中，多媒体视频数据是通过现场多媒体设备获取得到的，多媒体设备可以为视频摄像头或其他音视频设备。特别说明的是，多媒体视频数据包括音频数据和图像数据，因此，对应的多媒体设备需要具体音频收集和图像收集功能。
S102：对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
本步骤中，上述对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据，包括：对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
需要说明的是，需要从多媒体视频数据中分离出声音文件和动作视频，才能得到对应的音频数据和图像数据。
S103：将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
本步骤中，需要先将音频数据通过语音转换方法转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息(即初级预警)，如图2所示，具体的，预设知识图谱中包含暴力行为所对应的敏感词，其中，敏感词可以包括脏话、生气时的语气词等。
需要说明的是，需要首先通过包含敏感词汇的文字信息构建预设知识图谱，具体的，所述预设知识图谱的生成方法，包括：获取包含敏感词汇的文字信息，将其作为样本数据；从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
S104：从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
本步骤中，需要先从图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，如图3所示，具体的，所述预设动作识别网络为基于关键点信息的动作识别网络。
需要说明的是，需要首先通过包含危险动作的动作视频构建预设动作识别网络，具体的，所述预设动作识别网络的构建方法，包括：获取包含危险动作的动作视频，将其作为样本数据；从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
进一步的，所述从所述图像数据中提取每个人对应的关键点信息，具体为：通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
本步骤中，通过预设动作识别网络判断画面中的人物是否有危险动作，并产生第二预警信息。
S105：根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
本申请实施例分别使用声音和图像信息，产生不同级别预警信息的同时，提高了预警信息的实时性(语音预警产生后，才会分析图像信息)，有助于该技术方案在实际场景中的应用。
本申请实施例提供一种暴力行为的预警方法，在获取包含音频数据和图像数据的多媒体视频数据后；对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；先将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；在得到第一预警信息后，从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；最后根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。本申请实施例分别使用声音和图像信息，产生不同级别预警信息的同时，提高了预警信息的实时性(语音预警产生后，才会分析图像信息)，有助于该技术方案在实际场景中的应用，实现实时预警暴力行为等级，及时发出预警信号，尽可能避免暴力行为的发生。
请参阅图4，基于上述实施例公开的一种暴力行为的预警方法，本实施例对应公开了一种暴力行为的预警装置，该装置包括：
第一处理单元401，用于获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
第二处理单元402，用于对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
第三处理单元403，用于将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
第四处理单元404，用于从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
第五处理单元405，用于根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
进一步的，所述第二处理单元402具体用于：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
进一步的，所述第三处理单元403具体还用于：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
进一步的，所述第四处理单元404具体还用于：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
进一步的，所述第四处理单元404具体用于：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
所述暴力行为的预警装置包括处理器和存储器，上述第一处理单元、第二处理单元和、第三处理单元、第四处理单元和第五处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来达到实时预警暴力行为等级，及时发出预警信号，尽可能避免暴力行为的发生的目的。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述暴力行为的预警方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述暴力行为的预警方法。
本申请实施例提供了一种电子设备，如图5所示，该电子设备50包括至少一个处理器501、以及与所述处理器连接的至少一个存储器502、总线503；其中，所述处理器501、所述存储器502通过所述总线503完成相互间的通信；处理器501用于调用所述存储器502中的程序指令，以执行上述的所述诱导广告素材识别方法。
本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
进一步的，所述对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据，包括：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
进一步的，所述预设知识图谱的生成方法，包括：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
进一步的，所述预设动作识别网络的构建方法，包括：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
进一步的，所述从所述图像数据中提取每个人对应的关键点信息，具体为：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
本申请是根据本申请实施例的方法、设备(系统)、计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种暴力行为的预警方法，其特征在于，包括：
获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
2.根据权利要求1所述的方法，其特征在于，所述对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据，包括：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
3.根据权利要求1所述的方法，其特征在于，所述预设知识图谱的生成方法，包括：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
4.根据权利要求1所述的方法，其特征在于，所述预设动作识别网络的构建方法，包括：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
5.根据权利要求1所述的方法，其特征在于，所述从所述图像数据中提取每个人对应的关键点信息，具体为：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
6.一种暴力行为的预警装置，其特征在于，包括：
第一处理单元，用于获取多媒体视频数据，所述多媒体视频数据包括音频数据和图像数据；
第二处理单元，用于对所述多媒体视频数据进行解析，得到对应的音频数据和图像数据；
第三处理单元，用于将所述音频数据转化为文字信息，通过预设知识图谱对所述文字信息进行分析，生成第一预警信息，所述预设知识图谱中包含暴力行为所对应的敏感词；
第四处理单元，用于从所述图像数据中提取每个人对应的关键点信息，通过预设动作识别网络进行动作识别，生成第二预警信息，所述预设动作识别网络为基于关键点信息的动作识别网络；
第五处理单元，用于根据所述第一预警信息和所述第二预警信息生成所述多媒体视频数据对应的预警等级。
7.根据权利要求6所述的装置，其特征在于，所述第二处理单元具体用于：
对所述多媒体视频数据进行声音分离处理，得到对应的声音文件，生成所述音频数据；
对所述多媒体视频数据进行图像分离处理，得到对应的动作视频，生成所述图像数据。
8.根据权利要求6所述的装置，其特征在于，所述第三处理单元具体还用于：
获取包含敏感词汇的文字信息，将其作为样本数据；
从所述文字信息中提取敏感词汇，将所述敏感词汇作为知识图谱中的实体，构建所述预设知识图谱。
9.根据权利要求6所述的装置，其特征在于，所述第四处理单元具体还用于：
获取包含危险动作的动作视频，将其作为样本数据；
从所述动作视频中提取关键点信息，将所述关键点信息作为动作识别网络的训练集，对图神经网络进行训练，得到所述动作识别网络。
10.根据权利要求6所述的装置，其特征在于，所述第四处理单元具体用于：
通过人体关键点检测技术，从所述图像数据中提取每个人对应的关键点信息。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行如权利要求1至5中任一项所述的暴力行为的预警方法。
12.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至5中任一项所述的暴力行为的预警方法。
CN202111234029.2A 2021-10-22 2021-10-22 一种暴力行为的预警方法及装置 Pending CN113989924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111234029.2A CN113989924A (zh) 2021-10-22 2021-10-22 一种暴力行为的预警方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111234029.2A CN113989924A (zh) 2021-10-22 2021-10-22 一种暴力行为的预警方法及装置

Publications (1)

Publication Number Publication Date
CN113989924A true CN113989924A (zh) 2022-01-28

Family

ID=79740467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111234029.2A Pending CN113989924A (zh) 2021-10-22 2021-10-22 一种暴力行为的预警方法及装置

Country Status (1)

Country Link
CN (1) CN113989924A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913974A (zh) * 2022-05-10 2022-08-16 上海市东方医院（同济大学附属东方医院） 一种谵妄评估方法、装置、电子设备及存储介质
CN115231398A (zh) * 2022-07-05 2022-10-25 北京北投智慧城市科技有限公司 一种基于ai手势、语音识别的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063162A (zh) * 2019-12-05 2020-04-24 恒大新能源汽车科技(广东)有限公司 静默报警方法、装置、计算机设备和存储介质
CN113114986A (zh) * 2021-03-30 2021-07-13 深圳市冠标科技发展有限公司 基于画面和声音同步的预警方法及相关设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063162A (zh) * 2019-12-05 2020-04-24 恒大新能源汽车科技(广东)有限公司 静默报警方法、装置、计算机设备和存储介质
CN113114986A (zh) * 2021-03-30 2021-07-13 深圳市冠标科技发展有限公司 基于画面和声音同步的预警方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913974A (zh) * 2022-05-10 2022-08-16 上海市东方医院（同济大学附属东方医院） 一种谵妄评估方法、装置、电子设备及存储介质
CN115231398A (zh) * 2022-07-05 2022-10-25 北京北投智慧城市科技有限公司 一种基于ai手势、语音识别的方法及系统

Similar Documents

Publication Publication Date Title
CN107315810B (zh) 一种物联网设备行为画像方法
CN113989924A (zh) 一种暴力行为的预警方法及装置
WO2024001646A1 (zh) 音频数据的处理方法、装置、电子设备、程序产品及存储介质
CN113095204B (zh) 双录数据质检方法、装置及系统
CN111144360A (zh) 多模信息识别方法、装置、存储介质及电子设备
CN111276119A (zh) 语音生成方法、系统和计算机设备
CN115544304A (zh) 文件解析方法、装置、可读存储介质及文件解析设备
CN113992970A (zh) 视频数据处理方法、装置、电子设备及计算机存储介质
CN117409419A (zh) 图像检测方法、设备及存储介质
CN108597522B (zh) 一种语音处理方法及装置
CN114238402A (zh) 告警数据处理方法、装置、存储介质以及电子设备
CN113904799A (zh) 一种大数据信息处理系统、方法、计算机设备及存储介质
CN112417068A (zh) 下单地址的推荐方法及系统、电子设备
CN113114986A (zh) 基于画面和声音同步的预警方法及相关设备
Banga et al. Indian EmoSpeech Command Dataset: A dataset for emotion based speech recognition in the wild
CN113963440A (zh) 一种客户购买意愿分析方法及装置
CN116129881A (zh) 语音任务处理方法、装置、电子设备及存储介质
CN115171735A (zh) 一种语音活动检测方法、存储介质及电子设备
CN113888227A (zh) 一种诱导广告素材识别方法及装置
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
CN114664325A (zh) 一种异常声音识别方法、系统、终端设备及计算机可读存储介质
US20210065043A1 (en) Dynamic content rating assistant
CN112397073A (zh) 一种音频数据处理方法及装置
CN112489630A (zh) 一种语音识别方法及设备
CN112541726A (zh) 事件预警方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination