CN112738471A - 基于物联网和人工智能的安防监控数据处理方法及云通信服务器 - Google Patents

基于物联网和人工智能的安防监控数据处理方法及云通信服务器 Download PDF

Info

Publication number
CN112738471A
CN112738471A CN202011583807.4A CN202011583807A CN112738471A CN 112738471 A CN112738471 A CN 112738471A CN 202011583807 A CN202011583807 A CN 202011583807A CN 112738471 A CN112738471 A CN 112738471A
Authority
CN
China
Prior art keywords
monitoring
danger
voice
video segment
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011583807.4A
Other languages
English (en)
Inventor
詹晨
许强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011583807.4A priority Critical patent/CN112738471A/zh
Publication of CN112738471A publication Critical patent/CN112738471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开基于物联网和人工智能的安防监控数据处理方法及云通信服务器，通过统计住宅小区内所有监控终端的数量及位置信息，并对截取的预设时间段内各监控终端的监控视频进行视频段划分，进而对划分的各监控视频段一方面提取语音信息，另一方面分解为若干监控图像，从而对提取的语音信息进行分析处理，得到语音危险监控视频段对应的语音危险系数，同时对分解得到的各监控图像进行分析处理，得到动作危险监控视频段对应的动作危险系数，弥补了现有的住宅小区安防监控数据处理方式过于片面化的弊端，提高了安防监控数据处理的完整性和综合性，进一步加大了对住宅小区安防监控的力度，大大保障了住户的人身安全和财产安全。

Description

基于物联网和人工智能的安防监控数据处理方法及云通信服 务器
技术领域
本发明属于数据处理技术领域，涉及安防监控数据处理技术，具体为基于物联网和人工智能的安防监控数据处理方法及云通信服务器。
背景技术
随着目前经济的不断发展,人们对安防观念的不断加深，安防监控系统逐渐成为人们日益重视的新兴专业，发展得越来越迅速。视频监控设备作为安防监控系统中非常重要的一部分在我们的生活中无处不在,如住宅小区中到处可见各种视频监控设备，它能够实时对小区设防区域进行监控,可大大提高住宅小区的安全性。通过住宅小区的视频监控设备能够得到监控视频图像数据和监控语音数据，但现有的住宅小区安防监控数据处理单纯只对监控视频图像数据进行处理，以分析得出危险的视频图像，进而进行进一步处理，没有对监控语音数据进行处理，这种监控数据处理方式过于片面化，没有考虑到危险的监控语音信息对小区安全性的影响，当危险的监控语音信息没有及时被识别监控到，可能对小区内住户的人身安全和财产安全造成威胁，进而影响小区的安全性。因此对监控语音数据进行分析处理还是非常有必要的。
发明内容
为了实现这一构想，现提出一种基于物联网和人工智能的安防监控数据处理方法及云通信服务器，通过结合视频监控终端的监控视频图像数据和监控语音数据进行分析处理，能够有效克服现有的住宅小区安防监控数据处理方式过于片面化的不足。
本发明的目的可以通过以下技术方案来实现：
本发明的一个方面，提出了一种基于物联网和人工智能的安防监控数据处理方法，包括以下步骤；
S1.监控终端统计：统计住宅小区内所有监控终端的数量，并对统计的各监控终端按照预设的顺序进行编号，依次标记为1,2...i...n，同时对标记的各监控终端通过定位设备获取其对应的地理位置，进而存储在位置数据库中；
S2.监控视频截取及监控视频段划分：按照预设的时间段截取预设时间段内各监控终端对应的监控视频，并将截取的预设时间段内各监控终端对应的监控视频按照设置的视频划分时间间隔划分为若干监控视频段，进而将各监控终端的监控视频划分的各监控视频段按照预设的顺序进行编号，分别标记为1,2...j...m；
S3.语音提取及监控图像分解：对划分的各监控视频段提取语音信息，得到各监控视频段对应的语音信息，并将划分的各监控视频段按照设置的视频帧数分解为若干张监控图像，并统计各监控视频段分解的监控图像张数，进而对各监控视频段分解的各监控图像按照预设的顺序进行编号，分别标记为1,2...a...z；
S4.语音信息处理及语义识别：对提取的各监控终端对应各监控视频段的语音信息进行端点检测和降噪处理，得到处理后的语音信息，并将处理后的语音信息进行语义识别，获取识别后的各监控视频段语音信息对应的语义文本内容；
S5.语音危险系数分析：将获取的各监控终端中各监控视频段的语音信息对应的语义文本内容进行分词，得到各个词组，并对各个词组进行编号，依次标记为1,2...b...y；并将得到的各个词组分别与危险文字数据库中各种危险词组进行对比匹配，若某监控终端中某个监控视频段对应的某个词组与危险文字数据库中某个危险词组相同，则语音匹配成功，此时统计语音匹配成功的监控终端编号及该监控终端对应语音匹配成功的监控视频段编号，其中语音匹配成功的监控终端编号可记为1′,2′...i′...n′，语音匹配成功的监控视频段编号可记为1′,2′...j′...m′，该语音匹配成功的监控终端记为语音危险监控终端，该语音匹配成功的监控视频段记为语音危险监控视频段，进而统计各语音危险监控视频段对应语音匹配成功的词组个数，以此统计各语音危险监控终端中各语音危险监控视频段对应的语音危险系数；
S6.动作危险系数分析：将各监控终端对应各监控视频段分解的各监控图像进行高清滤波和去除噪声处理，得到处理后的各监控图像，并将处理后的各监控图像进行人的轮廓特征提取，若某张监控图像提取不到人的轮廓特征，则放弃该张监控图像，保留能够提取到人的轮廓特征的监控图像，并记录保留的各监控终端对应各监控视频段对应的监控图像编号，可记为1′,2′...a′...z′，进而将保留的各监控终端中各监控视频段对应的各监控图像聚焦在人的轮廓区域，并提取人的动作特征，同时将提取的人的动作特征与危险动作数据库中各种危险动作特征进行对比匹配，若某监控终端中某个监控视频段保留的某张监控图像提取的人的动作特征与危险动作数据库中某个危险动作特征一致，则动作匹配成功，此时统计动作匹配成功的监控终端编号及该监控终端对应动作匹配成功的监控视频段编号和该监控视频段对应动作匹配成功的监控图像编号，其中动作匹配成功的监控终端编号可记为1″,2″...i″...n″，动作匹配成功的监控视频段编号可记为1″,2″...j″...m″，动作匹配成功的监控图像编号可记为1″,2″...a″...z″，该动作匹配成功的监控终端记为动作危险监控终端，该动作匹配成功的监控视频段记为动作危险监控视频段，该动作匹配成功的监控图像记为动作危险监控图像，进而统计各动作危险监控视频段对应的动作危险监控图像数量，由此统计各动作危险监控终端中各动作危险监控视频段对应的动作危险系数；
S7.综合危险系数分析：将语音危险监控终端编号与动作危险监控终端编号进行对比，分析是否存在相同的监控终端编号，若存在相同的监控终端编号，则统计相同的监控终端数量及编号和不同的监控终端数量及编号，相同的监控终端记为双重危险监控终端，此时将各双重危险监控终端对应的语音危险监控视频段编号和动作危险监控视频段编号进行对比，分析是否存在相同的监控视频段编号，若存在相同的监控视频段编号，则统计相同的监控视频段数量及编号，该相同的监控视频段记为双重危险监控视频段，由此将各双重危险监控终端中各双重危险监控视频段对应的语音危险系数和动作危险系数进行叠加，得到各双重危险监控终端中各双重危险监控视频段对应的综合危险系数；
S8.综合危险系数处理：根据统计的双重危险监控终端编号，从位置数据库中筛选该双重危险监控终端对应的位置信息，并根据双重危险监控终端中各双重危险监控视频段编号，从该双重危险监控终端对应监控视频分解的各监控视频段中提取该双重危险监控视频段，以此将双重危险监控终端编号及对应的位置信息、双重危险监控视频段和双重危险监控视频段对应的综合危险系数传输至小区安防管理中心，并进行双重危险预警，由小区安防管理人员进行针对性处理；
S9.目标语音或动作危险监控终端及监控视频段处理：将不同的监控终端按照其对应的监控终端类别分为语音危险监控终端和动作危险监控终端，将各语音危险监控终端中各语音危险监控视频段对应的语音危险系数与预设的最小语音危险系数进行对比，若某语音危险监控终端中某语音危险监控视频段对应的语音危险系数大于预设的最小语音危险系数，则该语音危险监控视频段记为目标语音危险监控视频段，该语音危险监控终端记为目标语音危险监控终端，此时进行语音危险预警，并统计目标语音危险监控终端编号及该目标语音危险监控终端对应的目标语音危险监控视频段编号，进而根据统计的目标语音危险监控终端编号从位置数据库中筛选该目标语音危险监控终端对应的位置信息，以此将该目标语音危险监控终端编号及位置信息、目标语音危险监控视频段和目标语音危险监控视频段对应的语音危险系数传输至小区安防管理中心，对各动作危险监控终端按照上述同样的方式进行处理，若某动作危险监控终端中某动作危险监控视频段对应的动作危险系数大于预设的最小动作危险系数，则进行动作危险预警，并统计得到目标动作危险监控终端编号及该目标动作危险监控终端对应的目标动作危险监控视频段编号，进而根据统计的目标动作危险监控终端编号从位置数据库中筛选该目标动作危险监控终端对应的位置信息，以此将该目标动作危险监控终端编号及位置信息、目标动作危险监控视频段和目标动作危险监控视频段对应的动作危险系数传输至小区安防管理中心，由小区安防管理人员进行针对性处理。
在本发明一个方面的一种能够实现的方式中，所述监控终端为摄像头。
在本发明一个方面的一种能够实现的方式中，所述定位设备为GPS定位仪。
在本发明一个方面的一种能够实现的方式中，所述S2中将各监控终端的监控视频划分的各监控视频段按照预设的顺序进行编号，其中预设的顺序为各监控视频段在整个监控视频中所处的位置前后顺序。
在本发明一个方面的一种能够实现的方式中，所述S4中将处理后的语音信息进行语义识别的具体识别过程执行以下步骤：
H1：将处理后的语音信息进行语义特征提取，得到提取到的语义特征；
H2：提取语义模板库中存储的各种语义模板，将提取到的语义特征分别在各种语义模板中进行解析，并统计提取的语义特征在每种语义模板中对应的解析相似度，筛选相似度最大的语义模板，并输出该语义模板作为该语音信息的目标语义模板；
H3：根据该目标语义模块的定义，通过计算机查表识别得到该语音信息对应的语义文本内容。
在本发明一个方面的一种能够实现的方式中，所述各语音危险监控终端中各语音危险监控视频段对应的语音危险系数的计算公式为
Figure BDA0002865770200000061
ηk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应的语音危险系数，k表示为语音危险监控终端编号，k＝1′,2′...i′...n′,d表示为语音危险监控视频段编号，d＝1′,2′...j′...m′,
Figure BDA0002865770200000063
表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语音匹配成功的词组个数,yk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语义文本内容分词词组的个数。
在本发明一个方面的一种能够实现的方式中，所述各动作危险监控终端中各动作危险监控视频段对应的动作危险系数的计算公式为
Figure BDA0002865770200000062
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险系数，s表示为动作危险监控终端编号，s＝1″,2″...i″...n″,l表示为动作危险监控视频段编号，l＝1″,2″...j″...m″,
Figure BDA0002865770200000064
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险监控图像数量，
Figure BDA0002865770200000065
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应保留的监控图像数量。
本发明的另一个方面，还提出了一种云通信服务器，所述服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个安防监控终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于物联网和人工智能的安防监控数据处理方法。
基于上述任一方面，本发明的有益效果如下：
(1)本发明通过统计住宅小区内所有监控终端的数量及位置信息，并截取预设时间段内各监控终端对应的监控视频，进而对监控视频进行视频段划分，以此对划分的各监控视频段一方面提取语音信息，另一方面分解为若干监控图像，从而对提取的语音信息进行分析处理，得到语音危险监控终端编号、语音危险监控视频段编号及各语音危险监控视频段对应的语音危险系数，同时对分解得到的各监控图像进行分析处理，得到动作危险监控终端编号、动作危险监控视频段编号及各动作危险监控视频段对应的动作危险系数，弥补了现有的住宅小区安防监控数据处理方式过于片面化的弊端，提高了安防监控数据处理的完整性和综合性，进一步加大了对住宅小区安防监控的力度，大大保障了住户的人身安全和财产安全。
(2)本发明在得到语音危险监控终端编号和动作危险监控终端编号后，将其进行相互对比，从而筛选出双重危险监控终端编号和双重危险监控视频段编号，进而统计出各双重危险监控终端中各双重危险监控视频段对应的综合危险系数，其统计的综合危险系数结合了语音危险系数和动作危险系数，综合反映了双重危险监控视频段的语音危险状况和动作危险状况，便于安防管理人员直观了解对应双重危险监控视频段的综合危险状况，进而及时采取针对性的措施，提高了处理的效率。
(3)本发明通过设置不同的预警方式来表达不同的危险状况，提高了危险状况的辨识度，方便安防管理人员区分，进而采取不同的方式进行应对。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的方法实施步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1所示，本发明的一个方面，提出了一种基于物联网和人工智能的安防监控数据处理方法，包括以下步骤；
S1.监控终端统计：统计住宅小区内所有监控终端的数量，其中监控终端为摄像头，并对统计的各监控终端按照预设的顺序进行编号，依次标记为1,2...i...n，同时对标记的各监控终端通过定位设备获取其对应的地理位置，其中定位设备为GPS定位仪，进而存储在位置数据库中；
本实施例通过获取各监控终端的位置信息并存储在位置数据库中，为后续提取语音危险监控终端、动作危险监控终端和双重危险监控终端对应的位置信息提供方便；
S2.监控视频截取及监控视频段划分：按照预设的时间段截取预设时间段内各监控终端对应的监控视频，并将截取的预设时间段内各监控终端对应的监控视频按照设置的视频划分时间间隔划分为若干监控视频段，进而将各监控终端的监控视频划分的各监控视频段按照各监控视频段在整个监控视频中所处的位置前后顺序进行编号，分别标记为1,2...j...m；
本实施例通过对截取的监控视频进行监控视频段划分，为后面进行各监控视频段的语音信息提取和监控图像的分解奠定基础；
S3.语音提取及监控图像分解：对划分的各监控视频段提取语音信息，得到各监控视频段对应的语音信息，并将划分的各监控视频段按照设置的视频帧数分解为若干张监控图像，并统计各监控视频段分解的监控图像张数，进而对各监控视频段分解的各监控图像按照预设的顺序进行编号，分别标记为1,2...a...z；
S4.语音信息处理及语义识别：对提取的各监控终端对应各监控视频段的语音信息进行端点检测和降噪处理，得到处理后的语音信息，并将处理后的语音信息进行语义识别，其具体识别过程执行以下步骤：
H1：将处理后的语音信息进行语义特征提取，得到提取到的语义特征；
H2：提取语义模板库中存储的各种语义模板，将提取到的语义特征分别在各种语义模板中进行解析，并统计提取的语义特征在每种语义模板中对应的解析相似度，筛选相似度最大的语义模板，并输出该语义模板作为该语音信息的目标语义模板；
H3：根据该目标语义模块的定义，通过计算机查表识别得到该语音信息对应的语义文本内容；
S5.语音危险系数分析：将获取的各监控终端中各监控视频段的语音信息对应的语义文本内容进行分词，得到各个词组，并对各个词组进行编号，依次标记为1,2...b...y；并将得到的各个词组分别与危险文字数据库中各种危险词组进行对比匹配，其中危险词组包括抢、抢劫、偷窃、打劫、打人、扒手等，若某监控终端中某个监控视频段对应的某个词组与危险文字数据库中某个危险词组相同，则语音匹配成功，此时统计语音匹配成功的监控终端编号及该监控终端对应语音匹配成功的监控视频段编号，其中语音匹配成功的监控终端编号可记为1′,2′...i′...n′，语音匹配成功的监控视频段编号可记为1′,2′...j′...m′，该语音匹配成功的监控终端记为语音危险监控终端，该语音匹配成功的监控视频段记为语音危险监控视频段，进而统计各语音危险监控视频段对应语音匹配成功的词组个数，以此统计各语音危险监控终端中各语音危险监控视频段对应的语音危险系数
Figure BDA0002865770200000101
ηk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应的语音危险系数，k表示为语音危险监控终端编号，k＝1′,2′...i′...n′,d表示为语音危险监控视频段编号，d＝1′,2′...j′...m′,
Figure BDA0002865770200000102
表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语音匹配成功的词组个数,yk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语义文本内容分词词组的个数；
本实施例统计的语音危险系数实现了监控语音数据中危险状况的量化展示，语音匹配成功的词组个数越多，其语音危险系数越大，表明监控语音数据中危险状况越严重；
S6.动作危险系数分析：将各监控终端对应各监控视频段分解的各监控图像进行高清滤波和去除噪声处理，得到处理后的各监控图像，并将处理后的各监控图像进行人的轮廓特征提取，若某张监控图像提取不到人的轮廓特征，则放弃该张监控图像，保留能够提取到人的轮廓特征的监控图像，并记录保留的各监控终端对应各监控视频段对应的监控图像编号，可记为1′,2′...a′...z′，进而将保留的各监控终端中各监控视频段对应的各监控图像聚焦在人的轮廓区域，并提取人的动作特征，同时将提取的人的动作特征与危险动作数据库中各种危险动作特征进行对比匹配，其中危险动作包括偷窃、砸、搬等，若某监控终端中某个监控视频段保留的某张监控图像提取的人的动作特征与危险动作数据库中某个危险动作特征一致，则动作匹配成功，此时统计动作匹配成功的监控终端编号及该监控终端对应动作匹配成功的监控视频段编号和该监控视频段对应动作匹配成功的监控图像编号，其中动作匹配成功的监控终端编号可记为1″,2″...i″...n″，动作匹配成功的监控视频段编号可记为1″,2″...j″...m″，动作匹配成功的监控图像编号可记为1″,2″...a″...z″，该动作匹配成功的监控终端记为动作危险监控终端，该动作匹配成功的监控视频段记为动作危险监控视频段，该动作匹配成功的监控图像记为动作危险监控图像，进而统计各动作危险监控视频段对应的动作危险监控图像数量，由此统计各动作危险监控终端中各动作危险监控视频段对应的动作危险系数
Figure BDA0002865770200000111
Figure BDA0002865770200000112
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险系数，s表示为动作危险监控终端编号，s＝1″,2″...i″...n″,l表示为动作危险监控视频段编号，l＝1″,2″...j″...m″,
Figure BDA0002865770200000113
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险监控图像数量，
Figure BDA0002865770200000114
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应保留的监控图像数量；
本实施例统计的动作危险系数实现了对监控视频图像数据中危险状况的量化展示，动作危险监控图像数量越多，其动作危险系数越大，表明监控视频图像数据中危险状况越严重；
本实施例通过结合视频监控终端的监控视频图像数据和监控语音数据进行分析处理，弥补了现有的住宅小区安防监控数据处理方式过于片面化的弊端，提高了安防监控数据处理的完整性和综合性，进一步加大了对住宅小区安防监控的力度，大大保障了住户的人身安全和财产安全；
S7.综合危险系数分析：将语音危险监控终端编号与动作危险监控终端编号进行对比，分析是否存在相同的监控终端编号，若存在相同的监控终端编号，则统计相同的监控终端数量及编号和不同的监控终端数量及编号，相同的监控终端记为双重危险监控终端，此时将各双重危险监控终端对应的语音危险监控视频段编号和动作危险监控视频段编号进行对比，分析是否存在相同的监控视频段编号，若存在相同的监控视频段编号，则统计相同的监控视频段数量及编号，该相同的监控视频段记为双重危险监控视频段，由此将各双重危险监控终端中各双重危险监控视频段对应的语音危险系数和动作危险系数进行叠加，得到各双重危险监控终端中各双重危险监控视频段对应的综合危险系数；
S8.综合危险系数处理：根据统计的双重危险监控终端编号，从位置数据库中筛选该双重危险监控终端对应的位置信息，并根据双重危险监控终端中各双重危险监控视频段编号，从该双重危险监控终端对应监控视频分解的各监控视频段中提取该双重危险监控视频段，以此将双重危险监控终端编号及对应的位置信息、双重危险监控视频段和双重危险监控视频段对应的综合危险系数传输至小区安防管理中心，并进行双重危险预警，便于小区安防管理人员快速寻找到双重危险监控终端的位置，进而及时进行针对性处理；
本实施例在得到语音危险监控终端编号和动作危险监控终端编号后，将其进行相互对比，从而筛选出双重危险监控终端编号和双重危险监控视频段编号，进而统计出各双重危险监控终端中各双重危险监控视频段对应的综合危险系数，其统计的综合危险系数结合了语音危险系数和动作危险系数，综合反映了双重危险监控视频段的语音危险状况和动作危险状况，便于安防管理人员直观了解对应双重危险监控视频段的综合危险状况，进而及时采取针对性的措施，提高了处理的效率；
S9.目标语音或动作危险监控终端及监控视频段处理：将不同的监控终端按照其对应的监控终端类别分为语音危险监控终端和动作危险监控终端，将各语音危险监控终端中各语音危险监控视频段对应的语音危险系数与预设的最小语音危险系数进行对比，若某语音危险监控终端中某语音危险监控视频段对应的语音危险系数大于预设的最小语音危险系数，则该语音危险监控视频段记为目标语音危险监控视频段，该语音危险监控终端记为目标语音危险监控终端，此时进行语音危险预警，并统计目标语音危险监控终端编号及该目标语音危险监控终端对应的目标语音危险监控视频段编号，进而根据统计的目标语音危险监控终端编号从位置数据库中筛选该目标语音危险监控终端对应的位置信息，以此将该目标语音危险监控终端编号及位置信息、目标语音危险监控视频段和目标语音危险监控视频段对应的语音危险系数传输至小区安防管理中心，对各动作危险监控终端按照上述同样的方式进行处理，若某动作危险监控终端中某动作危险监控视频段对应的动作危险系数大于预设的最小动作危险系数，则进行动作危险预警，并统计得到目标动作危险监控终端编号及该目标动作危险监控终端对应的目标动作危险监控视频段编号，进而根据统计的目标动作危险监控终端编号从位置数据库中筛选该目标动作危险监控终端对应的位置信息，以此将该目标动作危险监控终端编号及位置信息、目标动作危险监控视频段和目标动作危险监控视频段对应的动作危险系数传输至小区安防管理中心，便于小区安防管理人员快速寻找到目标语音或动作危险监控终端的位置，进而及时进行针对性处理。
本发明通过设置不同的预警方式来表达不同的危险状况，提高了危险状况的辨识度，方便安防管理人员区分，进而采取不同的方式进行应对。
本发明的另一个方面提出了一种云通信服务器，所述服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个安防监控终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，如本发明实施例中的安防监控数据处理方法对应的程序指令/模块，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行本发明所述的基于物联网和人工智能的安防监控数据处理方法。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (8)

1.基于物联网和人工智能的安防监控数据处理方法，其特征在于：包括以下步骤；
S1.监控终端统计：统计住宅小区内所有监控终端的数量，并对统计的各监控终端按照预设的顺序进行编号，依次标记为1,2...i...n，同时对标记的各监控终端通过定位设备获取其对应的地理位置，进而存储在位置数据库中；
S2.监控视频截取及监控视频段划分：按照预设的时间段截取预设时间段内各监控终端对应的监控视频，并将截取的预设时间段内各监控终端对应的监控视频按照设置的视频划分时间间隔划分为若干监控视频段，进而将各监控终端的监控视频划分的各监控视频段按照预设的顺序进行编号，分别标记为1,2...j...m；
S3.语音提取及监控图像分解：对划分的各监控视频段提取语音信息，得到各监控视频段对应的语音信息，并将划分的各监控视频段按照设置的视频帧数分解为若干张监控图像，并统计各监控视频段分解的监控图像张数，进而对各监控视频段分解的各监控图像按照预设的顺序进行编号，分别标记为1,2...a...z；
S4.语音信息处理及语义识别：对提取的各监控终端对应各监控视频段的语音信息进行端点检测和降噪处理，得到处理后的语音信息，并将处理后的语音信息进行语义识别，获取识别后的各监控视频段语音信息对应的语义文本内容；
S5.语音危险系数分析：将获取的各监控终端中各监控视频段的语音信息对应的语义文本内容进行分词，得到各个词组，并对各个词组进行编号，依次标记为1,2...b...y；并将得到的各个词组分别与危险文字数据库中各种危险词组进行对比匹配，若某监控终端中某个监控视频段对应的某个词组与危险文字数据库中某个危险词组相同，则语音匹配成功，此时统计语音匹配成功的监控终端编号及该监控终端对应语音匹配成功的监控视频段编号，其中语音匹配成功的监控终端编号可记为1′,2′...i′...n′，语音匹配成功的监控视频段编号可记为1′,2′...j′...m′，该语音匹配成功的监控终端记为语音危险监控终端，该语音匹配成功的监控视频段记为语音危险监控视频段，进而统计各语音危险监控视频段对应语音匹配成功的词组个数，以此统计各语音危险监控终端中各语音危险监控视频段对应的语音危险系数；
S6.动作危险系数分析：将各监控终端对应各监控视频段分解的各监控图像进行高清滤波和去除噪声处理，得到处理后的各监控图像，并将处理后的各监控图像进行人的轮廓特征提取，若某张监控图像提取不到人的轮廓特征，则放弃该张监控图像，保留能够提取到人的轮廓特征的监控图像，并记录保留的各监控终端对应各监控视频段对应的监控图像编号，可记为1′,2′...a′...z′，进而将保留的各监控终端中各监控视频段对应的各监控图像聚焦在人的轮廓区域，并提取人的动作特征，同时将提取的人的动作特征与危险动作数据库中各种危险动作特征进行对比匹配，若某监控终端中某个监控视频段保留的某张监控图像提取的人的动作特征与危险动作数据库中某个危险动作特征一致，则动作匹配成功，此时统计动作匹配成功的监控终端编号及该监控终端对应动作匹配成功的监控视频段编号和该监控视频段对应动作匹配成功的监控图像编号，其中动作匹配成功的监控终端编号可记为1″,2″...i″...n″，动作匹配成功的监控视频段编号可记为1″,2″...j″...m″，动作匹配成功的监控图像编号可记为1″,2″...a″...z″，该动作匹配成功的监控终端记为动作危险监控终端，该动作匹配成功的监控视频段记为动作危险监控视频段，该动作匹配成功的监控图像记为动作危险监控图像，进而统计各动作危险监控视频段对应的动作危险监控图像数量，由此统计各动作危险监控终端中各动作危险监控视频段对应的动作危险系数；
S7.综合危险系数分析：将语音危险监控终端编号与动作危险监控终端编号进行对比，分析是否存在相同的监控终端编号，若存在相同的监控终端编号，则统计相同的监控终端数量及编号和不同的监控终端数量及编号，相同的监控终端记为双重危险监控终端，此时将各双重危险监控终端对应的语音危险监控视频段编号和动作危险监控视频段编号进行对比，分析是否存在相同的监控视频段编号，若存在相同的监控视频段编号，则统计相同的监控视频段数量及编号，该相同的监控视频段记为双重危险监控视频段，由此将各双重危险监控终端中各双重危险监控视频段对应的语音危险系数和动作危险系数进行叠加，得到各双重危险监控终端中各双重危险监控视频段对应的综合危险系数；
S8.综合危险系数处理：根据统计的双重危险监控终端编号，从位置数据库中筛选该双重危险监控终端对应的位置信息，并根据双重危险监控终端中各双重危险监控视频段编号，从该双重危险监控终端对应监控视频分解的各监控视频段中提取该双重危险监控视频段，以此将双重危险监控终端编号及对应的位置信息、双重危险监控视频段和双重危险监控视频段对应的综合危险系数传输至小区安防管理中心，并进行双重危险预警，由小区安防管理人员进行针对性处理；
S9.目标语音或动作危险监控终端及监控视频段处理：将不同的监控终端按照其对应的监控终端类别分为语音危险监控终端和动作危险监控终端，将各语音危险监控终端中各语音危险监控视频段对应的语音危险系数与预设的最小语音危险系数进行对比，若某语音危险监控终端中某语音危险监控视频段对应的语音危险系数大于预设的最小语音危险系数，则该语音危险监控视频段记为目标语音危险监控视频段，该语音危险监控终端记为目标语音危险监控终端，此时进行语音危险预警，并统计目标语音危险监控终端编号及该目标语音危险监控终端对应的目标语音危险监控视频段编号，进而根据统计的目标语音危险监控终端编号从位置数据库中筛选该目标语音危险监控终端对应的位置信息，以此将该目标语音危险监控终端编号及位置信息、目标语音危险监控视频段和目标语音危险监控视频段对应的语音危险系数传输至小区安防管理中心，对各动作危险监控终端按照上述同样的方式进行处理，若某动作危险监控终端中某动作危险监控视频段对应的动作危险系数大于预设的最小动作危险系数，则进行动作危险预警，并统计得到目标动作危险监控终端编号及该目标动作危险监控终端对应的目标动作危险监控视频段编号，进而根据统计的目标动作危险监控终端编号从位置数据库中筛选该目标动作危险监控终端对应的位置信息，以此将该目标动作危险监控终端编号及位置信息、目标动作危险监控视频段和目标动作危险监控视频段对应的动作危险系数传输至小区安防管理中心，由小区安防管理人员进行针对性处理。
2.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述监控终端为摄像头。
3.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述定位设备为GPS定位仪。
4.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述S2中将各监控终端的监控视频划分的各监控视频段按照预设的顺序进行编号，其中预设的顺序为各监控视频段在整个监控视频中所处的位置前后顺序。
5.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述S4中将处理后的语音信息进行语义识别的具体识别过程执行以下步骤：
H1：将处理后的语音信息进行语义特征提取，得到提取到的语义特征；
H2：提取语义模板库中存储的各种语义模板，将提取到的语义特征分别在各种语义模板中进行解析，并统计提取的语义特征在每种语义模板中对应的解析相似度，筛选相似度最大的语义模板，并输出该语义模板作为该语音信息的目标语义模板；
H3：根据该目标语义模块的定义，通过计算机查表识别得到该语音信息对应的语义文本内容。
6.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述各语音危险监控终端中各语音危险监控视频段对应的语音危险系数的计算公式为
Figure FDA0002865770190000051
ηk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应的语音危险系数，k表示为语音危险监控终端编号，k＝1′,2′...i′...n′,d表示为语音危险监控视频段编号，d＝1′,2′...j′…m′,
Figure FDA0002865770190000052
表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语音匹配成功的词组个数,yk d表示为第k个语音危险监控终端中第d个语音危险监控视频段对应语义文本内容分词词组的个数。
7.根据权利要求1所述的基于物联网和人工智能的安防监控数据处理方法，其特征在于：所述各动作危险监控终端中各动作危险监控视频段对应的动作危险系数的计算公式为
Figure FDA0002865770190000061
Figure FDA0002865770190000062
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险系数，s表示为动作危险监控终端编号，s＝1″,2″…i″…n″,l表示为动作危险监控视频段编号，l＝1″,2″...j″...m″,
Figure FDA0002865770190000063
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应的动作危险监控图像数量，
Figure FDA0002865770190000064
表示为第s个动作危险监控终端中第l个动作危险监控视频段对应保留的监控图像数量。
8.一种云通信服务器，其特征在于：所述服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个安防监控终端通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-7中任意一项所述的基于物联网和人工智能的安防监控数据处理方法。
CN202011583807.4A 2020-12-28 2020-12-28 基于物联网和人工智能的安防监控数据处理方法及云通信服务器 Pending CN112738471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011583807.4A CN112738471A (zh) 2020-12-28 2020-12-28 基于物联网和人工智能的安防监控数据处理方法及云通信服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011583807.4A CN112738471A (zh) 2020-12-28 2020-12-28 基于物联网和人工智能的安防监控数据处理方法及云通信服务器

Publications (1)

Publication Number Publication Date
CN112738471A true CN112738471A (zh) 2021-04-30

Family

ID=75606884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011583807.4A Pending CN112738471A (zh) 2020-12-28 2020-12-28 基于物联网和人工智能的安防监控数据处理方法及云通信服务器

Country Status (1)

Country Link
CN (1) CN112738471A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302841A (zh) * 2023-04-13 2023-06-23 银川兴诚电子科技有限公司 一种工业物联网安全监测方法及系统
CN118075511A (zh) * 2024-04-19 2024-05-24 深圳市艾科维达科技有限公司 一种基于物联网摄像头智能监控系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101377029B1 (ko) * 2013-11-29 2014-03-20 주식회사 에보시스 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법
CN105208326A (zh) * 2015-08-28 2015-12-30 深圳市融创天下科技有限公司 一种基于视频云的城市区域公共安全威胁预警方法及系统
US20160086467A1 (en) * 2013-05-09 2016-03-24 Tae Hoon AHN Device and method for controlling activation of crime prevention equipment
US20170323161A1 (en) * 2014-11-06 2017-11-09 Samsung Electronics Co., Ltd. Method and apparatus for early warning of danger
CN110532888A (zh) * 2019-08-01 2019-12-03 悉地国际设计顾问（深圳）有限公司 一种监控方法、装置及系统
CN110620905A (zh) * 2019-09-06 2019-12-27 平安医疗健康管理股份有限公司 视频监控方法、装置、计算机设备和存储介质
CN111967400A (zh) * 2020-08-19 2020-11-20 顾晓东 一种基于人工智能的校园安全监测预警管理系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160086467A1 (en) * 2013-05-09 2016-03-24 Tae Hoon AHN Device and method for controlling activation of crime prevention equipment
KR101377029B1 (ko) * 2013-11-29 2014-03-20 주식회사 에보시스 지능형 하이브리드 감시제어모듈을 통한 단계별 자율 경보형 스마트 cctv 감시장치 및 감시방법
US20170323161A1 (en) * 2014-11-06 2017-11-09 Samsung Electronics Co., Ltd. Method and apparatus for early warning of danger
CN105208326A (zh) * 2015-08-28 2015-12-30 深圳市融创天下科技有限公司 一种基于视频云的城市区域公共安全威胁预警方法及系统
CN110532888A (zh) * 2019-08-01 2019-12-03 悉地国际设计顾问（深圳）有限公司 一种监控方法、装置及系统
CN110620905A (zh) * 2019-09-06 2019-12-27 平安医疗健康管理股份有限公司 视频监控方法、装置、计算机设备和存储介质
CN111967400A (zh) * 2020-08-19 2020-11-20 顾晓东 一种基于人工智能的校园安全监测预警管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116302841A (zh) * 2023-04-13 2023-06-23 银川兴诚电子科技有限公司 一种工业物联网安全监测方法及系统
CN116302841B (zh) * 2023-04-13 2023-12-08 北京浩太同益科技发展有限公司 一种工业物联网安全监测方法及系统
CN118075511A (zh) * 2024-04-19 2024-05-24 深圳市艾科维达科技有限公司 一种基于物联网摄像头智能监控系统

Similar Documents

Publication Publication Date Title
CN110569720B (zh) 一种基于音视频处理系统的音视频智能识别处理方法
CN110738127A (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN111601074A (zh) 安防监控方法、装置、机器人和存储介质
CN112738471A (zh) 基于物联网和人工智能的安防监控数据处理方法及云通信服务器
CN111127830A (zh) 基于监控设备的报警方法、报警系统和可读存储介质
CN110852222A (zh) 一种基于目标检测的校园走廊场景智能监控方法
CN112132095B (zh) 危险状态的识别方法、装置、电子设备及存储介质
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN112819068A (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN114708555A (zh) 基于数据处理的森林防火监控方法及电子设备
CN113052107A (zh) 一种检测安全帽佩戴情况的方法、计算机设备及存储介质
CN115620471A (zh) 一种基于大数据筛查的图像识别安防系统
CN112325785A (zh) 基于顶部平面拟合的铁塔变形监测方法及系统
CN112989950A (zh) 一种面向多模态特征语义关联特征的暴力视频识别系统
CN115565101A (zh) 一种生产安全异常识别方法、装置、电子设备及存储介质
CN115512259A (zh) 一种基于多模态的短视频审核方法
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN113362851A (zh) 基于深度学习交通场景声音分类的方法及系统
CN113239766A (zh) 基于深度神经网络的行为识别方法及智能报警装置
CN115966061B (zh) 基于5g消息的灾情预警处理方法、系统和装置
CN117172984A (zh) 基于设备检修数字孪生场景的安全风险识别方法及系统
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN115953815A (zh) 基建现场的监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430

RJ01 Rejection of invention patent application after publication