CN115691034A - 一种智能家居异常情况告警方法、系统及存储介质 - Google Patents
一种智能家居异常情况告警方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115691034A CN115691034A CN202211355023.5A CN202211355023A CN115691034A CN 115691034 A CN115691034 A CN 115691034A CN 202211355023 A CN202211355023 A CN 202211355023A CN 115691034 A CN115691034 A CN 115691034A
- Authority
- CN
- China
- Prior art keywords
- abnormal behavior
- user
- identity
- abnormal
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 58
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 242
- 238000001514 detection method Methods 0.000 claims abstract description 214
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 39
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 229910052582 BN Inorganic materials 0.000 claims description 4
- PZNSFCLAULLKQX-UHFFFAOYSA-N Boron nitride Chemical compound N#B PZNSFCLAULLKQX-UHFFFAOYSA-N 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000006399 behavior Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000009545 invasion Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 206010010071 Coma Diseases 0.000 description 3
- 230000003321 amplification Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010054211 Cardiac discomfort Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Alarm Systems (AREA)
Abstract
本发明公开了基于深度学习的智能家居管理方法、系统及存储介质，该方法包括：生成实时视频流数据；根据实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；根据用户流数据和身份数据库中的身份信息，输出身份标识；通过与身份标识对应的异常行为检测模型，对用户流数据进行异常行为检测，得到异常行为识别结果；根据火情检测结果和异常行为识别结果，结合火情检测结果对应的危险等级和异常行为识别结果对应的危险等级进行预警。本发明能够实时监测智能家居环境内的异常情况，提高了智能家居环境的智异常情况的识别准确率，保障了用户的安全，减少因异常情况对用户造成的损失。
Description
技术领域
本发明涉及智能家居控制技术领域，特别涉及一种智能家居异常情况告警方法、系统及存储介质。
背景技术
智能家居(Smart Home)是物联网的一个重要的应用，通常是指利用住宅为平台，利用综合布线技术、网络通信技术等技术将家居生活有关的设施集成，构建高效的住宅设施与家庭日程事务的管理系统。智能家居能够提供全方位的信息交互功能，帮助家庭与外部保持信息交流畅通，优化人们的生活方式，帮助人们有效安排时间，增强家居生活的安全性，甚至为各种能源费用节约资金。
目前，智能家居系统中常见的异常情况可以分为三种情况，一种是室内入侵，另一种是智能家居设备使用不当导致出现安全性的问题，如灶具使用不当导致出现火情，还有一种是用户在家居环境中出现身体异常的情况。不论是出现哪一种异常情况，都有可能威胁到用户的人身安全。虽然智能家居系统的发展势头迅猛，然而传统智能家居作为监控系统，无法做到24小时不间断监控，大多需要人为对行为数据或环境数据进行干预识别，进而导致识别速度慢，容错率低，无法更进一步地对家庭环境实现实时监控，当家庭环境出现如室内入侵、火情等异常情况时无法起到及时预警的效果。
发明内容
本发明的目的是提供一种智能家居异常情况告警方法、系统及存储介质，通过预设的神经网络模型对家庭环境中所出现的异常情况进行识别并发出异常预警，实现对智能家居设备的安全管控，用户的安全管理和安全防护。
本发明解决其技术问题的解决方案是：第一方面，本申请提供一种智能家居异常情况告警方法，包括以下步骤：
实时监测智能家居的室内情况，生成实时视频流数据；
根据所述实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；
预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
其中，所述身份标识包括非用户身份标识和/或用户身份标识；
通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
其中，所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
其中，所述通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果具体包括：
通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
第二方面，本申请提供一种智能家居异常情况告警系统，包括：
视频采集模块，包括若干高清摄像头，用于监测智能家居的室内情况，生成实时视频流数据；
数据存储模块，用于存储历史所监测的智能家居的室内情况；
用户识别模块，用于根据所述实时视频流数据，对室内情况进行用户检测，输出用户流数据；
身份识别模块，设置有身份数据库，用于遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
其中，所述身份标识包括非用户身份标识和/或用户身份标识；
火情检测模块，用于根据所述实时视频流数据，对室内情况进行火情检测，当检测到火情时输出火情检测结果；
异常行为检测模块，用于通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
告警模块，用于根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
其中，所述异常行为检测模块包括：
第一行为检测模块，用于通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
第二行为检测模块，用于通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
第三方面，本申请提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的一种智能家居异常情况告警方法。
本发明的有益效果是：提供一种智能家居异常情况告警方法、系统及存储介质，能够实时监测智能家居环境内的异常情况，响应速度快，对室内用户或非用户的异常行为以及火情情况进行准确识别和告警，提高了智能家居环境的智异常情况的识别准确率，保障了用户的安全，减少因异常情况对用户造成的损失。
附图说明
图1为本申请提供的一种智能家居异常情况告警方法的流程图；
图2为本申请提供的火情检测的流程图；
图3为本申请提供的训练第一异常行为检测模型的流程图；
图4为本申请提供的对非用户身份标识的用户流数据进行异常行为检测的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
(1)背景差分算法，是通过对现在这一帧画面与所选定的背景进行对比来辨别画面中是不是有运动物体的方法。由于被检测的的目标无论是在色彩上还是灰度处理后的灰度值上与原来存在的背景图像之间必然都存在着一定程度上的差异，设定一个阈值，将当前帧画面与背景画面相减后的值与这个阈值作比较，如若相减后的值大于所设定的阈值，则认为图像中存在运动目标。
(2)Sort(Simp le On l ine and Rea lt ime Tracking，在线实时跟踪)，根据检测结果来完成识别多个目标的任务，用检测的识别机制帮助预测轨迹的跟踪器实现相邻图像中的目标的联系和区别功能。
目前，智能家居系统中常见的异常情况可以分为三种情况，一种是室内入侵，另一种是智能家居设备使用不当导致出现火情问题，还有一种是用户在家居环境中出现身体异常进而导致行为异常的情况。不论是出现哪一种异常情况，都有可能威胁到用户的人身安全。虽然智能家居系统的发展势头迅猛，然而传统智能家居作为监控系统，无法做到24小时不间断监控，大多需要人为对行为数据或环境数据进行干预识别，进而导致识别速度慢，容错率低，无法更进一步地对家庭环境实现实时监控，当家庭环境出现如室内入侵、火情等异常情况时无法起到及时预警的效果。
对此，本申请提出一种基于行为异常行为检测技术和火情检测技术的智能家居异常情况告警方法及系统，通过实时监测智能家居环境，对智能家居环境同时进行火情检测和用户身份识别，并根据用户身份识别的结果相应异常行为检测模型进行异常行为识别，输出火情检测结果以及异常行为识别结果，并根据两种结果相应的危险等级进行及时预警。本申请提供的方法能够实时监测智能家居环境内的异常情况，响应速度快，对室内用户或非用户的异常行为以及火情情况进行准确识别和告警，提高了智能家居环境的智异常情况的识别准确率，保障了用户的安全，减少因异常情况对用户造成的损失。
参照图1所示，针对家居环境中常见的异常情况，本申请的异常行为检测分为三个方向：一是对家居环境中是否存在火情进行检测；二是对非用户角色进行入侵检测，判断非用户角色是否存在有入侵异常行为；三是对用户角色进行异常行为检测，判断用户角色是否因身体不适而出现异常行为。本申请的一个实施例，下面将对该方法进行说明和阐述，该方法可以包括但不限于以下步骤。
100，实时监测智能家居的室内情况，生成实时视频流数据。
可选地，设置智能家居的多个摄像头设备，对智能家居环境进行监测。可选地，摄像头设备可以是RGB相机、深度相机或者RGB-D相机中的一种或多种。
需要说明的是，实时视频流数据为一组顺序且连续到达的数据序列,可以理解的是其为一个随时间延续而无限增长的动态数据集合。
200，根据实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果。
需要说明的是，通过预先训练的火焰检测模型对室内是否存在火情进行检测，通过预先训练的身份识别模型进行用户身份的检测。
可选地，火情检测结果可以包括火情的判断结果以及当出现火情时火情对应的类别。火情的判断结果可以包括存在有火情或者不存在有火情中的任一种。而火情对应的类别可以根据火情的面积和火焰的颜色进行划分，本申请对其不作具体限制。
本步骤中，火情检测是本申请进行异常行为检测的其中一个方向。火情检测为了检测室内是否存在有火情异常情况；如果有，则及时对火情进行告警。而用户身份的检测则是为了判断室内是否存在有非用户角色，对非用户角色和用户角色分别进行异常行为检测，当出现室内入侵的现象或用户在家居环境中出现身体异常的情况时进行及时地异常告警，进而确保了用户的人身安全。
300，预设身份数据库并遍历身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至用户流数据中。
需要说明的是，身份标识包含非用户身份标识和/或用户身份标识。本申请的用户流数据通过实时流视频数据得到，用户流数据也是一组顺序且连续到达的数据序列。由于用户流数据是动态的数据，在一段时间内所出现的用户流数据可能是用户的数据，也可能是非用户的数据。为了更加准确地识别用户和非用户的异常行为，本申请需要先对用户流数据的身份信息进行识别和划分，划分出用户角色和非用户角色，后续再对非用户角色和用户角色分别进行异常行为检测。
400，通过与身份标识对应的异常行为检测模型，对用户流数据进行异常行为检测，得到异常行为识别结果。
进一步地，步骤400还可以包括以下步骤：
410，通过第一异常行为检测模型，对携带有非用户身份标识的用户流数据进行异常行为检测，得到第一异常行为识别结果；
420，通过第二异常行为检测模型，对携带有用户身份标识的用户流数据进行异常行为检测，得到第二异常行为识别结果。
需要说明的是，身份标识对应的异常行为检测模型包含第一异常行为检测模型和/或第二异常行为检测模型。
需要说明的是，异常行为识别结果包含第一异常行为识别结果和/或第二异常行为识别结果。第一异常行为识别结果为非用户身份标识的用户流数据执行异常行为检测后得到的结果，第二异常行为识别结果为对用户身份标识的用户流数据执行异常行为检测后得到的结果。两者均包含携带有身份标识的用户流数据相应的异常行为类别和发生时间值。
其中，第一异常行为识别结果包括携带有非用户身份标识的用户流数据对应的异常行为类别和第一发生时间值。第一发生时间值为携带有非用户身份标识的用户流数据出现异常行为的时间值。
第二异常行为识别结果包括携带有用户身份标识的用户流数据对应的异常行为类别和第二发生时间值。第二发生时间值为携带有用户身份标识的用户流数据出现异常行为的时间值。
对于非用户角色，本申请采用第一异常行为检测模型对其进行异常行为的检测，判断其是否存在有如盗窃等异常行为；对于用户角色，本申请采用第二异常行为检测模型对其进行异常行为的检测，判断其是否有出现因身体不适而造成的异常行为。若用户流数据包括非用户角色的流数据和用户角色的流数据，则同时采用两种异常行为检测模型进行异常行为的检测，得到两种对应的异常行为识别结果。
500，根据火情检测结果和异常行为识别结果，结合火情检测结果对应的危险等级和异常行为识别结果对应的危险等级进行预警。
需要说明的是，本申请进行异常情况检测的方向为火情检测、非用户角色的异常行为检测和用户角色的异常行为检测。本步骤可以分为四种情况：一是未检测出火情且非用户角色和用户角色均不存在异常行为；二是检测出火情但非用户角色和用户角色均不存在异常行为；三是检测出火情且非用户角色和用户角色均存在异常行为；四是未检测出火情但非用户角色和用户角色均存在异常行为。其中，第二种情况和第四种情况发生的概率较大，而第一种情况和第三种情况发生的概率较小。本申请可以通过设置火情危险等级映射表和异常行为危险等级映射表来对火情检测结果以及行为识别结果进行分级操作。
可选地，步骤500中，在得到两者相应的危险等级之后，以收发短信的方式进行监测与远程报警提醒智能家居系统的其他用户。
本申请的一个实施例，下面对步骤100进行进一步地说明和阐述。步骤100可以包括但不限于以下步骤。
110，设定抓图频率和检测间隔频率。
需要说明的是，抓图频率为在一次抓取智能家居环境情况的时候，一个或多个摄像头所抓取智能家居环境情况的频率。检测间隔频率可以视作是本次抓取智能家居的室内情况和上次抓取智能家居的室内情况之间的时间差。
120，通过多个摄像头监测智能家居环境情况，以抓图频率和检测间隔频率获取实时视频流数据。
参照图2所示，图2所示为本申请实施例提供的火情检测的方法流程图。本申请的一个实施例，下面将对步骤200中的火情检测进行进一步地说明和阐述。步骤200可以包括但不限于以下步骤。
210，对实时视频流数据进行分帧处理，得到环境图像，预处理环境图像。
需要说明的是，环境图像携带有其对应的采样帧。
本步骤中，分帧处理实时视频流数据，分为连续多帧的环境图像，每一个环境图像都有其对应的帧数。
可选地，预处理环境图像可以包括但不限于通过中值滤波法去除环境图像中的噪声。图像噪声是图像中孤立的像素点，与周围相邻的像素点存在显著的差异，采用中值滤波法可以平滑图像像素值，有效地消除图像中的噪声，有可以保持图像原有的细节信息。
220，根据火焰检测模型，对预处理后的环境图像进行火焰区域检测，得到一个或多个疑似火焰区域的目标框。
需要说明的是，本申请通过深度学习网络预先训练好火焰检测模型，以用于实时火焰区域检测。当室内场景可能存在一个火焰区域时，火焰检测模型输出一个目标框；若室内场景可能存在多个火焰区域时，火焰检测模型输出多个目标框。
230，利用多目标跟踪算法对疑似火焰区域的目标框进行目标追踪，得到目标火焰图像。
需要说明的是，多目标跟踪算法利用数字图像处理技术稳定跟踪图像序列中的多个感兴趣目标，得到各个目标在每一时刻正确位置。本申请采用多目标跟踪算法对目标框的轨迹进行追踪，保证对火焰的追踪效果。可选地，多目标跟踪算法为Sort(Simp le On line and Rea lt ime Tracking，在线实时跟踪)。
以上步骤中，在进行目标跟踪之前需要通过火焰检测模型识别图像中的火焰信息，这一步为检测过程。之后，通过跟踪器进行轨迹检测，这一步为观测过程，最终将检测结果进行相邻图像之间的数据匹配并更新预测结果。需要说明的是，由于跟踪器不能进行识别，只能进行轨迹检测，火焰检测模型的识别结果可以帮助跟踪器进行目标匹配。将目标检测的结果与轨迹检测的结果进行关联，可以大幅度地提高智能家居环境的火情检测的准确率。
240，对连续采样帧的目标火焰图像进行动态检测，根据目标火焰图像的动态检测结果输出火情检测结果。
本具体实施例中，首先通过火焰检测模型识别得到疑似含有火焰区域的目标框。之后，通过跟踪器对火焰区域进行目标轨迹的追踪，将目标检测的结果与轨迹检测的结果进行关联。再根据背景差分算法，检测是否存在动态的火焰及火焰的动态幅度，若火焰的动态幅度大于预设条件，则说明智能家居的室内存在蔓延的火焰，根据火焰的动态幅度、疑似火焰区域以及火焰的轨迹得出火情检测结果。
可选地，步骤200还可以包括以下步骤：
250，对疑似火焰区域的目标框进行颜色特征识别，得到火焰颜色结果；
260，对进行颜色特征匹配后的疑似火焰区域的目标框进行形状特征匹配，得到火焰面积结果；
270，将火焰面积结果和火焰颜色结果添加至火情检测结果。
需要说明的是，火焰的颜色和形状往往是火焰给人在视觉上感觉最明显的特征之一。为了更准确地检测火情情况，火情检测结果可以包括火情的判断结果以及当出现火情时火情对应的类别。火情的判断结果可以包括存在有火情或者不存在有火情中的任一种，而火情对应的类别可以根据火情的面积和火焰的颜色进行划分。本申请基于RGB颜色模型的匹配规则对火焰的颜色进行识别，进而得到火焰颜色结果。
另外，对于火焰的形状往往没有一个准确的描述来定量分析。对于大部分的火焰而言，其在整体形状上往往呈现出上窄下宽的特点。因此，本申请针对火焰的形状特点，对进行颜色特征匹配后的目标框进行形状特征匹配，进而得到火焰面积结果。
可选地，步骤260的步骤可以包括：
对疑似含有火焰区域的目标框按照从上至下进行逐行扫描，在每一行中按照从左到右的顺序进行逐像素扫描；
当扫描到的像素点为白色，跳过继续扫描下一个像素点；
当扫描到的像素点为黑色，根据该像素点周围像其他素点的标记情况来决定是否给本像素点进行标记以及标记形式；
在疑似含有火焰区域的目标框处理完毕后，计算疑似含有火焰区域的目标框中尖角的个数并计算每个尖角区域的宽度、高度面积和面积；
通过分析尖角相邻两行的宽度信息和尖角的区域的面积以及高度等因素来判断疑似含有火焰区域的目标框中火焰的面积，输出火焰面积结果。
本申请中当智能家居环境出现火情时，在一段时间内火焰会出现大幅度的变化；若智能家居环境内并未出现火情，在一段时间内火焰将不会出现大幅度的变化。基于步骤230对火焰进行目标追踪后得出的结果，步骤240中采用背景差分法来检一段时间内的目标火焰图像中的火焰是否出现大幅度的变化。本申请的一个实施例，下面将对步骤240进行进一步地说明和阐述。步骤240可以包括但不限于以下步骤。
241，从实时视频流数据中选择基础帧。
需要说明的是，基础帧满足以下公式：
其中，A(I，j，t)代表基础帧，S(i，j，t+1)和S(i，j，t)分别代表两帧连续采样帧的目标火焰图像，α代表预设阈值。
242，从目标火焰图像中随机挑选两帧连续采样帧的目标火焰图像进行差分处理，输出差分结果。
需要说明的是，差分结果满足以下公式：
其中，B(I，j，t)代表差分结果。
243，将差分结果和基础帧进行求交集运算，得到火焰动态区域；
244，二值化火焰动态区域，输出目标火焰图像的动态检测结果。
本申请的一个实施例，下面将对训练火焰检测模型的过程进行说明和阐述。训练火焰检测模型可以包括但不限于以下步骤。
A1，建立火焰数据集，按照第一比例划分第一训练集和第一测试集。
本步骤中，通过互联网搜寻若干张含有火焰的场景图像，可选地，场景图像的数量为4000张。之后预处理含有火焰的场景图像，并对含有火焰的场景图像进行统一编号。再用LabelImg图像标注软件对场景图像中的火焰进行标注，并将火焰的位置信息和分类信息保存为网络训练所需要用的XML文件。本申请将第一比例设定为7：3，即数据集中有70％为第一训练集，30％为测试集。
可选地，预处理含有火焰的场景图像的步骤为：
对含有火焰的场景图像进行随机平移、翻转和添加高斯噪声；
使用cutout数据增强方法，利用固定大小的矩形对原含有火焰的场景图像进行遮挡，并将矩形范围内的值设置为0。
在该可选实施例中，预处理含有火焰的场景图像是为了扩增数据集中的样本，以防止在网络训练过程中出现过拟合的情况。
A2，搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第一初始识别模型，将第一训练集输入至第一初始识别模型中进行训练。
需要说明的是，YOLOv5是YOLO神经网络系列中的第五代神经网络。YOLOv5训练过程简单，可以有效提升检测速度，减少重复梯度信息，使网络具备更好的学习能力。
需要说明的是，CBAM(Convo l ut iona l Block Attent ion Modu le)注意力机制为常用的注意力机制之一。CBAM表示卷积模块的注意力机制模块，其结合了空间和通道的注意力模块，使得模型拥有重视关键特征且忽视无用特征的能力。本申请把CBAM注意力机制添加至该神经网络中，可以提高YOLOv5在训练过程中的特征提取能力，使其准确地对关键特征进行提取，进而提高模型的性能。
需要说明的是，优化后的边框回归函数满足CIOU_Loss(Comp lete I ntersection Over Un ion_Loss)算法。目前YOLOv5函数的损失函数为GIOU_Loss，但当预测框在目标真实框内的时候，则无法实现对预测框的位置的识别。对此，本申请优化边框回归函数，以解决预测框在目标真实框内的时候无法实现对预测框的位置的识别的问题，进而降低模型识别的错误率。
A3，通过第一测试集评估训练后的第一初始识别模型的性能，当第一初始识别模型的性能达到预设条件时，输出火焰检测模型。
由于本申请的目的是快速且准确地识别出智能家居室内的火情异常情况，本申请采用的性能评估指标包括均值平均精度和准确率。其中，准确率满足以下公式：
其中，Acc代表准确率，Tp代表实际为火焰且被检测出是火焰的数据集样本数量；Fp代表实际不是火焰却被检测为火焰的数据集样本数量。
其中，均值平均精度满足以下公式：
其中，MAP为均值平均精度，J(P,R)k为平均精度函数，类别编号为k时准确率P和召回率R所构成的P-R曲线的面积。
需要说明的是，若第一初始识别模型的性能未达到预设条件，则修改第一初始识别模型的训练超参数，并重新训练第一初始识别模型。
基于上述实施例，上述实施例为本申请针对火情异常情况的异常行为检测的技术方案。针对用户和非用户角色的异常行为检测，本申请首先对室内是否存在有人进行检测，当检测出室内有人时，再对其身份进行识别和确认。之后，根据相应的检测模型，执行异常行为的检测。本申请的一个实施例，下面先对用户检测进行说明和阐述。步骤200具体包括以下步骤：
210，通过用户检测模型对实时视频流数据进行用户检测，输出用户检测结果。
需要说明的是，用户检测结果包括室内存在有用户或室内不存在有用户中的任一种。预先训练神经网络以得到用户检测模型，其通过用户数据集进行训练而得到。用户数据集包括若干个用户图像。用户图像可以是人脸图像，也可以是非人脸图像，也可以是躯干图像。
220，当用户检测结果为室内存在有用户时，将室内存在有用户的采样帧对应的视频流数据输出为用户流数据。
本申请的一个实施例，下面将对步骤300进行进一步地说明和阐述。步骤300可以包括但不限于以下步骤。
310，预设身份数据库。
需要说明的是，身份数据库中包含有人脸特征向量以及对应的身份信息。
320，获取用户流数据，提取出用户流数据对应的人脸特征信息。
可选地，步骤320包括：
获取用户流数据，分帧处理用户流数据，得到包含有人脸的图像信息；
将包含有人脸的图像信息输入至特征提取模型中，得到用户流数据相应的人脸特征信息。
需要说明的是，预先训练神经网络以得到特征提取模型。本申请中，选用MTCNN(Mult i-task Cascaded Convo l ut iona l Networks,多任务级联卷积神经网络)网络作为特征提取模型的主干网络。MTCNN为一种可以同时处理人脸检测和人脸特征点定位的卷积神经网络，所述多任务级联卷积神经网络包括三个多任务卷积神经网络，分别为推荐网络(Proposa l Network，P-Net)、优化网络(Refine Network，R-Net)、输出网络(OutputNetwork，O-Net)，每个多任务卷积神经网络均有三个学习任务，这三个学习任务分别为人脸分类任务、边框回归任务和人脸特征点定位任务。在本申请其他实施例中，还可以选用Ins ightFace神经网络作为特征提取模型的主干网络。
330，计算人脸特征信息和人脸特征向量的相似度；
340，当相似度未满足预设条件时，将非用户身份标识嵌入至用户流数据。
本步骤中，当两者相似度不满足本申请预设的条件时，预设的条件可以是一阈值，视作该用户流数据的人脸特征信息并不存在于身份数据库中，此时则生成非用户身份标识，并由用户流数据携带。
350，当相似度满足预设条件时，将用户身份标识嵌入至用户流数据。
本步骤中，当两者相似度满足本申请预设的条件时，预设的条件可以是一阈值，视作该用户流数据的人脸特征信息存在于身份数据库中，此时则生成用户身份标识，并由用户流数据携带。
基于上述实施例，步骤400中还包括对非用户角色进行异常行为识别和检测的过程。本申请中，对非用户的流数据的异常行为检测主要检测非用户角色是否出现盗窃的异常行为。本申请通过大数据收集包含室内盗窃动作的人物图像，对一神经网络进行训练后得到检测模型，并进行异常行为的识别和检测，进而输出第一异常行为识别结果。
参照图3所示，本申请的一个实施例，下面将对第一异常行为检测模型的训练过程进行进一步地说明和阐述。其训练过程可以包括但不限于以下步骤。
411，采集历史所监测的智能家居的室内情况，得到历史视频流数据，并筛选出出现盗窃行为的历史视频流数据，得到实际室内异常图像；
412，通过互联网搜寻的含有室内盗窃动作的人物图像，所述含有室内盗窃动作的人物图像和所述实际室内异常图像构成第一异常行为数据集，按照预设的第二比例划分第二训练集和第二测试集。
以上步骤中，一方面，通过互联网搜寻若干张人物图像，人物图像中的人物行为为室内盗窃行为。可选地，场景图像的数量为5000张。另一方面，根据过往监测的智能家居环境情况，筛选出具有盗窃行为的流数据，对流数据进行预处理，生成实际室内异常图像。这样做的目的是，为了保证训练得到的检测模型的性能更贴合实际的智能家居应用环境，降低检测模型的检测误差。
之后，预处理包含人物图像，并对人物图像以及实际室内异常图像进行统一编号。再用Labe l Img图像标注软件对人物图像以及实际室内异常图像的躯干进行标注，并将躯干的位置信息和分类信息保存为网络训练所需要用的XML文件。
本步骤中，由于历史家居室内情况中出现盗窃行为的次数可能非常少。为了保证验证集中的数量能够满足评估模型性能的数量，扩增数据集中的样本，以防止在网络训练过程中出现过拟合的情况，本申请中，步骤411具体包括：
4111，出现盗窃行为的视频流数据进行分帧操作，得到盗窃人物图像；
4112，对盗窃人物图像进行随机平移和翻转，并添加高斯噪声；
4113，使用PCA J ittert ing对盗窃人物图像进行颜色改变，得到实际室内异常图像。
需要说明的是，本申请将第二比例设定为8:2，即数据集中有80％为第二训练集，20％为测试集。
可选地，步骤4113具体包括：
按照RGB三个颜色通道计算盗窃人物图像的均值和标准差，对盗窃人物图像进行规范化；
计算盗窃人物图像的协方差矩阵，对盗窃人物图像进行特征分解，得到对应的特征向量和特征值；
对盗窃人物图像的RGB空间进行主成分分析和高斯扰动。
413，搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第二初始识别模型，将第二训练集输入至第二初始识别模型中进行训练。
需要说明的是，优化后的边框回归函数满足CIOU_Loss(Comp lete I ntersection Over Un ion_Loss)算法。
414，通过第二测试集评估训练后的第二初始识别模型的性能，当第二初始识别模型的性能达到预设条件时，输出第一异常行为检测模型。
本步骤中，由于本申请的目的是快速且准确地识别出智能家居室内非用户角色的异常行为，本申请采用的性能评估指标包括均值平均精度和准确率。其中，准确率满足以下公式：
本实施例中，Acc代表准确率，Tp代表实际为非用户角色的异常行为且被检测出是非用户角色的异常行为的数据集样本数量；Fp代表实际不是非用户角色的异常行为却被检测为非用户角色的异常行为的数据集样本数量。
其中，均值平均精度满足以下公式：
其中，MAP为均值平均精度，J(P,R)k为平均精度函数，类别编号为k时准确率P和召回率R所构成的P-R曲线的面积。
在本申请一可选实施例中，在输出第一异常行为识别结果后，将第一异常行为识别结果添加至第一异常行为数据集中，更新第一异常行为检测模型。
需要说明的是，更新第一异常行为检测模型可以理解为重新再训练第一异常行为检测模型，或者是更新第一异常行为检测模型的网络参数。
基于上述实施例，通过步骤300对用户流数据进行身份信息的检测和识别之后，通过步骤400根据身份信息相应的检测模型进行异常行为的检测。本申请中，对用户的流数据的异常行为检测主要是检测用户是否有因身体不适而出现异常行为，根据用户在家庭环境下的常见异常行为，可以分为三种情况：一种是用户摔倒或者磕碰等普通异常情况；一种是用户因心脏不适或者脑部充血等突发身体状况导致昏迷的情况；还有一种是用户做出非正常行为的情况。第三种情况的风险等级最低，第二种情况的风险等级最高，第二种情况的风险等级适中。
针对这三种情况，本申请基于历史监测到的家居室内情况，对一神经网络进行训练后得到检测模型并进行异常行为的识别和检测，进而输出第二异常行为识别结果。参照图4所述，本申请的一个实施例，下面将步骤420进行进一步地说明和阐述。步骤420可以包括但不限于以下步骤。
421，获取历史所监测的智能家居的室内情况，形成历史视频流数据，预处理历史视频流数据，获得第二异常行为数据集。
可选地，通过智能家居系统的数据存储模块获得历史视频流数据。
可选地，步骤421包括：
分帧处理历史视频流数据，获取若干张含有人体躯干的图像信息；
对含有人体躯干的图像信息进行筛选，保留出现异常行为的人体躯干的图像信息，形成行为特征数据集。
需要说明的是，第二异常行为数据集中包括三种类别的人体躯干的图像信息：用户摔倒或者磕碰等普通异常情况对应的躯干行为；用户因心脏不适或者脑部充血等突发身体状况导致昏迷的情况对应的躯干行为；用户做出非正常行为的情况对应的躯干行为。
422，根据第二异常行为数据集，搭建并训练第二异常行为检测模型。
以上步骤可以视作是离线训练。本申请的第二异常行为检测模型主要针对用户角色的异常行为检测，因此，该检测模型的训练数据集必须是用户角色的异常行为数据。对此，本申请通过采集历史家居室内情况，筛选出包含三种异常行为的视频流数据，并构成行为特征数据集。之后，该检测模型通过行为特征数据集学习用户的异常行为。
可选地，第二异常行为检测模型的训练过程包括：
B1，将第二异常行为数据集按照第三比例分为第三训练集和第三测试集。
可选地，第三比例满足8:2＝第三训练集：第三测试集。
可选地，为了避免网络训练过程中过拟合的现象出现，可对行为特征数据集采用数据增强等数据集扩增方法，其过程与前面的第一异常行为数据集的数据扩增过程一致，本申请对其不再进行赘述。
B2，搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第三初始识别模型，将训练集输入至第三初始识别模型中进行训练。
需要说明的是，优化后的边框回归函数满足CIOU_Loss(Comp lete I ntersection Over Un ion_Loss)算法。目前YOLOv5函数的损失函数为GIOU_Loss，但当预测框在目标真实框内的时候，则无法实现对预测框的位置的识别。对此，本申请优化边框回归函数，以解决预测框在目标真实框内的时候无法实现对预测框的位置的识别的问题，进而降低模型识别的错误率。
B3，通过第三测试集评估训练后的第三初始识别模型的性能，当第三初始识别模型的性能达到预设条件时，输出第二异常行为检测模型。
可选地，步骤中，由于本申请的目的是快速且准确地识别出智能家居室内用户角色的异常行为，本申请采用的性能评估指标包括均值平均精度和准确率。其中，准确率满足以下公式：
本实施例中，Acc代表准确率，Tp代表实际为用户角色的异常行为且被检测出是用户角色的异常行为的数据集样本数量；Fp代表实际不是用户角色的异常行为却被检测为用户角色的异常行为的数据集样本数量。
其中，均值平均精度满足以下公式：
其中，MAP为均值平均精度，J(P,R)k为平均精度函数，类别编号为k时准确率P和召回率R所构成的P-R曲线的面积。
需要说明的是，第三初始识别模型的性能没有达到预设条件时，重新设置第三初始识别模型的网络参数和超参数，并对其重新进行训练。
423，从用户流数据中提取行为特征信息，通过训练好的第二异常行为检测模型对行为特征信息进行异常检测，得到携带有用户身份标识的用户流数据对应的异常行为类别；
424，根据行为特征信息对应的采样帧，生成第二发生时间值；
425，将第二发生时间值和携带有用户身份标识的用户流数据对应的异常行为类别作为第二异常行为识别结果输出。
以上步骤中，提取用户流数据中的行为特征信息及其采样帧，并输入相应的检测模型中，对用户角色是否存在异常行为进行判断和分类，得到异常行为类别。并且，根据行为特征信息的采样帧得到第二发生时间值，之后输出第二异常行为识别结果。
本申请中，通过历史家居室内情况，建立第二异常行为数据集，其包括三种类别的人体躯干的图像信息：用户摔倒或者磕碰等普通异常情况对应的躯干行为；用户因心脏不适或者脑部充血等突发身体状况导致昏迷的情况对应的躯干行为；用户做出非正常行为的情况对应的躯干行为。第二异常行为数据集对于用户在智能家居环境下的异常行为具有极强的针对性，其所训练出来的检测模型更加贴合用户在智能家居环境下的异常行为，能够准确地识别出用户的异常行为。
本申请还提供了一种智能家居异常情况告警系统，该系统包括：
视频采集模块，其作用是对智能家居的室内情况进行检测，形成实时视频流数据。
可选地，视频采集模块包含若干高清摄像头。
数据存储模块，其作用是对历史所监测的智能家居的室内情况进行存储。
用户识别模块，其作用是根据实时视频流数据，对室内情况进行用户检测，输出用户流数据。
身份识别模块，其作用是遍历身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至用户流数据中。
可选地，身份识别模块设置有身份数据库。
火情检测模块，其作用是根据实时视频流数据，对室内情况进行火情检测，当检测到火情时输出火情检测结果。
异常行为检测模块，其作用是通过与身份标识对应的异常行为检测模型，对用户流数据进行异常行为检测，得到异常行为识别结果。
告警模块，其作用是根据火情检测结果和异常行为识别结果，结合火情检测结果对应的危险等级和异常行为识别结果对应的危险等级进行预警。
进一步地，异常行为检测模块包括：
第一行为检测模块，其作用是通过第一异常行为检测模型，对携带有非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
第二行为检测模块，其作用是通过第二异常行为检测模型，对携带有用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
本申请还提供了一种存储介质，其中存储有处理器可执行的指令，处理器可执行的指令在由处理器执行时用于执行所述的一种智能家居异常情况告警方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
Claims (10)
1.一种智能家居异常情况告警方法，其特征在于，包括以下步骤：
实时监测智能家居的室内情况，生成实时视频流数据；
根据所述实时视频流数据，分别对室内情况进行火情检测和用户检测，输出用户流数据，并当检测到火情时输出火情检测结果；
预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
其中，所述身份标识包括非用户身份标识和/或用户身份标识；
通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
其中，所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
其中，所述通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果具体包括：
通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
2.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，根据所述实时视频流数据，对室内情况进行火情检测，输出火情检测结果，具体包括：
对所述实时视频流数据进行分帧处理，得到环境图像，预处理所述环境图像；
其中，所述环境图像携带有其对应的采样帧；
根据火焰检测模型，对预处理后的所述环境图像进行火焰区域检测，得到一个或多个疑似火焰区域的目标框；
利用多目标跟踪算法对所述疑似火焰区域的目标框进行目标追踪，得到目标火焰图像；
对连续采样帧的目标火焰图像进行动态检测，根据所述目标火焰图像的动态检测结果输出火情检测结果。
3.根据权利要求2所述的一种智能家居异常情况告警方法，其特征在于，所述火焰检测模型为预先训练好的模型，所述火焰检测模型的训练步骤包括：
建立火焰数据集，按照预设的第一比例划分第一训练集和第一测试集；
搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第一初始识别模型，将第一训练集输入至第一初始识别模型中进行训练；
通过第一测试集评估训练后的第一初始识别模型的性能，当第一初始识别模型的性能达到预设条件时，输出火焰检测模型；
其中，所述优化后的边框回归函数满足CIOU_Loss算法。
4.根据权利要求3所述的一种智能家居异常情况告警方法，其特征在于，所述对连续采样帧的目标火焰图像进行动态检测，根据所述目标火焰图像的动态检测结果输出火情检测结果，具体包括：
从所述实时视频流数据中选择基础帧；
从所述目标火焰图像中随机挑选两帧连续采样帧的目标火焰图像进行差分处理，输出差分结果；
将所述差分结果和所述基础帧进行求交集运算，得到火焰动态区域；
二值化所述火焰动态区域，输出所述目标火焰图像的动态检测结果；
其中，所述差分结果满足以下公式：
其中，B(I,j,t)为差分结果，S(i,j,t+1)和S(i,j,t)分别为两帧连续采样帧的目标火焰图像，α为预设阈值；
其中，所述基础帧满足以下公式：
其中，A(I,j,t)为基础帧。
5.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，所述预设身份数据库并遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中，包括：
预设身份数据库，所述身份数据库中预设有人脸特征向量以及对应的身份信息；
获取所述用户流数据，提取出所述用户流数据对应的人脸特征信息；
计算所述人脸特征信息和所述人脸特征向量的相似度；
当所述相似度未满足预设条件时，将所述非用户身份标识嵌入至所述用户流数据；
当所述相似度满足预设条件时，将所述用户身份标识嵌入至所述用户流数据。
6.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，所述第一异常行为检测模型为预先训练好的神经网络模型，所述第一异常行为检测模型的训练步骤具体包括：
采集历史所监测的智能家居的室内情况，得到历史视频流数据，并筛选出出现盗窃行为的所述历史视频流数据，得到实际室内异常图像；
通过互联网搜寻的含有室内盗窃动作的人物图像，所述含有室内盗窃动作的人物图像和所述实际室内异常图像构成第一异常行为数据集，按照预设的第二比例划分第二训练集和第二测试集；
搭建YOLOv5神经网络，在YOLOv5神经网络的特征提取网络中添加CBAM注意力机制，并优化其输出端的边框回归函数，构建第二初始识别模型，将第二训练集输入至所述第二初始识别模型中进行训练；
通过第二测试集评估训练后的所述第二初始识别模型的性能，当所述第二初始识别模型的性能达到预设条件时，输出所述第一异常行为检测模型。
7.根据权利要求6所述的一种智能家居异常情况告警方法，其特征在于，所述筛选出出现盗窃行为的历史视频流数据，得到实际室内异常图像，具体包括：
筛选所述出现盗窃行为的历史视频流数据，对所述出现盗窃行为的视频流数据进行分帧操作，得到盗窃人物图像；
对所述盗窃人物图像进行随机平移和翻转，并添加高斯噪声；
对所述盗窃人物图像进行颜色改变，得到所述实际室内异常图像。
8.根据权利要求1所述的一种智能家居异常情况告警方法，其特征在于，所述通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常行为检测，得到第二异常行为识别结果，具体包括：
采集历史所监测的智能家居的室内情况，得到历史视频流数据，预处理所述历史视频流数据，获得第二异常行为数据集；
根据所述第二异常行为数据集，搭建并训练所述第二异常行为检测模型；
从所述用户流数据中提取行为特征信息，通过训练好的所述第二异常行为检测模型对所述行为特征信息进行异常检测，得到携带有所述用户身份标识的用户流数据对应的异常行为类别；
根据所述行为特征信息对应的采样帧，生成所述第二发生时间值；
将所述第二发生时间值和携带有所述用户身份标识的用户流数据对应的异常行为类别作为第二异常行为识别结果输出。
9.一种智能家居异常情况告警系统，其特征在于，包括：
视频采集模块，包括若干高清摄像头，用于监测智能家居的室内情况，生成实时视频流数据；
数据存储模块，用于存储历史所监测的智能家居的室内情况；
用户识别模块，用于根据所述实时视频流数据，对室内情况进行用户检测，输出用户流数据；
身份识别模块，设置有身份数据库，用于遍历所述身份数据库，根据用户流数据和身份数据库中的身份信息，输出身份标识并嵌入至所述用户流数据中；
其中，所述身份标识包括非用户身份标识和/或用户身份标识；
火情检测模块，用于根据所述实时视频流数据，对室内情况进行火情检测，当检测到火情时输出火情检测结果；
异常行为检测模块，用于通过与所述身份标识对应的异常行为检测模型，对所述用户流数据进行异常行为检测，得到异常行为识别结果；
其中，所述与所述身份标识对应的异常行为检测模型包括第一异常行为检测模型和/或第二异常行为检测模型；
所述异常行为识别结果包括第一异常行为识别结果和/或第二异常行为识别结果；
告警模块，用于根据所述火情检测结果和所述异常行为识别结果，结合所述火情检测结果对应的危险等级和所述异常行为识别结果对应的危险等级进行预警；
其中，所述异常行为检测模块包括：
第一行为检测模块，用于通过所述第一异常行为检测模型，对携带有所述非用户身份标识的用户流数据进行异常检测，得到第一异常行为识别结果；
第二行为检测模块，用于通过所述第二异常行为检测模型，对携带有所述用户身份标识的用户流数据进行异常检测，得到第二异常行为识别结果；
其中，所述第一异常行为识别结果包括携带有所述非用户身份标识的所述用户流数据对应的异常行为类别和第一发生时间值，第一发生时间值定义为携带有所述非用户身份标识的所述用户流数据出现异常行为的时间值；
所述第二异常行为识别结果包括携带有所述用户身份标识的所述用户流数据对应的异常行为类别和第二发生时间值，第二发生时间值定义为携带有所述用户身份标识的所述用户流数据出现异常行为的时间值。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述的一种智能家居异常情况告警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211355023.5A CN115691034A (zh) | 2022-11-01 | 2022-11-01 | 一种智能家居异常情况告警方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211355023.5A CN115691034A (zh) | 2022-11-01 | 2022-11-01 | 一种智能家居异常情况告警方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115691034A true CN115691034A (zh) | 2023-02-03 |
Family
ID=85047502
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211355023.5A Pending CN115691034A (zh) | 2022-11-01 | 2022-11-01 | 一种智能家居异常情况告警方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115691034A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935893A (zh) * | 2023-09-13 | 2023-10-24 | 杭州艾力特数字科技有限公司 | 一种声音识别告警方法、系统、电子设备及介质 |
| CN117390567A (zh) * | 2023-12-08 | 2024-01-12 | 南京博晟宇网络科技有限公司 | 一种异常行为综合管控平台 |
| CN117669594A (zh) * | 2024-02-02 | 2024-03-08 | 智器云南京信息科技有限公司 | 针对异常信息的大数据关系网络分析方法及系统 |
| CN117876930A (zh) * | 2024-01-11 | 2024-04-12 | 北京北测数字技术有限公司 | 基于人工智能的视频异常识别处理方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106059868A (zh) * | 2016-07-24 | 2016-10-26 | 哈尔滨理工大学 | 家居智能视频监控防护系统 |
| CN111177714A (zh) * | 2019-12-19 | 2020-05-19 | 未鲲(上海)科技服务有限公司 | 异常行为检测方法、装置、计算机设备和存储介质 |
| CN111539264A (zh) * | 2020-04-02 | 2020-08-14 | 上海海事大学 | 一种船舶火焰探测定位系统与探测定位方法 |
| CN113962817A (zh) * | 2021-11-11 | 2022-01-21 | 泰康保险集团股份有限公司 | 异常人员识别方法及装置、电子设备和存储介质 |
| CN113963315A (zh) * | 2021-11-16 | 2022-01-21 | 重庆邮电大学 | 一种复杂场景下实时视频多人行为识别方法及系统 |
| CN113988885A (zh) * | 2021-10-28 | 2022-01-28 | 平安银行股份有限公司 | 客户的行为安全的识别方法、装置、设备以及存储介质 |
| CN114662605A (zh) * | 2022-03-29 | 2022-06-24 | 北京信息科技大学 | 基于改进的YOLOv5模型的火焰检测方法 |
| CN114898470A (zh) * | 2022-06-06 | 2022-08-12 | 安徽建筑大学 | 基于改进YOLOv5的跌倒行为检测方法及系统 |
-
2022
- 2022-11-01 CN CN202211355023.5A patent/CN115691034A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106059868A (zh) * | 2016-07-24 | 2016-10-26 | 哈尔滨理工大学 | 家居智能视频监控防护系统 |
| CN111177714A (zh) * | 2019-12-19 | 2020-05-19 | 未鲲(上海)科技服务有限公司 | 异常行为检测方法、装置、计算机设备和存储介质 |
| CN111539264A (zh) * | 2020-04-02 | 2020-08-14 | 上海海事大学 | 一种船舶火焰探测定位系统与探测定位方法 |
| CN113988885A (zh) * | 2021-10-28 | 2022-01-28 | 平安银行股份有限公司 | 客户的行为安全的识别方法、装置、设备以及存储介质 |
| CN113962817A (zh) * | 2021-11-11 | 2022-01-21 | 泰康保险集团股份有限公司 | 异常人员识别方法及装置、电子设备和存储介质 |
| CN113963315A (zh) * | 2021-11-16 | 2022-01-21 | 重庆邮电大学 | 一种复杂场景下实时视频多人行为识别方法及系统 |
| CN114662605A (zh) * | 2022-03-29 | 2022-06-24 | 北京信息科技大学 | 基于改进的YOLOv5模型的火焰检测方法 |
| CN114898470A (zh) * | 2022-06-06 | 2022-08-12 | 安徽建筑大学 | 基于改进YOLOv5的跌倒行为检测方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935893A (zh) * | 2023-09-13 | 2023-10-24 | 杭州艾力特数字科技有限公司 | 一种声音识别告警方法、系统、电子设备及介质 |
| CN117390567A (zh) * | 2023-12-08 | 2024-01-12 | 南京博晟宇网络科技有限公司 | 一种异常行为综合管控平台 |
| CN117390567B (zh) * | 2023-12-08 | 2024-02-13 | 南京博晟宇网络科技有限公司 | 一种异常行为综合管控平台 |
| CN117876930A (zh) * | 2024-01-11 | 2024-04-12 | 北京北测数字技术有限公司 | 基于人工智能的视频异常识别处理方法及系统 |
| CN117669594A (zh) * | 2024-02-02 | 2024-03-08 | 智器云南京信息科技有限公司 | 针对异常信息的大数据关系网络分析方法及系统 |
| CN117669594B (zh) * | 2024-02-02 | 2024-04-16 | 智器云南京信息科技有限公司 | 针对异常信息的大数据关系网络分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Majid et al. | Attention based CNN model for fire detection and localization in real-world images | |
| Bertini et al. | Multi-scale and real-time non-parametric approach for anomaly detection and localization | |
| CN115691034A (zh) | 一种智能家居异常情况告警方法、系统及存储介质 | |
| US9652863B2 (en) | Multi-mode video event indexing | |
| Liao et al. | A localized approach to abandoned luggage detection with foreground-mask sampling | |
| CN104915655A (zh) | 一种多路监控视频的管理方法与设备 | |
| CN102982313A (zh) | 烟雾检测的方法 | |
| CN101344966A (zh) | 一种智能视觉监控中检测异常目标行为的方法 | |
| CN112163572A (zh) | 识别对象的方法和装置 | |
| Dwivedi et al. | An approach for unattended object detection through contour formation using background subtraction | |
| CN114885119A (zh) | 一种基于计算机视觉的智能监控报警系统及方法 | |
| CN117854143B (zh) | 一种基于智能门锁的异常行为识别方法和系统 | |
| CN115984780B (zh) | 工业固体废物出入库判别方法、装置、电子设备及介质 | |
| CN109614893B (zh) | 基于情境推理的异常行为行踪智能识别方法及装置 | |
| KR20150029324A (ko) | 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법 | |
| Sankarasubramanian et al. | CNN based intelligent framework to predict and detect fire | |
| CN111191575B (zh) | 一种基于火苗跳动建模的明火检测方法及系统 | |
| Anandhi | Edge Computing-Based Crime Scene Object Detection from Surveillance Video Using Deep Learning Algorithms | |
| Dai Duong et al. | On approach to vision based fire detection based on type-2 fuzzy clustering | |
| Khan | Violence Detection From Industrial Surveillance Videos Using Deep Learning | |
| Pava et al. | Object Detection and Motion Analysis in a Low Resolution 3-D Model | |
| Littek | Explainable Anomaly Detection in Surveillance Videos: Autoencoder-based Reconstruction and Error Map Visualization | |
| Kim et al. | Elevating urban surveillance: A deep CCTV monitoring system for detection of anomalous events via human action recognition | |
| Karunarathne | Enhancing Security: Deep Learning Models for Anomaly Detection in Surveillance Videos | |
| Elhamod | Real-time automated annotation of surveillance scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |