CN103839373B - 一种突发异常事件智能识别报警装置及报警系统 - Google Patents

一种突发异常事件智能识别报警装置及报警系统 Download PDF

Info

Publication number
CN103839373B
CN103839373B CN201410087754.5A CN201410087754A CN103839373B CN 103839373 B CN103839373 B CN 103839373B CN 201410087754 A CN201410087754 A CN 201410087754A CN 103839373 B CN103839373 B CN 103839373B
Authority
CN
China
Prior art keywords
module
alarm
image
information
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410087754.5A
Other languages
English (en)
Other versions
CN103839373A (zh
Inventor
黄鹏宇
何跃凯
周建雄
彭元华
郭振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU BESTVISION TECHNOLOGY Co Ltd
Original Assignee
CHENGDU BESTVISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU BESTVISION TECHNOLOGY Co Ltd filed Critical CHENGDU BESTVISION TECHNOLOGY Co Ltd
Priority to CN201410087754.5A priority Critical patent/CN103839373B/zh
Publication of CN103839373A publication Critical patent/CN103839373A/zh
Application granted granted Critical
Publication of CN103839373B publication Critical patent/CN103839373B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0476Cameras to detect unsafe condition, e.g. video cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697Arrangements wherein non-video detectors generate an alarm themselves
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种突发异常事件智能识别报警装置,包括视频采集模块、综合信息采集模块、报警发送模块、信号处理模块,所述视频采集模块采集周围视频信息,所述综合信息采集模块实时收集周围信号,并将所述视频信息和所述周围信号实时传给信号处理模块;其特征在于:所述信号处理模块对所述视频信息中的图像进行处理、分析,将所述视频信息中的背景图像去除,实现所述视频信息中的图像识别;根据图像识别结果,所述信号处理模块结合所述周围信号,综合分析并识别当前事件是否为突发异常事件,完成对突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。本发明还提出了一种突发异常事件智能识别报警系统,本发明的突发异常事件识别报警装置和系统,对当前事件具有综合分析及智能识别能力,并根据识别的突发异常事件发出警报信息。

Description

一种突发异常事件智能识别报警装置及报警系统
技术领域
本发明涉及一种报警系统,具体涉及一种突发异常事件智能识别报警装置及系统。
背景技术
我们知道,为了防止盗窃,一般会在小区或者室外走廊、门窗等处安装摄像头之类的防盗装置,例如一种基于智能视频的室内人员闯入的监控和报警系统,主要是通过对摄像头图像的智能分析,实现对室内场所移动目标的分析,对人员的非法闯入达到及时发现和报警,同时忽略没有危险的运动,降低虚警。还有一种家居智能防盗系统,其至少由防盗门、机械式锁具、窗户、露天阳台及阳台门构成。通过安装在:(1)防盗门上的门网传感器、防盗门磁传感器,(2)安装在锁具上的锁舌传感器、钥匙插入/拔出传感器、单子跳动传感器,(3)安装在外侧把手组合件内的把手位置传感器,同时设置从露天阳台进入阳台门通道中的阳台路径探测区,从窗户进入居室的通道中的窗户路径探测区,实现自动识别居家中的主人与盗贼的智能家居防盗系统。
现有的门窗防入侵系统存在如下的缺点:
1.现有市场大多产品功能单一,且不具备综合分析能力。
2.单一的防入侵检测技术存在各自的缺陷,在某些情况下无法正常工作,一旦无法正常工作,整个检测系统处于瘫痪状态,系统的稳定性差。如:智能视频分析检测可能会受到环境光线变化、镜面反射等无关运动的干扰,造成大量的误报;热释电红外检测易受温度、强光、环境复杂运动的干扰;振动检测易受到风等外力引起引起门窗振动产生的干扰;玻璃破碎检测易受到外界环境杂音的干扰;门磁检测需要门窗严格闭合,在室内需要通风的情况下将无法使用,如炎热的夏天,用户往往需要开窗通风。
3.传统的报警系统如“家居智能防盗系统”,涉及大量的各式传感器,安装调试通常非常复杂,同时报警信息不直观,无法得知现场情况;
4.传统的报警系统在切断外接电源的情况下无法工作,给非法入侵者以可乘之机。
5.无法对室内合法人员进行一定的监控,例如对子女经常外出或者独居的老人,其健康状况是需要一定的措施加以监控,以保证出现异常情况时如跌倒等能及时解救,而目前却没有这类功能。
发明内容
本发明的目的在于提供一种突发异常事件智能识别装置及系统,解决了现有的报警系统功能单一,误报率高,容易被干扰瘫痪无法正常工作,以及无法对合法人员如老人跌倒、遭受暴力袭击突发异常事件报警的问题。
为解决上述的技术问题,本发明采用以下技术方案:
一种突发异常事件智能识别报警装置,包括视频采集模块、综合信息采集模块、报警发送模块、信号处理模块,所述视频采集模块采集周围视频信息,所述综合信息采集模块实时收集周围信号,并将所述视频信息和所述周围信号实时传给信号处理模块;其特征在于:
所述信号处理模块对所述视频信息中的图像进行处理、分析,将所述视频信息中的背景图像去除,实现所述视频信息中的图像识别;
根据图像识别结果,所述信号处理模块结合所述周围信号,综合分析并识别当前事件是否为突发异常事件,完成对突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。
如上所述的报警装置,其特征在于:
还包括补光照明模块,在所述视频采集模块进行视频采集时,环境照度不足的情况下所述补光照明模块自动启动,为所述视频采集模块提供辅助照明光源。
如上任一所述的报警装置,其特征在于:
还包括电源管理模块,对所述报警装置进行供电,所述电源管理模块连接外接电源和蓄电池;
当外接电源正常供电时,整个产品使用外接电源;
当外接电源被切断时,所述蓄电池自动启用为所述报警装置供电。
如上任一所述的报警装置,其特征在于:
所述综合信息采集模块包括音频采集模块、热释放红外线检测模块、振动检测模块、玻璃破碎检测模块、门磁检测模块、烟雾探测器模块、煤气探测器模块中的一个或多个模块;
其中,所述热释放红外线检测模块探测周围空间中的温度与背景温度的差异信息,并转换成电压信号;
所述振动检测模块探测周围空间中的振动情况并转换成电压信号;
所述玻璃破碎检测模块和门磁检测模块,检测周围玻璃的破碎声音和门磁变化信息并转换成电压信号;
所述综合信息采集模块所采集的所述周围信号包括所述音频采集模块采集的语音信息、所述烟雾探测器模块和煤气探测器模块探测到的信息、所述热释放红外线检测模块、振动检测模块、玻璃破碎检测模块和门磁检测模块检测到的电压信号。
如上所述的报警装置,其特征在于:
所述补光照明模块的光源呈环状;
所述热释放红外线检测模块、振动检测模块、视频采集模块、音频采集模块和报警发送模块安装布置在环状光源的外边缘;
所述信号处理模块、电源管理模块安装布置在环状光源的中部。
如上任一所述的报警装置,其特征在于:
所述玻璃破碎检测模块、门磁检测模块分别通过有线或无线通信方式将检测到的信息转变成电压信号向所述信号处理模块输出。
如上任一所述的报警装置,其特征在于:
所述报警发送模块是采用有线或无线通信方式,将信号处理模块发出的报警信号发出。
如上所述的报警装置,其特征在于:
所述无线通信方式包括3G、WIFI、Zigbee、Bluetooth或者其它无线通信方式。
如上所述的报警装置,其特征在于:
所述信号处理模块收集所述热释放红外线检测模块、振动检测模块、玻璃破碎检测模块、门磁检测模块、烟雾探测器模块、煤气探测器模块中的一个或多个模块发送出来的信号以及视频采集模块和音频采集模块传输过来的信号,进行综合分析,从而完成所述分辨突发异常事件,并通过所述报警发送模块发出报警信号。
如上任一所述的报警装置,其特征在于:
所述信号处理模块包括主处理芯片,所述主处理芯片采用主核处理器与从核处理器结合的双核架构模式。
如上所述的报警装置,其特征在于:
所述主核处理器接收视频采集模块和综合信息检测模块采集到的所述视频信息和所述周围信号;
所述视频信息和所述周围信号构成多源信号传送给从核处理器;
所述从核处理器分辨突发异常事件,形成最终的决策信号。
如上所述的报警装置,其特征在于:
所述分辨突发异常事件主要包括运行音视频智能分析算法,同时结合所述周围信号中的其他信息进行分辨。
如上任一所述的报警装置,其特征在于:
还包括报警联动模块,所述报警联动模块响应于所述报警发送模块,联动声光报警设备发出警讯。
如上任一所述的报警装置,其特征在于:
还包括语音输出模块,所述语音输出模块接收来自远程终端的语音并予以播报输出。
本发明还提出了一种突发异常事件智能识别报警系统,所述系统包括存储模块和如上任一所述的报警装置;所述存储模块通过有线或无线通信的方式与所述报警装置建立通信连接,对所述报警装置采集的信息进行存储;
其特征在于:
所述分辨突发异常事件包括对所述视频信息中的图像进行处理、分析、识别;
对所述综合信息采集模块同步采集到的所述周围信号进行分析;
所述信号处理模块基于所述视频信息中的图像的处理、分析、识别和对所述周围信号的分析,完成对当前事件的识别,实现突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号。
如上所述的报警系统,其特征在于:
所述同步是指所述视频信息和所述周围信号在同一时刻采集并同步分析。
如上所述的报警系统,其特征在于:
所述报警系统中还包括人脸数据库及人脸注册模块,通过所述人脸注册模块来提取标准化人脸图像的特征,录入并注册到所述人脸数据库;
所述视频信息中的图像的处理、分析、识别,包括通过人脸识别来确定所述视频信息中的人的身份。
如上所述的报警系统,其特征在于:
所述人脸识别中,采用HAAR特征结合adaboost算法进行人脸检测实现人脸定位;
采用两层人眼定位器,通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化;
通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现待识别的人脸图像与所述人脸数据库中的人脸图像进行匹配。
如上任一所述的报警系统,其特征在于:
所述视频信息的处理包括去除所述视频信息中的背景图像,留下前景图像。
如上所述的报警系统,其特征在于:
去除所述视频信息中的背景图像包括如下步骤:
采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布用K个高斯分布拟合,表示为
prob ( x ) = Σ i = 1 K ω i η i ( x , μ i , σ i )
其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μii)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差;
多个高斯分布通过线性组合得到信号的概率分布prob(x),K个高斯分布按照ω/σ的降序排列,其中,排名靠前的高斯分布
B = arg min b ( Σ n = 1 b ω n ( x ) > T )
代表背景模型,剩余的高斯分布是前景模型;
将所述视频信息中的图像像素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景图像。
如上任一所述的报警系统,其特征在于:
所述当前事件的识别还包括去除所述视频信息中的无关运动,追踪目标运动。
如上所述的报警系统,其特征在于:
所述去除所述视频信息中的无关运动包括采用光线干扰过滤器来去除因光线的变化带来的干扰。
如上所述的报警系统,其特征在于:
所述光线干扰过滤器通过如下方式来去除干扰:
通过灰度图像背景建模得到运动区域为对应深度图像中的区域为真正的目标区域必须满足如下条件:
Σ X ∈ R d i P d ( x ) Σ x ∈ R g i P g ( x ) > T
其中,Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果;
P(x)=1表示目标运动象素,P(x)=0表示背景象素。
如上所述的报警系统,其特征在于:
所述报警系统还包括人脸及头肩检测过滤器以对目标为人时的动作进行识别。
如上所述的报警系统,其特征在于:
所述人脸及头肩检测过滤器分别在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测;
在所述运动区域检测到人脸特征或头肩特征时识别为目标运动;
否则认为是干扰,予以滤除。
如上任一所述的报警系统,其特征在于:
在所述视频信息中确认目标动作后,还包括通过帧间的目标关联对目标动作的跟踪,形成目标的运动轨迹,为所述信号处理模块对事件的智能识别提供依据。
如上所述的报警系统,其特征在于:
所述跟踪包括:
目标位置预测,目标特征选择,目标关联匹配和目标特征更新,
其中,
所述目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,从而提高后续关联匹配的精度,采用以下公式来完成对下一帧的位置的预测
v t x = Σ n = 0 N - 2 ( x t - n - x t - n - 1 ) N - 1 v t y = Σ n = 0 N - 2 ( y t - n - y t - n - 1 ) N - 1
其中分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-1时刻目标外界矩形框中心的横坐标和纵坐标;
目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征;
目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的匹配,以t时刻目标j为t-1时刻目标i为当满足下式时才进行特征匹配:,
dist ( O t j { C } , O t - 1 i { C } ) < &gamma;
其中γ为搜索距离阈值,需要根据实际场景进行确定;
匹配的准则为下式
arg min ( &omega; &times; ( dist ( O t j { C } , O t - 1 i { C } ) &gamma; ) + ( 1 - &omega; ) &times; | O t j { S } - O t - 1 i { S } O t - 1 i { S } ) < T
其中ω为特征的权重因子,取值0.5,T为误差上限,防止误匹配,取值0.4;
目标特征的更新采用滤除突变的数据,采用如下公式
O t i { F } = &alpha; &times; O t - 1 i { F } + ( 1 - &alpha; ) &times; O t i { F } F = { S , C }
其中α为更新因子,取值0.2来实现目标特征的更新。
28、如权利要求15-27任一所述的报警系统,其特征在于:
所述报警系统还能实现跌倒事件的识别,所述跌倒事件的识别包括如下步骤:
地面自动三维建模,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为
0 0 H ,
其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下
x y z 1 = R T 0 T 1 x w y w z w 1 , T = 0 0 H , R=Rx(α)·Ry(β)·Rz(γ),
摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ;
假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为其中(u,v)为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;
设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:
ax+by+cz+d=0
其中为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角α,β和γ:
&alpha;=arccos a | v &RightArrow; | , &beta;=arccos b | v &RightArrow; | , &gamma; = arccos c | v &RightArrow; |
当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选:
一、地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;
二、通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到20度之间,与y轴的夹角β基本等于0度。
粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:
F = arg max 1 &le; i &le; n d i
摄像机坐标下任一点到地平面的距离为:
h = | ax + by + cz + d | a 2 + b 2 + c 2
通过上式计算目标中心到地平面的距离;
目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:
M = &Sigma; ( x , y ) &Element; R | g t ( x , y ) - g t - 1 ( x , y ) | S R
其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积;
当M<ε时说明目标静止,其中ε是一个很小的正数。
如上任一所述的报警系统,其特征在于:
所述报警系统还能实现肢体冲突事件的识别,所述肢体冲突事件的识别通过光流矢量和音频分析来实现,所述光流矢量分析包括如下步骤:
光流矢量分析,通过目标跟踪得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν12,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj
h i = C h &Sigma; i = 1 k A v i &delta; ( b ( v i ) - j )
阶数取值12,Ch为归一化参数,为归一化光流矢量的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,
采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:
E H = - &Sigma; j = 1 n h j log h j
其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。
与现有技术相比,本发明的有益效果是:本发明以目标行为分析、人脸识别、声音辨识等智能音视频分析为核心技术,并结合先进的热释电红外检测、振动检测、音频检测、玻璃破碎检测、门磁检测和烟雾检测等物联网及无线通信技术,实时动态检测分析室内布控区域内人员跌倒长时间不起、非法闯入、偷盗、严重肢体冲突、火灾、煤气泄漏、爆炸等突发性异常安全事件,并将音视频或图片为载体的直观报警信号通过有线或无线通信方式,第一时间送达诸如户主手机或计算机、小区监控计算机等报警接收处理终端,同时联动声光报警器报警,并接收终端设备的语音输出,实现语音对讲;本发明还采用了以突发异常事件复核算法、移动目标特征分析为基础的虚警过滤器,融合多源探测信息,较好地解决了传统室内安防系统(如红外探测器、智能防盗锁等)误报率高,可靠性较差等问题;最后,本产品自带备用蓄电池,在无外接电源的情况下可以为自身供电2-24个小时。
附图说明
图1为本发明室内突发异常事件报警系统一个实施例的连接示意图。
图2为本发明室内突发异常事件报警系统的硬件连接示意图。
图3为本发明明室内突发异常事件报警系统的软件结构图。
图4为本发明室内突发异常事件报警系统的信号处理模块中主处理器端流程示意图。
图5为本发明室内突发异常事件报警系统的信号处理模块中从处理器端流程示意图。
图6为本发明室内突发异常事件报警系统的人脸注册和人脸识别流程示意图。
图7为本发明室内突发异常事件报警系统的人脸标准化时对接取人脸图像分析示意图。
图8为本发明室内突发异常事件报警系统的用于跌倒检测流程示意图。
图9为本发明室内突发异常事件报警系统的用于跌倒检测时的坐标建模示意图。
图10为本发明室内突发异常事件报警系统的特定声音检测流程示意图。
图11为本发明室内突发异常事件报警系统的产品实验系统连接示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1示出了本发明室内突发异常事件报警系统的一个实施例:一种室内突发异常事件报警系统,包括
视频采集模块,采用视频传感器采集视频流信号,完成图像信号的数字化,图像信号的预处理,得到满足信号处理模块要求的数字视频信号并向信号处理模块输出;
音频采集模块,完成语音信号的数模转换,语音信号的采样编码及滤波处理,得到满足信号处理模块要求的数字音频信号并向信号处理模块输出;
热释放红外线检测模块,感应移动物体与背景物体的温度的差异,当人体移动时热释红外能够感应到人体温度与背景温度的差异信息,转换成电压信号后向信号处理模块输出;
振动检测模块,将外界振动产生形变或受力信息转变为电压信号,向信号处理模块输出;
玻璃破碎检测模块和门磁检测模块,通过有线或无线通信方式将相应的信息转变成电压信号向信号处理模块输出,辅助信号处理模块做出相应判断;
信号处理模块,收集热释放红外线检测报警模块、振动检测模块、视频采集模块和音频采集模块传输过来的信号,进行综合分析,分辨非法入侵、暴力冲突、跌倒长时间不起、煤气泄漏等突发异常事件,并向报警发送模块发出报警信号;
无线接收模块,用于接收振动检测模块,玻璃破碎检测模块,烟雾探测器、紧急呼叫按钮和门磁检测模块上的报警传感器发送的报警信号;
报警发送模块,采用有线或无线通信方式,主要用于接收信号处理模块发出的报警信号及向向户主手机或小区管理中心发送报警信息;
报警联动模块,联动声光报警设备同时工作;
语音输出模块,实现来自远程终端设备如手机、监控中心的语音输出;
红外LED补光灯模块,在环境照度不足时,给视频采集模块提供辅助光源,保证其在低照度的环境下仍然能够采集到有效的图像数据;
电源管理模块,连接外接电源和蓄电池,当外接电源正常供电时,整个产品使用外接电源,当外界电源断电时,内部备用蓄电池自动启用,保证上述各模块在外接电源中断后继续正常工作。
图1还示出了本发明室内突发异常事件报警系统的一个优选实施例,该系统安装在一个机壳内,所述视频采集模块、音频采集模块、热释放红外线检测报警模块、振动检测模块、报警发送模块、无线接收模块、报警联动模块和报警发送模块安装在一个机壳内,所述信号处理模块和电源管理模块以及开关灯控制模块安装在外壳中部,红外LED补光灯模块设置在机壳外边缘和中部之间。
图2示出了本发明室内突发异常事件报警系统的另一个实施例,信号处理模块中核心处理芯片采用双核架构模式,即“主处理器+从处理器”双核架构模式,主处理器主要完成音视频信号的收集,音视频编码,热释电红外报警信号收集,通过无线接收模块接收振动检测模块,玻璃破碎检测模块,门磁检测模块,烟雾探测器、紧急呼叫按钮等分布式报警传感器发送的报警信号,将多源报警信号连同音视频数据传送给从处理器;从处理器主要用于运行音视频智能分析算法,通过视频和声音判断是否存在突发异常事件,同时结合热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等多源信息,形成最终的决策信号,如果确定突发异常事件发生,向主处理器端发送报警信号,并启动声光报警器报警。
如图3所示,本发明室内突发异常事件报警系统的软件主要是由主处理进程和智能处理进程两大部分组成,主处理进程,由信号采集模块、语音输出模块和报警发送模块构成,运行在ARM端;智能处理进程,由智能分析模块和多源信息融合虚警过滤模块组成,运行在DSP端。信号采集包括了音视频采集模块,热释电红外报警信号采集模块及无线报警信号采集模块,负责音视频等信号的采集以及语音输出。为了保证采集的各种信号能够同步,以便于后续处理,对各种报警信号做适当延时处理与音视频采集信号同步。智能处理进程,完成智能音视频分析,多源信息融合及虚警过滤,并向主处理进程发送报警信号,主处理进程通过报警发送模块向外部终端发送报警信息或启动联动报警设备报警。
如图4所示,主处理软件流程:系统上电后,首先完成主处理器端程序的初始化,接下来完成外围采集设备,通信设备初始化,启动从处理器端程序。创建音视频采集线程、热释电红外检测线程、无线接收线程、从处理器端通信线程、报警发送线程。
音视频采集线程:当接收到音视频数据后组合一帧多源数据,包括视频数据,音频数据及其它各种传感器报警标识,放入FrameBuffer中供通信线程调用,同时完成音视频的预录,以便提供报警信息。
热释电红外检测线程及无线接收线程:接收各种报警传感器的报警信号Ai,其中Ai可以是热释电红外报警信号,振动报警信号,玻璃破碎报警信号,门磁报警信号等。当接收到报警信号时,对应的报警标识Fi置1,表示第i个传感器发生报警,同时计数器Ci置一个初始值,否则计数器Ci递减,当计数器归零时,置报警标识Fi为0,,这里设置延时计数器是为了保证各种传感器的报警信息能够同步。
从处理器端通信线程:接收从处理器端发来的报警信号,通知报警发送线程。如果FrameBuffer中存在一帧多源数据,则将该数据发送到从处理器端。
语音输出/报警发送线程:接收到报警信号后,组织相关的报警信息,如语录的音视频,图片等,向外部终端发送,以及启动声光报警器等设备报警。若接收到语音输出信息,立即开启语音输出功能,连接远程终端,完成语音输出。
如图5所示,智能处理软件流程:首先主处理器端主处理进程启动后,将多任务内核及智能处理进程加载到从处理器内存中,从处理器完成一系列初始化,自动创建通信线程及分析线程。通信线程首先判断是否需要发送报警信号,如果是则向主处理进程发送报警信号,否则判断是否收到一帧多源信息,其中多源信息包括:音视频数据及其它传感器的报警信息,将多源信息放入帧缓存FrameBuffer中,同时向主处理进程发送接收确认信号,表明智能处理进程工作正常。分析线程从FrameBuffer中读取一帧数据,从中取出音视频数据进行分析,得出分析结果,结合数据帧中的其它报警信息,完成多源数据融合及虚警过滤,确定是否需要发送报警信号。
图6本发明室内突发异常事件报警系统的另一个实施例,户主身份判断包括通过人脸识别进行户主身份确认,其中所述人脸识别主要分为:
人脸注册,采集同一个人的不同角度的正面人脸照片,通过人脸定位找到人脸在图像中的位置,并标准化人脸尺寸,人脸角度和光照,提取标准化人脸图像的特征,录入注册用户数据库;
人脸识别,采用HAAR特征结合adaboost算法实现人脸检测实现人脸定位,采用了两层人眼定位器,都是通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化,通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配。其中Adaboost算法将大量分类能力一般的弱分类器按照训练误差指数下降的方式组合为一个强分类器。而HAAR特征为adaboost算法提供了海量的弱分类特征,保证了adaboost算法总体找到性能优异的弱分类。在人脸检测实施过程中,积分直方图和级联分类器的使用在保证较高检测精度的同时大大降低了处理时间;人眼定位时一般分为两层定位,其中第一层为粗定位,定位区域选择了包括了眼睛眉毛在内的大部分眼部区域,第二层为精确定位,定位区域只包含眼部区域。粗定位器相比于精确定位器由于包含了更多了区域信息,因此定位的稳定性更高,基本不存在较大的位置偏差,而精确定位器能够实现人眼的精确定位,但是容易受到眉毛、眼角的干扰造成定位错误。在粗定位的基础上通过几何比例关系确定人眼的大致位置范围,在该范围内使用精确定位器实现人眼的精确定位。通过由粗到精的定位方式,减小了眉毛、眼角等对定位的影响,提高了定位的准确性;而人脸标准化是人脸识别中非常关键的一个步骤,标准化结果的好坏直接影响了人脸识别的精度。人脸标准化主要完成人脸图像的几何校正及亮度校正。利用上一步人眼定位的结果很容易实现人脸图像的几何校正,首先通过图像旋转将双眼校正为水平,通过双眼距离d对人脸图像进行截取。如图7所示,其中最后将图像缩放到80x80象素。
亮度校正主要是在一定程度上消除光照不均对后续识别的影响。主要包括光照面拟合,扣除光照面,直方图均衡及灰度值归一化到零均值,单位方差。这里假设光照面是一个平面。光照面上的点满足如下公式:IP(x,y)=ax+by+c写成矩阵形式即x=Np,其中x表示图像的象素点灰度值排成的列向量,N表示象素点对应的坐标,第一列表示横坐标,第二列表示纵坐标,第三列填充1,p=[a b c]T。平面参数a,b,c可以通过线性回归的方式求得,即p=(NTN)-1NTx。
可以选择了Gabor小波特征,Gabor变换在分析图像局部区域纹理方面具有优异的性能。二维Gabor滤波器可以表示为:
&psi; ( x &RightArrow; ) = | | k &RightArrow; | | &sigma; 2 exp ( - | | k &RightArrow; | | 2 | | x &RightArrow; | | 2 2 &sigma; 2 ) [ exp ( i k &RightArrow; x &RightArrow; ) - exp ( - &sigma; 2 2 )
其中为图像坐标,为滤波器的中心频率,kx和ky分别表示在横轴和纵轴的投影,为滤波器的方向,u和v代表不同的取值,为高斯包络,为复数值平面波。二维Gabor滤波器通过二维高斯函数调制特定频率和方向的正弦波平面实现,通过改变正弦波平面的频率和方向实现不同尺度和不同方向图像纹理的分析。
通过人脸标准化得到了80x80大小的人脸图像,这里选择了5个滤波器尺度,8个滤波方向,得到40个不同方向和频率的Gabor滤波器,对一张人脸图像通过滤波器卷积后得到40张Gabor小波变换后的幅值图像,最后得到的Gabor特征维数为163840。这样一个高维的特征向量中会大大降低识别分类的速度,因此需要对特征向量进行降维。这里采用4x4均匀向下采样实现特征降维。
采用最近邻分类法实现查询的人脸图像与数据库人脸图像的匹配,采用向量间的协方差距离作为匹配度量方式,同时可以通过协方差距离衡量最终匹配的可信度。
根据本发明室内突发异常事件报警系统的另一个实施例,信号处理模块连接有存储模块(Storage),针对不同的应用情况,会用到不同类型的存储介质,SD和TF卡通过SDIO来控制,此类型的存储介质方便更换;Nand通过Nandflash控制,此类型集成度高,但是不易于更换存储介质;SSD通过PCI-E或者SATA接口控制,此类型存储空间可以做到很大;
设置有以太网接口(RJ45);
通过电源管理模块(Power manager)连接有外接电源(DC IN)和电池(Battery);
连接有用于主控CPU运行的内存(DDR);
连接有用于存储系统启动程序、配置参数、日志信息的闪存(Flash);
连接有无线模块(3G、WIFI),用于音视频数据以及远程控制信号的传输;
连接有无线模块(zigbee、Blue tooth或其他无线模块),用于接收分布式报警器发送的报警信号,如玻璃破碎信号和门磁打开信号,也可向其它设备发送控制信息。
连接有通过外接警灯,警号联动设备,实现本地声光报警,或控制其它关联设备的联动报警模块。
图8和图9示出了本发明室内突发异常事件报警系统的一个优选实施例,视频采集模块包括图像数据相互对齐的普通摄像检测模块和深度摄像检测模块,对于图像中的一点P得到六维信息分量<x,y,d,r,g,b>,其中<x,y>为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,<r,g,b>为颜色分量,本室内突发异常事件报警系统用于检测运动目标和跟踪的的方法如下:
将彩色图像转换为灰度图像,分别针对灰度图像和深度图像建立背景模型,采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布可以用K个高斯分布拟合,表示为
prob ( x ) = &Sigma; i = 1 K &omega; i &eta; i ( x , &mu; i , &sigma; i )
其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μii)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差,多个高斯分布通过线性组合得到信号的概率分布,K个高斯分布按照ω/σ的降序排列,排列靠前的高斯分布够代表背景的分布,同时混合高斯模型能够自动的维护场景的变化,同时对于误检测的情况能够通过学习更正错误,
将前B个高斯分布作为背景模型,剩余的高斯分布认为是前景,B应该满足
B = arg min b ( &Sigma; n = 1 b &omega; n ( x ) > T )
将当前象素值I(x)与前B个高斯分布进行匹配,如果和其中的任何一个高斯分布匹配成功则该象素为背景象素,否则为前景运动象素,匹配方式如下式
|I(x)-μi(x)|<c×σi(x)i=1.....B;
目标确认,通过背景建模的方式检测得到了运动物体,但很多运动都是由室内光线变化,窗帘的摆动,电视画面的闪烁等运动的产生,而这里的监控对象是人,因此需要将人的运动从大量的无关运动中分离出来。这里通过光线干扰过滤器,人脸检测过滤器和头肩检测过滤器,采用灰度图像分析为主,深度图像分析为辅,同时结合人脸检测及头肩检测实现监控目标的确认,
其中光线干扰过滤器:光线的变化使得图像的灰度值发生了变化,当灰度值变化的速度和幅度超过了背景模型的适应范围,则检测为运动目标,通过深度图像过滤光线变化引起的运动,深度图像由于采用了红外光探测方法,基本不受光照变化的干扰,通过灰度图像背景建模检测得到运动区域为对应深度图像中的区域为真正的目标区域必须满足如下条件:
&Sigma; X &Element; R d i P d ( x ) &Sigma; x &Element; R g i P g ( x ) > T
其中Pd(x)和Pg(x)分别为深度图像和灰度图像运动检测结果,P(x)=1表示运动象素,P(x)=0表示背景象素;
人脸及头肩检测过滤器:实际监控场景中存在大量真实的运动,如风扇的转动,窗帘的摆动,电视画面的闪烁,宠物的运动,而本发明只关心人的运动,人具有区别于这些运动的明显外观特征,如人脸特征和头肩特征,这里在灰度图像中采用haar小波结合adaboost分类器实现人脸检测,HOG特征结合SVM分类器实现头肩检测,当在运动区域检测到人脸特征或头肩特征时说明为运动的人,否则认为是干扰,予以滤除;
目标跟踪,在目标确认的基础上通过帧间的目标关联,形成目标的运动轨迹,为后续目标行为分析提供依据。目标跟踪主要包括:目标位置预测,目标特征选择,目标关联匹配和目标特征更新,其中
目标位置预测是根据当前帧及之前目标的位置估计目标在下一帧的位置,有利于提高后续关联匹配的精度。这里采用估计目标速度的方式,利用以下公式预测位置的,
v t x = &Sigma; n = 0 N - 2 ( x t - n - x t - n - 1 ) N - 1 v t y = &Sigma; n = 0 N - 2 ( y t - n - y t - n - 1 ) N - 1
其中分别表示t时刻目标在x方向和y方向的速度,N为时间窗口,xt-n和yt-n分别表示t-n时刻目标外界矩形框中心的横坐标和纵坐标,同理xt-n-1和yt-n-1分别表示t-n-1时刻目标外界矩形框中心的横坐标和纵坐标;
目标特征选择是选择相对稳定可靠的目标面积S和目标外接矩形框的中心C两个特征。
目标关联匹配是找到前一帧目标在当前帧的位置,实现目标的定位,根据相关跟踪原理,只要保证足够图像采样率的情况下,同一个目标在相邻两帧之间的位置变化不会太大,因此可以将目标的搜索范围限定在一个较小的距离范围,同时也大大降低了误匹配的风险,设t时刻目标j为,t-1时刻目标i为当满足下式时才进行特征匹配:,
dist ( O t j { C } , O t - 1 i { C } ) < &gamma;
其中γ为搜索距离阈值,需要根据实际场景进行确定。
匹配的准则为下式
arg min ( &omega; &times; ( dist ( O t j { C } , O t - 1 i { C } ) &gamma; ) + ( 1 - &omega; ) &times; | O t j { S } - O t - 1 i { S } O t - 1 i { S } ) < T
其中ω为特征的权重因子,取值0.5, T为误差上限,防止误匹配,取值0.4。
目标特征的更新均采用滤除突变的数据,保证数据不会出现较大的波动的一阶平滑的方式更新,具体实现见下一行的公式
O t i { F } = &alpha; &times; O t - 1 i { F } + ( 1 - &alpha; ) &times; O t i { F } F = { S , C }
其中α为更新因子,取值0.2。
本室内突发异常事件报警系统用于检测跌倒的方法如下,地面自动三维建模,将与视频采集模块相连的摄像机倾斜向下与地面成一定角度安装,将摄像机坐标系的原点设定在图像坐标系的Z轴上,这样平移矩阵T简化为 0 0 H , 其中H表示摄像机光心到地面的距离,摄像机坐标系和世界坐标系的转换公式如下
x y z 1 = R T 0 T 1 x w y w z w 1 , T = 0 0 H , R=Rx(α)·Ry(β)·Rz(γ),
摄像机坐标系的三条坐标轴与世界坐标系的三条坐标轴夹角为α,β和γ,假设图像坐标系的原点与摄像机坐标系的原点重合,则深度图像中的一点(u,v,d)在摄像机坐标系下的坐标为其中(u,v)为象素点在图像中的坐标,d为拍摄物体距离摄像机的距离,fx和fy为摄像机在成像平面上水平和垂直方向的焦距;
设地面上的点F(x,y,z)在摄像机坐标系下满足如下平面约束:
ax+by+cz+d=0
其中为地平面的法向量,通过法向量可以计算得到三条坐标轴的夹角α,β和γ:
&alpha;=arccos a | v &RightArrow; | , &beta;=arccos b | v &RightArrow; | , &gamma; = arccos c | v &RightArrow; |
当得到一帧深度图像数据后,采用RANSAC算法实现平面拟合,通过拟合可以得到多个候选的地平面Fi=1...n{ai,bi,ci,di},通过如下的先验知识对平面进行粗筛选;:一,地面在图像中占据了较大的面积,即真实的地平面应该包括了较多的图像象素点;二,通常情况下摄像机与z轴的夹角γ在40度和80度之间,与x轴的夹角α在0度到20度之间,与y轴的夹角β基本等于0度。
粗筛选后剩余的平面中选择离摄像头最远的平面作为地平面,即满足:
F = arg max 1 &le; i &le; n d i
摄像机坐标下任一点到地平面的距离为:
h = | ax + by + cz + d | a 2 + b 2 + c 2
通过上式计算目标中心到地平面的距离;
目标静止判断,通过计算目标区域内灰度图像的时域差分来判断目标是否静止:
M = &Sigma; ( x , y ) &Element; R | g t ( x , y ) - g t - 1 ( x , y ) | S R
其中gt(x,y)表示t时刻灰度图像中(x,y)处象素点的灰度值,R表示目标区域,SR为目标区域的象素面积。当M<ε时说明目标静止,其中ε是一个很小的正数。
总的来说即是,首先进行地面三维建模,确定图像中的地面区域,得到地面的三维坐标,在目标跟踪的基础上,计算目标的中心与地平面的距离H,如果H小于设置的阈值T,说明人的身体紧贴地面,如果在接下来检测到目标静止的时间大于一定阈值,则触发跌倒报警。
图10示出了本发明室内突发异常事件报警系统的另一个优选实施例,音频采集模块还对特定声音进行检测,其检测方法包如下:
语音信号预处理,假设音频信号X(t)的采样率为fs,fs取值8kHz,将X(t)依次经过预加重,分帧和加窗处理,窗函数选择汉宁窗,并去除均值,避免直流分量对ω=0处附近的谱线产生影响;
特征提取,采用经典谱估计中的周期图法,使用 FFT实现,最终得到归一化的功率谱X(fn),提取数目为24的Mel滤波器组。功率谱X(fn)经过Mel滤波器组滤波取对数,再经过离散余弦变换得到梅尔倒谱MFCC系数,Mel滤波器组由一组按照Mel频标分布的三角带通滤波器组成;
GMM音频辨识模型的训练,采用期望最大EM算法求取GMM模型,给定训练样本集X={x1,x2,...,xn},GMM的似然函数为
p ( X / &lambda; ) = &Pi; i = 1 n p ( x i / &lambda; )
其中模型参数pi表示高斯模型的概率,Σi分别表示高斯模型的均值向量和协方差矩阵。
EM算法包括两步,E步求取期望,计算辅助函数,M步期望最大化,最大化得到通过E步和M步的不断迭代直至算法收敛,
Q ( &lambda; , &lambda; ^ ) = &Sigma; y ( P ( Y = y | X = x | &lambda; ) log P ( Y = y , X = x | &lambda; ^ ) )
其中X为观测值,Y为隐含状态。
当相邻两次迭代计算的期望值最大值相差不大时,则算法收敛,停止迭代,如下式所示:
Q t ( &lambda; , &lambda; ^ ) - Q t ( &lambda; , &lambda; ^ ) < &epsiv;
其中t表示迭代的次数,ε为一个较小的正数;
使用训练模型识别,通过GMM训练得到模型参数λ,语音片段提取特征后送入GMM模型中计算得到相似度,通过相似度判断该语音片段的类别。
根据本发明室内突发异常事件报警系统的一个实施例,一种室内突发异常事件报警系统用于检测肢体冲突的方法包括光流矢量分析和音频分析,在爆发肢体冲突时伴随着剧烈无规则的运动及大声的啸叫,因此可以通过光流矢量分析和音频分析检测肢体冲突,当两种方法都检测到肢体冲突时,触发肢体冲突报警,同时抓拍一张现场照片。
光流矢量分析,通过目标跟踪可以得到目标所在的区域,采用KLT特征点光流计算目标区域内的光流矢量V={ν12,...,νn},采用幅度加权直方图Hp={hj}j=1,2,...,n实现区域光流矢量的统计分析,再通过下式得出第j阶直方hj
h i = C h &Sigma; i = 1 k A v i &delta; ( b ( v i ) - j )
这里阶数可以取值12,Ch为归一化参数,为归一化光流矢量的幅值,b(vi)为光流矢量vi对应的直方图区间,通过矢量的方向确定,δ(.)为Kronecker delta函数,
采用区域熵EH实现剧烈无规则运动的度量,EH的表达式如下:
E H = - &Sigma; j = 1 n h j log h j
其中hj表示第j阶幅度加权直方图。EH越大说明区域内的运动越剧烈无规则,设定阈值T,当EH>T时说明区域内爆发了肢体冲突。
本发明的整个工作流程:
用户可以根据需要开启或关闭报警功能,检测的方式可以选择视频检测、音频检测、热释电红外检测,振动检测,玻璃破碎检测,烟雾检检测,门磁检测中的一种或几种,如跌倒、严重姿态冲突采用音视频检测,窗户区域采用热释电红外检测、振动检测、玻璃破碎检测,门所在区域采用视频检测、音频检测、热释电红外检测、振动检测、门磁检测。报警信息可以是视频,音频或图片中的一种或几种。
(1)设备上电或复位后,信号处理模块从FLASH中加载操作系统和应用程序,完成对主处理芯片的初始化和外围硬件的配置,接下来完成对各子系统的初始化,最后进入正常工作状态。首次使用时,对家庭成员人脸进行注册。
(2)主处理芯片的主处理器端不断的采集监控现场的音视频信号及热释红外检测信号,同时通过无线接收模块接收其它分布式报警传感器的报警信号,将多源数据送入从处理器端进行分析,同时进行音视频预录。如果收到从处理器端的报警或预警信号,则将预录的音视频,连同抓拍的照片通过报警信号发送模块发送到小区监控中心或户主的手机上,同时启动声光报警器等联动设备报警。
(3)主处理芯片的从处理器端运行智能音视频分析算法,分别从视频和音频的角度分析得出是否存在跌倒较长时间不起、严重肢体冲突、陌生人非法入室等突发异常事件发生,并结合其它传感器报警信息和,运用决策融合技术得到最终的判决结果,将结果发送至主处理器端。
(4)户主或监控中心收到报警后,可以通过传回来的报警信息进行确认,也可开启语音对讲功能,与室内人员通话,进一步了解突发异常事件发生情况。
产品实验
实验环境及设备
实验场地:120平方米 2室2厅家用住宅。
实验设备:(1)承载室内突发异常事件报警系统的摄像机 1台;(2)无线门磁检测器 1个;(3)无线玻璃破碎检测器 2台;(4)无线烟雾探测器 1台;(5)无线煤气泄漏传感器1台;(6)安装突发异常事件报警接收处理软件的手机 1部。
如图11所示,在客厅安装吸顶式突发异常事件报警摄像机,分别在卧室、厨房、进入大门口安装玻璃破碎检测器、煤气泄漏探测器、烟雾传感器、门磁检测器,并通过无线与报警摄像机通信,通过报警摄像机IO输出口连接报警警号。
试验方法及结果:
试验结论:在室内环境下,试验结果与试验预期一致,功能、性能完全符合产品设计要求。
本发明具有以下优点:
优点一:功能强,用途广。产品能检测室内几乎所有的异常突发事件,尤其是高精度的人员跌倒检测可广泛应用于对独居老人的监护。
优点二:误报率低。内置功能强大的虚警过滤算法,对室内环境光线变化、窗帘飘动、宠物等引发的突发异常事件进行了较好的过滤。
优点三:报警及时,报警信息直观、灵活,可以是音频,视频或图片。
优点四:设备使用、安装、维护方便。采用无线传输,布线方式简单、易于使用维护。
优点五:可无间断使用,即使停电,仍可自动开启自带蓄电池继续使用。
尽管这里参照本发明的多个解释性实施例对本发明进行了描述,但是,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说,在本申请公开、附图和权利要求的范围内,可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外,对于本领域技术人员来说,其他的用途也将是明显的。

Claims (7)

1.一种突发异常事件智能识别报警系统,所述系统包括存储模块和报警装置;所述报警装置包括视频采集模块、综合信息采集模块、报警发送模块、信号处理模块,所述视频采集模块采集周围视频信息,所述综合信息采集模块实时收集周围信号,并将所述视频信息和所述周围信号实时传给信号处理模块;其特征在于:
所述信号处理模块对所述视频信息中的图像进行处理、分析,将所述视频信息中的背景图像去除,实现所述视频信息中的图像识别;
根据图像识别结果,所述信号处理模块结合所述周围信号,综合分析并识别当前事件是否为突发异常事件,完成对突发异常事件的分辨,从而决定是否启动所述报警发送模块,发出报警信号;
所述存储模块通过有线或无线通信的方式与所述报警装置建立通信连接,对所述报警装置采集的信息进行存储;
所述视频信息的处理包括去除所述视频信息中的背景图像,留下前景图像;
去除所述视频信息中的背景图像包括如下步骤:
采用混合高斯建立背景模型,混合高斯背景建模假设信号变化的概率分布用K个高斯分布拟合,表示为
p r o b ( x ) = &Sigma; i = 1 K &omega; i &eta; i ( x , &mu; i , &sigma; i )
其中μ和σ为高斯分布的均值和方差,模型中每个高斯分布ηi(x,μii)都赋予一个权重ωi,其中μi和σi分别表示高斯分布的均值和标准差;
多个高斯分布通过线性组合得到信号的概率分布prob(x),K个高斯分布按照ω/σ的降序排列,其中,排名靠前的高斯分布
B = arg min b ( &Sigma; n = 1 b &omega; n ( x ) > T )
代表背景模型,剩余的高斯分布是前景模型;
将所述视频信息中的图像像素的值I(x)与前B个高斯分布进行匹配,如果所述图像像素和其中的任何一个高斯分布匹配成功,则所述图像像素为背景像素,否则为前景图像。
2.如权利要求1所述的报警系统,其特征在于:
还包括补光照明模块,在所述视频采集模块进行视频采集时,环境照度不足的情况下所述补光照明模块自动启动,为所述视频采集模块提供辅助照明光源。
3.如权利要求1-2任一所述的报警系统,其特征在于:
还包括电源管理模块,对所述报警装置进行供电,所述电源管理模块连接外接电源和蓄电池;
当外接电源正常供电时,整个产品使用外接电源;
当外接电源被切断时,所述蓄电池自动启用为所述报警装置供电。
4.如权利要求1-2任一所述的报警系统,其特征在于:
所述综合信息采集模块包括音频采集模块、热释放红外线检测模块、振动检测模块、玻璃破碎检测模块、门磁检测模块、烟雾探测器模块、煤气探测器模块中的一个或多个模块;
其中,所述热释放红外线检测模块探测周围空间中的温度与背景温度的差异信息,并转换成电压信号;
所述振动检测模块探测周围空间中的振动情况并转换成电压信号;
所述玻璃破碎检测模块和门磁检测模块,检测周围玻璃的破碎声音和门磁变化信息并转换成电压信号;
所述综合信息采集模块所采集的所述周围信号包括所述音频采集模块采集的语音信息、所述烟雾探测器模块和煤气探测器模块探测到的信息、所述热释放红外线检测模块、振动检测模块、玻璃破碎检测模块和门磁检测模块检测到的电压信号。
5.如权利要求1-2任一所述的报警系统,其特征在于:
所述信号处理模块包括主处理芯片,所述主处理芯片采用主核处理器与从核处理器结合的双核架构模式。
6.如权利要求1-2任一所述的报警系统,其特征在于:
所述报警系统中还包括人脸数据库及人脸注册模块,通过所述人脸注册模块来提取标准化人脸图像的特征,录入并注册到所述人脸数据库;
所述视频信息中的图像的处理、分析、识别,包括通过人脸识别来确定所述视频信息中的人的身份。
7.如权利要求6所述的报警系统,其特征在于:
所述人脸识别中,采用HAAR特征结合adaboost算法进行人脸检测实现人脸定位;
采用两层人眼定位器,通过adaboost算法获得人眼定位,利用人脸定位结果通过图像旋转将双眼校正为水平实现人脸标准化;
通过二维Gabor滤波器进行特征提取,利用向量间的协方差距离作为匹配度量方式,通过最近邻分类法实现待识别的人脸图像与所述人脸数据库中的人脸图像进行匹配。
CN201410087754.5A 2013-03-11 2014-03-11 一种突发异常事件智能识别报警装置及报警系统 Expired - Fee Related CN103839373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410087754.5A CN103839373B (zh) 2013-03-11 2014-03-11 一种突发异常事件智能识别报警装置及报警系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN 201310075931 CN103198605A (zh) 2013-03-11 2013-03-11 室内突发异常事件报警系统
CN2013100759313 2013-03-11
CN201310075931.3 2013-03-11
CN201410087754.5A CN103839373B (zh) 2013-03-11 2014-03-11 一种突发异常事件智能识别报警装置及报警系统

Publications (2)

Publication Number Publication Date
CN103839373A CN103839373A (zh) 2014-06-04
CN103839373B true CN103839373B (zh) 2016-08-17

Family

ID=48721094

Family Applications (2)

Application Number Title Priority Date Filing Date
CN 201310075931 Pending CN103198605A (zh) 2013-03-11 2013-03-11 室内突发异常事件报警系统
CN201410087754.5A Expired - Fee Related CN103839373B (zh) 2013-03-11 2014-03-11 一种突发异常事件智能识别报警装置及报警系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN 201310075931 Pending CN103198605A (zh) 2013-03-11 2013-03-11 室内突发异常事件报警系统

Country Status (2)

Country Link
CN (2) CN103198605A (zh)
WO (1) WO2014139416A1 (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统
CN103240551B (zh) * 2013-05-23 2015-06-24 北京斯达峰控制技术有限公司 一种数控焊接速度控制方法、装置及系统
CN103327122B (zh) * 2013-07-11 2016-09-07 北京信息科技大学 一种智能远程监控系统
CN103354006A (zh) * 2013-07-23 2013-10-16 深圳辉锐天眼科技有限公司 联网报警服务系统及其硬件设备的布置方法
KR102410469B1 (ko) * 2013-08-29 2022-06-22 콘비다 와이어리스, 엘엘씨 사물 인터넷 이벤트 관리 시스템 및 방법
CN103605951A (zh) * 2013-09-11 2014-02-26 中科润程(北京)物联科技有限责任公司 一种新型振动入侵探测行为特征识别算法
CN103607534A (zh) * 2013-12-12 2014-02-26 湖南理工学院 一种具备无缝智能监控和告警功能的集成鱼眼摄像机
CN104252775A (zh) * 2013-12-20 2014-12-31 上海通富立信息科技有限公司 一种实时视频语音紧急报警装置及其方法
CN103677275A (zh) * 2013-12-31 2014-03-26 福建创高安防技术有限公司 一种具手势识别功能的无线报警器
CN104954543A (zh) * 2014-03-31 2015-09-30 小米科技有限责任公司 自动报警方法、装置及移动终端
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CN104008627A (zh) * 2014-05-22 2014-08-27 四川和芯微电子股份有限公司 监护系统
CN104077899A (zh) * 2014-06-25 2014-10-01 深圳中视康科技有限公司 一种无线报警装置
CN104268963A (zh) * 2014-08-06 2015-01-07 成都百威讯科技有限责任公司 一种智能门锁系统及智能门锁、智能报警门
CN104240418B (zh) * 2014-09-22 2019-03-22 无锡物联网产业研究院 一种信号处理方法及报警设备
CN105512602A (zh) * 2014-10-16 2016-04-20 南京索酷信息科技有限公司 基于全局和局部特征的人脸识别在智慧社区上的运用方法
CN104394359A (zh) * 2014-11-05 2015-03-04 浪潮(北京)电子信息产业有限公司 一种基于红外感知与人脸识别技术的安防监控方法和系统
CN104581047A (zh) * 2014-12-15 2015-04-29 苏州福丰科技有限公司 用于监控录像的三维人脸识别方法
CN104601369A (zh) * 2014-12-15 2015-05-06 中电长城网际系统应用有限公司 It运维报警方法、装置和系统
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104660991B (zh) * 2015-02-02 2017-12-05 上海理工大学 室内视频监控系统
CN104992708B (zh) * 2015-05-11 2018-07-24 国家计算机网络与信息安全管理中心 短时特定音频检测模型生成与检测方法
CN104935886A (zh) * 2015-06-09 2015-09-23 宁夏大学 一种基于sopc的室内智能视频监控系统
EP3311334A4 (en) * 2015-06-18 2019-08-07 Wizr DEMATERIALIZED PLATFORM WITH SYNCHRONIZATION OF MULTIPLE CAMERAS
CN104978817A (zh) * 2015-06-25 2015-10-14 苏州昊枫环保科技有限公司 室内安全防盗监控系统
CN105047186A (zh) * 2015-07-14 2015-11-11 张阳 Ktv点歌系统呼叫控制方法及系统
CN105042447B (zh) * 2015-08-05 2017-11-03 上海宇芯科技有限公司 智能反恐路灯及安全监控方法
CN105100724B (zh) * 2015-08-13 2018-06-19 电子科技大学 一种基于视觉分析的智能家居远程安全监控方法
CN105225392A (zh) * 2015-08-26 2016-01-06 潘玲玉 一种主动式家用防盗拒止系统
CN105118226A (zh) * 2015-09-27 2015-12-02 电子科技大学中山学院 一种基于监测的物联网防护装置
CN105451235A (zh) * 2015-11-13 2016-03-30 大连理工大学 基于背景更新的无线传感器网络入侵检测方法
WO2017132930A1 (zh) * 2016-02-04 2017-08-10 武克易 物联网设备智能看护方法
CN107221133B (zh) * 2016-03-22 2018-12-11 杭州海康威视数字技术股份有限公司 一种区域监控报警系统及报警方法
CN105760861B (zh) * 2016-03-29 2020-05-12 华东师范大学 一种基于深度数据的癫痫发作监控方法及系统
CN108304827A (zh) * 2016-04-01 2018-07-20 张海东 自动化面部识别系统
CN106022306A (zh) * 2016-06-08 2016-10-12 惠州学院 一种基于多角度识别目标异常行为视频系统
CN107666589A (zh) * 2016-07-29 2018-02-06 中兴通讯股份有限公司 一种远程监控方法及设备
CN106056836A (zh) * 2016-08-16 2016-10-26 哈尔滨理工大学 一种家庭安防系统
CN106096465A (zh) * 2016-08-16 2016-11-09 成都智齐科技有限公司 一种具有防盗功能的计算机
CN106327738B (zh) * 2016-08-26 2017-11-24 特斯联(北京)科技有限公司 一种智能分级监控系统
CN106377265A (zh) * 2016-09-21 2017-02-08 俞大海 基于深度图像和眼动注视信息的行为检测系统
CN106331648A (zh) * 2016-09-27 2017-01-11 北海益生源农贸有限责任公司 一种远程安防监控系统及方法
CN106530585A (zh) * 2016-11-02 2017-03-22 南阳盛世光明软件有限公司 一种基于移动感应定位及移动终端特征码采集的消防探头
CN106325190A (zh) * 2016-11-09 2017-01-11 柏海蛟 一种智能养殖系统和方法
CN108074381B (zh) * 2016-11-10 2019-09-10 杭州海康威视系统技术有限公司 报警方法、装置及系统
CN106601271B (zh) * 2016-12-16 2020-05-22 河北在途科技有限公司 一种语音异常信号检测系统
CN106599865A (zh) * 2016-12-21 2017-04-26 四川华雁信息产业股份有限公司 刀闸状态识别装置与方法
CN106683328A (zh) * 2016-12-30 2017-05-17 安徽杰瑞信息科技有限公司 一种家居安防系统
CN106846713A (zh) * 2017-03-22 2017-06-13 清华大学合肥公共安全研究院 一种智慧城市公共安全预警系统
CN107123219A (zh) * 2017-06-02 2017-09-01 安徽福讯信息技术有限公司 一种基于物联网的家庭安防综合系统
CN107027010A (zh) * 2017-06-06 2017-08-08 山西富平科技有限公司 一种户外智能监控系统
CN107289586B (zh) * 2017-06-15 2020-06-05 广东美的制冷设备有限公司 空调系统、空调器和通过空调系统进行跌倒报警的方法
CN107067640A (zh) * 2017-06-20 2017-08-18 合肥博之泰电子科技有限公司 一种智能化小区安全防护方法及系统
CN107515596B (zh) * 2017-07-25 2020-05-05 北京航空航天大学 一种基于图像数据变窗口缺陷监控的统计过程控制方法
CN107564226A (zh) * 2017-09-25 2018-01-09 珠海市领创智能物联网研究院有限公司 一种智能家居安保系统
CN107917342A (zh) * 2017-11-15 2018-04-17 北京科创三思科技发展有限公司 天然气站场无人值守声像定位监控系统及方法
CN108091092B (zh) * 2018-01-24 2021-05-14 上海胜战科技发展有限公司 一种基于网络安全芯片的智能安防系统
CN108399700A (zh) * 2018-01-31 2018-08-14 上海乐愚智能科技有限公司 防盗方法和智能设备
CN108492518A (zh) * 2018-03-01 2018-09-04 上海市保安服务总公司 智能安防系统
CN108460360B (zh) * 2018-03-23 2019-03-01 深兰科技(上海)有限公司 设备分布图像识别方法
TWI697869B (zh) 2018-04-27 2020-07-01 緯創資通股份有限公司 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體
CN108389364A (zh) * 2018-05-10 2018-08-10 重庆医科大学附属口腔医院 脑卒中及猝死报警装置
CN108694796A (zh) * 2018-06-04 2018-10-23 四川斐讯信息技术有限公司 基于路由器与智能家居实现安全审计预警的系统及其方法
CN108898079A (zh) * 2018-06-15 2018-11-27 上海小蚁科技有限公司 一种监控方法及装置、存储介质、拍摄终端
CN108810474A (zh) * 2018-06-19 2018-11-13 广州小狗机器人技术有限公司 一种网络摄像头监控方法及系统
CN108985266A (zh) * 2018-08-14 2018-12-11 刘纪君 房屋窗体摄像驱动系统
CN109087477A (zh) * 2018-08-17 2018-12-25 穗阳软件技术有限公司 可划分区域的边界分区装置
CN109359518A (zh) * 2018-09-03 2019-02-19 惠州学院 一种红外视频的运动物体识别方法、系统和报警装置
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN109191768A (zh) * 2018-09-10 2019-01-11 天津大学 一种基于深度学习的家庭成员安全隐患监测方法
CN111127837A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 一种报警方法、摄像机及报警系统
CN109634129B (zh) * 2018-11-02 2022-07-01 深圳慧安康科技有限公司 主动关怀的实现方法、系统及装置
CN109612114A (zh) * 2018-12-04 2019-04-12 朱朝峰 异地设备联动系统
CN109635710A (zh) * 2018-12-06 2019-04-16 中山乐心电子有限公司 危险状态确定方法、装置、危险告警设备及储存介质
CN109493579A (zh) * 2018-12-28 2019-03-19 赵俊瑞 一种公共突发事件自动报警监控系统及方法
CN109920182B (zh) * 2018-12-29 2022-03-04 国网北京市电力公司 防护处理方法、装置、存储介质及电子装置
CN109726538B (zh) * 2019-01-11 2020-12-29 李庆湧 一种声纹识别解锁的移动智能终端及其方法
CN110132189A (zh) * 2019-05-21 2019-08-16 上海容之自动化系统有限公司 一种基于隔爆mems三分量冲击波爆炸传感器的探测系统
CN110472473A (zh) * 2019-06-03 2019-11-19 浙江新再灵科技股份有限公司 基于姿态估计检测扶梯上人跌倒的方法
CN110191322B (zh) * 2019-06-05 2021-06-22 重庆两江新区管理委员会 一种共享预警的视频监控方法
CN110176117B (zh) * 2019-06-17 2023-05-19 广东翔翼科技信息有限公司 一种基于行为识别技术的监控装置及监控方法
CN110415152A (zh) * 2019-07-29 2019-11-05 哈尔滨工业大学 一种安全监控系统
CN110647116A (zh) * 2019-08-13 2020-01-03 宁波沙泰智能科技有限公司 一种基于机器运行值守的监管系统
WO2021026848A1 (zh) * 2019-08-14 2021-02-18 深圳市大疆创新科技有限公司 图像处理方法、设备、拍摄装置、可移动平台及存储介质
CN110519637B (zh) * 2019-08-27 2021-05-18 西北工业大学 基于音频视频监控结合的异常监测方法
CN110443977A (zh) * 2019-08-29 2019-11-12 张玉华 人体行为的动态预警方法和动态预警系统
CN110852198A (zh) * 2019-10-27 2020-02-28 恒大智慧科技有限公司 防止智慧社区内宠物狗袭击的控制方法、设备及存储介质
CN110933367A (zh) * 2019-11-12 2020-03-27 西安优信机电工程有限公司 一种视频报警系统及其报警方法
CN111091060B (zh) * 2019-11-20 2022-11-04 吉林大学 基于深度学习的跌倒和暴力检测方法
CN113076772A (zh) * 2019-12-18 2021-07-06 广东毓秀科技有限公司 基于全模态的异常行为识别方法
CN111178257A (zh) * 2019-12-28 2020-05-19 深圳奥比中光科技有限公司 一种基于深度相机的区域安全防护系统及方法
JP7355674B2 (ja) * 2020-02-18 2023-10-03 株式会社日立製作所 映像監視システムおよび映像監視方法
CN112308914B (zh) * 2020-03-06 2024-07-12 北京字节跳动网络技术有限公司 用于处理信息的方法、装置、设备和介质
CN113449546A (zh) * 2020-03-24 2021-09-28 南宁富桂精密工业有限公司 室内定位方法与装置及计算机可读储存媒体
CN112288984A (zh) * 2020-04-01 2021-01-29 刘禹岐 基于视频融合的三维可视化无人值守变电站智能联动系统
CN111524318B (zh) * 2020-04-26 2022-03-01 熵基华运(厦门)集成电路有限公司 一种基于行为识别的健康状况智能监控方法和系统
CN111904429A (zh) * 2020-07-30 2020-11-10 中国建设银行股份有限公司 一种人体跌倒检测方法、装置、电子设备及存储介质
CN112507984B (zh) * 2021-02-03 2021-05-11 苏州澳昆智能机器人技术有限公司 一种基于图像识别的输送物料异常识别方法、装置及系统
CN112992340A (zh) * 2021-02-24 2021-06-18 北京大学 基于行为识别的疾病预警方法、装置、设备及存储介质
CN113093578A (zh) * 2021-04-09 2021-07-09 上海商汤智能科技有限公司 控制方法及装置、电子设备和存储介质
CN113192277B (zh) * 2021-04-29 2022-09-30 重庆天智慧启科技有限公司 小区安防的自动报警系统及方法
CN113450590A (zh) * 2021-06-29 2021-09-28 重庆市司法局 一种指挥中心系统及其工作方法
CN113739347A (zh) * 2021-08-24 2021-12-03 上海柏格仕厨卫有限公司 一种基于物联网的家用智能橱柜
CN113589702A (zh) * 2021-09-28 2021-11-02 深圳市翱宇晟科技有限公司 基于家庭物联网实现智能家具联动数据控制系统
CN113992894A (zh) * 2021-10-27 2022-01-28 甘肃风尚电子科技信息有限公司 基于监控视频时序动作定位和异常检测的异常事件识别系统
CN115620228B (zh) * 2022-10-13 2023-05-23 南京信息工程大学 一种基于视频分析的地铁屏蔽门临关门乘客闯门预警方法
CN115379179B (zh) * 2022-10-24 2022-12-20 家时(北京)科技有限公司 一种视频数据的处理方法和处理系统
CN115938061B (zh) * 2022-11-07 2024-08-09 深圳市遨游通讯设备有限公司 基于便携式无线电子通讯装置的检测分析系统及方法
CN115866214B (zh) * 2023-03-02 2023-05-05 安徽兴博远实信息科技有限公司 基于人工智能的视频精准治理管理系统
CN117176923B (zh) * 2023-11-03 2023-12-29 江苏达海智能系统股份有限公司 一种基于数据加密的智慧社区警务巡防方法及系统
CN117528448B (zh) * 2023-11-20 2024-06-07 中国铁塔股份有限公司泰州市分公司 一种5g基站环境下的物联网安检系统
CN118072255B (zh) * 2024-04-24 2024-07-23 杭州澎湃数智科技有限公司 一种智慧园区多源数据动态监控和实时分析系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN200990672Y (zh) * 2006-12-26 2007-12-12 黄德胜 远距监控装置
US7710257B2 (en) * 2007-08-14 2010-05-04 International Business Machines Corporation Pattern driven effectuator system
US20090195382A1 (en) * 2008-01-31 2009-08-06 Sensormatic Electronics Corporation Video sensor and alarm system and method with object and event classification
CN101227600B (zh) * 2008-02-02 2011-04-06 北京海鑫科金高科技股份有限公司 一种用于自助银行与自动柜员机的智能监控装置和方法
CN101609588A (zh) * 2008-06-16 2009-12-23 云南正卓信息技术有限公司 全自动无人值守别墅防入侵智能视频监控报警系统
JP2010176177A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 負荷制御システム
CN201298284Y (zh) * 2009-02-04 2009-08-26 秦健 无线视频安防报警器
CN201965714U (zh) * 2010-12-29 2011-09-07 羊恺 基于人脸识别的家用智能预警安防系统
CN103198605A (zh) * 2013-03-11 2013-07-10 成都百威讯科技有限责任公司 室内突发异常事件报警系统

Also Published As

Publication number Publication date
WO2014139416A1 (zh) 2014-09-18
CN103839373A (zh) 2014-06-04
CN103198605A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
CN103839373B (zh) 一种突发异常事件智能识别报警装置及报警系统
US11184583B2 (en) Audio/video device with viewer
CN103839346B (zh) 一种智能门窗防入侵装置以及系统、智能门禁系统
US20240265705A1 (en) Face concealment detection
US10593174B1 (en) Automatic setup mode after disconnect from a network
US11217076B1 (en) Camera tampering detection based on audio and video
WO2015172445A1 (zh) 一种家用多功能智能机器人
US11341825B1 (en) Implementing deterrent protocols in response to detected security events
CN104268963A (zh) 一种智能门锁系统及智能门锁、智能报警门
CA2714603A1 (en) Video sensor and alarm system and method with object and event classification
US10713928B1 (en) Arming security systems based on communications among a network of security systems
US10943442B1 (en) Customized notifications based on device characteristics
US10834363B1 (en) Multi-channel sensing system with embedded processing
US11032128B2 (en) Using a local hub device as a substitute for an unavailable backend device
EP3999967B1 (en) Notifications for camera tampering
US11163097B1 (en) Detection and correction of optical filter position in a camera device
US11350060B1 (en) Using motion sensors for direction detection
US10834366B1 (en) Audio/video recording and communication doorbell devices with power control circuitry
KR20130047131A (ko) 이동형 단말기를 이용한 영상감시 방법 및 시스템
Cheng et al. A surveillance robot with human recognition based on video and audio
US12081903B2 (en) Audio/video device with viewer
KR20150031059A (ko) 패턴 인식 기술에 의한 범죄 예방 폐쇄 회로 티비 장치 개선
US12063458B1 (en) Synchronizing security systems in a geographic network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160817

Termination date: 20180311

CF01 Termination of patent right due to non-payment of annual fee