CN108038869B - 一种电梯轿厢内乘客倒地行为检测方法 - Google Patents

一种电梯轿厢内乘客倒地行为检测方法 Download PDF

Info

Publication number
CN108038869B
CN108038869B CN201711156974.9A CN201711156974A CN108038869B CN 108038869 B CN108038869 B CN 108038869B CN 201711156974 A CN201711156974 A CN 201711156974A CN 108038869 B CN108038869 B CN 108038869B
Authority
CN
China
Prior art keywords
edge
foreground
point
map
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711156974.9A
Other languages
English (en)
Other versions
CN108038869A (zh
Inventor
张媛
吉敏纳
陈作超
刘恒
马连峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Original Assignee
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Equipment Safety Supervision Inspection Institute of Jiangsu Province filed Critical Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority to CN201711156974.9A priority Critical patent/CN108038869B/zh
Publication of CN108038869A publication Critical patent/CN108038869A/zh
Application granted granted Critical
Publication of CN108038869B publication Critical patent/CN108038869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0012—Devices monitoring the users of the elevator system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychology (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种电梯轿厢内乘客倒地行为检测方法，涉及行为识别领域，该方法包括：获取拍摄视频和目标背景图；根据目标背景图对每个视频帧提取前景像素得到待定前景像素图；对待定前景像素图去噪得到目标前景像素图；对每个视频帧进行边缘检测得到边缘图；对初始状态的目标背景图进行边缘检测得到边缘背景图；根据边缘图和边缘背景图确定边缘前景的像素数量；将电梯轿厢划分为上部区域和下部区域；根据上部区域内的前景像素数量、下部区域内的前景像素数量和上部区域内的边缘前景像素数量确定视频帧是否为备选倒地帧；根据备选倒地帧的出现频率进行报警。本发明达到了快速计算的同时，能有效对乘客倒地行为进行报警的效果。

Description

一种电梯轿厢内乘客倒地行为检测方法
技术领域
本发明涉及行为识别领域，尤其是一种电梯轿厢内乘客倒地行为检测方法。
背景技术
乘客在电梯轿厢内可能会因为中暑、低血糖、心脏病等原因晕倒，一旦晕倒在电梯中无人救治，将会导致严重的后果。
若轿厢中仅有一名乘客，该乘客晕倒后危险性将增大，由于轿厢中安装有摄像头，通过摄像头捕捉到轿厢内的视频，针对该视频通过一些基于人体轮廓或人体长宽比的方法，来判断是否发生乘客倒地行为。
但是通常乘客倒地后，受轿厢内安装的摄像头的拍摄角度限制，不能保证倒地乘客的躯干完全被监控摄像头捕捉到，因此基于人体轮廓或人体长宽比来判断的方法使用范围较为有限。
发明内容
本发明针对上述问题及技术需求，提出了一种电梯轿厢内乘客倒地行为检测方法。
本发明的技术方案如下：
一种电梯轿厢内乘客倒地行为检测方法，包括如下步骤：
获取所述电梯轿厢内的拍摄视频和目标背景图，所述目标背景图的初始状态为空轿厢对应的视频帧；
根据所述初始状态的目标背景图，对所述拍摄视频的每一个视频帧进行前景像素的提取，得到待定前景像素图；
对所述待定前景像素图进行去噪处理，得到目标前景像素图；
对所述拍摄视频的每个视频帧进行边缘检测，得到边缘图；
对所述初始状态的目标背景图进行边缘检测，得到边缘背景图；
根据所述边缘图和所述边缘背景图确定边缘前景的像素数量；
将所述拍摄视频中的所述电梯轿厢划分为上部区域和下部区域；
根据所述上部区域内的前景像素的数量、所述下部区域内的前景像素的数量和所述上部区域内的边缘前景的像素数量确定所述视频帧是否为备选倒地帧；
根据所述备选倒地帧的出现频率进行报警。
其进一步的技术方案为：所述根据所述初始状态的目标背景图，对所述拍摄视频的每一个视频帧进行前景像素的提取，得到待定前景像素图，包括：
对于所述视频帧中的任意一个像素点，获取所述初始状态的目标背景图中与所述像素点位置对应的背景像素点；
当所述像素点与所述背景像素点之间满足预定条件时，将所述像素点确定为待定前景像素点；
根据确定出的所有所述待定前景像素点，得到所述待定前景像素图。
其进一步的技术方案为：像素点通过RGB值来表示；
所述当所述像素点与所述背景像素点之间满足预定条件时，将所述像素点确定为待定前景像素点，包括：
计算所述像素点和所述背景像素点在红色通道的第一差值的绝对值；
计算所述像素点和所述背景像素点在绿色通道的第二差值的绝对值；
计算所述像素点和所述背景像素点在蓝色通道的第三差值的绝对值；
当所述第一差值的绝对值、所述第二差值的绝对值和所述第三差值的绝对值中的至少一个大于预定分割阈值时，将所述像素点确定为所述待定前景像素点。
其进一步的技术方案为：所述对所述待定前景像素图进行去噪处理，得到目标前景像素图，包括：
对所述待定前景像素图进行腐蚀膨胀运算，得到所述目标前景像素图，所述腐蚀膨胀运算包括一次开运算和一次闭运算。
其进一步的技术方案为：所述对所述拍摄视频的每个视频帧进行边缘检测，得到边缘图，包括：
将所述视频帧与高斯函数进行卷积运算；
确定所述视频帧的边缘方向；
在所述边缘方向上对所述卷积运算的结果求导；
对所述求导的结果进行非极大值抑制，得到极值点；
将所述极值点确定为待选边缘点；
根据所述待选边缘点得到所述边缘图。
其进一步的技术方案为：所述将所述极值点确定为待选边缘点之后，还包括：
当所述待选边缘点超过上限阈值时，将所述待选边缘点确定为边缘点；
当所述待选边缘点低于下限阈值时，对所述待选边缘点进行轮廓连续性检查，根据所述轮廓连续性检查判断所述待选边缘点是否为所述边缘点；
所述根据所述待选边缘点得到所述边缘图，包括：
根据确定出的所述边缘点得到所述边缘图。
其进一步的技术方案为：所述根据所述边缘图和所述边缘背景图确定边缘前景的像素数量，包括：
统计预定区域内在所述边缘图中的值为1并且在所述边缘背景图中的值为0的像素点的数量；
将统计的所述像素点的数量确定为所述边缘前景的像素数量。
其进一步的技术方案为：所述对所述待定前景像素图进行去噪处理，得到目标前景像素图之后，还包括：
对所述目标前景像素图进行膨胀运算，得到扩展前景像素图；
当所述待定前景像素图的取值为1并且所述扩展前景像素图的取值为0时，利用所述视频帧替换所述目标背景图；
计算替换的像素点的数量与所述视频帧的像素点的数量的比值；
在所述目标前景像素图中搜索连通域；
将面积小于预定数值的连通域过滤掉；
统计剩余的连通域的数量；
当连续预定数量的视频帧满足所述比值小于预定比值并且所述连通域的数量为0时，确定所述电梯轿厢为空轿厢，将所述目标背景图重置为所述初始状态；
所述根据所述上部区域内的前景像素的数量、所述下部区域内的前景像素的数量和所述上部区域内的边缘前景的像素数量确定所述视频帧是否为备选倒地帧，包括：
当同时满足所述上部区域内的前景像素的数量小于第一预定阈值、所述下部区域内的前景像素的数量与所述上部区域内的前景像素的数量大于第二预定阈值、所述上部区域内的边缘前景的像素数量小于第三预定阈值以及所述连通域的数量大于0时，确定所述视频帧为备选倒地帧。
其进一步的技术方案为：所述根据所述备选倒地帧的出现频率进行报警，包括：
定义报警变量，所述报警变量的初始值为0；
当出现一个备选倒地帧时，所述报警变量加1，所述报警变量累加至预定限幅值时不再增加；
当所述上部区域内的边缘前景的像素数量大于或等于所述第三预定阈值时，所述报警变量减1；
当所述报警变量超过报警门限值时进行报警。
本发明的有益技术效果是：
通过根据初始状态的目标背景图对每个视频帧进行前景像素的提取，可以降低计算量，在得到待定前景像素图之后，通过对待定前景像素图进行去噪处理，可以消除零星分布的噪声前景，连合与背景相近颜色的前景缝隙，然后通过对每个视频帧进行边缘检测，对初始状态的目标背景图进行边缘检测，根据得到的边缘图和边缘背景图确定边缘前景的像素数量，使得算法更具有光照稳定性，通过根据上部区域内的前景像素的数量、下部区域内的前景像素的数量和上部区域内的边缘前景的像素数量确定视频帧是否为备选倒地帧，根据倒地帧的出现频率进行报警，解决了受轿厢内安装的摄像头的拍摄角度限制，不能保证倒地乘客的躯干完全被监控摄像头捕捉到，从而导致基于人体轮廓或人体长宽比来判断的方法使用范围较为有限的问题，达到了速度快、适应能力强、抗噪能力好，能够在具有快速的计算速度的同时，平稳、有效地对乘客倒地行为进行报警的效果。
附图说明
图1是本发明一个实施例提供的电梯轿厢内乘客倒地行为检测方法的方法流程图。
图2是本发明另一个实施例提供的电梯轿厢内乘客倒地行为检测方法的方法流程图。
图3是本发明一个实施例提供的目标前景像素图的输出效果图。
图4是本发明一个实施例提供的基于电梯轿厢的背景提取边缘背景的效果图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
图1是本发明一个实施例提供的电梯轿厢内乘客倒地行为检测方法的方法流程图，如图1所示，该方法包括：
步骤110，获取电梯轿厢内的拍摄视频和目标背景图，目标背景图的初始状态为空轿厢对应的视频帧。
当电梯轿厢为空轿厢时，此时的视频帧中只有背景，因此目标背景图的初始状态即空轿厢对应的视频帧。
步骤120，根据初始状态的目标背景图，对拍摄视频的每一个视频帧进行前景像素的提取，得到待定前景像素图。
可选的，步骤120可以替换成图2所示的步骤。
步骤121，对于视频帧中的任意一个像素点，获取初始状态的目标背景图中与像素点位置对应的背景像素点。
步骤122，当像素点与背景像素点之间满足预定条件时，将像素点确定为待定前景像素点。
当像素点通过RGB值来表示时，步骤122的具体实现如下：
第一步，计算像素点和背景像素点在红色通道的第一差值的绝对值。
第二步，计算像素点和背景像素点在绿色通道的第二差值的绝对值。
第三步，计算像素点和背景像素点在蓝色通道的第三差值的绝对值。
第四步，当第一差值的绝对值、第二差值的绝对值和第三差值的绝对值中的至少一个大于预定分割阈值时，将像素点确定为待定前景像素点。
对于一幅RGB颜色空间下的背景图像中的一个像素点(rb,gb,bb)，这里的背景图像即初始状态的目标背景图，该处出现的像素(ri,gi,bi)只要满足公式(1)(2)(3)其中的一个，就被判定为待定前景像素点。
|rb-ri|>thbgs 公式(1)
|gb-gi|>thbgs 公式(2)
|bb-bi|>thbgs 公式(3)
其中，thbgs为预先定义的预定分割阈值，可选的，根据实验，预定分割阈值可以取20。
步骤123，根据确定出的所有待定前景像素点，得到待定前景像素图。
可选的，待定前景像素图是通过一张二值图F1(x,y)来表示。
步骤130，对待定前景像素图进行去噪处理，得到目标前景像素图。
通常得到的待定前景像素图F1(x,y)具有较多噪点，因此需要对待定前景像素图进行去噪处理。
可选的，步骤130可以被替换成图2所示的步骤131。
步骤131，对待定前景像素图进行腐蚀膨胀运算，得到目标前景像素图，腐蚀膨胀运算包括一次开运算和一次闭运算。
可选的，对待定前景像素图F1(x,y)做以5*5矩形为结构元素的腐蚀膨胀运算，可以得到初步去噪后的目标前景像素图F2(x,y)，记腐蚀操作为erode()，膨胀操作为dilate()，则F2＝erode(dilate(dilate(erode(F1))))，即对F1先做了一次开运算(先腐蚀后膨胀)，消除零星分布的噪声前景，后做了一次闭运算(先膨胀后腐蚀)，连合与背景相近颜色的前景缝隙。
可以认为，在F2(x,y)中被滤除的点事在新的摄像头环境下的背景，因此需要背景进行逐帧更新。
可选的，在对待定前景像素图进行去噪处理，得到目标前景像素图之后，还包括以下步骤：
步骤132，对目标前景像素图进行膨胀运算，得到扩展前景像素图。
为保证更新的背景与当前前景有一定的距离，使得前景周围受影响的画面不被更新为背景，可以定义扩展前景像素图F3(x,y)，F3＝dilate(F2)。
步骤133，当待定前景像素图的取值为1并且扩展前景像素图的取值为0时，利用视频帧替换目标背景图。
目标背景图B(x,y)的更新法则为：
B(x,y)＝I(x,y)ifF1(x,y)＝1andF3(x,y)＝0 公式(4)
其中，I(x,y)为拍摄视频中的新的一帧。
步骤134，计算替换的像素点的数量与视频帧的像素点的数量的比值。
除了目标前景像素图F2，该算法还提供一些额外的特征输出，并根据其执行全图更新算法，在公式(4)中，若背景更新的像素数量超过总像素数量的预定值(比如0.2％)，则认为当前背景正在变化，记flud为1，否则为0。
步骤135，在目标前景像素图中搜索连通域。
在初步去噪得到的目标前景像素图F2中搜索连通域。
步骤136，将面积小于预定数值的连通域过滤掉。
在实际应用中，面积的预定数值在320*240的图像中取为10000。
步骤137，统计剩余的连通域的数量。
记剩余的连通域的数量为numfgblock。
步骤138，当连续预定数量的视频帧满足比值小于预定比值并且连通域的数量为0时，确定电梯轿厢为空轿厢，将目标背景图重置为初始状态。
比如：当连续10帧满足条件
flud＝0andnumfgblock＝0 公式(5)
时，认为此时电梯轿厢为空轿厢，执行背景完全更新操作B(x,y)＝I(x,y)。
通过上述步骤实现的目标前景像素图的输出效果可以参见图3。
步骤140，对拍摄视频的每个视频帧进行边缘检测，得到边缘图。
由于边缘对光照不敏感，可以根据这一特点，提取边缘前景信息，利用边缘前景更为可靠地设计倒地检测算法。
可选的，步骤140可以被替换成图2所示的步骤。
步骤141，将视频帧与高斯函数进行卷积运算。
为了检测某方向的边缘，需要使用一个卷积核，卷积一个与边缘方向相同的线性边缘检测函数与一个投影函数得到。使用一个高斯函数作为投影函数，其一阶导数作为检测函数。将视频帧图像与高斯函数卷积，然后在要检测的方向上求导，即可得到边缘的响应图。
在实际应用中，因为两个不同的边缘方向可以表示剩余的方向，因此不需要对所有方向进行检测。
步骤142，确定视频帧的边缘方向。
步骤143，在边缘方向上对卷积运算的结果求导。
将待测图像(视频帧)与二维高斯函数G的n方向上的导数Gn进行卷积，则有
Figure BDA0001474546040000081
Figure BDA0001474546040000082
在实际应用中，n应当按照与图像边缘方向相同选择，该方向可以通过公式(8)得到
Figure BDA0001474546040000083
其中，*符号为卷积运算，I为待处理图像。由于高斯函数的平滑作用，该运算可以减少图像噪声。
边缘点被定义为Gn与I卷积后响应处的局部最大值，有卷积运算的结合性，响应的幅值可以由公式(9)计算：
Figure BDA0001474546040000091
步骤144，对求导的结果进行非极大值抑制，得到极值点。
在边缘检测中，需要先将图像(视频帧)与高斯核卷积后，再求出卷积响应导数值，接着对其做非极大值抑制，得到的各极值点为待选边缘点。
步骤145，将极值点确定为待选边缘点。
可选的，在将极值点确定为待选边缘点之后，还可能存在边缘断裂问题，可以通过下列步骤解决这一问题：
由于噪声与光照等原因，选取合适的阈值能够使算法既保持较低的边缘断裂率，又保持较高的噪声敏感性很难，因此使用迟滞来解决这个问题，即设置高低两个阈值(上限阈值和下限阈值)。
第一步，当待选边缘点超过上限阈值时，将待选边缘点确定为边缘点。
第二步，当待选边缘点低于下限阈值时，对待选边缘点进行轮廓连续性检查，根据轮廓连续性检查判断待选边缘点是否为边缘点。
由于噪声需要浮动超过上限阈值或低于下限阈值才能影响边缘点的判定，因此通过上述方法可以降低边缘断裂的概率。
在实际应用中，上限阈值通常选择为下限阈值的两倍或三倍。可选的，上下阈值取100，下限阈值取50。
步骤146，根据待选边缘点得到边缘图。
可选的，在解决了边缘断裂问题之后，可以根据确定的边缘点得到边缘图。
步骤150，对初始状态的目标背景图进行边缘检测，得到边缘背景图。
对于步骤150，在对初始状态的目标背景图进行边缘检测时的步骤类似，需要将视频帧替换成初始状态的目标背景图进行计算。也就是将初始状态的目标背景图与高斯函数进行卷积运算，确定初始状态的目标背景图的边缘方向，在确定出的边缘方向上对卷积运算的结果求导，对求导的结果进行非极大值抑制，得到极值点，将极值点确定为待选边缘背景点，根据待选边缘背景点得到边缘背景图。
步骤160，根据边缘图和边缘背景图确定边缘前景的像素数量。
可选的，步骤160可以被替换成图2所示的步骤。
步骤161，统计预定区域内在边缘图中的值为1并且在边缘背景图中的值为0的像素点的数量。
步骤162，将统计的像素点的数量确定为边缘前景的像素数量。
记初始状态的目标背景图为B0，对其做边缘检测得到的图像Be即为边缘背景图，对于每一个视频帧I，其边缘前景特征用公式(10)表示：
Fe＝num(pixel＝1inIeandpixel＝0inBeinA) 公式(10)
其中，Ie是对I做边缘检测得到的边缘图，A为图像中某一区域，本申请中的边缘前景为一标量，其表示某区域中，边缘背景图不存在边缘处出现边缘点的数量，该值越大，表明该区域中出现的前景边缘越多。
需要说明的是，由于边缘特征不易随轻微的光照变化而变化，边缘背景图可以按照公式(5)进行更新。
对于电梯轿厢的背景提取边缘背景的效果图请参考图4。
步骤170，将拍摄视频中的电梯轿厢划分为上部区域和下部区域。
首先定义电梯轿厢的上部区域和下部区域，由于摄像头在拍摄图像中真实世界的竖直方向与图像的y轴方向基本一致，因此可以将视频帧的纵坐标在范围[phs,phe]内的像素作为上部区域，将纵坐标在范围[pls,ple]内的像素作为下部区域。可选的，phs、phe、pls、ple取值分别是0、100、101、200。
步骤180，根据上部区域内的前景像素的数量、下部区域内的前景像素的数量和上部区域内的边缘前景的像素数量确定视频帧是否为备选倒地帧。
基于前面获取的目标前景像素图(二值图)F2(x,y)和边缘前景特征Fe，计算上部区域内的前景像素的数量numfh，下部区域的前景像素的数量numfl和上部区域内的边缘前景的像素数量numeh。
numfh＝num(F2(x,y)＝1whereyin[phs,phe]) 公式(11)
numfl＝num(F2(x,y)＝1whereyin[pls,ple]) 公式(12)
numeh＝Fe(yin[phs,phe]) 公式(13)
可选的，步骤180可以被替换成如图2所示的步骤。
步骤181，当同时满足上部区域内的前景像素的数量小于第一预定阈值、下部区域内的前景像素的数量与上部区域内的前景像素的数量大于第二预定阈值、上部区域内的边缘前景的像素数量小于第三预定阈值以及连通域的数量大于0时，确定视频帧为备选倒地帧。
当同时满足条件
numfh<thfd_1s1 公式(14)
numfl-numfh>thfd_1s2 公式(15)
numeh<thfd_1s3 公式(16)
numfgblock>0 公式(17)
时，表明出现了乘客倒地的情况，记视频帧为备选倒地帧。其中，numfgblock为符合条件的前景连通域的数量。
可选的，thfd_1s1、thfd_1s2、thfd_1s3分别取5000、2000、300。
步骤190，根据备选倒地帧的出现频率进行报警。
可选的，步骤190可以被替换成图2所示的步骤。
为降低误报率，乘客倒地检测算法中对检出信号进行滤波，采用限幅的一阶积分器进行滤波。
步骤191，定义报警变量，报警变量的初始值为0。
定义报警变量fd_keeper，并初始化为0。
步骤192，当出现一个备选倒地帧时，报警变量加1，报警变量累加至预定限幅值时不再增加。
若fd_keeper已达预定限幅值fd_keeper_max，则fd_keeper不再增加。设置预定限幅值的目的是防止积分饱和，即报警之后不退警。限幅值fd_keeper_max可以取经验值20。
步骤193，当上部区域内的边缘前景的像素数量大于或等于第三预定阈值时，报警变量减1。
其中，报警变量fd_keeper减少的条件与增加的条件相比更为严格，因此可以保证乘客倒地过程中警报的平稳输出。
步骤194，当报警变量超过报警门限值时进行报警。
报警条件为
fd_keeper>thfd_keeper 公式(18)
其中，thfd_keeper为报警门限值，可以取经验值10。
以上所述的仅是本发明的优先实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (8)

1.一种电梯轿厢内乘客倒地行为检测方法，其特征在于，所述方法包括：
获取所述电梯轿厢内的拍摄视频和目标背景图，所述目标背景图的初始状态为空轿厢对应的视频帧；
根据所述初始状态的目标背景图，对所述拍摄视频的每一个视频帧进行前景像素的提取，得到待定前景像素图；
对所述待定前景像素图进行去噪处理，得到目标前景像素图；
对所述目标前景像素图进行膨胀运算，得到扩展前景像素图；
当所述待定前景像素图的取值为1并且所述扩展前景像素图的取值为0时，利用所述视频帧替换所述目标背景图；
计算替换的像素点的数量与所述视频帧的像素点的数量的比值；
在所述目标前景像素图中搜索连通域；
将面积小于预定数值的连通域过滤掉；
统计剩余的连通域的数量；
当连续预定数量的视频帧满足所述比值小于预定比值并且所述连通域的数量为0时，确定所述电梯轿厢为空轿厢，将所述目标背景图重置为所述初始状态；
对所述拍摄视频的每个视频帧进行边缘检测，得到边缘图；
对所述初始状态的目标背景图进行边缘检测，得到边缘背景图；
根据所述边缘图和所述边缘背景图确定边缘前景的像素数量；
将所述拍摄视频中的所述电梯轿厢划分为上部区域和下部区域；
根据所述上部区域内的前景像素的数量、所述下部区域内的前景像素的数量和所述上部区域内的边缘前景的像素数量确定所述视频帧是否为备选倒地帧；
当同时满足所述上部区域内的前景像素的数量小于第一预定阈值、所述下部区域内的前景像素的数量与所述上部区域内的前景像素的数量大于第二预定阈值、所述上部区域内的边缘前景的像素数量小于第三预定阈值以及所述连通域的数量大于0时，确定所述视频帧为备选倒地帧；
根据所述备选倒地帧的出现频率进行报警。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始状态的目标背景图，对所述拍摄视频的每一个视频帧进行前景像素的提取，得到待定前景像素图，包括：
对于所述视频帧中的任意一个像素点，获取所述初始状态的目标背景图中与所述像素点位置对应的背景像素点；
当所述像素点与所述背景像素点之间满足预定条件时，将所述像素点确定为待定前景像素点；
根据确定出的所有所述待定前景像素点，得到所述待定前景像素图。
3.根据权利要求2所述的方法，其特征在于，像素点通过RGB值来表示；
所述当所述像素点与所述背景像素点之间满足预定条件时，将所述像素点确定为待定前景像素点，包括：
计算所述像素点和所述背景像素点在红色通道的第一差值的绝对值；
计算所述像素点和所述背景像素点在绿色通道的第二差值的绝对值；
计算所述像素点和所述背景像素点在蓝色通道的第三差值的绝对值；
当所述第一差值的绝对值、所述第二差值的绝对值和所述第三差值的绝对值中的至少一个大于预定分割阈值时，将所述像素点确定为所述待定前景像素点。
4.根据权利要求1所述的方法，其特征在于，所述对所述待定前景像素图进行去噪处理，得到目标前景像素图，包括：
对所述待定前景像素图进行腐蚀膨胀运算，得到所述目标前景像素图，所述腐蚀膨胀运算包括一次开运算和一次闭运算。
5.根据权利要求1所述的方法，其特征在于，所述对所述拍摄视频的每个视频帧进行边缘检测，得到边缘图，包括：
将所述视频帧与高斯函数进行卷积运算；
确定所述视频帧的边缘方向；
在所述边缘方向上对所述卷积运算的结果求导；
对所述求导的结果进行非极大值抑制，得到极值点；
将所述极值点确定为待选边缘点；
根据所述待选边缘点得到所述边缘图。
6.根据权利要求5所述的方法，其特征在于，所述将所述极值点确定为待选边缘点之后，还包括：
当所述待选边缘点超过上限阈值时，将所述待选边缘点确定为边缘点；
当所述待选边缘点低于下限阈值时，对所述待选边缘点进行轮廓连续性检查，根据所述轮廓连续性检查判断所述待选边缘点是否为所述边缘点；
所述根据所述待选边缘点得到所述边缘图，包括：
根据确定出的所述边缘点得到所述边缘图。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述边缘图和所述边缘背景图确定边缘前景的像素数量，包括：
统计预定区域内在所述边缘图中的值为1并且在所述边缘背景图中的值为0的像素点的数量；
将统计的所述像素点的数量确定为所述边缘前景的像素数量。
8.根据权利要求1所述的方法，其特征在于，所述根据所述备选倒地帧的出现频率进行报警，包括：
定义报警变量，所述报警变量的初始值为0；
当出现一个备选倒地帧时，所述报警变量加1，所述报警变量累加至预定限幅值时不再增加；
当所述上部区域内的边缘前景的像素数量大于或等于所述第三预定阈值时，所述报警变量减1；
当所述报警变量超过报警门限值时进行报警。
CN201711156974.9A 2017-11-20 2017-11-20 一种电梯轿厢内乘客倒地行为检测方法 Active CN108038869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711156974.9A CN108038869B (zh) 2017-11-20 2017-11-20 一种电梯轿厢内乘客倒地行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711156974.9A CN108038869B (zh) 2017-11-20 2017-11-20 一种电梯轿厢内乘客倒地行为检测方法

Publications (2)

Publication Number Publication Date
CN108038869A CN108038869A (zh) 2018-05-15
CN108038869B true CN108038869B (zh) 2020-03-27

Family

ID=62093399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711156974.9A Active CN108038869B (zh) 2017-11-20 2017-11-20 一种电梯轿厢内乘客倒地行为检测方法

Country Status (1)

Country Link
CN (1) CN108038869B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308704B (zh) * 2018-08-02 2024-01-16 平安科技（深圳）有限公司 背景剔除方法、装置、计算机设备及存储介质
CN109150718B (zh) * 2018-08-17 2019-05-03 江苏宣宝计算机科技有限公司 路由器实时探知装置
CN110008804B (zh) * 2018-12-12 2021-07-06 浙江新再灵科技股份有限公司 基于深度学习的电梯监控关键帧获取及检测方法
CN111401296B (zh) * 2020-04-02 2023-09-29 浙江大华技术股份有限公司 一种行为分析方法、设备及装置
CN113807227B (zh) * 2021-09-11 2023-07-25 浙江浙能嘉华发电有限公司 基于图像识别的安全监测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200926764A (en) * 2007-12-03 2009-06-16 Univ Nat Kaohsiung Applied Sci Video noise reduction method suitable for dark environment
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN103400110A (zh) * 2013-07-10 2013-11-20 上海交通大学 Atm取款机前的异常人脸检测方法
CN104902265A (zh) * 2015-05-22 2015-09-09 深圳市赛为智能股份有限公司 一种基于背景边缘模型的摄像机异常检测方法及系统
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200926764A (en) * 2007-12-03 2009-06-16 Univ Nat Kaohsiung Applied Sci Video noise reduction method suitable for dark environment
CN102799863A (zh) * 2012-07-02 2012-11-28 中国计量学院 视频监控中的团体人群异常行为检测方法
CN103150579A (zh) * 2013-02-25 2013-06-12 东华大学 一种基于视频序列的人体异常行为检测方法
CN103400110A (zh) * 2013-07-10 2013-11-20 上海交通大学 Atm取款机前的异常人脸检测方法
CN104902265A (zh) * 2015-05-22 2015-09-09 深圳市赛为智能股份有限公司 一种基于背景边缘模型的摄像机异常检测方法及系统
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于姿态的人体痛苦状态判别的研究;左旭辉;《中国优秀硕士学位论文全文数据库-信息科技辑》;20160615(第6期);第I138-1122页 *
基于计算机视觉的电梯轿厢内异常行为检测;陆海峰;《中国优秀硕士学位论文全文数据库-信息科技辑》;20111215(第S1期);第I140-701页 *

Also Published As

Publication number Publication date
CN108038869A (zh) 2018-05-15

Similar Documents

Publication Publication Date Title
CN108038869B (zh) 一种电梯轿厢内乘客倒地行为检测方法
Xuan et al. An improved canny edge detection algorithm
St-Charles et al. Flexible background subtraction with self-balanced local sensitivity
JP4767240B2 (ja) 映像の境界を検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体
CN108198205A (zh) 一种基于Vibe和Camshift算法的目标跟踪方法
CN108198208B (zh) 一种基于目标跟踪的移动侦测方法
CN106204617B (zh) 基于残差图像直方图循环移位的自适应图像二值化方法
JP7449507B2 (ja) カメラストリームのためのマスクを生成する方法、コンピュータープログラム製品およびコンピューター可読媒体
CN107392095A (zh) 一种基于掩码图像的红外弱小目标检测算法
JPWO2009125569A1 (ja) 物体検出装置
CN114596329A (zh) 一种气体图像增强及气体泄露检测方法和系统
CN111047624A (zh) 图像弱小目标检测方法、装置、设备及存储介质
CN109727202B (zh) 气体红外视频增强方法、装置及存储介质
CN112561946A (zh) 一种动态目标检测方法
CA2982345A1 (en) System and method for identifying an object in an image
KR100696725B1 (ko) 객체의 대칭성과 거리 벡터를 사용한 그림자 제거방법
JP4780564B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2012081969A1 (en) A system and method to detect intrusion event
CN108010050A (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
Su et al. Moving object segmentation using improved running gaussian average background model
CN113936242B (zh) 一种视频图像干扰检测方法、系统、设备以及介质
Erturk Region of interest extraction in infrared images using one-bit transform
Chowdhury et al. A background subtraction method using color information in the frame averaging process
KR102500516B1 (ko) 상황 적응적인 블로킹을 사용한 개인 정보 보호 방법
CN113066077B (zh) 火焰检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant