CN111591847B - 一种电梯安全多媒体警示互动系统以及监测方法 - Google Patents
一种电梯安全多媒体警示互动系统以及监测方法 Download PDFInfo
- Publication number
- CN111591847B CN111591847B CN202010230006.3A CN202010230006A CN111591847B CN 111591847 B CN111591847 B CN 111591847B CN 202010230006 A CN202010230006 A CN 202010230006A CN 111591847 B CN111591847 B CN 111591847B
- Authority
- CN
- China
- Prior art keywords
- human body
- elevator
- processor
- interaction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 3
- 230000005484 gravity Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 210000002683 foot Anatomy 0.000 claims description 8
- 210000003414 extremity Anatomy 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 210000003423 ankle Anatomy 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 210000001217 buttock Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 5
- 230000006399 behavior Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract 1
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
- B66B3/002—Indicators
Landscapes
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本发明涉及电梯警示监测及互动技术领域，且公开了一种电梯安全多媒体警示互动系统，包括：媒体互动模块、人体姿势识别模块、电梯检测模块、处理器和中央服务器；一种监测方法，包括S1：通过电梯检测模块检测电梯实时运行状态，并通过显示屏展示给乘坐者；S2：进行人体姿势识别，识别结果如发现有非正常行为，通过语音播放单元播放提示语音；S3：乘坐者通过语音识别单元实现人机互动，互动结果通过语音播放单元和图像播放单元展示给乘坐者；通过对电梯运行状态实时监测和对乘坐者行为的实时监测，及时将异常状态反馈给乘坐者，与乘坐者进行互动应答。
Description
技术领域
本发明涉及电梯警示监测及互动技术领域，具体为一种电梯安全多媒体警示互动系统以及监测方法。
背景技术
目前，电梯安全运行数据属于电梯生产厂家提供的专用设备的核心数据，通常不能动态展示该内容；对于电梯监控影像资料主要作为采集监视使用，不会及时反馈到电梯使用者；电梯乘用人在电梯内的动作行为规范通常是警示张贴，不能动态的提醒，对违规者亦不会给予及时的警示。
发明内容
本发明为了解决现有技术的问题，提供了一种电梯安全多媒体警示互动系统以及监测方法，通过对电梯运行状态实时监测和对乘坐者行为的实时监测，及时将异常状态反馈给乘坐者，与乘坐者进行互动应答。
为解决上述技术问题，本发明的技术方案是：一种电梯安全多媒体警示互动系统，包括：媒体互动模块、人体姿势识别模块、电梯检测模块、处理器和中央服务器；所述媒体互动模块与人体姿势识别模块均与处理器电连接，所述电梯检测模块与处理器信号连接，所述处理器与中央服务器网络连接。
进一步，所述媒体互动模块包括语音识别单元、语音播放单元和图像播放单元。
进一步，所述人体姿势识别模块包括图像获取单元、人体姿势及人体骨骼图数据库、人体姿势对比单元。
进一步，所述电梯检测模块包括基层传感器、平层传感器、人体传感器和门磁传感器。
一种监测方法，监测步骤包括：
S1：通过基层传感器、平层传感器、人体传感器和门磁传感器，将电梯检测数据实时传输至处理器中，处理器将数据信息上传至中央服务器中，同时，处理器将各种信息通过图像播放单元展示给乘坐者观看；
S2：图像获取单元捕捉乘坐者的人体姿势，并通过人体姿势对比单元从人体姿势及人体骨骼图数据库中调取相应数据进行识别匹配，识别结果如发现有非正常行为，通过语音播放单元播放提示语音；
S3：乘坐者通过语音识别单元实现人机互动，互动结果通过语音播放单元和图像播放单元展示给乘坐者。
进一步，在步骤S2中，人体姿势识别的具体方法如下：
A、通过图像获取单元获取乘坐者的图像数据，并传输至处理器中；
B、处理器将图像数据发送至人体姿势对比单元，人体姿势对比单元获取人体姿势及人体骨骼图数据库中的数据；
C、检测是否移动，检测间隔样帧变化情况，计算重心变动偏移值；
D、实时输出识别结果。
进一步，所述计算重心变动偏移值的具体方法如下：
1)根据实际情况设定一个阈值m；
2)肢体左右移：重心偏移大于m；
3)上蹦：双脚离地板大于m或相对正常姿势高于m；
4)下蹲：臀、膝及踝部三点间夹角小于150度，或图中显示人体整体骨骼尺寸小于采样三分之二时；
5)手脚高频位移：四肢前后图帧变化大于m时。
进一步，在步骤S3中，所述语音识别单元是采用转换系统TTS将语音转换为数字信号进行传输。
与现有技术相比，有益效果为：
1、以智能交互为基础，通过媒体互动模块打开与电梯乘用人员互动交流的窗口；
2、从使用者的角度对电梯安全运行进行智能感知，通过收集电梯运行状态传感、影视及模型数据，按算法分析整理安全信号、实时状况。
3、按需给电梯乘用者提供基于声音、文字及图像类安全警示信息，辅助在电梯异常状态下为当事者提供安抚、救援帮助工作。
具体实施方式
以下将结合实施例对本发明涉及的一种电梯安全多媒体警示互动系统以及监测方法技术方案进一步详细说明。
一种电梯安全多媒体警示互动系统，包括：媒体互动模块、人体姿势识别模块、电梯检测模块、处理器和中央服务器；所述媒体互动模块与人体姿势识别模块均与处理器电连接，所述电梯检测模块与处理器信号连接，所述处理器与中央服务器网络连接；所述媒体互动模块包括语音识别单元、语音播放单元和图像播放单元；所述人体姿势识别模块包括图像获取单元、人体姿势及人体骨骼图数据库、人体姿势对比单元；述电梯检测模块包括基层传感器、平层传感器、人体传感器和门磁传感器。
语音识别模块采用声噪感应器和麦克风实现语音的收集；
语音播放单元采用扬声器进行语音播报；
图像播放单元采用显示屏进行图像播放；
图像获取单元采用摄像头进行图像捕捉；
基层传感器：即霍尔传感器，安装在井道底层，用于校准运行数据，复位故障造成的楼层数据错乱问题；
平层传感器：采用双光电开关，用于判断电梯是否平层停车，电梯运行状态和方向；
人体传感器：人体传感器以微波多普勒原理为基础，平面型天线作为感应系统，以处理器作为控制，用于检测轿厢内是否有人滞留；
门磁传感器：磁性接近开关，用于感测电梯轿厢门是否闭合，结合平层传感器来判断是否存在开门走车等故障。
利用上述一种电梯安全多媒体警示互动系统，一种监测方法具体包括如下步骤：
S1：通过基层传感器、平层传感器、人体传感器和门磁传感器，将电梯检测数据实时传输至处理器中，处理器将数据信息上传至中央服务器中，同时，处理器将各种信息通过显示屏展示给乘坐者观看。
S2：对乘坐者的人体姿势进行识别，其具体步骤如下：
A、通过摄像头获取乘坐者的图像数据，并传输至处理器中，其中，摄像头取得摄像装置样帧，运用openCV等技术计算得到人体部位坐标；
B、处理器将图像数据发送至人体姿势对比单元，人体姿势对比单元获取人体姿势及人体骨骼图数据库中的数据；
C、检测是否移动，检测间隔样帧变化情况，计算重心变动偏移值；其中，计算重心变动偏移值的具体方式为：
1)根据实际情况设定一个阈值，例如20分米；
2)肢体左右移：重心偏移大于20分米；
3)上蹦：双脚离地板大于20分米或相对正常姿势高于20分米；
4)下蹲：臀、膝及踝部三点间夹角小于150度，或图中显示人体整体骨骼尺寸小于采样三分之二时；
5)手脚高频位移：四肢前后图帧变化大于20分米时；
D、实时输出识别结果。
通过步骤S2，如果识别到乘坐者有异常动作，则判断为异常行为，通过扬声器发出提示语音，告诫乘坐者行为存在危险性，例如通过人体姿势对比单元从人体姿势及人体骨骼图数据库中匹配到跳跃姿势，且利用重心变动偏移值进行计算得出双脚离地板大于20分米，则判断乘坐者在电梯内存在危险行为。
长时间使用此种人体姿势识别模块，可采用匈牙利算法、生成对抗网络及图像分类算法等技术计算取样图片特征，构建模型库供此系统使用，对人像及动作举止分析，对异常图像及信号收集存储或上传至中央服务器；通过对乘梯人行为动作进行机器学习，整理行为模型供此系统使用，不断提升判断准确性。
S3：乘坐者通过麦克风实现人机互动，互动结果通过扬声器和显示屏展示给乘坐者。
其中，对于语音识别单元，采取的是语音识别转换系统TTS，可将语音转换成数字信号进行传输，根据识别信号，确定播报内容，并通过扬声器或者显示屏进行播放。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种监测方法，其特征在于：监测步骤包括：
S1：通过基层传感器、平层传感器、人体传感器和门磁传感器，将电梯检测数据实时传输至处理器中，处理器将数据信息上传至中央服务器中，同时，处理器将各种信息通过图像播放单元展示给乘坐者观看；
S2：图像获取单元捕捉乘坐者的人体姿势， 并通过人体姿势对比单元从人体姿势及人体骨骼图数据库中调取相应数据进行识别匹配，识别结果如发现有非正常行为，通过语音播放单元播放提示语音；
S3：乘坐者通过语音识别单元实现人机互动，互动结果通过语音播放单
元和图像播放单元展示给乘坐者；
在步骤S2 中，人体姿势识别的具体方法如下：
A、通过图像获取单元获取乘坐者的图像数据，并传输至处理器中；
B、处理器将图像数据发送至人体姿势对比单元，人体姿势对比单元获取
人体姿势及人体骨骼图数据库中的数据；
C、检测是否移动， 检测间隔样帧变化情况，计算重心变动偏移值；
D、实时输出识别结果；
所述计算重心变动偏移值的具体方法如下：
1）根据实际情况设定一个阈值m；
2）肢体左右移：重心偏移大于m；
3）上蹦：双脚离地板大于m或相对正常姿势高于m；
4）下蹲： 臀、膝及踝部三点间夹角小于150度，或图中显示人体整体骨骼尺寸小于采样三分之二时；
5）手脚高频位移：四肢前后图帧变化大于m时。
2.根据权利要求1所述的一种监测方法，其特征在于：在步骤S3 中,所述语音识别单元是采用转换系统TTS将语音转换为数字信号进行传输。
3.一种电梯安全多媒体警示互动系统，其特征在于，将权利要求1-2任意一项所述的一种监测方法应用于系统，包括：媒体互动模块、人体姿势识别模块、电梯检测模块、处理器和中央服务器；所述媒体互 动模块与人体姿势识别模块均与处理器电连接，所述电梯检测模块与处理器信号连接，所述处理器与中央服务器网络连接。
4.根据权利要求3所述的一种电梯安全多媒体警示互动系统，其特征在于：所述媒体互动模块包括语音识别单元、语音播放单元和图像播放单元。
5.根据权利要求4所述的一种电梯安全多媒体警示互动系统以及监测方法，其特征在于：所述人体姿势识别模块包括图像获取单元、人体姿势及人体骨骼图数据库、人体姿势对比单元。
6.根据权利要求5所述的一种电梯安全多媒体警示互动系统，其特征在于：所述电梯检测模块包括基层传感器、平层传感器、人体传感器和门磁传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010230006.3A CN111591847B (zh) | 2020-03-27 | 2020-03-27 | 一种电梯安全多媒体警示互动系统以及监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010230006.3A CN111591847B (zh) | 2020-03-27 | 2020-03-27 | 一种电梯安全多媒体警示互动系统以及监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111591847A CN111591847A (zh) | 2020-08-28 |
| CN111591847B true CN111591847B (zh) | 2024-04-30 |
Family
ID=72180053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010230006.3A Active CN111591847B (zh) | 2020-03-27 | 2020-03-27 | 一种电梯安全多媒体警示互动系统以及监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111591847B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1919711A (zh) * | 2006-09-20 | 2007-02-28 | 浙江工业大学 | 基于图像、语音识别技术的电梯内防暴力装置 |
| JP2012120647A (ja) * | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
| CN103253571A (zh) * | 2013-04-28 | 2013-08-21 | 天津市安维康家科技发展有限公司 | 智能电梯动态监测系统媒体广告机 |
| CN103366565A (zh) * | 2013-06-21 | 2013-10-23 | 浙江理工大学 | 一种基于Kinect的行人闯红灯检测方法及其系统 |
| CN104340792A (zh) * | 2013-07-26 | 2015-02-11 | 重庆厚齐科技有限公司 | 电梯多媒体安全监控系统 |
| CN105347127A (zh) * | 2014-08-19 | 2016-02-24 | 三菱电机上海机电电梯有限公司 | 电梯轿厢内异常情况的监控系统及监控方法 |
| CN206375523U (zh) * | 2016-12-30 | 2017-08-04 | 沈阳聚德视频技术有限公司 | 一种电梯故障监测预警系统 |
| KR101794456B1 (ko) * | 2016-08-17 | 2017-11-07 | 군산대학교산학협력단 | 승강기에서의 접촉 행위를 탐지하는 장치 및 방법 |
| CN208054657U (zh) * | 2018-03-22 | 2018-11-06 | 新昌县宏海机械有限公司 | 一种智能电梯控制系统 |
| CN109626151A (zh) * | 2018-11-29 | 2019-04-16 | 钱志强 | 一种电梯升降系统 |
| CN109665397A (zh) * | 2018-12-19 | 2019-04-23 | 上海新时达电气股份有限公司 | 基于人脸识别的电梯物联网安防交互系统及方法 |
| CN110407051A (zh) * | 2019-08-02 | 2019-11-05 | 杭州岁丰信息技术有限公司 | 一种音视频识别电梯运行安全监测和安抚系统 |
-
2020
- 2020-03-27 CN CN202010230006.3A patent/CN111591847B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1919711A (zh) * | 2006-09-20 | 2007-02-28 | 浙江工业大学 | 基于图像、语音识别技术的电梯内防暴力装置 |
| JP2012120647A (ja) * | 2010-12-07 | 2012-06-28 | Alpha Co | 姿勢検出装置 |
| CN103253571A (zh) * | 2013-04-28 | 2013-08-21 | 天津市安维康家科技发展有限公司 | 智能电梯动态监测系统媒体广告机 |
| CN103366565A (zh) * | 2013-06-21 | 2013-10-23 | 浙江理工大学 | 一种基于Kinect的行人闯红灯检测方法及其系统 |
| CN104340792A (zh) * | 2013-07-26 | 2015-02-11 | 重庆厚齐科技有限公司 | 电梯多媒体安全监控系统 |
| CN105347127A (zh) * | 2014-08-19 | 2016-02-24 | 三菱电机上海机电电梯有限公司 | 电梯轿厢内异常情况的监控系统及监控方法 |
| KR101794456B1 (ko) * | 2016-08-17 | 2017-11-07 | 군산대학교산학협력단 | 승강기에서의 접촉 행위를 탐지하는 장치 및 방법 |
| CN206375523U (zh) * | 2016-12-30 | 2017-08-04 | 沈阳聚德视频技术有限公司 | 一种电梯故障监测预警系统 |
| CN208054657U (zh) * | 2018-03-22 | 2018-11-06 | 新昌县宏海机械有限公司 | 一种智能电梯控制系统 |
| CN109626151A (zh) * | 2018-11-29 | 2019-04-16 | 钱志强 | 一种电梯升降系统 |
| CN109665397A (zh) * | 2018-12-19 | 2019-04-23 | 上海新时达电气股份有限公司 | 基于人脸识别的电梯物联网安防交互系统及方法 |
| CN110407051A (zh) * | 2019-08-02 | 2019-11-05 | 杭州岁丰信息技术有限公司 | 一种音视频识别电梯运行安全监测和安抚系统 |
Non-Patent Citations (1)
| Title |
|---|
| 电梯物联网安防交互系统研究与设计;赵晓;杜超;陈曼雯;;中国电梯;20200101(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111591847A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103369303B (zh) | 动作行为分析记录及重现的系统及方法 | |
| US9079749B2 (en) | Simple node transportation system and node controller and vehicle controller therein | |
| JP5984605B2 (ja) | 鉄道シミュレータ及び鉄道の運転をシミュレートする方法 | |
| CN101434363B (zh) | 自动扶梯的控制设备 | |
| WO2007074842A1 (ja) | 画像処理装置 | |
| CN109040693B (zh) | 智能告警系统及方法 | |
| CN102577425A (zh) | 显示装置和控制方法 | |
| CN109040641B (zh) | 一种视频数据合成方法及装置 | |
| CN107673152A (zh) | 厢式电梯内儿童单独乘坐的报警方法 | |
| RU2008144120A (ru) | Применение телевидения с цифровыми видеокамерами в домашней безопасности | |
| CN105011952B (zh) | 驾驶员极速测评系统及方法 | |
| CN109087485A (zh) | 驾驶提醒方法、装置、智能眼镜及存储介质 | |
| Alshbatat et al. | Automated vision-based surveillance system to detect drowning incidents in swimming pools | |
| CN107844741A (zh) | 自动扶梯上儿童逆行的检测报警系统及方法 | |
| CN112069949A (zh) | 一种基于人工智能的婴儿睡眠监测系统及监测方法 | |
| CN106744115A (zh) | 电梯健康智能监测设备 | |
| CN106821692A (zh) | 一种基于rgb‑d相机和立体声的视障人士楼梯检测系统及方法 | |
| Dubey et al. | A depth camera based fall recognition system for the elderly | |
| JP2009267621A (ja) | 通信装置 | |
| CN111591847B (zh) | 一种电梯安全多媒体警示互动系统以及监测方法 | |
| CN110065867B (zh) | 基于音视频的电梯舒适度评价的方法和系统 | |
| CN103908365A (zh) | 一种电子行走辅助装置 | |
| CN114906076A (zh) | 一种车载儿童安全保护及情绪安抚系统及方法 | |
| CN113569710A (zh) | 电梯阻车方法、装置、摄像设备、存储介质及系统 | |
| CN210258307U (zh) | 基于4g音视频传输技术的ai智能辅助驾驶终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |