CN113936245A - 一种电梯控制方法及控制装置 - Google Patents
一种电梯控制方法及控制装置 Download PDFInfo
- Publication number
- CN113936245A CN113936245A CN202110933335.9A CN202110933335A CN113936245A CN 113936245 A CN113936245 A CN 113936245A CN 202110933335 A CN202110933335 A CN 202110933335A CN 113936245 A CN113936245 A CN 113936245A
- Authority
- CN
- China
- Prior art keywords
- elevator
- executing
- image
- car
- intervention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 30
- 230000006399 behavior Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 14
- 230000014759 maintenance of location Effects 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 239000010813 municipal solid waste Substances 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Elevator Control (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
本发明涉及一种电梯控制方法，包括：步骤一、通过轿厢内监控摄像头实时获取轿厢内的视频流；步骤二、根据获取的视频流，提取视频帧图像；步骤三、将提取的视频帧图像输入目标检测模型和人脸检测模型进行识别，并分别输出第一识别结果和第二识别结果；步骤四、判断第一识别结果中是否只有宠物/婴幼儿，无成年人，则控制电梯门保持打开状态；否则不对电梯进行干预，判断第二识别结果中是否有匹配成功的人脸，如果有，触发轿厢内与匹配人脸信息对应的楼层按钮；如果没有，则控制电梯执行限制模式；本发明还涉及一种实现上述控制方法的控制装置。本发明可以实现免接触乘梯，并避免宠物/婴幼儿单独乘梯情况的发生。
Description
技术领域
本发明涉及电梯控制技术，尤其是一种电梯控制方法及控制装置。
背景技术
伴随着国家经济的快速发展以及城镇化进程的不断加快，我国电梯配有量也在快速提升。来自中国电梯工业协会的数据显示我国电梯保有量从2009年的137.0万台上升至2019年的709.75万台左右，年复合增长率为16.13％，而到了2020年底，保有量已经达到了780万台。据统计世界电梯保有量在2020年为1957万台，中国在用电梯占到了世界在用电梯近4成(39.86％)。按照电梯的用途，可将电梯划分为：乘客电梯、载货电梯、医用电梯、观光电梯、车辆电梯等，与我们日常生活息息相关的电梯主要有轿厢乘客电梯和货运电梯两种类型，这两种电梯的共同特点包括：空间大小固定、流量大、使用频率高等。电梯的使用占比的逐年提升，随之而来的是电梯使用安全以及使用卫生等一系列的问题。
最近几年，随着人工智能的兴起，越来越多的行业积极地拥抱这些技术，旨在将先进的科技应用到各种传统行业之中，以期能够给人们的日常生活带来一系列的便利。传统电梯的使用方案是乘客通过点击自己所去楼层的按键，进行电梯控制。这种传统的点击式操作方式有些滞后，而且也广泛存在卫生问题，因此怎样实现对电梯智能化操作，实现电梯的免接触操作，摆在了电梯从业人员的面前。
鉴于此提出本发明。
发明内容
本发明的一个目的在于克服现有技术的不足，提供一种电梯控制方法，以提高电梯使用的安全性，并实现免接触乘梯，提高电梯使用的便利性。
本发明的另一个目的在于提供一种用于实现上述电梯控制方法的控制装置。
为了实现第一发明目的，本发明采用如下技术方案：
一种电梯控制方法，包括以下步骤：
步骤一、通过轿厢内监控摄像头实时获取轿厢内的视频流；
步骤二、根据获取的视频流，提取视频帧图像；
步骤三、将提取的视频帧图像输入目标检测模型和人脸检测模型进行识别，并输出识别结果；
步骤四、根据识别结果，对电梯进行控制；
所述步骤三中，目标检测模型至少配置为，识别输入的图像中是否包含宠物、婴幼儿和成年人，并输出第一识别结果；
所述人脸检测模型进行识别的方法为：
步骤a1、通过OpenCV自带的人脸检测模型检测图像中是否有人脸，并在检测到人脸后，定位图像中人脸位置；
步骤a2、根据定位的人脸位置，提取人脸图像，并将提取的人脸与数据库中预存的人脸进行匹配，输出第二识别结果；
所述步骤四包括，根据第一识别结果执行以下步骤：
步骤S1、判断第一识别结果中是否有宠物/婴幼儿和成年人，如果有宠物/婴幼儿，无成年人，则执行第一干预指令，如果同时有宠物/婴幼儿和成年人，或者有成年人，无宠物/婴幼儿，则不执行第一干预指令；
所述第一干预指令为：控制电梯门保持打开状态，并停止上下运行；
所述步骤四还包括，根据第二识别结果执行以下步骤：
步骤S2、判断第二识别结果中是否有匹配成功的人脸，如果有，则获取与该人脸对应的楼层信息，并触发轿厢内与该楼层对应的楼层按钮；如果没有，则控制电梯执行限制模式；
所述限制模式为，暂停轿厢楼层按钮使用权限或限制电梯的使用楼层。
进一步，所述目标检测模型通过以下方法区分婴幼儿和成年人：
步骤b1、通过深度学习算法，运用ssd-mobilenet网络结合OpenCV库识别人体，并对识别到的人体用检测框框选出来；
步骤b2、计算检测框的高度值，如果检测框的高度值小于或等于预设高度值，则输出识别结果为婴幼儿，如果大于，则输出识别结果为成年人；
所述预设值的选择范围为0.5米～1米。
进一步，所述步骤三中，
目标检测模型还配置为，识别输入图像中是否包含电动车；
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S'1、判断第一识别结果中是否有电动车，如果有，则执行第二干预指令，如果没有，则不执行第二干预指令；
所述第二干预指令为：控制电梯门保持打开状态，并向轿厢内播放语音报警提示；
所述第二干预指令的优先级高于第一干预指令，电梯优先执行优先级高的指令。
进一步，所述步骤三中，
目标检测模型还配置为，识别输入图像中是否有垃圾；
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S”1、判断第一识别结果中是否有垃圾，如果有，则执行步骤S”2，如果没有则不执行；
步骤S”2、判断垃圾的存留时间，如果超过预设时长，则执行第三干预指令，如果未超过预设时长，则不执行第三干预指令；
所述第三干预指令为：向电梯管理后台或维护人员的手机发出提醒信息；
所述第一干预指令的优先级高于第三干预指令。
进一步，所述步骤三还包括，将提取的视频帧图像输入行为识别模型进行识别，所述行为识别模型配置为识别输入的图像中是否包含危险行为/动作，并输出第三识别结果；
所述步骤四还包括，根据第三识别结果执行以下步骤：
步骤S”'1、判断第三识别结果中是否有危险行为/动作，如果有，则执行步骤S”'2，如果没有则不执行；
步骤S”'2、判断电梯是否发生异常振动，如果有，则执行第四干预指令，如果没有，则不执行第四干预指令；
所述第四干预指令为：向轿厢内播放语音报警提示，并向电梯管理后台或维护人员的手机发出提醒信息；
所述第四干预指令与第三干预指令优先级相同。
进一步，所述行为识别模型采用深度学习算法，运用resnet50-convLSTM网络进行行为识别；
用于识别的行为识别模型为训练后的模型，其训练方法为：
步骤c1、获取互联网监控视频和轿厢内监控视频，生成视频片段；
步骤c2、对视频进行固定时常的随机剪裁，并分别进行标注；
步骤c3、将标注后的文件按照预先设定的比例划分训练集，验证集和测试集；
步骤c4、应用resnet50-convLSTM网络对训练集进行训练，使用验证集确定超参数并使用测试集验证产生模型的性能。
进一步，所述危险行为/动作包括，打架、蹦跳、跑步、摔倒和扒门行为/动作。
进一步，步骤三中的目标检测模型为训练后的模型，其训练方法为：
步骤d1、通过获取轿厢内的录像视频，导出RGB彩色图像；
步骤d2、对导出的图像，挑选带有目标的数据加入数据集；
步骤d3、运用labelImg软件对需要检测的目标进行标注，得到xml标注文件；
步骤d4、将图像以及标注文件作为训练数据，输入到ssd-mobilenet网络中进行训练，最终得到训练好的模型文件。
进一步，所述步骤三中的人脸检测模型为训练后的模型，其训练方法为：
步骤e1、获取业主或租户清晰的单帧人脸彩色图像；
步骤e2、对获取的图像进行数据增强处理，将单幅图像扩充为多幅图像；
步骤e3、使用LBPH算法对经过数据增强后得到的图像进行训练，并在模型收敛后完成训练，得到所述人脸检测模型。
为了实现第二发明目的，本发明采用如下技术方案：
一种电梯控制装置，用于执行上述的控制方法，所述电梯控制装置包括，
监控摄像头，安装在电梯轿厢内，并集成有麦克风；
图像处理模块，与监控摄像头连接，用于对获取的视频进行处理；
AI智能开发板，与图像处理模块连接，用于对处理后的图像进行识别；
梯控模块，用于控制电梯门动作和控制电梯上下运行；
陀螺仪，用于获取电梯的运动时的加速度，并与梯控模块连接；
外放模块，用于播放语音提示，并与梯控模块连接；
以及通讯模块和电源模块；所述AI智能开发板通过通讯模块与梯控模块连接，所述电源模块为其他各模块供电。
采用本发明所述的技术方案后，带来以下有益效果：
1、本发明可以实现免接触乘梯，并且能够防止宠物和婴幼儿单独乘梯情况的发生，从而有效减少了意外情况的发生，极大地为乘客以及物业人员提供了方便，提高了乘梯的安全性和便利性。
2、本发明的目标检测模型和人脸检测模型可以同时进行检测识别，不仅检测效率高，而且检测模型均为深度学习模型，误诊概率低，识别速度快。
附图说明
图1：本发明实施例一的流程图；
图2：本发明的控制装置的系统图；
图3：本发明实施例二的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的描述。
实施例一
如图1和图2所示，一种电梯控制方法，包括以下步骤：
步骤一、通过轿厢内监控摄像头实时获取轿厢内的视频流；
步骤二、根据获取的视频流，提取视频帧图像，提取的视频帧图像为RGB图像；
步骤三、将提取的视频帧图像输入目标检测模型和人脸检测模型进行识别，并输出识别结果；
步骤四、根据识别结果，对电梯进行控制。
具体地，所述步骤三中，目标检测模型配置为识别输入的图像中是否包含宠物、婴幼儿、成年人，并输出第一识别结果；
所述目标检测模型为训练后的模型，其训练方法为：
步骤d1、通过获取轿厢内的录像视频，导出RGB彩色图像；
步骤d2、对导出的图像，挑选带有目标的数据加入数据集；
步骤d3、运用labelImg软件对需要检测的目标进行标注，得到xml标注文件；所述目标包括宠物、婴幼儿、成年人、电动车和垃圾；
步骤d4、将图像以及标注文件作为训练数据，输入到ssd-mobilenet网络中进行训练，最终得到训练好的模型文件。
由于目标检测模型难以直接区分婴幼儿和成年人，因此，本发明中目标识别模型通过以下方法区别婴幼儿和成年人：
步骤b1、通过深度学习算法，运用ssd-mobilenet网络结合OpenCV库识别人体，并对识别到的人体用检测框框选出来；
步骤b2、计算检测框的高度值，如果检测框的高度值小于或等于预设高度值，则输出识别结果为婴幼儿，如果大于，则输出识别结果为成年人；
所述预设值的选择范围为0.5米～1米。
所述步骤三中，人脸检测模型配置为对输入图像中的人脸进行识别，并输出第二识别结果，具体地，人脸检测模型进行识别的方法为：
步骤a1、通过OpenCV自带的人脸检测模型检测图像中是否有人脸，并在检测到人脸后，定位图像中人脸位置；
步骤a2、根据定位的人脸位置，提取人脸图像，并将提取的人脸与数据库中预存的人脸进行匹配，输出第二识别结果。
所述人脸检测模型为训练后的模型，其训练方法为：
步骤e1、获取业主或租户清晰的单帧人脸彩色图像；
步骤e2、对获取的图像进行数据增强处理，将单幅图像扩充为多幅图像；
步骤e3、使用LBPH算法对经过数据增强后得到的图像进行训练，并在模型收敛后完成训练，得到所述人脸检测模型。
该人脸检测模型与其他人脸刷卡机的区别在于，可同时对整个轿厢进行人脸检测与匹配，而不需要每个乘客按照顺序进行刷脸检测。这样可大幅度提高算法检测效率，提升乘客的乘梯体验。
具体地，所述步骤四包括，根据第一识别结果执行以下步骤：
步骤S1、判断第一识别结果中是否有宠物/婴幼儿和成年人，如果有宠物/婴幼儿，无成年人，则执行第一干预指令，如果同时有宠物/婴幼儿和成年人，或者有成年人，无宠物/婴幼儿，则不执行第一干预指令；
所述第一干预指令为：控制电梯门保持打开状态，并停止上下运行；
所述步骤四还包括，根据第二识别结果执行以下步骤：
步骤S2、判断第二识别结果中是否有匹配成功的人脸，如果有，则获取与该人脸对应的楼层信息，并触发轿厢内与该楼层对应的楼层按钮；如果没有，则控制电梯执行限制模式；
所述限制模式为，暂停轿厢楼层按钮使用权限或限制电梯的使用楼层。
优选地，在步骤S2中，根据人脸匹配结果触发轿厢内的楼层按钮时，可以先通过语音进行提示，在当轿厢内的按钮被自动触发后，乘客也可以手动取消，并选择其他楼层按钮。
优选地，所述步骤三中，目标检测模型还配置为识别输入的图像中是否包含电动车和垃圾；
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S'1、判断第一识别结果中是否有电动车，如果有，则执行第二干预指令，如果没有，则不执行第二干预指令，所述第二干预指令为：控制电梯门保持打开状态，并向轿厢内播放语音报警提示，所述语音报警提示的内容可以为：禁止电动车入内。
所述第二干预指令的优先级高于第一干预指令，电梯优先执行优先级高的指令，如当第一识别结果中有电动车时，则直接执行第二干预指令而不考虑其他干预指令。
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S”1、判断第一识别结果中是否有垃圾，如果有，则执行步骤S”2，如果没有则不执行；
步骤S”2、判断垃圾的存留时间，如果超过预设时长，则执行第三干预指令，如果未超过预设时长，则不执行第三干预指令；
所述第三干预指令为：向电梯管理后台或维护人员的手机发出提醒信息；
所述第一干预指令的优先级高于第三干预指令，即电梯优先执行第二干预指令，没有第二干预指令的情况下，优先执行第一干预指令，也没有第一干预指令的情况下，则优先执行第三干预指令，如果也没有第三干预指令，则电梯门正常运行，无语音报警提示。
上述步骤S1、步骤S”1、步骤S”2中的干预指令可以同时产生，在同时产生时，将按照优先级进行执行。
实施例二
如图3所示，本实施例与实施例一的区别在于：
步骤三中，还将提取的视频帧图像输入行为识别模型进行识别，所述行为识别模型配置为识别输入的图像中是否包含危险行为/动作，并输出第三识别结果；所述危险行为/动作包括，打架、蹦跳、跑步、摔倒和扒门行为/动作。
所述行为识别模型采用深度学习算法，运用resnet50-convLSTM网络进行行为识别。
用于识别的行为识别模型为训练后的模型，其训练方法为：
步骤c1、获取互联网监控视频和轿厢内监控视频，生成视频片段；
步骤c2、对视频进行固定时常的随机剪裁，并分别进行标注；
步骤c3、将标注后的文件按照预先设定的比例划分训练集，验证集和测试集；
步骤c4、应用resnet50-convLSTM网络对训练集进行训练，使用验证集确定超参数并使用测试集验证产生模型的性能。
所述步骤四还包括以下步骤：
步骤S”'1、判断第三识别结果中是否有危险行为/动作，如果有，则执行步骤S”'2，如果没有则不执行；
步骤S”'2、判断电梯是否发生异常振动，如果有，则执行第四干预指令，如果没有，则不执行第四干预指令。
所述第四干预指令为：向轿厢内播放语音报警提示，并向电梯管理后台或维护人员的手机发出提醒信息；该语音报警提示的内容可以为多种，并对应具体识别到的危险行为/动作，如当识别到打架时，可以语音提示：禁止打架；识别到蹦跳时，可以语音提示：禁止蹦跳；识别到跑步时，可以语音提示：禁止跑步；识别到摔倒时，可以语音播放求助电话号码，识别到扒门时，可以语音提示：禁止扒门。
所述第四干预指令与第三干预指令优先级相同。
判断电梯是否有异常振动的方法为通过读取陀螺仪的参数，判断电梯的加速度值，在加速度值异常时，即判断电梯发生异常振动。
为了实现第二发明目的，本发明采用如下技术方案：
一种电梯控制装置，用于实现上述实施例一或实施例二中的电梯控制方法，所述电梯控制装置包括：
监控摄像头，安装在电梯轿厢内，并集成有麦克风；
图像处理模块，与监控摄像头连接，用于对获取的视频进行处理；
AI智能开发板，与图像处理模块连接，用于对处理后的图像进行识别；
梯控模块，用于控制电梯门动作和控制电梯上下运行；
陀螺仪，用于获取电梯的运动时的加速度，并与梯控模块连接；
外放模块，用于播放语音提示，并与梯控模块连接；
以及通讯模块和电源模块；所述AI智能开发板通过通讯模块与梯控模块连接，所述电源模块为其他各模块供电。
所述监控摄像头用于实时获取轿厢内的视频流，并将获取的视频流传输给图像处理模块，所述图像处理模块对视频进行解码，并提取视频帧图像打包发送至AI智能开发板，所述AI智能开发板用于运行目标检测模型、人脸检测模型和行为识别模型，并将识别的结果传输给梯控模块，所述梯控模块根据识别结果，产生控制指令，并控制电梯运行。
以上所述为本发明的实施方式，应当指出，对于本领域的普通技术人员而言，在不脱离本发明原理前提下，还可以做出多种变形和改进，这也应该视为本发明的保护范围。
Claims (10)
1.一种电梯控制方法，包括以下步骤：
步骤一、通过轿厢内监控摄像头实时获取轿厢内的视频流；
步骤二、根据获取的视频流，提取视频帧图像；
步骤三、将提取的视频帧图像输入目标检测模型和人脸检测模型进行识别，并输出识别结果；
步骤四、根据识别结果，对电梯进行控制；
其特征在于，所述步骤三中，目标检测模型至少配置为，识别输入的图像中是否包含宠物、婴幼儿和成年人，并输出第一识别结果；
所述人脸检测模型进行识别的方法为：
步骤a1、通过OpenCV自带的人脸检测模型检测图像中是否有人脸，并在检测到人脸后，定位图像中人脸位置；
步骤a2、根据定位的人脸位置，提取人脸图像，并将提取的人脸与数据库中预存的人脸进行匹配，输出第二识别结果；
所述步骤四包括，根据第一识别结果执行以下步骤：
步骤S1、判断第一识别结果中是否有宠物/婴幼儿和成年人，如果有宠物/婴幼儿，无成年人，则执行第一干预指令，如果同时有宠物/婴幼儿和成年人，或者有成年人，无宠物/婴幼儿，则不执行第一干预指令；
所述第一干预指令为：控制电梯门保持打开状态，并停止上下运行；
所述步骤四还包括，根据第二识别结果执行以下步骤：
步骤S2、判断第二识别结果中是否有匹配成功的人脸，如果有，则获取与该人脸对应的楼层信息，并触发轿厢内与该楼层对应的楼层按钮；如果没有，则控制电梯执行限制模式；
所述限制模式为，暂停轿厢楼层按钮使用权限或限制电梯的使用楼层。
2.根据权利要求1所述的一种电梯控制方法，其特征在于，所述目标检测模型通过以下方法区分婴幼儿和成年人：
步骤b1、通过深度学习算法，运用ssd-mobilenet网络结合OpenCV库识别人体，并对识别到的人体用检测框框选出来；
步骤b2、计算检测框的高度值，如果检测框的高度值小于或等于预设高度值，则输出识别结果为婴幼儿，如果大于，则输出识别结果为成年人；
所述预设值的选择范围为0.5米～1米。
3.根据权利要求1所述的一种电梯控制方法，其特征在于，所述步骤三中，
目标检测模型还配置为，识别输入图像中是否包含电动车；
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S'1、判断第一识别结果中是否有电动车，如果有，则执行第二干预指令，如果没有，则不执行第二干预指令；
所述第二干预指令为：控制电梯门保持打开状态，并向轿厢内播放语音报警提示；
所述第二干预指令的优先级高于第一干预指令，电梯优先执行优先级高的指令。
4.根据权利要求3所述的一种电梯控制方法，其特征在于，所述步骤三中，
目标检测模型还配置为，识别输入图像中是否有垃圾；
所述步骤四还包括，根据第一识别结果执行以下步骤：
步骤S”1、判断第一识别结果中是否有垃圾，如果有，则执行步骤S”2，如果没有则不执行；
步骤S”2、判断垃圾的存留时间，如果超过预设时长，则执行第三干预指令，如果未超过预设时长，则不执行第三干预指令；
所述第三干预指令为：向电梯管理后台或维护人员的手机发出提醒信息；
所述第一干预指令的优先级高于第三干预指令。
5.根据权利要求4所述的一种电梯控制方法，其特征在于，
所述步骤三还包括，将提取的视频帧图像输入行为识别模型进行识别，所述行为识别模型配置为识别输入的图像中是否包含危险行为/动作，并输出第三识别结果；
所述步骤四还包括，根据第三识别结果执行以下步骤：
步骤S”'1、判断第三识别结果中是否有危险行为/动作，如果有，则执行步骤S”'2，如果没有则不执行；
步骤S”'2、判断电梯是否发生异常振动，如果有，则执行第四干预指令，如果没有，则不执行第四干预指令；
所述第四干预指令为：向轿厢内播放语音报警提示，并向电梯管理后台或维护人员的手机发出提醒信息；
所述第四干预指令与第三干预指令优先级相同。
6.根据权利要求5所述的一种电梯控制方法，其特征在于，所述行为识别模型采用深度学习算法，运用resnet50-convLSTM网络进行行为识别；
用于识别的行为识别模型为训练后的模型，其训练方法为：
步骤c1、获取互联网监控视频和轿厢内监控视频，生成视频片段；
步骤c2、对视频进行固定时常的随机剪裁，并分别进行标注；
步骤c3、将标注后的文件按照预先设定的比例划分训练集，验证集和测试集；
步骤c4、应用resnet50-convLSTM网络对训练集进行训练，使用验证集确定超参数并使用测试集验证产生模型的性能。
7.根据权利要求6所述的一种电梯控制方法，其特征在于，所述危险行为/动作包括，打架、蹦跳、跑步、摔倒和扒门行为/动作。
8.根据权利要求4所述的一种电梯控制方法，其特征在于，步骤三中的目标检测模型为训练后的模型，其训练方法为：
步骤d1、通过获取轿厢内的录像视频，导出RGB彩色图像；
步骤d2、对导出的图像，挑选带有目标的数据加入数据集；
步骤d3、运用labelImg软件对需要检测的目标进行标注，得到xml标注文件；
步骤d4、将图像以及标注文件作为训练数据，输入到ssd-mobilenet网络中进行训练，最终得到训练好的模型文件。
9.根据权利要求1所述的一种电梯控制方法，其特征在于，所述步骤三中的人脸检测模型为训练后的模型，其训练方法为：
步骤e1、获取业主或租户清晰的单帧人脸彩色图像；
步骤e2、对获取的图像进行数据增强处理，将单幅图像扩充为多幅图像；
步骤e3、使用LBPH算法对经过数据增强后得到的图像进行训练，并在模型收敛后完成训练，得到所述人脸检测模型。
10.一种电梯控制装置，其特征在于，用于执行如权利要求1-9仍一项所述的控制方法，所述电梯控制装置包括，
监控摄像头，安装在电梯轿厢内，并集成有麦克风；
图像处理模块，与监控摄像头连接，用于对获取的视频进行处理；
AI智能开发板，与图像处理模块连接，用于对处理后的图像进行识别；
梯控模块，用于控制电梯门动作和控制电梯上下运行；
陀螺仪，用于获取电梯的运动时的加速度，并与梯控模块连接；
外放模块，用于播放语音提示，并与梯控模块连接；
以及通讯模块和电源模块；所述AI智能开发板通过通讯模块与梯控模块连接，所述电源模块为其他各模块供电。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110933335.9A CN113936245A (zh) | 2021-08-14 | 2021-08-14 | 一种电梯控制方法及控制装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110933335.9A CN113936245A (zh) | 2021-08-14 | 2021-08-14 | 一种电梯控制方法及控制装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113936245A true CN113936245A (zh) | 2022-01-14 |
Family
ID=79274531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110933335.9A Pending CN113936245A (zh) | 2021-08-14 | 2021-08-14 | 一种电梯控制方法及控制装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936245A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114655804A (zh) * | 2022-02-25 | 2022-06-24 | 深圳市励科机电科技工程有限公司 | 电梯监测方法、装置及系统 |
| CN115231398A (zh) * | 2022-07-05 | 2022-10-25 | 北京北投智慧城市科技有限公司 | 一种基于ai手势、语音识别的方法及系统 |
| CN115240389A (zh) * | 2022-08-03 | 2022-10-25 | 江苏商贸职业学院 | 一种基于人工智能的监测预警系统 |
| CN115258850A (zh) * | 2022-07-27 | 2022-11-01 | 日立电梯（中国）有限公司 | 一种电梯轿厢控制系统及方法 |
| CN117246867A (zh) * | 2023-09-22 | 2023-12-19 | 深圳市瀚强科技股份有限公司 | 电梯控制方法及相关装置 |
| CN117383377A (zh) * | 2023-09-21 | 2024-01-12 | 深圳市瀚强科技股份有限公司 | 电梯的信息处理方法及相关装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109987468A (zh) * | 2017-12-29 | 2019-07-09 | 郑州灵珑信息科技有限公司 | 基于图像识别的小区电梯轿厢儿童识别控制系统 |
| CN112079213A (zh) * | 2020-08-24 | 2020-12-15 | 浙江新再灵科技股份有限公司 | 一种电梯入梯控制方法及电梯入梯控制系统 |
| CN112320522A (zh) * | 2020-11-12 | 2021-02-05 | 深兰人工智能芯片研究院（江苏）有限公司 | 基于智能识别的电梯控制系统和方法 |
| CN112733668A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 基于视频深度学习的电梯内宠物单独乘梯的检测方法 |
| CN112733676A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 一种基于深度学习的电梯内垃圾检测识别方法 |
-
2021
- 2021-08-14 CN CN202110933335.9A patent/CN113936245A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109987468A (zh) * | 2017-12-29 | 2019-07-09 | 郑州灵珑信息科技有限公司 | 基于图像识别的小区电梯轿厢儿童识别控制系统 |
| CN112079213A (zh) * | 2020-08-24 | 2020-12-15 | 浙江新再灵科技股份有限公司 | 一种电梯入梯控制方法及电梯入梯控制系统 |
| CN112320522A (zh) * | 2020-11-12 | 2021-02-05 | 深兰人工智能芯片研究院（江苏）有限公司 | 基于智能识别的电梯控制系统和方法 |
| CN112733668A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 基于视频深度学习的电梯内宠物单独乘梯的检测方法 |
| CN112733676A (zh) * | 2020-12-31 | 2021-04-30 | 青岛海纳云科技控股有限公司 | 一种基于深度学习的电梯内垃圾检测识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| MANAN SHARMA 等: "Video Surveillance for Violence Detection Using Deep Learning", 《ADVANCES IN DATA SCIENCE AND MANAGEMENT》, 14 January 2020 (2020-01-14), pages 411 - 420 * |
| 王晨 等: "一种特征融合的视频事故快速检测方法", 《交通运输工程与信息学报》, 29 June 2021 (2021-06-29), pages 1 - 11 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114655804A (zh) * | 2022-02-25 | 2022-06-24 | 深圳市励科机电科技工程有限公司 | 电梯监测方法、装置及系统 |
| CN115231398A (zh) * | 2022-07-05 | 2022-10-25 | 北京北投智慧城市科技有限公司 | 一种基于ai手势、语音识别的方法及系统 |
| CN115258850A (zh) * | 2022-07-27 | 2022-11-01 | 日立电梯（中国）有限公司 | 一种电梯轿厢控制系统及方法 |
| CN115240389A (zh) * | 2022-08-03 | 2022-10-25 | 江苏商贸职业学院 | 一种基于人工智能的监测预警系统 |
| CN117383377A (zh) * | 2023-09-21 | 2024-01-12 | 深圳市瀚强科技股份有限公司 | 电梯的信息处理方法及相关装置 |
| CN117383377B (zh) * | 2023-09-21 | 2024-07-16 | 深圳市瀚强科技股份有限公司 | 电梯的信息处理方法及相关装置 |
| CN117246867A (zh) * | 2023-09-22 | 2023-12-19 | 深圳市瀚强科技股份有限公司 | 电梯控制方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113936245A (zh) | 一种电梯控制方法及控制装置 | |
| US11178275B2 (en) | Method and apparatus for detecting abnormality of caller | |
| US11143156B2 (en) | Artificial intelligence apparatus for controlling auto stop system based on traffic information and method for the same | |
| CN104933827B (zh) | 一种基于旋转摄像头的报警方法及终端 | |
| CN106294774A (zh) | 基于对话服务的用户个性化数据处理方法及装置 | |
| US11421610B2 (en) | Artificial intelligence apparatus for controlling auto stop system and method therefor | |
| CN106878303B (zh) | 一种针对远程指令的车载T‑Box信息安全防护系统及方法 | |
| CN109492620A (zh) | 监控设备及其控制装置、岗位监控方法和可读存储介质 | |
| CN107833328B (zh) | 基于人脸识别的门禁验证方法及装置、计算设备 | |
| CN108776452B (zh) | 一种特种设备现场维保监控方法及系统 | |
| CN110304513B (zh) | 一种避险方法、装置、终端设备及存储介质 | |
| CN111738065A (zh) | 一种人脸识别门禁控制方法及系统 | |
| CN107416630A (zh) | 电梯非正常关闭的检测方法和系统 | |
| CN113255362A (zh) | 人声过滤与识别方法、装置、电子设别及存储介质 | |
| CN109532665A (zh) | 一种车用防窒息系统及其方法 | |
| CN112733668A (zh) | 基于视频深度学习的电梯内宠物单独乘梯的检测方法 | |
| CN112758777A (zh) | 智能电梯控制方法及设备 | |
| CN107742516B (zh) | 智能识别方法、机器人及计算机可读存储介质 | |
| CN110428816B (zh) | 一种语音细胞库训练和分享的方法及装置 | |
| GB2599464A (en) | Computing networks | |
| CN108460888A (zh) | 闸机系统及酒店访客出入管理方法 | |
| CN116443682A (zh) | 一种智能电梯控制系统 | |
| CN116477433A (zh) | 智能电梯安防系统及电梯、可读存储介质及电子设备 | |
| CN113345210B (zh) | 一种基于音视频智能判断呼救的方法及装置 | |
| CN112261380B (zh) | 一种电梯的控制方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant after: Hainayun IOT Technology Co.,Ltd. Applicant after: Qingdao haishang Haiti networking Ecological Technology Co.,Ltd. Address before: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant before: Qingdao hainayun Technology Holding Co.,Ltd. Applicant before: Qingdao haishang Haiti networking Ecological Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant after: Hainayun IOT Technology Co.,Ltd. Applicant after: Qingdao tizhiwang IOT Technology Co.,Ltd. Address before: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant before: Hainayun IOT Technology Co.,Ltd. Applicant before: Qingdao haishang Haiti networking Ecological Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231201 Address after: 266100 Haier Industrial Park, No.1 Haier Road, Laoshan District, Qingdao City, Shandong Province Applicant after: Hainayun IOT Technology Co.,Ltd. Applicant after: Qingdao hainayun Intelligent System Co.,Ltd. Applicant after: Qingdao hainayun Digital Technology Co.,Ltd. Applicant after: Haina Yunhuigan (Qingdao) IoT Technology Co.,Ltd. Address before: 266103 Haier Industrial Park, 1 Haier Road, Laoshan District, Shandong, Qingdao Applicant before: Hainayun IOT Technology Co.,Ltd. Applicant before: Qingdao tizhiwang IOT Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |