CN109977783A - 基于直梯场景婴儿车单独乘梯检测的方法 - Google Patents

基于直梯场景婴儿车单独乘梯检测的方法 Download PDF

Info

Publication number
CN109977783A
CN109977783A CN201910147943.XA CN201910147943A CN109977783A CN 109977783 A CN109977783 A CN 109977783A CN 201910147943 A CN201910147943 A CN 201910147943A CN 109977783 A CN109977783 A CN 109977783A
Authority
CN
China
Prior art keywords
perambulator
detection
target
elevator
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910147943.XA
Other languages
English (en)
Other versions
CN109977783B (zh
Inventor
王超
施行
朱鲲
吴磊磊
蔡巍伟
靳旭哲
胡灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang New Zailing Technology Co Ltd
Original Assignee
Zhejiang New Zailing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang New Zailing Technology Co Ltd filed Critical Zhejiang New Zailing Technology Co Ltd
Priority to CN201910147943.XA priority Critical patent/CN109977783B/zh
Publication of CN109977783A publication Critical patent/CN109977783A/zh
Application granted granted Critical
Publication of CN109977783B publication Critical patent/CN109977783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于直梯场景婴儿车单独乘梯检测的方法,具体包括如下步骤:101)电梯速度判断步骤、102)检测婴儿车步骤、103)检测人步骤、104)判断处理步骤;本发明提供了避免婴儿车单独落在电梯里面或婴儿车挡在电梯门口状况发生的基于直梯场景婴儿车单独乘梯检测的方法。

Description

基于直梯场景婴儿车单独乘梯检测的方法
技术领域
本发明涉及电梯领域,更涉及基于直梯场景婴儿车单独乘梯检测的方法。
背景技术
直梯上经常会有大人带婴儿车乘梯,有的时候大人由于疏忽(例如已经携带婴儿车进电梯,然后突然折返,导致婴儿车落在电梯里面;或者更有甚者,直接把婴儿车挡在电梯门口,然后门突然关紧,夹住婴儿车)导致惨剧的发生。
发明内容
本发明克服了现有技术的不足,提供了避免婴儿车单独落在电梯里面或婴儿车挡在电梯门口状况发生的基于直梯场景婴儿车单独乘梯检测的方法。
为了解决上述技术问题,本发明的技术方案如下:
基于直梯场景婴儿车单独乘梯检测的方法,具体包括如下步骤:
101)电梯速度判断步骤:通过IMU得到电梯速度,当电梯速度为0时,通过摄像头截取电梯内图像进行处理;
102)检测婴儿车步骤:对电梯内图像进行婴儿车检测;婴儿车检测前,通过yolov3方法针对7万张以上婴儿车样本的识别收集,并增加5000张以上的电瓶车负样本识别,以建立婴儿车检测模型,再进行婴儿车检测;
103)检测人步骤:对电梯内图像进行人检测;人检测前,先通过yolov3方法针对10万电梯里面行人的人体正样本进行识别收集,建立人检测模型,再进行人检测;
104)判断处理步骤:只检测到婴儿车,或检测到婴儿车且只在婴儿车范围内检测到人,则进行报警。
进一步的,检测模型通过对图像进行目标分类、目标检测;
目标分类,将图像结构化为某一类别的信息,用事先确定好的类别或实例ID来描述图片;
目标检测,关注特定的物体目标,并同时获得这一目标的类别信息和位置信息,目标检测要从背景中分离出感兴趣的目标类别或实例ID,并确定这一目标类别或实例ID的位置。
本发明相比现有技术优点在于:本发明首先利用基于深度学习(yolov3)的检测技术,对轿厢里的婴儿车进行检测,检测到婴儿车以后,同样是基于深度学习(yolov3)的检测技术,对轿厢里面进行人体检测,如果没有检测到人体,则认为是婴儿车是单独乘梯,这个时候则吐出报警。本发明针对婴儿车,通过对样本收集,获取正样本7万多张,因为实际测试电瓶车会干扰婴儿车的检测,所以在负样本中把电瓶车作为负样本,从而提升婴儿车的检测率。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示,基于直梯场景婴儿车单独乘梯检测的方法,其包括中央处理器、IMU和摄像头,IMU、摄像头与中央处理器电性连接,且通过中央处理器的数据传输模块与云端连接,由云端进行图像数据处理,并反馈给中央处理器,中央处理器根据数据发出指令给电梯运作的主电路板,以此控制电梯是否停运。具体包括如下步骤:
101)电梯速度判断步骤:通过IMU得到电梯速度,当电梯速度为0时,通过摄像头截取电梯内图像进行处理。即具体是首先利用IMU(惯性测量单元)得到电梯速度,判断电梯是否停靠。因为如果实时检测的话,系统运算资源占用会比较大,不能高效利用资源。所以只在电梯速度每次为0的时候,截取一张图片进行判断。
102)检测婴儿车步骤:对电梯内图像进行婴儿车检测;婴儿车检测前,通过yolov3方法针对7万张以上婴儿车样本的识别收集,并增加5000张以上的电瓶车负样本识别,以建立婴儿车检测模型,再进行婴儿车检测;因为实际测试电瓶车会干扰婴儿车的检测,所以在负样本中把电瓶车作为负样本,从而提升婴儿车的检测率。具体就通过增加5000以上的电瓶车负样本,通过强化学习,难识别图片学习,来提升婴儿车的检测率并且降低误检率。
103)检测人步骤:对电梯内图像进行人检测;人检测前,先通过yolov3方法针对10万电梯里面行人的人体正样本进行识别收集,建立人检测模型,再进行人检测。
104)判断处理步骤:只检测到婴儿车,或检测到婴儿车且只在婴儿车范围内检测到人,则进行报警。即有的时候婴儿也会被检测到。这个时候需要判断检测到的人体框是否在婴儿车内,如果不在的话,那认为婴儿车是有人在看护,如果在的话那认为检测的是婴儿自己,认为没有人在看护。
检测模型只要通过对图像进行目标分类、目标检测即可,不需要对图像进行分割处理。
目标分类,将图像结构化为某一类别的信息,用事先确定好的类别或实例ID来描述图片;这是最简单、最基础的图像理解任务,也是深度学习模型最先取得突破和实现大规模应用的。在应用领域,人脸、场景的识别等都可以归为分类任务。
目标检测,关注特定的物体目标,并同时获得这一目标的类别信息和位置信息,目标检测要从背景中分离出感兴趣的目标类别或实例ID,并确定这一目标类别或实例ID的位置。因而,检测模型的输出是一个列表,列表的每一项使用一个数据组给出检出目标的类别和位置,其常用矩形检测框的坐标表示。
分割,包括语义分割和实例分割,前者是对前背景分离的拓展,要求分离开具有不同语义的图像部分,而后者是检测任务的拓展,要求描述出目标的轮廓(相比检测框更为精细)。分割是对图像的像素级描述,它赋予每个像素类别(实例)意义,适用于理解要求较高的场景,如无人驾驶中对道路和非道路的分割。而在本方案中只需要目标分类和目标检测即可,无需进行分割处理,大大降低硬件要求。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员,在不脱离本发明构思的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明保护范围内。

Claims (2)

1.基于直梯场景婴儿车单独乘梯检测的方法,其特征在于,具体包括如下步骤:
101)电梯速度判断步骤:通过IMU得到电梯速度,当电梯速度为0时,通过摄像头截取电梯内图像进行处理;
102)检测婴儿车步骤:对电梯内图像进行婴儿车检测;婴儿车检测前,通过yolov3方法针对7万张以上婴儿车样本的识别收集,并增加5000张以上的电瓶车负样本识别,以建立婴儿车检测模型,再进行婴儿车检测;
103)检测人步骤:对电梯内图像进行人检测;人检测前,先通过yolov3方法针对10万电梯里面行人的人体正样本进行识别收集,建立人检测模型,再进行人检测;
104)判断处理步骤:只检测到婴儿车,或检测到婴儿车且只在婴儿车范围内检测到人,则进行报警。
2.根据权利要求1所述的基于直梯场景婴儿车单独乘梯检测的方法,其特征在于,检测模型通过对图像进行目标分类、目标检测;
目标分类,将图像结构化为某一类别的信息,用事先确定好的类别或实例ID来描述图片;
目标检测,关注特定的物体目标,并同时获得这一目标的类别信息和位置信息,目标检测要从背景中分离出感兴趣的目标类别或实例ID,并确定这一目标类别或实例ID的位置。
CN201910147943.XA 2019-02-28 2019-02-28 基于直梯场景婴儿车单独乘梯检测的方法 Active CN109977783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910147943.XA CN109977783B (zh) 2019-02-28 2019-02-28 基于直梯场景婴儿车单独乘梯检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910147943.XA CN109977783B (zh) 2019-02-28 2019-02-28 基于直梯场景婴儿车单独乘梯检测的方法

Publications (2)

Publication Number Publication Date
CN109977783A true CN109977783A (zh) 2019-07-05
CN109977783B CN109977783B (zh) 2021-06-04

Family

ID=67077534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910147943.XA Active CN109977783B (zh) 2019-02-28 2019-02-28 基于直梯场景婴儿车单独乘梯检测的方法

Country Status (1)

Country Link
CN (1) CN109977783B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112079213A (zh) * 2020-08-24 2020-12-15 浙江新再灵科技股份有限公司 一种电梯入梯控制方法及电梯入梯控制系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902971A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于智能视觉感知的电梯人流量统计方法及系统
CN105588840A (zh) * 2015-12-04 2016-05-18 广州视源电子科技股份有限公司 一种电子元件定位方法及装置
CN106875473A (zh) * 2017-02-16 2017-06-20 北京通正设施设备有限公司 一种在虚拟现实环境下建立虚拟电梯的方法
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107563392A (zh) * 2017-09-07 2018-01-09 西安电子科技大学 使用OpenCL加速的YOLO目标检测方法
CN107673152A (zh) * 2017-09-11 2018-02-09 浙江新再灵科技股份有限公司 厢式电梯内儿童单独乘坐的报警方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
US20190012551A1 (en) * 2017-03-06 2019-01-10 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN109325504A (zh) * 2018-09-07 2019-02-12 中国农业大学 一种水下海参识别方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902971A (zh) * 2012-08-31 2013-01-30 电子科技大学 基于智能视觉感知的电梯人流量统计方法及系统
CN105588840A (zh) * 2015-12-04 2016-05-18 广州视源电子科技股份有限公司 一种电子元件定位方法及装置
CN106875473A (zh) * 2017-02-16 2017-06-20 北京通正设施设备有限公司 一种在虚拟现实环境下建立虚拟电梯的方法
US20190012551A1 (en) * 2017-03-06 2019-01-10 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
CN107423760A (zh) * 2017-07-21 2017-12-01 西安电子科技大学 基于预分割和回归的深度学习目标检测方法
CN107563392A (zh) * 2017-09-07 2018-01-09 西安电子科技大学 使用OpenCL加速的YOLO目标检测方法
CN107673152A (zh) * 2017-09-11 2018-02-09 浙江新再灵科技股份有限公司 厢式电梯内儿童单独乘坐的报警方法
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
CN108805093A (zh) * 2018-06-19 2018-11-13 华南理工大学 基于深度学习的手扶电梯乘客摔倒检测算法
CN109325504A (zh) * 2018-09-07 2019-02-12 中国农业大学 一种水下海参识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAILIANG LI,AND ETC: "An Improved Faster R-CNN for Same Object Retrieval", 《 IEEE ACCESS》 *
张媛等: "基于电梯监控视频的轿厢中狗识别的算法研究", 《机械设计与制造工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112079213A (zh) * 2020-08-24 2020-12-15 浙江新再灵科技股份有限公司 一种电梯入梯控制方法及电梯入梯控制系统

Also Published As

Publication number Publication date
CN109977783B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN108229407A (zh) 一种视频分析中的行为检测方法与系统
CN104821025B (zh) 客流检测方法及其检测系统
CN106096504A (zh) 一种基于无人机机载平台的车型识别方法
CN108804987B (zh) 门开闭状态检测方法和装置、以及人流检测系统
CN105989608A (zh) 一种面向智能机器人的视觉捕捉方法及装置
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN103914682A (zh) 一种车牌识别方法及系统
CN111680613A (zh) 一种实时检测手扶电梯乘客摔倒行为的方法
CN104463869A (zh) 一种视频火焰图像复合识别方法
CN110175533A (zh) 高架桥交通状况实时监测方法、装置、终端及存储介质
CN110263623A (zh) 列车攀爬监测方法、装置、终端及存储介质
CN109977783A (zh) 基于直梯场景婴儿车单独乘梯检测的方法
CN111126112A (zh) 候选区域确定方法和装置
US11042722B2 (en) Artificial neural network
TK et al. An experiment analysis on tracking and detecting the vehicle speed using machine learning and iot
CN107907546A (zh) 一种基于智能移动终端的视觉缺陷检测方法与系统
CN103761345A (zh) 一种基于ocr字符识别技术的视频检索方法
CN103606280A (zh) 一种信息识别方法、装置以及系统
CN105206060A (zh) 一种基于sift特征的车型识别装置及其方法
CN104978782B (zh) 基于触屏技术的客流分析方法
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
CN113657316A (zh) 移动交通违章监测方法、系统、电子设备及存储介质
Nagarathinam et al. Junction Monitoring System for Emergency Vehicles and Density control Using Image processing
Osabe et al. Solutions to social problems leveraging image analysis technology based on machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant