CN107324166B - 电梯困人事件的检测方法、系统、可读存储介质和设备 - Google Patents

电梯困人事件的检测方法、系统、可读存储介质和设备 Download PDF

Info

Publication number
CN107324166B
CN107324166B CN201710560885.4A CN201710560885A CN107324166B CN 107324166 B CN107324166 B CN 107324166B CN 201710560885 A CN201710560885 A CN 201710560885A CN 107324166 B CN107324166 B CN 107324166B
Authority
CN
China
Prior art keywords
pixel
image
elevator
value
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710560885.4A
Other languages
English (en)
Other versions
CN107324166A (zh
Inventor
李文海
江荣钿
黄国苏
郭雅萍
李良
庄旭强
章飞
陈彦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Building Technology Guangzhou Co Ltd
Original Assignee
Hitachi Building Technology Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Building Technology Guangzhou Co Ltd filed Critical Hitachi Building Technology Guangzhou Co Ltd
Priority to CN201710560885.4A priority Critical patent/CN107324166B/zh
Publication of CN107324166A publication Critical patent/CN107324166A/zh
Application granted granted Critical
Publication of CN107324166B publication Critical patent/CN107324166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种电梯困人事件的检测方法和系统,先在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像并确定其中的静态像素点位置,再在在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,对背景图像和当前图像的像素值进行差分处理,得到差分图像,根据静态像素点位置和第一阈值在差分图像中选取各待用像素点,在待用像素点所在区域面积大于第二阈值时判定发生电梯困人事件。利用背景图像确定静态像素点位置,通过静态像素点位置选取差分图像中的待用像素点,可以剔除差分图像中包含的多媒体设备的播放画面信息,排除影响判断电梯困人事件的重要因素,从而提高电梯困人事件检测的准确性。

Description

电梯困人事件的检测方法、系统、可读存储介质和设备
技术领域
本发明涉及电梯检测技术领域,特别是涉及一种电梯困人事件的检测方法、系统、可读存储介质和设备。
背景技术
在电梯的实际使用过程中,有时会因不可预知的因素出现电梯困人事件,可能危害电梯内人员的生命安全,因此对电梯困人事件的检测显得尤为重要。
目前,大多通过视频分析检测的方式进行电梯困人事件的检测。视频分析检测的算法较为复杂,运算量大,需要配置较高运算能力的设备才能实现,而且现在电梯内通常安装多媒体设备,用于播放广告视频,广告视频中会出现人物,视频分析检测所用的视频拍摄到多媒体设备容易导致检测出现误判,降低识别准确性。
发明内容
基于此,有必要针对传统的电梯困人事件检测方式的准确性低的问题,提供一种电梯困人事件的检测方法、系统、可读存储介质和设备。
一种电梯困人事件的检测方法,包括以下步骤:
在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
确定背景图像中的静态像素点位置;
在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,背景图像的获取方位和当前图像的获取方位相同,当前图像中的各像素点与背景图像中的各像素点一一对应;
对当前图像中的各像素点的像素值与背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
获取差分图像中的目标像素点,其中,目标像素点在差分图像中的位置与静态像素点位置相对应;
确定目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积,在区域面积大于第二阈值时,判定发生电梯困人事件。
一种电梯困人事件的检测系统,包括:
背景获取单元,用于在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
静态确定单元,用于确定背景图像中的静态像素点位置;
图像获取单元,用于在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,背景图像的获取方位和当前图像的获取方位相同,当前图像中的各像素点与背景图像中的各像素点一一对应;
差分处理单元,用于对当前图像中的各像素点的像素值与背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
静态处理单元,用于获取差分图像中的目标像素点,其中,目标像素点在差分图像中的位置与静态像素点位置相对应;确定目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积;
事件判定单元,用于在区域面积的面积大于第二阈值时,判定发生电梯困人事件。
根据上述本发明的电梯困人事件的检测方法和系统,先在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像并确定其中的静态像素点位置,再在在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,对背景图像和当前图像的像素值进行差分处理,得到差分图像,根据静态像素点位置和第一阈值在差分图像中选取各待用像素点,在待用像素点所在区域面积大于第二阈值时判定发生电梯困人事件。在此方案中,背景图像的静态部分中不会显示人员,在电梯处于故障状态时,若电梯内有人员,当前图像中会显示人员,差分图像中包含了当前图像与背景图像的像素点的像素值差异,通过差分图像中满足像素值差异条件的像素点可以确定故障电梯中是否有人,即可以检测电梯困人事件,利用背景图像确定静态像素点位置,通过静态像素点位置选取差分图像中的待用像素点,可以剔除差分图像中包含的多媒体设备的播放画面信息,排除影响判断电梯困人事件的重要因素,从而提高电梯困人事件检测的准确性。
一种可读存储介质,其上存储有可执行程序,该程序被处理器执行时实现上述的电梯困人事件的检测方法的步骤。
一种检测设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行程序,处理器执行程序时实现上述的电梯困人事件的检测方法的步骤。
根据上述本发明的电梯困人事件的检测方法,本发明还提供一种可读存储介质和检测设备,用于通过程序实现上述电梯困人事件的检测方法。
附图说明
图1为其中一个实施例的电梯困人事件的检测方法的流程示意图;
图2为其中一个实施例的电梯困人事件的检测系统的结构示意图;
图3为其中一个实施例的电梯困人事件的检测系统的结构示意图;
图4为其中一个具体实施例的电梯困人事件检测的流程示意图;
图5为其中一个具体实施例的生成背景图像和背景掩模的流程示意图;
图6为其中一个具体实施例的故障电梯内人物检测的流程示意图;
图7为其中一个具体实施例的音频检测的流程示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
参见图1所示,为本发明一个实施例的电梯困人事件的检测方法的流程示意图。该实施例中的电梯困人事件的检测方法,包括以下步骤:
步骤S101:在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
在本步骤中,空闲待召状态是指电梯正常运行时停留在某一楼层,而且电梯没有收到内部的召唤指令和外部的召唤指令的状态,在此状态下,没有人员在电梯轿厢内部,因此可以获取电梯轿厢内部的背景图像;
步骤S102:确定背景图像中的静态像素点位置;
在本步骤中,电梯轿厢内部可能安装有多媒体设备,背景图像中就可能包含多媒体设备播放的画面,该画面是动态显示的,确定的静态像素点位置就不包括多媒体设备播放的画面像素点位置,起到区分隔离的作用;
步骤S103:在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,背景图像的获取方位和当前图像的获取方位相同,当前图像中的各像素点与背景图像中的各像素点一一对应;
在本步骤中,故障状态是指电梯出现运行故障且电梯梯门关闭的状态,背景图像和当前图像的获取方位相同,当前图像中的各像素点与背景图像中的各像素点一一对应,是指从同一位置获取背景图像和当前图像,背景图像和当前图像的大小相同;
步骤S104:对当前图像中的各像素点的像素值与背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
在本步骤中,差分图像与当前图像、背景图像的大小相同。
步骤S105:获取差分图像中的目标像素点,其中,目标像素点在差分图像中的位置与静态像素点位置相对应;
在本步骤中,目标像素点相当于差分图像中的静态像素点;
步骤S106:确定目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积,在区域面积大于第二阈值时,判定发生电梯困人事件。
在本实施例中,先在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像并确定其中的静态像素点位置,再在在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,对背景图像和当前图像的像素值进行差分处理,得到差分图像,根据静态像素点位置和第一阈值在差分图像中选取各待用像素点,在待用像素点所在区域面积大于第二阈值时判定发生电梯困人事件。在此方案中,背景图像的静态部分中不会显示人员,在电梯处于故障状态时,若电梯内有人员,当前图像中会显示人员,差分图像中包含了当前图像与背景图像的像素点的像素值差异,通过差分图像中满足像素值差异条件的像素点可以确定故障电梯中是否有人,即可以检测电梯困人事件,利用背景图像确定静态像素点位置,通过静态像素点位置选取差分图像中的待用像素点,可以剔除差分图像中包含的多媒体设备的播放画面信息,排除影响判断电梯困人事件的重要因素,从而提高电梯困人事件检测的准确性。
可选的,电梯困人事件的检测方法还可以包括以下步骤:在获取电梯轿厢内部的背景图像的步骤之后开始计时,若超过预设时间,重新获取背景图像。电梯使用过程中,电梯轿厢内部的环境会发生改变,例如在电梯轿厢内壁上张贴海报,或者改变电梯轿厢内壁上的多媒体设备的大小或位置,在距离上一次获取背景图像超过预设时间进行重新获取,可以保证背景图像的实时性,与获取的当前图像相适应;
可选的,判定发生电梯困人事件的步骤之后还可以包括以下步骤:输出电梯困人报警信号。报警信号可以提醒电梯运维人员采取措施,及时对电梯困人事件进行处理;
可选的,像素点的像素值可以为像素点的灰度值、饱和度值或亮度值等,在电梯困人事件的整个检测过程中,可以选择其中一种进行处理。
在其中一个实施例中,像素值为灰度值,获取电梯轿厢内部的背景图像的步骤包括以下步骤:
多次拍摄电梯轿厢内部的初始场景,得到多张初始图像,将多张初始图像转换为多张第一灰度图像,计算所有第一灰度图像中同一位置的像素点的灰度均值,根据所有像素点的灰度均值得到灰度均值图像,灰度均值图像为背景图像。
在本实施例中,选择像素值为灰度值进行处理,拍摄得到的初始图像中包括多种图像信息,利用其中的灰度信息就可以将有人时的电梯轿厢内部图像与无人时的电梯轿厢内部图像区分,而且可以简化对图像的处理过程,对初始场景进行多次拍摄,计算第一灰度图像中同一位置的像素点的灰度均值,可以减小灰度误差以及噪音的影响。
在其中一个实施例中,确定背景图像中的静态像素点位置的步骤包括以下步骤:
按照拍摄的先后顺序,依次计算相邻两张第一灰度图像中同一位置的像素点的第一灰度变化量;
针对多张第一灰度图像中的同一位置,获取该位置的像素点的所有第一灰度变化量的和值,在和值小于第一阈值时,判定该位置为静态像素点位置。
在本实施例中,第一灰度变化量表示相邻两张第一灰度图像中同一位置的像素点的灰度差异,在电梯轿厢内部环境中,多媒体设备的播放画面处于动态变化状态,相邻两张第一灰度图像中对应多媒体设备的播放画面的位置的像素点的灰度差异较大,而其他的位置一般处于静态,考虑到误差和噪音,相邻两张第一灰度图像中对应其他位置的灰度差异较小,通过灰度差异可以区分第一灰度图像中的静态像素点和动态像素点,也就可以确定第一灰度图像的静态像素点位置。将多张第一灰度图像中同一位置的所有第一灰度变化量的和值作为判断静态像素点位置的依据,可以扩大静态像素点和动态像素点的灰度差异,提高确定静态像素点时的准确性。
在其中一个实施例中,电梯困人事件的检测方法还包括以下步骤:
确定和值大于或等于第一阈值的各待选像素点,对所有待选像素点进行连通区域检测,获取第一连通区域,计算第一连通区域的面积;
在第一连通区域的面积小于第三阈值时,判定第一连通区域中的各待选像素点的位置为静态像素点位置。
在本实施例中,和值大于或等于第一阈值的各待选像素点中不一定都属于多媒体设备画面,有可能是因为图像噪音而使本应是静态像素点的所有第一灰度变化量的和值大于或等于第一阈值,但其特点是一般都是离散的像素点,与拍摄到的多媒体设备画面像素点组成一个连通区域是不同的,因此,通过对对所有待选像素点进行连通区域检测,将连通区域满足条件的其中的各待选像素点的位置为静态像素点位置,可以消除图像噪音的影响,确定的静态像素点位置更加准确。
在其中一个实施例中,计算所有待用像素点所在区域的区域面积的步骤包括以下步骤:
对所有待用像素点进行连通区域检测,获取第二连通区域,计算第二连通区域的面积,区域面积为第二连通区域的面积。
在本实施例中,由于当前图像和背景图像是分别拍摄的,因此,当前图像中也可能有不同于背景图像的图像噪音,使本应不属于电梯轿厢内人员的待用像素点的像素值大于或等于第一阈值,但其特点是一般都是离散的像素点,与拍摄到的人员画面像素点组成一个连通区域是不同的,因此,通过对对所有待用像素点进行连通区域检测,将连通区域的面积作为区域面积,进行后续的电梯困人事件判断,进一步提高电梯困人事件检测的准确性。
在其中一个实施例中,对所有待选像素点进行连通区域检测的步骤包括以下步骤:
赋予所有待选像素点最高像素值,在背景图像中对最高像素值的像素点进行连通区域检测;
对所有待用像素点进行连通区域检测的步骤包括以下步骤:
赋予所有待用像素点最高像素值,在差分图像中对最高像素值的像素点进行连通区域检测。
在本实施例中,在进行连通区域检测之前,可以赋予用作连通区域检测对象的各像素点最高像素值,如此用作连通区域检测对象的像素值相同,而且可以与其他像素点明显区分,有利于加快连通区域检测的处理过程。
可选的,最高像素值可以为最高灰度值、最高饱和度值或最高亮度值等。
在其中一个实施例中,获取电梯轿轿厢内部的当前图像的步骤包括以下步骤:
拍摄电梯轿轿厢内部的当前场景,得到目标图像,将目标图像转换为第二灰度图像,第二灰度图像为当前图像;
对当前图像中的各像素点的像素值与背景图像中对应的各像素点的像素值进行差分处理,得到差分图像的步骤包括以下步骤:
计算当前图像和背景图像中同一位置像素点的第二灰度变化量,根据所有像素点的第二灰度变化量得到差分图像。
在本实施例中,在拍摄电梯轿轿厢内部的当前场景后,将拍摄到的目标图像转换为第二灰度图像,可以直接利用第二灰度图像和表示背景的灰度均值图像进行处理,从而得到差分图像,相比于差分处理时,单独计算每个像素点的灰度值,再与表示背景的灰度均值图像中的像素点的灰度值进行差分处理,本方案统一获取目标图像的所有像素点的灰度值,处理流程更加简洁,降低处理过程的复杂性。
可选的,判定发生电梯困人事件的步骤之后还可以包括以下步骤:保存目标图像。目标图像可以便于电梯运维人员确认电梯故障时电梯轿厢内的人员情况。
在其中一个实施例中,判定发生电梯困人事件的步骤之后还包括以下步骤:
输出电梯困人报警信号。
在本实施例中,在判定发生电梯困人事件后,可以输出电梯困人报警信号,提醒电梯运维人员及时进行处理。还可以将电梯困人报警信号发送至对应电梯运维人员的移动终端,便于不在现场的电梯运维人员及时知晓电梯状况。
在其中一个实施例中,在区域面积小于或等于第二阈值时,根据电梯轿厢的音频判断是否发生电梯困人事件;
根据电梯轿厢的音频判断是否发生电梯困人事件的步骤包括:
在电梯处于空闲待召状态时,采集电梯轿厢内部的背景音频数据,根据背景音频数据计算背景音频帧的短时电平变化量;
在本步骤中,空闲待召状态是指电梯正常运行时停留在某一楼层,而且电梯没有收到内部的召唤指令和外部的召唤指令的状态,在此状态下,没有人员在电梯轿厢内部,不会获取到人员发出的声音,因此可以获取电梯轿厢内部的背景音频数据;
在电梯处于故障状态时,采集电梯轿厢内部的当前音频数据,根据当前音频数据计算当前音频帧的短时电平变化量;
在本步骤中,故障状态是指电梯出现运行故障且电梯梯门关闭的状态,在此状态下,不论电梯内是否有人员,都可以采集电梯轿厢内部的当前音频数据;
获取当前音频帧的短时电平变化量与背景音频帧的短时电平变化量的差值;累计差值大于等于第一阈值的当前音频帧数;
在本步骤中,一个差值对应一个当前音频帧;
在累计的当前音频帧数大于等于第二阈值时,判定发生电梯困人事件。
在本实施例中,将通过图像判断是否发生电梯困人事件和通过音频判断是否发生电梯困人事件相结合,可以在获取图像时无法包含较为完整的人员图像时,通过音频检测判断是否发生电梯困人事件,从而进一步提高电梯困人事件的准确性。在电梯处于空闲待召状态时,采集电梯轿厢内部的背景音频数据并计算背景音频帧的短时电平变化量;在电梯处于故障状态时,采集电梯轿厢内部的当前音频数据并计算当前音频帧的短时电平变化量,获取当前音频帧的短时电平变化量和背景音频帧的短时电平变化量的差值,当故障电梯中有人员时,人员发出声音,可以获得一定数量的差值满足阈值条件的当前音频帧,当故障电梯中无人员时,获得的当前音频帧与背景音频帧相似,差值满足阈值条件的当前音频帧很少,通过累计差值满足阈值条件的当前音频帧数量,可以判断是否发生电梯困人事件,相比于视频信号的处理过程,声音信号的处理过程更为简单,可以利用较低配置的设备实现电梯困人事件的检测,降低设备成本。
可选的,采集电梯轿厢内部的背景音频数据的步骤和获取电梯轿厢内部的背景图像的步骤可以并行执行,采集电梯轿厢内部的当前音频数据的步骤和获取电梯轿轿厢内部的当前图像的步骤可以并行执行。
在电梯处于故障状态时,可能存在电梯内部没有人员,但是有离散噪声,累计差值大于等于第一阈值的当前音频帧数,在累计的当前音频帧数大于等于第二阈值时判定发生电梯困人事件,可以防止在有离散噪声场景下的误判。第一阈值和第二阈值可以根据实际应用场景进行调节。
在其中一个实施例中,采集的背景音频数据和当前音频数据的采样参数类型相同,采样参数类型包括音频帧时长、音频采样总时长和音频帧中的采样电平个数。
在本实施例中,采集的背景音频数据和当前音频数据的采样参数类型相同,如音频帧时长、音频采样总时长、音频帧中的采样电平个数相同,可以在同一采样参数类型的前提下比较背景音频和当前音频,从而准确识别出当前音频中是否有电梯内人员所发出的音频。
在其中一个实施例中,电梯困人事件的检测方法还包括以下步骤:
在累计的当前音频帧数小于第二阈值时,获取当前音频采样总时长;
在当前音频采样总时长超过预设时长时,将累计的音频帧数清零。
在本实施例中,在电梯处于故障状态时,可能存在电梯内部没有人员,但是有离散噪声,离散噪声的存在可能使当前音频帧满足差值大于等于第一阈值,但需要较长的音频采样总时长才能使累计的音频帧数大于等于第二阈值,因此,在累计的当前音频帧数小于第二阈值时,可以获取当前音频采样总时长,在当前音频采样总时长超过预设时长时,将累计的音频帧数清零,可以消除离散噪音的影响,使利用音频判断电梯困人事件更加准确。
可选的,将累计的音频帧数清零后,当前音频采样总时长也清零,开始重新计算。
在其中一个实施例中,根据背景音频数据计算背景音频帧的短时电平变化量的步骤包括以下步骤:
根据背景音频数据计算背景音频帧中相邻两个音频数据的短时电平变化量,并根据背景音频帧中所有短时电平变化量计算背景音频帧的短时电平平均变化量;
获取当前音频帧的短时电平变化量与背景音频帧的短时电平变化量的差值的步骤包括以下步骤:
获取当前音频帧的短时电平变化量与背景音频帧的短时电平平均变化量的差值。
在本实施例中,对背景音频帧的短时电平变化量进行了平均化处理,由于在电梯处于空闲待召状态时采集的电梯轿厢内部的背景音频数据中可能含有噪音数据,噪音数据的存在会使后续计算的背景音频帧的短时电平变化量偏高,从而减小当前音频帧的短时电平变化量与背景音频帧的短时电平变化量的差值,将背景音频帧的短时电平变化量进行平均化处理,可以避免背景音频数据中噪音数据的影响,差值更能体现当前音频帧与背景音频帧的区别。
可选的,背景音频帧中的相邻两个音频数据可以是相邻两个采样电平值。
可选的,背景音频帧的短时电平平均变化量可以是多个背景音频帧中所有短时电平变化量的平均量。
在其中一个实施例中,根据背景音频数据计算背景音频帧的短时电平平均变化量的步骤包括以下步骤:
根据公式计算背景音频的短时电平平均变化量;
式中,Lb为背景音频帧的短时电平平均变化量,Tf为背景音频帧时长,Tt为背景音频采样总时长,K为背景音频帧中的采样电平个数,Pn+1、Pn为背景音频帧中的采样电平值。
在本实施例中,背景音频帧时长、背景音频采样总时长、背景音频帧中的采样电平个数、背景音频帧中的采样电平值等数据可以在采集电梯轿厢内部的背景音频数据时得到,上述公式计算过程简单,可以快速得到背景音频帧的短时电平平均变化量。
在其中一个实施例中,电梯困人事件的检测方法还包括以下步骤:
根据公式计算背景音频帧中的采样电平个数,其中,Tf以毫秒为单位,SR为音频采样率。
在本实施例中,音频采样率可以在采集电梯轿厢内部的背景音频数据时得到,根据上述公式可以快速计算出背景音频帧中的采样电平个数。
在其中一个实施例中,根据当前音频数据计算当前音频帧的短时电平变化量的步骤包括以下步骤:
根据公式计算当前音频帧的短时电平变化量;
式中,L为当前音频帧的短时电平变化量,K′为当前音频帧中的采样电平个数,Pn,+1、Pn′为当前音频帧中的采样电平值。
在本实施例中,当前音频帧中的采样电平个数、采样电平值可以在采集电梯轿厢内部的当前音频数据时得到,上述公式计算过程简单,可以快速得到当前音频帧的短时电平变化量。
在其中一个实施例中,采集电梯轿厢内部的当前音频数据的步骤与根据当前音频数据计算当前音频帧的短时电平变化量的步骤并行执行。
在本实施例中,采集电梯轿厢内部的当前音频数据时可以得到多个当前音频帧,计算短时电平变化量时也是针对多个当前音频帧,在得到一个当前音频帧后就可以计算其短时电平变化量,因此,采集电梯轿厢内部的当前音频数据的步骤与根据当前音频数据计算当前音频帧的短时电平变化量的步骤可以并行执行,如此可以缩短对音频数据的处理时间,提高音频处理效率。
在其中一个实施例中,判定发生电梯困人事件的步骤之后还包括以下步骤:
输出电梯困人报警信号。
在本实施例中,在判定发生电梯困人事件后,可以输出电梯困人报警信号,提醒电梯运维人员及时进行处理。还可以将电梯困人报警信号发送至对应电梯运维人员的移动终端,便于不在现场的电梯运维人员及时知晓电梯状况。
根据上述电梯困人事件的检测方法,本发明还提供一种电梯困人事件的检测系统,以下就本发明的电梯困人事件的检测系统的实施例进行详细说明。
参见图2所示,为本发明一个实施例的电梯困人事件的检测系统的结构示意图。该实施例中的电梯困人事件的检测系统包括:
背景获取单元201,用于在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
静态确定单元202,用于确定背景图像中的静态像素点位置;
图像获取单元203,用于在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,背景图像的获取方位和当前图像的获取方位相同,当前图像中的各像素点与背景图像中的各像素点一一对应;
差分处理单元204,用于对当前图像中的各像素点的像素值与背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
静态处理单元205,用于获取差分图像中的目标像素点,其中,目标像素点在差分图像中的位置与静态像素点位置相对应;确定目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积;
事件判定单元206,用于在区域面积的面积大于第二阈值时,判定发生电梯困人事件。
在其中一个实施例中,像素值为灰度值,背景获取单元201多次拍摄电梯轿厢内部的初始场景,得到多张初始图像,将多张初始图像转换为多张第一灰度图像,计算所有第一灰度图像中同一位置的像素点的灰度均值,根据所有像素点的灰度均值得到灰度均值图像,灰度均值图像为背景图像。
在其中一个实施例中,静态确定单元202按照拍摄的先后顺序,依次计算相邻两张第一灰度图像中同一位置的像素点的第一灰度变化量;
针对多张第一灰度图像中的同一位置,获取该位置的像素点的所有第一灰度变化量的和值,在和值小于第一阈值时,判定该位置为静态像素点位置。
在其中一个实施例中,静态确定单元202确定和值大于或等于第一阈值的各待选像素点,对所有待选像素点进行连通区域检测,获取第一连通区域,计算第一连通区域的面积;在第一连通区域的面积小于第三阈值时,判定第一连通区域中的各待选像素点的位置为静态像素点位置。
在其中一个实施例中,静态处理单元205对所有待用像素点进行连通区域检测,获取第二连通区域,计算第二连通区域的面积,区域面积为第二连通区域的面积。
在其中一个实施例中,静态确定单元202赋予所有待选像素点最高像素值,在背景图像中对最高像素值的像素点进行连通区域检测;
静态处理单元205赋予所有待用像素点最高像素值,在差分图像中对最高像素值的像素点进行连通区域检测。
在其中一个实施例中,图像获取单元203拍摄电梯轿轿厢内部的当前场景,得到目标图像,将目标图像转换为第二灰度图像,第二灰度图像为当前图像;
差分处理单元204计算当前图像和背景图像中同一位置像素点的第二灰度变化量,根据所有像素点的第二灰度变化量得到差分图像。
在其中一个实施例中,如图3所示,电梯困人事件的检测系统还包括:背景音频获取单元207、当前音频获取单元208和音频处理单元209;
背景音频获取单元207,用于在电梯处于空闲待召状态时,采集电梯轿厢内部的背景音频数据,根据背景音频数据计算背景音频帧的短时电平变化量;
当前音频获取单元208,用于在电梯处于故障状态时,采集电梯轿厢内部的当前音频数据,根据当前音频数据计算当前音频帧的短时电平变化量;
音频处理单元209,用于获取当前音频帧的短时电平变化量与背景音频帧的短时电平变化量的差值;累计差值大于等于第一阈值的当前音频帧数;
事件判定单元206,用于在累计的当前音频帧数大于等于第二阈值时,判定发生电梯困人事件。
在其中一个实施例中,采集的背景音频数据和当前音频数据的采样参数类型相同,采样参数类型包括音频帧时长、音频采样总时长和音频帧中采样电平个数。
在其中一个实施例中,音频处理单元209在累计的当前音频帧数小于第二阈值时,获取当前音频采样总时长;在当前音频采样总时长超过预设时长时,将累计的当前音频帧数清零。
在其中一个实施例中,背景音频获取单元207根据背景音频数据计算背景音频帧中相邻两个音频数据的短时电平变化量,并根据背景音频帧中所有短时电平变化量计算背景音频帧的短时电平平均变化量;
音频处理单元209获取当前音频帧的短时电平变化量与背景音频帧的短时电平平均变化量的差值。
在其中一个实施例中,背景音频获取单元207根据公式计算背景音频帧的短时电平平均变化量;式中,Lb为背景音频帧的短时电平平均变化量,Tf为背景音频帧时长,Tt为背景音频采样总时长,K为背景音频帧中的采样电平个数,Pn+1、Pn分别为背景音频帧中的采样电平值。
在其中一个实施例中,背景音频获取单元207根据公式计算背景音频帧中的采样电平个数,其中,Tf以毫秒为单位,SR为音频采样率。
在其中一个实施例中,当前音频获取单元208根据公式 计算当前音频帧的短时电平变化量;式中,L为当前音频帧的短时电平变化量,K′为当前音频帧中的采样电平个数,Pn′+1、Pn,分别为当前音频帧中的采样电平值。
在其中一个实施例中,当前音频获取单元208并行执行采集电梯轿厢内部的当前音频数据的步骤与根据当前音频数据计算当前音频帧的短时电平变化量的步骤。
本发明的电梯困人事件的检测系统与本发明的电梯困人事件的检测方法一一对应,在上述电梯困人事件的检测方法的实施例阐述的技术特征及其有益效果均适用于电梯困人事件的检测系统的实施例中。
根据上述电梯困人事件的检测方法,本发明实施例还提供一种可读存储介质和一种检测设备。可读存储介质上存储有可执行程序,该程序被处理器执行时实现上述电梯困人事件的检测方法的步骤;检测设备包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行程序,处理器执行程序时实现上述电梯困人事件的检测方法的步骤。
在一个具体的实施例中,如图4所示,电梯困人事件的检测方法可以是一种基于图像与声音结合进行电梯困人事件的检测方法,具有准确性高、运算量小、实时性强的特点。
首先,针对图像处理方面,由于电梯轿厢是封闭的空间,采用的是内部照明系统,因此,通常情况下电梯轿厢的环境是稳定的,对于电梯轿厢内安装在固定位置的摄像头来说,拍摄的背景也是固定的。但是,由于现在电梯广告的流行,电梯内往往存在一些广告海报,在某些电梯内可能还会安装有多媒体LCD,因此,还必须对这些情况进行相应的处理。对于广告海报,由于是静态的图像,一旦安装好短时间内便不会有变动,而多媒体LCD则在不停地播放视频,图像不断变化,会给后续的检测带来一定的影响。本方法生成确定图像变化较大的区域,并对该区域进行标记,从而降低图像变化较大的区域对后续检测带来的不利影响。
(1)背景图像的处理流程图如图5所示。
背景图像生成动作是在距离上次背景图像生成超过一段时间后才启动,且只在电梯正常空闲待召状态下进行。空闲待召状态是指电梯正常停在某个楼层,且没有内召和外召的状态。
当检测到空闲待召状态后,开始进行背景图像生成过程。首先,初始化背景掩模矩阵M,M的主要作用是标识在背景图像中哪些部分是动态图像,在后续的人物检测中进行特殊处理。背景掩模M采用与背景图像相同维度的数组表示,初始化时全部填充0。
控制摄像头以1秒为间隔连接拍摄5-10张图像,并将拍摄的所有图像转为灰度图像,记为G1,G2,……,Gn,其中G维度与M维度相同。
统计所有灰度图像G各像素的灰度变化量并存入M,采用以下公式:
其中,M(x,y)表示在坐标(x,y)处的灰度变化量,G(x,y)表示各图像在坐标(x,y)处的灰度值。
采用矩阵计算则有:
其中M是背景掩模矩阵,G是各图像相应的灰度矩阵。
各像素灰度变化量确定后,对M进行二值化处理,对于变化度大于等于阈值的像素点置255,小于的则置0。
其中T是灰度变化量阈值,根据经验进行设置。
对M进行灰度值为255的连通区域检测,如果连通区域面积小于阈值,则将该区域灰度值置为0。
统计G各像素点灰度均值生成背景图像B,维度与G相同。公式如下:
保存背景掩模M及背景图像B。
(2)人物检测。
当电梯发生故障且梯门关闭时,电梯内可能会困人事件,进入人物检测过程,流程图如图6所示。
当电梯发生故障且梯门未打开,则控制摄像头拍摄一张轿厢内照片,并将照片转为灰度图像G。
将G与B进行差分,即相减,生成差分图像D。
公式:D=|G–B|
对差分图像D进行二值化处理,处理时结合背景掩模矩阵M进行处理。
对差分图像D进行连通区域检测并截取连通区域,如果连通区域面积大于阈值,则判断为有人。
如果电梯内有人,则输出困人报警信号。
保存电梯轿厢内照片。
其次,针对音频处理方面,正常情况下,电梯轿厢内部是个比较安静的封闭空间,当发生困人事件时,往往被困人会发出声音进行呼喊或拍打电梯门,因此,如果我们检测到有声音,则可以判定电梯内困人。本方法的应用场景并不需要进行语音识别,为了计算简便,采用短时电平变化量进行音频检测。
为了使音频检测更为准确,同样在电梯空闲待召时进行背景音频采集,采集5~10秒音频,然后计算背景音频短时电平平均变化量Lb,计算公式:
式中,Lb是短时电平平均变化量,Tf是音频帧时长,Tt是指背景音采样总时长,K是指音频帧数据个数,与音频采样率相关,P是指音频数据,即采样电平值。K值由Tf及采样率R决定,如下:
式中,1000是指1000毫秒,Tf为音频帧时长,通常为20ms,SR为采样率,可以为8KHz,16KHz等等。采样时采用单声道采样。
当电梯发生故障且梯门关闭或需要进行音频检测时,进入音频检测流程,流程图如图7所示:
音频采样与音频分析并行执行,采样参数与采集背景音频时相同。
以音频帧为单位计算短时电平变化量,计算公式如下:
式中,L是指短时电平变化量,K是指音频帧数据个数,与音频采样率相关,P是指音频数据,即采样电平值。
计算当前音频帧电平变化量与背景音频短时平均电平变化量的差值L–Lb,如果L–Lb大于等于Lt,则C+1。其中Lt是电平变化量阈值,根据经验设置,C是L–Lb>=Lt的计数器。
如果C>=Ct,则判定为有人并退出流程,否则检查是否超时,超时则C重置0,未超时检测下一音频帧,当检测时间超过最大检测时间时,流程退出。Ct是计数阈值,根据经验设置。
本方法可以利用电梯内已安装的摄像头及对讲设备实现,且不会长时间占用设备;直接采用拍照实现,避免了视频的解码过程及由于视频编码而产生的图像信息丢失问题;计算简单,运算量小,实时性强,能够在低配置的嵌入式平台实现;能够保存电梯困人时的轿厢内部图像资料。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时,包括上述方法所述的步骤。所述的存储介质,包括:ROM/RAM、磁碟、光盘等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种电梯困人事件的检测方法,其特征在于,包括以下步骤:
在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
确定所述背景图像中的静态像素点位置;
在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,所述背景图像的获取方位和所述当前图像的获取方位相同,所述当前图像中的各像素点与所述背景图像中的各像素点一一对应;
对所述当前图像中的各像素点的像素值与所述背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
获取所述差分图像中的目标像素点,其中,所述目标像素点在所述差分图像中的位置与所述静态像素点位置相对应;
确定所述目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积,在所述区域面积大于第二阈值时,判定发生电梯困人事件;
所述像素值为灰度值,所述获取电梯轿厢内部的背景图像的步骤包括以下步骤:
多次拍摄电梯轿厢内部的初始场景,得到多张初始图像,将多张所述初始图像转换为多张第一灰度图像,计算所有第一灰度图像中同一位置的像素点的灰度均值,根据所有像素点的灰度均值得到灰度均值图像,所述灰度均值图像为所述背景图像;
所述确定所述背景图像中的静态像素点位置的步骤包括以下步骤:
按照拍摄的先后顺序,依次计算相邻两张第一灰度图像中同一位置的像素点的第一灰度变化量;
针对多张第一灰度图像中的同一位置,获取该位置的像素点的所有第一灰度变化量的和值,在所述和值小于所述第一阈值时,判定该位置为静态像素点位置。
2.根据权利要求1所述的电梯困人事件的检测方法,其特征在于,还包括以下步骤:
确定所述和值大于或等于所述第一阈值的各待选像素点,对所有待选像素点进行连通区域检测,获取第一连通区域,计算所述第一连通区域的面积;
在所述第一连通区域的面积小于第三阈值时,判定所述第一连通区域中的各待选像素点的位置为静态像素点位置。
3.根据权利要求2所述的电梯困人事件的检测方法,其特征在于,所述计算所有待用像素点所在区域的区域面积的步骤包括以下步骤:
对所有待用像素点进行连通区域检测,获取第二连通区域,计算所述第二连通区域的面积,所述区域面积为所述第二连通区域的面积。
4.根据权利要求3所述的电梯困人事件的检测方法,其特征在于,所述对所有待选像素点进行连通区域检测的步骤包括以下步骤:
赋予所有待选像素点最高像素值,在所述背景图像中对最高像素值的像素点进行连通区域检测;
所述对所有待用像素点进行连通区域检测的步骤包括以下步骤:
赋予所有待用像素点最高像素值,在所述差分图像中对最高像素值的像素点进行连通区域检测。
5.根据权利要求1所述的电梯困人事件的检测方法,其特征在于,所述获取电梯轿轿厢内部的当前图像的步骤包括以下步骤:
拍摄电梯轿轿厢内部的当前场景,得到目标图像,将所述目标图像转换为第二灰度图像,所述第二灰度图像为所述当前图像;
所述对所述当前图像中的各像素点的像素值与所述背景图像中对应的各像素点的像素值进行差分处理,得到差分图像的步骤包括以下步骤:
计算所述当前图像和所述背景图像中同一位置像素点的第二灰度变化量,根据所有像素点的第二灰度变化量得到所述差分图像。
6.一种电梯困人事件的检测系统,其特征在于,包括:
背景获取单元,用于在电梯处于空闲待召状态时,获取电梯轿厢内部的背景图像;
静态确定单元,用于确定所述背景图像中的静态像素点位置;
图像获取单元,用于在电梯处于故障状态时,获取电梯轿轿厢内部的当前图像,其中,所述背景图像的获取方位和所述当前图像的获取方位相同,所述当前图像中的各像素点与所述背景图像中的各像素点一一对应;
差分处理单元,用于对所述当前图像中的各像素点的像素值与所述背景图像中对应的各像素点的像素值进行差分处理,得到差分图像;
静态处理单元,用于获取所述差分图像中的目标像素点,其中,所述目标像素点在所述差分图像中的位置与所述静态像素点位置相对应;确定所述目标像素点中像素值大于或等于第一阈值的各待用像素点,计算所有待用像素点所在区域的区域面积;
事件判定单元,用于在所述区域面积大于第二阈值时,判定发生电梯困人事件;
所述像素值为灰度值,所述背景获取单元多次拍摄电梯轿厢内部的初始场景,得到多张初始图像,将多张所述初始图像转换为多张第一灰度图像,计算所有第一灰度图像中同一位置的像素点的灰度均值,根据所有像素点的灰度均值得到灰度均值图像,所述灰度均值图像为所述背景图像;
所述静态确定单元按照拍摄的先后顺序,依次计算相邻两张第一灰度图像中同一位置的像素点的第一灰度变化量;针对多张第一灰度图像中的同一位置,获取该位置的像素点的所有第一灰度变化量的和值,在所述和值小于所述第一阈值时,判定该位置为静态像素点位置。
7.根据权利要求6所述的电梯困人事件的检测系统,其特征在于,所述静态确定单元确定所述和值大于或等于所述第一阈值的各待选像素点,对所有待选像素点进行连通区域检测,获取第一连通区域,计算所述第一连通区域的面积;在所述第一连通区域的面积小于第三阈值时,判定所述第一连通区域中的各待选像素点的位置为静态像素点位置。
8.根据权利要求7所述的电梯困人事件的检测系统,其特征在于,所述静态处理单元对所有待用像素点进行连通区域检测,获取第二连通区域,计算所述第二连通区域的面积,所述区域面积为所述第二连通区域的面积。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,该程序被处理器执行时实现权利要求1至5中任意一项所述的电梯困人事件的检测方法的步骤。
10.一种检测设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的可执行程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5中任意一项所述的电梯困人事件的检测方法的步骤。
CN201710560885.4A 2017-07-11 2017-07-11 电梯困人事件的检测方法、系统、可读存储介质和设备 Active CN107324166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710560885.4A CN107324166B (zh) 2017-07-11 2017-07-11 电梯困人事件的检测方法、系统、可读存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710560885.4A CN107324166B (zh) 2017-07-11 2017-07-11 电梯困人事件的检测方法、系统、可读存储介质和设备

Publications (2)

Publication Number Publication Date
CN107324166A CN107324166A (zh) 2017-11-07
CN107324166B true CN107324166B (zh) 2019-05-21

Family

ID=60196779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710560885.4A Active CN107324166B (zh) 2017-07-11 2017-07-11 电梯困人事件的检测方法、系统、可读存储介质和设备

Country Status (1)

Country Link
CN (1) CN107324166B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165688A1 (en) * 2022-03-02 2023-09-07 Kone Corporation A solution for detecting an entrapment situation inside an elevator car

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108897421A (zh) * 2018-06-19 2018-11-27 芜湖美智空调设备有限公司 电子设备及其控制方法、装置和计算机可读存储介质
CN109292573B (zh) * 2018-11-30 2020-12-22 日立楼宇技术(广州)有限公司 一种制动器线圈检测方法、装置、设备和存储介质
CN109867186B (zh) * 2019-03-18 2020-11-10 浙江新再灵科技股份有限公司 一种基于智能视频分析技术的电梯困人检测方法及系统
CN112225020B (zh) * 2020-10-22 2022-12-09 日立楼宇技术(广州)有限公司 一种电梯控制方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5387768A (en) * 1993-09-27 1995-02-07 Otis Elevator Company Elevator passenger detector and door control system which masks portions of a hall image to determine motion and court passengers
JP2003040541A (ja) * 2001-07-24 2003-02-13 Itochu Corp エレベータの閉じ込め監視装置
CN1919711A (zh) * 2006-09-20 2007-02-28 浙江工业大学 基于图像、语音识别技术的电梯内防暴力装置
CN100596192C (zh) * 2007-09-17 2010-03-24 深圳先进技术研究院 一种基于视频的智能数人系统及其处理方法
CN103771207B (zh) * 2014-01-09 2016-04-20 深圳市汇川技术股份有限公司 电梯轿厢人员检测系统及方法
CN106144801B (zh) * 2015-04-03 2021-05-18 奥的斯电梯公司 用于特殊乘客运输工具负载状况的基于深度传感器的感测

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165688A1 (en) * 2022-03-02 2023-09-07 Kone Corporation A solution for detecting an entrapment situation inside an elevator car

Also Published As

Publication number Publication date
CN107324166A (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN107324166B (zh) 电梯困人事件的检测方法、系统、可读存储介质和设备
CN106951346B (zh) 一种响应时间的测试方法和装置
CN105139858B (zh) 一种信息处理方法及电子设备
US8365871B2 (en) Electronic device and method for monitoring an elevator
CN105141853A (zh) 图像处理方法以及电子设备
CN110880172A (zh) 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN110647822A (zh) 高空抛物行为识别方法、装置、存储介质及电子设备
CN112560547A (zh) 一种异常行为判定方法、装置、终端及可读存储介质
CN105828065B (zh) 一种视频画面过曝检测方法及装置
KR20090086898A (ko) 비디오 카메라를 사용한 연기 검출
CN107487677B (zh) 电梯困人事件的检测方法和系统
CN102762479B (zh) 电梯装置
EP4300417A1 (en) Method and apparatus for evaluating image authenticity, computer device, and storage medium
WO2017218179A1 (en) Indoor/outdoor coverage detection based on sensor inputs
CN109993946A (zh) 一种监控告警方法、摄像头、终端、服务器及系统
CN110189355A (zh) 安全疏散通道占用检测方法、装置、电子设备及存储介质
CN112183449B (zh) 一种驾驶员身份验证方法、装置、电子设备及存储介质
US20220246015A1 (en) Fall detection method and apparatus, and wearable device
CN107146252A (zh) 一种大数据图像处理装置
CN109297626B (zh) 腿部拉力实时测量机构
CN115845350B (zh) 一种用于立定跳远自动测距的方法及系统
CN110427885A (zh) 铭牌的检测方法、装置及计算机可读存储介质
CN115718830A (zh) 训练信息抽取模型的方法、信息抽取方法及对应装置
CN111382646A (zh) 一种活体识别方法、存储介质及终端设备
CN109544854A (zh) 火灾检测方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Nanxiang three road, Science City high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 2 510660

Applicant after: Hitachi building technologies (Guangzhou) Co. Ltd.

Address before: Nanxiang Road three Guangzhou Science City 510660 high tech Industrial Development Zone, Guangdong city of Guangzhou province No. 2

Applicant before: Guangzhou Ropente Science and Technology Development Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant