CN112193957A - 基于tof光场设备的电梯门检测方法 - Google Patents
基于tof光场设备的电梯门检测方法 Download PDFInfo
- Publication number
- CN112193957A CN112193957A CN202010954703.3A CN202010954703A CN112193957A CN 112193957 A CN112193957 A CN 112193957A CN 202010954703 A CN202010954703 A CN 202010954703A CN 112193957 A CN112193957 A CN 112193957A
- Authority
- CN
- China
- Prior art keywords
- range
- tof
- door frame
- elevator
- elevator door
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0018—Devices monitoring the operating condition of the elevator system
- B66B5/0031—Devices monitoring the operating condition of the elevator system for safety reasons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
- B66B13/02—Door or gate operation
- B66B13/14—Control systems or devices
- B66B13/16—Door or gate locking devices controlled or primarily controlled by condition of cage, e.g. movement or position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B13/00—Doors, gates, or other apparatus controlling access to, or exit from, cages or lift well landings
- B66B13/24—Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers
- B66B13/26—Safety devices in passenger lifts, not otherwise provided for, for preventing trapping of passengers between closing doors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0037—Performance analysers
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Elevator Door Apparatuses (AREA)
Abstract
本发明涉及一种基于TOF光场设备的电梯门检测方法,方法包括:接收到电梯控制系统发出的检测指令,获取包括电梯门框范围内光场的深度信息图,深度信息图为TOF光场设备对TOF深度数据传感器采集的经由电梯门框范围的光场处理后的深度数据;根据预先获取的原始检测范围图信息,从深度信息图中截取与电梯门框范围对应的采样范围图;根据预先获取的原始检测范围图信息,对采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号;原始检测范围图信息为在范围标定模式下获取的电梯门框对应的灰度图信息。上述方法解决了现有技术中红外光幕技术检测电梯门框时存在盲区的缺陷。
Description
技术领域
本发明涉及电梯门检测技术领域,尤其涉及一种基于TOF光场设备的电梯门检测方法及电梯门安全检测系统。
背景技术
电梯门在驱动装置的控制下自动开关,在关闭过程中,如果有乘客或其他物体位于电梯轿门位置,就存在被门碰撞或夹住的风险。根据GB7588-2003中8.7.2.1.1.3的规定,轿门关闭过程中,一个门检测保护装置应检测轿门位置的人或物体,并根据情况自动地停止关门并重新开启。此门检测保护装置的设计难点在于人或物的自动检测部分。
当前,电梯门系统安全性能不断提高,门检测方式由机械触板的机械开关动作方式进化至目前普遍使用的红外线光幕方式的非触碰式信号检测方式。光幕检测的结构是在电梯门两边装上红外发射器和接收器,然后发出红外线“织”成光幕。在电梯门关闭过程中,如果有人或者物体接触到光幕,就会隔断红外线,接收器就会做出开门动作。
目前常用的电梯门检测红外光幕系统,安装在电梯的两侧轿门上,一侧是发射端光眼,另一侧是接收端检测光眼,每一侧都包括多个光眼,以一定的间隔距离排布并固定在光幕条上。其中发射光眼发出红外光线,检测光眼进行接收,如果光幕中间的红外光被遮挡,就会引起电信号变化,电梯控制系统检测到该电信号变化就会发出指令使电梯门反向开启。
发射端光眼和接收端光眼分别安装在左右两扇门板上,并在门板的带动下运动,由于各个检测光眼的发射角是一定的,因此在门关闭的过程中,当发射端检测光眼和接收端检测光眼的距离较大时,一个发射端的检测光眼能同时照射到多个接收端的检测光眼,这时就形成了交叉光,提高检测密度和安全性。但是,关门过程中光程缩短,发射端检测光眼和接收端检测光眼的距离减小时,一个发射光眼只能对应到更少甚至只有一个检测光眼,此时的光线是多道平行光,检测物一旦小于发射端竖直相邻的两个检测光眼之间的物理距离,就无法被检测出来,因此存在一定的检测盲区。
目前,电梯门光幕厂家只能通过增加光眼数量、减少竖直相邻的两个光眼之间的物理距离来提高检测准确率、缩小检测盲区,但是无论怎么增加光眼数量,在物理安装空间上无法做到整条光幕条上全部是光眼,盲区不会小到比牵狗绳或裙子系带还细小,容易造成夹人夹物事故。同时红外光幕还存在受环境光和物体颜色材质影响大、体积尺寸大等问题。
现有技术红外光幕检测的技术存在的问题如下:
1.红外光幕技术的盲区无法避免,只能通过增加检测光眼的数量来加密光栅的条数,减小盲区的尺寸,但是从原理上永远无法消减盲区的存在;同时更多更密集的发射接收光眼也带来了成本问题。
2.电梯门逐渐关闭时,发射的散射光线逐渐成为直射光束(光路缩短),此时光幕系统只能主动关闭部分接受光眼的扫描,造成更大的盲区。因此关门过程中光幕的盲区会逐渐增大,容易造成夹人事故。
此外,电梯门顶部和底部由于安装问题,一般都有25mm-150mm的高度,根本就无红外线对射,因此这两部分的盲区也无法消减。
3.经常来回运动的电梯门,对安装在电梯门框范围内的检测系统经常造成震动,容易损坏,增加了维保成本,还缩短了产品使用寿命。
4.由于黑体会吸收对射的红外线,透明物体会被红外线穿透,从而最终的结果无法检测黑体和玻璃等透明物体,从而造成安全故障。
5.在观光电梯,户外电梯应用场合,日光或电梯背景杂光中相似波长的红外光照射到红外接收器,造成虽有物体阻挡,红外光幕仍发出正常接收信号,也形成盲区。
发明内容
鉴于现有技术的上述缺点、不足,本发明提供一种基于TOF光场设备的电梯门检测方法及电梯门安全检测系统,其解决了现有技术中红外光幕技术检测存在盲区的缺陷。
为了达到上述目的,本发明采用的主要技术方案包括:
第一方面,本发明实施例提供一种基于TOF光场设备的电梯门检测方法,TOF光场设备安装在电梯框架上且检测视场覆盖电梯门框范围,所述方法包括:
接收到电梯控制系统发出的检测指令,获取包括电梯门框范围内光场的深度信息图,所述深度信息图为TOF光场设备对TOF深度数据传感器采集的经由电梯门框范围的光场处理后的深度数据,所述TOF深度数据传感器为所述TOF光场设备的面阵传感器;
根据预先获取的原始检测范围图信息,从所述深度信息图中截取与电梯门框范围对应的采样范围图;
根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号;
其中,所述原始检测范围图信息为在范围标定模式下获取的电梯门框对应的灰度图信息。
本发明实施例中采用TOF光场设备进行电梯门框的门检测保护,可以做到电梯门区域的全域覆盖,没有固有盲区,实现了电梯门框的安全检测,同时,基于预先获取的原始检测范围图信息精确区分电梯门框检测范围,可防止漏报和误报,提高了检测准确率,且降低了成本。
可选地,在接收到电梯控制系统发出的检测指令之前,还包括:
在所述TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息;
所述原始检测范围图信息包括:电梯门框对应的二维坐标范围、电梯门框的远端范围图和电梯门框的近端范围图;
所述远端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最远深度信息的灰度图;
所述近端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最近深度信息的灰度图。
可选地,根据预先获取的原始检测范围图信息,从所述深度信息图中截取与电梯门框范围对应的采样范围图,包括:
基于原始检测范围图信息中的二维坐标范围,从所述深度信息图中截取与所述二维坐标范围对应的采样范围图。
本发明中通过预先获取原始检测范围图信息的方式,以在正常工作模式中精确划分电梯门框检测范围,进而可对电梯门框检测范围的深度数据进行精确分析,使用中很好的降低了计算量,提高了计算速度,保证了检测准确性。
可选地,根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号,包括:
将采样范围图转化为采样范围灰度图;
将采样范围灰度图与远端范围图相减,获得远端差值图;
判断远端差值图中每一个光点的差值是否均大于设定阈值(该设定阈值可为零或一个较小的误差容忍数值);
若均大于设定阈值,则确定当前电梯门框范围内无障碍物阻挡;
否则,判断差值小于等于设定阈值的光点是否达到预设数量,和/或,判断差值小于等于设定阈值的光点所在范围的面积是否达到预设面积,若是,则确定当前电梯门框范围存在障碍物阻挡。
可选地,还包括:
将采样范围灰度图与近端范围图相减,得到近端差值图;
判断近端差值图中对应异常光点的数值,如果该数值大于设定阈值,则确定属于障碍物阻挡;如果所述数值小于等于设定阈值,则确定属于设备故障信息,异常光点为远端差值图中小于等于设定阈值的差值对应的光点。
可选地,还包括:
在确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号;
在确定存在设备故障信息时,向电梯控制系统发送故障告警信号;
或者,
在至少相邻两帧的采样范围图的分析过程中,均确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号;
在至少相邻两帧的采样范围图的分析过程中,均确定存在设备故障信息时,向电梯控制系统发送故障告警信号。
可选地,获取包括电梯门框范围内光场的深度信息图,包括:
TOF光场设备的光源根据检测指令向电梯门框范围发送调制光信号,
TOF光场设备的TOF深度数据传感器以预设的采样率采集经由电梯门框反射的调制光;
TOF光场设备对反射的调制光进行光电处理,并对光电处理后的电信号采用相移或时间算法处理,获得深度信息图。
可选地,在所述TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息,包括:
接收调试命令后,TOF光场设备切换工作模式为范围标定模式,并获取TOF光场设备检测的原始深度图;所述原始深度图为包括电梯门框范围的深度图;
接收采集指令一,依据采集指令一获取用于标定的采样图,所述用于标定的采样图为操作人员遮挡指定电梯门框一边界时的图;
采用遮挡电梯门框一边界的方式遍历电梯门框的所有边界,获取每一边界被遮挡时对应的采样图;
将所有的采样图和原始深度图进行对比处理,在原始深度图中识别电梯门框对应的二维坐标范围;
根据识别的二维坐标范围,截取对所述原始深度图,获得原始检测范围图;
根据所述原始检测范围图中的每一个光点与电梯门框相交的信息,获取远端范围图和近端范围图;
将原始检测范围图、远端范围图和近端范围图转换为灰度图,组成原始检测范围图信息以保存,并启动所述TOF光场设备的正常工作模式。
第二方面,本发明实施例还提供一种电梯门安全检测系统,包括:
TOF光场设备,位于电梯轿门和厅门之间的缝隙区域且固定在电梯框架上,所述TOF光场设备的水平FOV接收角度的视场覆盖电梯门框范围;
电梯控制系统,用于与所述TOF光场设备交互,控制TOF光场设备的启动和关闭,并根据所述TOF光场设备反馈的障碍物告警信号或故障告警信号,控制电梯轿门和厅门的开启或关闭;
所述电梯门安全检测系统执行上述第一方面任一所述的基于TOF光场设备的电梯门检测方法。
可选地,所述TOF光场设备固定时,所述TOF光场设备所属的垂直线与电梯门框最近的水平距离D,所述TOF光场设备所属的水平线与电梯门框最近的垂直距离H和所述TOF光场设备与该水平线的倾斜角度K相互依托;
和/或,TOF光场设备的厚度小于内外轿门间距即电梯轿门和厅门之间的缝隙区域(约为20mm),通过支架方式固定在轿门和厅门之间的电梯框架上或者轿门上。第三方面,本发明实施例还提供一种电梯,包括:上述第二方面所述的电梯门安全检测系统。
本发明的方法中,TOF光场设备可以对整个光场范围内同时做检测,将电梯门框范围作为光场范围的一部分,进而实现对电梯门框范围的监测,由于光场是一个高分辨率的范围,无盲区,进而对电梯门框范围的光场的分析中也解决了现有技术中电梯门检测存在盲区的缺陷。
在本发明实施例中,TOF光场设备位于电梯轿门的侧方且随着轿门移动,由此,本实施例中TOF光场设备发出的光线直接监测到电梯轿门地坎和顶部位置,避免现有技术方案在这两个区域的固有盲区问题。
进一步地,在实际的光场分析中,TOF光场设备是一个高速多次检测的装置,检测频率可以高达50FPS(每秒帧率,frame per second),通过对多连续帧的深度图的分析,可以解决传统光幕系统红外线对黑色物体、透明物体或其他材质表面不敏感的问题,较好的检测透明物体或黑色物体的障碍物。
在电梯门安全检测系统中,TOF光场设备体积小,安装方便,固态发光和测量,静态使用,较好的降低成本,且保证光场检测的稳定性。
附图说明
图1均为本发明一实施例提供的电梯门安全检测系统的结构示意图;
图2和图3分别为本发明一实施例提供的TOF光场设备的侧装示意图;
图4为本发明一实施例提供的TOF光场设备的安装参数的示意图;
图5至图8分别为本发明一实施例提供的范围标定模式下识别电梯门框范围的示意图;
图9为本发明一实施例提供的基于TOF光场设备的电梯门检测方法的流程示意图;
图10为本发明一实施例提供的基于TOF光场设备的电梯门检测方法的流程示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
为了更好的理解上述技术方案,下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更清楚、透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例采用的是飞秒技术(Time of Flight,简称TOF)原理,来构建一种无盲区的电梯安全光幕。其原理是采用固态TOF面阵传感器电路和特定的光线发射电路,发射一定角度范围的红外光线(例如,可以采用850nm或者940nm的红外光),形成一个光场。光场内的发射光线,经由被测物体反射后回到TOF面阵传感器,根据发射光线和接收光线之间的时间差或者相位变化,计算出光场内光线的整体飞行距离。本申请中的TOF光场设备(如TOF相机)是在同一时间得到三维光场范围内整幅立体图像的深度信息,即三维空间的z坐标轴信息。
TOF面阵传感器包括:连续波TOF系统使用的CMOS传感器和脉冲TOF系统使用的非CMOS传感器(主要是CCD)两种。这两种传感器均可以无差别地同时检测由水平视场角FOV和垂直视场角FOV确定的特定三维空间中所有物体的z轴(深度)信息。
本申请中将上述飞秒技术应用于电梯安全检测系统中,基于TOF面阵传感器可以监测三维空间的物体深度信息的原理,在三维空间中标定电梯门对应的虚拟二维平面,在有障碍物穿越该虚拟二维平面时能准确检测的检测系统。该检测系统可以做到电梯门区域的全域覆盖,没有盲区,是真正意义上的安全检测系统。
当前,电梯门检测的范围是一个包括厅门侧边、轿门侧边和两门夹缝的立方体检测范围,在三维的TOF光场设备的检测中如何精确区分电梯门检测范围,并防止漏报和误报是当前检测技术的难点。
实施例一
结合图1和图2所示,本发明实施例提供一种电梯门安全检测系统,该电梯门安全检测系统可包括:TOF光场设备和电梯控制系统;
TOF光场设备位于电梯轿门和厅门之间的缝隙区域且固定在电梯框架上,所述TOF光场设备的水平FOV接收角度的视场覆盖电梯门框范围。该TOF光场设备并不随着电梯轿门的运动而运动,例如TOF光场设备固定在轿门两侧方固定在电梯框架的支架上。
电梯控制系统,用于与所述TOF光场设备交互,控制TOF光场设备的启动和关闭,并根据所述TOF光场设备反馈的障碍物告警信号或故障告警信号,控制电梯轿门和厅门的开启或关闭。
在本实施例中,TOF光场设备可包括:发出调制光的光源(如红外LED或VCSEL光源)、面阵传感器即TOF面阵传感器,通过镜头接收探测视场反射的调制光,控制器;其中光源和面阵传感器均连接控制器。
控制器控制光源发出调制光,同时对面阵传感器接收的光信息进行处理,识别电梯门框内是否存在障碍物,如下实施例二至实施例四所示的检测方法。
在本实施例中,TOF光场设备通过电梯主控板接口和SPI调试接口连接电梯控制系统,进而电梯控制系统依据SPI调试接口控制TOF光场设备的工作参数,或接收TOF光场设备反馈的故障告警信号或障碍物告警信号。
在具体实现过程中,TOF光场设备和电梯控制系统的信号格式可预先由电梯控制系统进行设置。
具体地,电梯门安全检测系统可执行下述的基于TOF光场设备的电梯门检测方法。
在具体实现过程中,为达到电梯门检测无盲区的需求,本实施例中将TOF光场设备侧装在电梯轿门和厅门之间的夹缝中,例如可位于电梯门框两侧预设距离的侧方垂直线上的支架上。例如,TOF光场设备固定时,所述TOF光场设备所属的垂直线与电梯门框最近的水平距离D,所述TOF光场设备所属的水平线与电梯门框最近的垂直距离H和所述TOF光场设备与该水平线的倾斜角度K相互依托,例如,可根据水平距离D和倾斜角度K确定垂直距离H;或者,根据水平距离D和垂直距离确定倾斜角度K等,即给出两个参数即可确定下一个参数。
也就是说,TOF光场设备的水平距离D根据TOF光场设备的水平FOV角度和电梯现场环境确定。
TOF光场设备所在的垂直高度/垂直距离H根据TOF光场设备的水平FOV接收角度和现场环境确定。
TOF光场设备的倾斜角度K根据TOF光场设备的水平FOV接收角度和垂直距离H确定。
如图3所示,通过调整适当的水平距离D,垂直高度/距离H和倾斜角度K,从而可将电梯门框区域完全覆盖在TOF光场设备的水平FOV接收角度的视场里面。由此,可以实现通过小于90度的光场水平FOV接收角度,就可以做到对电梯安全范围的无盲区覆盖检测。
举例来说,侧装方式要求TOF光场设备的厚度小于20mm(即小于电梯轿门和厅门间缝隙宽度),最优的TOF光场设备的尺寸可为15mm左右,这样可以直接安装在层门即厅门和轿厢门之间的夹缝空间,并固定在电梯框架侧方的安装支架上。以TOF光场设备的水平FOV接收角度为78度,电梯高2米,安装在侧上方,如图4所示,根据下述的计算过程可获知安装距离D为0.42米以上。
x/2=tg12°
x=2*tg12°=2*0.21=0.42m。
由此,在实际应用中,侧装在轿门上的TOF光场设备可以实现对电梯门框范围的检测,且实现对电梯门框范围的无盲区的检测,具体检测方法可如下实施例二和实施例三的描述。
在本实施例中,依据TOF光场设备的安装位置,可实现FOV视角范围内都包括电梯门框范围,即TOF光场设备发出的光线直接监测到电梯轿门地坎和顶部位置,避免现有技术方案在这两个区域的固有盲区问题。
针对电梯门安全检测系统,TOF光场设备体积小,安装方便,固态发光和测量,静态使用,故障率大大降低,产品寿命延长。
实施例二
为了更好的理解本发明实施例中电梯门安全检测系统的检测过程,下面结合图5至图8先对电梯门安全检测系统正常使用之前的检测范围标定过程进行详细说明。
TOF光场设备的检测原理是基于红外光的发射和反射,在实际应用中可能会受到周围环境光线或透明物体等的环境影响。为了排除环境干扰,本实施例中在安装TOF光场设备时预先标定电梯门框的检测范围,并记录无障碍物情况下的基准深度图即原始检测范围图,可有助于TOF设备工作状态时的障碍物灵敏检测。
如图5所示,TOF光场设备安装在电梯轿门和厅门之间,TOF光场设备的发射光在这个缝隙内传播并反射,其检测范围默认是一个大于门框范围的圆锥形范围,该范围内物体的反射光都会被TOF面阵传感器接收并反映在深度图中。但电梯门安全检测关注的只有电梯门框范围,为了最大程度保证检测的精度,并减少安装使用过程的不确定性,需要在TOF光场设备安装时标定电梯门框范围。
在实际应用中,电梯门框范围的标定过程可包括如下的步骤:
第一步:安装人员的安装设备(手机或电脑)运行TOF光场设备的图形界面系统设置软件,借助于电梯控制系统发送调试命令使TOF光场设备进入设置模式,由安装人员确认电梯门框内无其它障碍物,并将TOF光场设备设置进入范围标定模式。
具体实现过程中,电梯控制系统可通过SPI电缆连接TOF光场设备,并通过SPI电缆的调试接口发送调试命令至TOF光场设备。
第二步:TOF光场设备获取如图5所示的扇形范围的深度图,称为原始深度图。
在本实施例中的原始深度图可为原始深度信息图,本实施例中为了较好的区分,统一使用原始深度图。
在记录原始深度图时TOF光场设备可发出提示信息如声音提示信号。TOF光场设备安装的位置是电梯内外门之间的缝隙,因此该原始深度图是一个从TOF光场设备出发的锥形区域,如图6所示。
第三步:在电梯门框的内外门缝上分四次贴上遮光带,每次各遮挡电梯门框的一边,即图6中矩形门框的四条边。在每四次遮光条遮挡的情况下,安装人员可以安装设备(手机或电脑)的设置软件中进行控制采样,通过这四次采样的深度图像中遮光条的位置,跟第二步中的原始深度图对比,可以得到图7(a)中黑色加粗线条对应的电梯门框范围。从TOF光场设备的角度(侧面)看,电梯门框范围是一个较窄的矩形区域,如图7(b)所示,本实施例中将电梯门框范围对应的这个区域叫做原始检测范围图。
原始检测范围图这个矩形范围对应了电梯门框侧面看到的电梯门框,范围内的每个点都有一个二维坐标,为此,可以得到电梯门框对应的二维坐标范围。
第四步:原始检测范围图内每一个光点,都有一条光射线从侧面穿过电梯门框。该射线与电梯门框相交两次。如图8中的点A及其对应的射线。任意一条范围内的射线,与门框相交两次,都可以得到这个点的最远深度和最近深度信息。
为此,利用上一步中的四幅遮挡采样图,无论TOF光场设备的安装角度如何,都可以通过计算得到原始检测范围矩形内所有光点的最远深度和最近深度,得到远端范围图和近端范围图。
第五步:将前两步得到的检测范围的二维坐标范围和其中每个光点的远近点深度信息,转化为两幅灰度图像。这两幅灰度图像的范围是一样的,都对应了TOF光场设备从侧面所看到的电梯门框范围。它们的灰度信息则分别对应了范围内每个光点的最远深度和最近深度。灰度越深表示距离越远。
经过上面五步的设置和计算,TOF光场设备可以得到当前电梯门框范围的两幅灰度图,得到远端范围图和近端范围图。
运行TOF光场设备的图形界面系统设置软件向TOF设备发出保存并退出范围标定模式的命令,此后进入正常工作模式。
本实施例中,通过预先定义电梯门框对应的电视检测范围图,可以在后续检测过程中精确计算,防止漏报和误报,保证检测的准确性和安全性。
实施例三
TOF光场设备在工作模式下,电梯轿门打开直到完全关闭的时间段内,始终以设定好的采样率参数,持续接收TOF面阵传感器发送来的深度信息图(即带深度信息的点阵图),以进行障碍物检测。深度信息图包括了光场内光点的二维坐标信息和深度(距离)信息,可以看成是一种三维点阵数据。基于深度图的检测过程如图9所示。
图9示出了本发明一实施例提供的基于TOF光场设备的电梯门检测方法的流程示意图,在本实施例中,TOF光场设备安装在电梯轿门侧方且检测视场覆盖电梯门框范围,下述方法的执行主体为TOF光场设备,本实施例的方法包括下述步骤:
901、TOF光场设备接收到电梯控制系统发出的检测指令,获取包括电梯门框范围内光场的深度信息图。
在本实施例中,深度信息图可为TOF光场设备对TOF深度数据传感器采集的经由电梯门框范围的光场处理后的深度数据,所述TOF深度数据传感器为所述TOF光场设备的面阵传感器。
可理解的是,TOF深度数据传感器可为面阵传感器,其包括:连续波TOF系统使用的CMOS传感器和脉冲TOF系统使用的非CMOS传感器。这两种传感器均可以无差别地同时检测由水平视场角FOV和垂直视场角FOV确定的特定三维空间中所有物体的z轴(深度)信息,即物体距离TOF相机的距离。
举例来说,TOF光场设备的光源根据检测指令启动后,向电梯门框范围发送调制光信号,
TOF光场设备的TOF深度数据传感器以预设的采样率参数采集经由电梯门框反射的调制光;
TOF光场设备对反射的调制光进行光电处理,并对光电处理后的电信号采用相移或时间算法处理,获得深度信息图。
902、TOF光场设备根据预先获取的原始检测范围图信息,从所述深度信息图中截取与电梯门框范围对应的采样范围图。
在本实施例中,原始检测范围图信息包括:电梯门框范围的二维坐标范围、电梯门框的远端范围图和电梯门框的近端范围图。
举例来说,基于原始检测范围图信息中的二维坐标范围,从所述深度信息图中截取与所述二维坐标范围对应的采样范围图。
903、TOF光场设备根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号;
其中,所述原始检测范围图信息为在范围标定模式下获取的电梯门框对应的灰度图信息。
在实际应用中,在步骤901的接收到电梯控制系统发出的检测指令之前,上述方法还包括下述的图中未示出的步骤900:
900、在所述TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息;
在本实施例中,原始检测范围图信息包括:电梯门框范围的二维坐标范围、电梯门框的远端范围图和电梯门框的近端范围图;
所述远端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最远深度信息的灰度图;
所述近端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最近深度信息的灰度图。
在一种可能的实现方式中,上述步骤903可包括下述图中未示出的子步骤:
903-1、将采样范围图转化为采样范围灰度图;
903-2、将采样范围灰度图与远端范围图相减,获得远端差值图;
903-3、判断远端差值图中每一个光点的差值是否均大于设定阈值(如该设定阈值可以为零,或者零附近的一个误差区间);
若均大于设定阈值,则确定当前电梯门框范围内无障碍物阻挡;
否则,判断差值小于等于设定阈值的光点是否达到预设数量,和/或,判断差值小于等于设定阈值的光点所在范围的面积是否达到预设面积,若是,则确定当前电梯门框范围存在障碍物阻挡。该预设数量可为两个或五个等,预设面积可为1mm2。
进一步地,还可包括下述的子步骤903-4和子步骤903-5:
903-4、将采样范围灰度图与近端范围图相减,得到近端差值图;
903-5、判断近端差值图中对应异常光点的数值,如果该数值大于设定阈值,则确定属于障碍物阻挡;如果所述数值小于等于设定阈值,则确定属于设备故障信息,异常光点为远端差值图中小于等于设定阈值的差值对应的光点。
在具体实现过程中,在确定存在障碍物阻挡时,所述TOF光场设备向电梯控制系统发送障碍物告警信号;
如果检测的目标存在黑色物体或透明物体,为防止存在误检测或漏检测,则在至少相邻两帧的采样范围图的分析过程中,均确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号。
此外,在确定存在设备故障信息时,所述TOF光场设备向电梯控制系统发送故障告警信号;
或者,在至少相邻两帧的采样范围图的分析过程中,均确定存在设备故障信息时,向电梯控制系统发送故障告警信号。
本实施例中采用TOF光场设备进行电梯门框的门检测保护,可以做到电梯门区域的全域覆盖,没有固有盲区,实现了电梯门框的安全检测,同时,基于预先获取的原始检测范围图信息精确区分电梯门框检测范围,可防止漏报和误报,提高了检测准确率,且降低了成本。
实施例四
如图10所示,图10示出了本发明另一实施例提供的基于TOF光场设备的电梯门检测方法的流程示意图,下述方法的执行主体为TOF光场设备,本实施例的方法包括下述步骤:
1001、在TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息。
举例来说,该步骤可包括下述的子步骤:
1001-1、接收调试命令后,TOF光场设备切换工作模式为范围标定模式,并获取TOF光场设备检测的原始深度图;所述原始深度图为包括电梯门框范围的深度图;
1001-2、接收采集指令一,依据采集指令一获取用于标定的采样图,所述用于标定的采样图为操作人员遮挡指定电梯门框一边界时的图;
1001-3、采用遮挡电梯门框一边界的方式遍历电梯门框的所有边界,获取每一边界被遮挡时对应的采样图;
1001-4、将所有的采样图和原始深度图进行对比处理,在原始深度图中识别电梯门框范围对应的二维坐标范围;
1001-5、根据识别的二维坐标范围,截取对所述原始深度图,获得原始检测范围图;
1001-6、根据所述原始检测范围图中的每一个光点与电梯门框相交的信息,获取远端范围图和近端范围图;
1001-7、将原始检测范围图、远端范围图和近端范围图转换为灰度图,组成原始检测范围图信息以保存,并启动所述TOF光场设备的正常工作模式。
1002、TOF光场设备接收到电梯控制系统发出的检测指令,获取包括电梯门框范围内光场的深度信息图。
具体地,TOF光场设备的光源根据检测指令启动后,向电梯门框范围发送调制光信号,TOF光场设备的TOF深度数据传感器以预设的采样率参数采集经由电梯门框反射的调制光;
TOF光场设备对反射的调制光进行光电处理(如解调和光电转换),并对光电处理后的电信号采用相移或时间算法处理,获得深度信息图。
1003、TOF光场设备根据预先获取的原始检测范围图信息,从深度信息图中截取与电梯门框范围对应的采样范围图。
在本实施例中,原始检测范围图信息包括:电梯门框范围的二维坐标范围、电梯门框的远端范围图和电梯门框的近端范围图。
举例来说,基于原始检测范围图信息中的二维坐标范围,从所述深度信息图中截取与所述二维坐标范围对应的采样范围图。
也就是说,从当前采样的深度信息图内截取与原始检测范围图同样的二维坐标范围,称为采样范围图。这个采样范围图对应了电梯门框的范围。采样范围图在下述可转化为灰度图,其灰度信息反映的是当前采样得到的深度信息。
1004、TOF光场设备根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号。
具体地,该步骤可包括下述的子步骤:
1004-1、将采样范围图转化为采样范围灰度图;
1004-2、将采样范围灰度图与远端范围图相减,获得远端差值图;
1004-3、判断远端差值图中每一个光点的差值是否均大于设定阈值;
若均大于设定阈值,则确定当前电梯门框范围内无障碍物阻挡;
否则,判断差值小于等于设定阈值的光点是否达到预设数量,和/或,判断差值小于等于设定阈值的光点所在范围的面积是否达到预设面积,若是,则确定当前电梯门框范围存在障碍物阻挡。
也就是说,如果远端差值图上出现某点的差值小于设定,说明该点光线没有到达远端电梯门边缘,则应进一步检测该点周围一定范围内的其他点的差值是否同样为异常值,如果均存在异常,说明该区域内有障碍物。
通常,异常值的告警阈值可根据TOF面阵传感器的精度设置。
此外,当TOF光场设备在检测到障碍物发出告警时,可再做一次故障检测,如下子步骤1004-4和子步骤1004-5。
1004-4、将采样范围灰度图与近端范围图相减,得到近端差值图;
1004-5、判断近端差值图中对应异常光点的数值,如果该数值大于设定阈值,则确定属于障碍物阻挡;如果所述数值小于等于设定阈值,则确定属于设备故障信息,异常光点为远端差值图中小于等于设定阈值的差值对应的光点。
即,远端差值图中检测到的异常点及其附近几个点,在近端差值图中的差值应该大于设定阈值(表示光线正常穿越了电梯近端边缘)。如果差值小于设定阈值,则说明光线从TOF光场设备到电梯门近端边缘直接有障碍,这属于设备故障情况,应向电梯控制系统发出故障告警。
1005、在确定存在障碍物阻挡时,所述TOF光场设备向电梯控制系统发送障碍物告警信号。
当然,如果检测的目标存在黑色物体或透明物体,为防止存在误检测或漏检测,则在至少相邻两帧的采样范围图的分析过程中,均确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号。
即,为了提高检测精度和减少误报(障碍物接近透明或者体积非常小时),可在步骤1004中连续采样多帧采样范围灰度图,根据多次比较结果提高检测精度,并排除掉一些干扰,减少漏报率和误报率。
此外,在确定存在设备故障信息时,所述TOF光场设备向电梯控制系统发送故障告警信号。
本实施例的方法中,TOF光场设备可以对整个光场范围内同时做检测,光场是一个高分辨率的范围,无盲区,由此,可杜绝物体处在盲区时,传统离散型光幕无法测定导致夹人夹物事件发生的缺陷。同时,可以解决传统光幕系统红外线对黑色物体、透明物体或其他材质表面不敏感的问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中,这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用,仅是为了表述方便,而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。
Claims (11)
1.一种基于TOF光场设备的电梯门检测方法,其特征在于,TOF光场设备安装在电梯框架上且检测视场覆盖电梯门框范围,所述方法包括:
接收到电梯控制系统发出的检测指令,获取包括电梯门框范围内光场的深度信息图,所述深度信息图为TOF光场设备对TOF深度数据传感器采集的经由电梯门框范围的光场处理后的深度数据,所述TOF深度数据传感器为所述TOF光场设备的面阵传感器;
根据预先获取的原始检测范围图信息,从所述深度信息图中截取与电梯门框范围对应的采样范围图;
根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号;
其中,所述原始检测范围图信息为在范围标定模式下获取的电梯门框对应的灰度图信息。
2.根据权利要求1所述的方法,其特征在于,在接收到电梯控制系统发出的检测指令之前,还包括:
在所述TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息;
所述原始检测范围图信息包括:电梯门框对应的二维坐标范围、电梯门框的远端范围图和电梯门框的近端范围图;
所述远端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最远深度信息的灰度图;
所述近端范围图为TOF光场设备从侧面探测电梯门框内每一个光点的最近深度信息的灰度图。
3.根据权利要求2所述的方法,其特征在于,根据预先获取的原始检测范围图信息,从所述深度信息图中截取与电梯门框范围对应的采样范围图,包括:
基于原始检测范围图信息中的二维坐标范围,从所述深度信息图中截取与所述二维坐标范围对应的采样范围图。
4.根据权利要求2所述的方法,其特征在于,根据预先获取的原始检测范围图信息,对所述采样范围图进行分析,判断是否需要向电梯控制系统发送障碍物告警信号或故障告警信号,包括:
将采样范围图转化为采样范围灰度图;
将采样范围灰度图与远端范围图相减,获得远端差值图;
判断远端差值图中每一个光点的差值是否均大于设定阈值;
若均大于设定阈值,则确定当前电梯门框范围内无障碍物阻挡;
否则,判断差值小于等于设定阈值的光点是否达到预设数量,和/或,判断差值小于等于设定阈值的光点所在范围的面积是否达到预设面积,若是,则确定当前电梯门框范围存在障碍物阻挡。
5.根据权利要求4所述的方法,其特征在于,还包括:
将采样范围灰度图与近端范围图相减,得到近端差值图;
判断近端差值图中对应异常光点的数值,如果该数值大于设定阈值,则确定属于障碍物阻挡;如果所述数值小于等于设定阈值,则确定属于设备故障信息,异常光点为远端差值图中小于等于设定阈值的差值对应的光点。
6.根据权利要求5所述的方法,其特征在于,还包括:
在确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号;
在确定存在设备故障信息时,向电梯控制系统发送故障告警信号;
或者,
在至少相邻两帧的采样范围图的分析过程中,均确定存在障碍物阻挡时,向电梯控制系统发送障碍物告警信号;
在至少相邻两帧的采样范围图的分析过程中,均确定存在设备故障信息时,向电梯控制系统发送故障告警信号。
7.根据权利要求1所述的方法,其特征在于,获取包括电梯门框范围内光场的深度信息图,包括:
TOF光场设备的光源根据检测指令向电梯门框范围发送调制光信号,
TOF光场设备的TOF深度数据传感器以预设的采样率采集经由电梯门框反射的调制光;
TOF光场设备对反射的调制光进行光电处理,并对光电处理后的电信号采用相移或时间算法处理,获得深度信息图。
8.根据权利要求2所述的方法,其特征在于,在所述TOF光场设备处于范围标定模式时,借助于安装设备获取无障碍物时电梯门框对应的原始检测范围图信息,包括:
接收调试命令后,TOF光场设备切换工作模式为范围标定模式,并获取TOF光场设备检测的原始深度图;所述原始深度图为包括电梯门框范围的深度图;
接收采集指令一,依据采集指令一获取用于标定的采样图,所述用于标定的采样图为操作人员遮挡指定电梯门框一边界时的图;
采用遮挡电梯门框一边界的方式遍历电梯门框的所有边界,获取每一边界被遮挡时对应的采样图;
将所有的采样图和原始深度图进行对比处理,在原始深度图中识别电梯门框对应的二维坐标范围;
根据识别的二维坐标范围,截取对所述原始深度图,获得原始检测范围图;
根据所述原始检测范围图中的每一个光点与电梯门框相交的信息,获取远端范围图和近端范围图;
将原始检测范围图、远端范围图和近端范围图转换为灰度图,组成原始检测范围图信息以保存,并启动所述TOF光场设备的正常工作模式。
9.一种电梯门安全检测系统,其特征在于,包括:
TOF光场设备,位于电梯轿门和厅门之间的缝隙区域且固定在电梯框架上,所述TOF光场设备的水平FOV接收角度的视场覆盖电梯门框范围;
电梯控制系统,用于与所述TOF光场设备交互,控制TOF光场设备的启动和关闭,并根据所述TOF光场设备反馈的障碍物告警信号或故障告警信号,控制电梯轿门和厅门的开启或关闭;
所述电梯门安全检测系统执行上述权利要求1至8任一所述的基于TOF光场设备的电梯门检测方法。
10.根据权利要求9所述的系统,其特征在于,
所述TOF光场设备固定时,所述TOF光场设备所属的垂直线与电梯门框最近的水平距离D,所述TOF光场设备所属的水平线与电梯门框最近的垂直距离H和所述TOF光场设备与该水平线的倾斜角度K相互依托;
和/或,TOF光场设备的厚度小于电梯轿门和厅门之间的缝隙宽度,通过支架方式固定在轿门和厅门之间的电梯框架上。
11.一种电梯,其特征在于,包括:上述权利要求9或10所述的电梯门安全检测系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010954703.3A CN112193957A (zh) | 2020-09-11 | 2020-09-11 | 基于tof光场设备的电梯门检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010954703.3A CN112193957A (zh) | 2020-09-11 | 2020-09-11 | 基于tof光场设备的电梯门检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112193957A true CN112193957A (zh) | 2021-01-08 |
Family
ID=74014784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010954703.3A Pending CN112193957A (zh) | 2020-09-11 | 2020-09-11 | 基于tof光场设备的电梯门检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112193957A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113086790A (zh) * | 2021-03-03 | 2021-07-09 | 上海新时达电气股份有限公司 | 电梯异物监控方法、装置、电子设备和存储介质 |
CN113256798A (zh) * | 2021-06-04 | 2021-08-13 | 猫岐智能科技(上海)有限公司 | 光幕遮挡区域生成系统及方法 |
CN114162699A (zh) * | 2021-12-07 | 2022-03-11 | 伟龙意程智能科技(江苏)有限公司 | 一种基于tof技术进行关门保护的智能装置 |
CN114194985A (zh) * | 2021-12-07 | 2022-03-18 | 武汉灵途传感科技有限公司 | 一种tof电梯安全光幕报警区域的标定方法 |
-
2020
- 2020-09-11 CN CN202010954703.3A patent/CN112193957A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113086790A (zh) * | 2021-03-03 | 2021-07-09 | 上海新时达电气股份有限公司 | 电梯异物监控方法、装置、电子设备和存储介质 |
CN113256798A (zh) * | 2021-06-04 | 2021-08-13 | 猫岐智能科技(上海)有限公司 | 光幕遮挡区域生成系统及方法 |
CN114162699A (zh) * | 2021-12-07 | 2022-03-11 | 伟龙意程智能科技(江苏)有限公司 | 一种基于tof技术进行关门保护的智能装置 |
CN114194985A (zh) * | 2021-12-07 | 2022-03-18 | 武汉灵途传感科技有限公司 | 一种tof电梯安全光幕报警区域的标定方法 |
CN114194985B (zh) * | 2021-12-07 | 2023-09-26 | 武汉灵途传感科技有限公司 | 一种tof电梯安全光幕报警区域的标定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112193957A (zh) | 基于tof光场设备的电梯门检测方法 | |
US11072354B2 (en) | Anti-pinch system and method for platform screen door and train | |
AU2006252230B2 (en) | Apparatus and method for quick imaging and inspecting moving target | |
US5410149A (en) | Optical obstruction detector with light barriers having planes of light for controlling automatic doors | |
AU2018246984B2 (en) | Method and device for monitoring a lift car door | |
CN110525452B (zh) | 一种用于地铁屏蔽门与列车之间的防夹检测系统及方法 | |
KR102463674B1 (ko) | 전고형 플랫폼 스크린 도어용 안전 보호장치 | |
KR101186999B1 (ko) | 스크린도어의 장애물 감지 시스템 및 그 제어방법 | |
US10479653B2 (en) | Monitoring system of a passenger conveyor, a passenger conveyor, and a monitoring method thereof | |
JP2015120573A (ja) | 画像認識機能を備えたエレベータ | |
CN214823230U (zh) | 一种基于多线检测式激光雷达的站台门安全检测装置 | |
CN106443816B (zh) | 用于检查通道的扫描检测系统 | |
CN112343448A (zh) | 一种基于3d激光雷达的屏蔽门防护系统 | |
KR20120033216A (ko) | 감시용 센서 | |
JP2013147339A (ja) | エレベータシステム及びエレベータ検査方法 | |
EP3862780B1 (de) | Sicherheitslaserscanner und verfahren zur frontscheibenüberwachung | |
KR20200041078A (ko) | 철도역사 승강장 감시 및 경고 시스템 및 그 방법 | |
CN206726028U (zh) | 屏蔽门监测装置及防夹屏蔽门 | |
KR101937791B1 (ko) | 스크린 도어 시스템 및 그 운용 방법 | |
JP2004210045A (ja) | 監視装置 | |
CN111646349B (zh) | 一种基于tof图像的电梯保护方法及装置 | |
CN211580108U (zh) | 一种摄像头挡板检测组件及终端 | |
CN113311443A (zh) | 一种公交屏蔽门防夹检测方法及系统 | |
CN211115362U (zh) | 一种基于3d激光雷达的屏蔽门防护系统 | |
CN111441680A (zh) | 一种自动门防夹指示系统及指示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |