CN103264661A - 一种近距离视觉盲区人体探测方法、装置及相关方法 - Google Patents

一种近距离视觉盲区人体探测方法、装置及相关方法 Download PDF

Info

Publication number
CN103264661A
CN103264661A CN2013101791585A CN201310179158A CN103264661A CN 103264661 A CN103264661 A CN 103264661A CN 2013101791585 A CN2013101791585 A CN 2013101791585A CN 201310179158 A CN201310179158 A CN 201310179158A CN 103264661 A CN103264661 A CN 103264661A
Authority
CN
China
Prior art keywords
detection
human body
terminal
blind area
main control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101791585A
Other languages
English (en)
Inventor
倪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Free Trade Zone Pandong Information Technology Co Ltd
Original Assignee
倪龙
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倪龙 filed Critical 倪龙
Priority to CN2013101791585A priority Critical patent/CN103264661A/zh
Publication of CN103264661A publication Critical patent/CN103264661A/zh
Priority to CN201310556113.5A priority patent/CN103617694A/zh
Priority to CN201310556107.XA priority patent/CN103617683A/zh
Priority to CN201410024536.7A priority patent/CN103770701B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y02B60/50

Abstract

本发明公开了一种近距离视觉盲区人体探测方法,硬件系统包含主控端和探测终端,组成一个无线通信网络并全部或部分部署到所服务物体上或邻近的区域,其中至少一个探测终端包含一个人体探测传感器模块,主控端通过其无线通信模块接收探测终端通过其无线通信模块发送的探测数据,处理后在展现模块展现探测结果;主控端和探测终端的功能可以进行整合,探测能力和能耗等也可进一步改进,其无线通信方式也可全部或部分替换为有线通信方式。本发明还公开了一种根据上述方法制造的探测装置,采用ZigBee芯片并用LED灯和喇叭展现探测结果,及一种节电工作模式、两种探测终端部署方法和一种探测数据分析方法。

Description

一种近距离视觉盲区人体探测方法、装置及相关方法
技术领域
本发明属于物联网技术领域,也属于交通和安全领域,尤其涉及一种近距离视觉盲区人体探测方法及装置。
背景技术
近距离视觉盲区在日常生活中非常常见,最典型的如机动车辆的近距离视觉盲区,媒体上曾经报道过一起一位父亲压死亲生子女的案例,就是在其年幼子女偷偷跟着父亲到了汽车前部盲区而酿成惨剧;大型车辆除了有前面这种情况外,还有一种更危险的情况,就是转弯时因其内轮差(车辆转弯时内前轮转弯半径与内后轮转弯半径之差)较大形成外后视死角,相关的事故不时见诸媒体。一些工程机械、加工设备,其中可以自行或者牵引的机械设备存在的与机动车辆类似的视觉盲区除外,也存在近距离视觉盲区,如起重机械的吊物下方、装载机的铲斗前方等。还有一种门后视觉盲区,推门人在门一侧而门相对于推门人位置的反向推,那么反向一侧的情况推门人是看不到的(除非是透明的或有足够的可观测窗口,但这种情况不多见),所以可能给反向一侧造成危险,同时反向一侧也有可能给推门人造成同类危险(此种情况还可造成其它危险,如仅有女性成员及未成年子女在家或其它情形下他人刻意藏在门反方向一侧伺机进行抢劫、伤害等危险),许多自身可移动的或其部件可移动的机械设备及类似于门的其它装置也都存在类似的视觉盲区。
上述视觉盲区都属于绝对不可见的盲区,在现实工作和生活中,人的视力范围在自然情况下本就不是全方位而是有限的,加上注意力等因素的影响,由此造成相对不可见的视觉盲区更加普遍(相对不可见是指通过调整视角或注意力其实是可见的,但某个时候不可能与其它可视区域同时可见或是疏忽了),同样具有一定的危险,也需要采取措施来减少或避免,所以后视装置等的改进、加装各种摄像系统等措施无论怎么完善都不足以完全解决相对视觉盲区的问题。
总地来说,目前解决上述近距离视觉盲区危险的措施有三类:一是落实安全制度与措施,养成良好的安全习惯,这种方式很有效且成本为零,但只能预防减少危险的发生而不能完全避免,并受到主观因素的严重影响所以效果并不确定;二是改进或完善有关装置缩小盲区的范围,如对于机动车辆可以设置广角内后视镜、倒车膜、广角小圆镜、摄像装置,前面三种属于后视装置的改进,其作用是有限的,且在解决相对视觉盲区方面作用很小,最后一种属于自然视觉的延伸和扩展,通过适当设计能够完全解决绝对视觉盲区问题,但在解决相对视觉盲区方面作用依然有限且成本高安装不便;三是设置盲区探测装置,如盲区预警系统,采用一定的检测手段如声、光、电对特定的视觉盲区进行探测, 一旦有物体进入盲区范围,系统就会及时以图像或声音或者两者并用的方式提醒,已有的一些解决方法及装置主要是基于视频或雷达探测的技术,也存在成本较高、安装不便及使用寿命较短等问题。比如申请号为201210428025.2发明专利行车视觉盲区侦测系统及方法,采用摄像装置和显示装置解决后视盲区、采用测距仪通过超声波探测障碍物距离,存在成本高、安装不便、探测范围和探测能力有限等问题;申请号为201220475257.9的实用新型校车前部视觉盲区探测安全系统,采用主动雷达通过超声波探测并采用有线连接,存在探测范围狭窄且安装不便等问题。且视觉盲区探测实际上并非在任何时候都是必要的,比如在拥堵的车辆行驶速度很慢的路段,各车相互距离可能很短,用超声波探测方式起不到应有的效果。
物联网是指通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网连接起来,进行信息交换和通讯,以实现智能化识别、定位、跟踪、监控和管理的一种网络。物联网用途广泛,遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。物联网相关技术,比如射频识别技术、无线传感器网技术等,具有部署方便、成本低廉、节约能耗等诸多特点和优势。物联网中的人体探测目前涉及智能安防、远程医疗和战地指挥等领域,但很多还仅限于理论研究、实验原型设计开发、老旧设计的改良或老旧系统的部分改造。吉林大学娄明珠的硕士学位论文《基于WSN的人体探测、身份识别和定位的研究》(2009年4月)就设计了一个基于ZigBee技术的可以进行人体探测的原型系统。上海世博会园区的防入侵系统就是在传统的防入侵系统的基础上引入了无线传感网等技术,但传统的基础框架仍然保留,且不是用于近距离而是用于远距离的视觉盲区检测。目前对于无线传感网真正成熟的应用还很少见,用于近距离视觉盲区人体检测的方法和装置截至目前还没有先例。 
近距离视觉盲区会给人们的生命健康及财产带来一定的危险,财产是有价可以计算的,而生命健康是无价的,因此要避免这种危险的重点是要减少对生命健康的危险,而目前还没有一种专门在近距离视觉盲区进行人体探测或全面解决近距离视觉盲区人体探测的方法和装置。
发明内容
本发明要解决近距离视觉盲区带来的给人们的生命健康危险问题,在本发明中近距离是指距离危险可能发生部位15米以内的范围,视觉盲区既包含因遮挡产生的绝对不可见盲区,也包含因自然可视范围受限及注意力因素影响所产生的相对不可见盲区。本发明提供的一种近距离视觉盲区人体探测方法,运用物联网中的无线传感器网技术,通过人体检测传感器对近距离视觉盲区进行检测并通过无线网络汇聚并处理探测数据,然后将探测结果展现出来,从而减少甚至避免近距离视觉盲区给人们的生命健康带来的现实危险,并可进行多方面的改进以适应不同场合的需要。本发明还提供了一种根据上述方法制造的探测装置,采用ZigBee芯片并用LED灯和喇叭展现探测结果,及一种节电工作模式、两种探测终端部署方法和一种探测数据分析方法。
本发明的一种近距离视觉盲区人体探测方法,成本较低、安装方便,能够全方位的减少甚至避免近距离视觉盲区给人们的生命健康带来的现实危险,具体方案是:
a.硬件系统包含主控端和探测终端两类设备,并组成一个无线通信网络,一般组成一个以主控端为中心的星形网络;探测终端包含传感器模块和无线通信模块,其中至少一个探测终端包含一个人体探测传感器模块;所服务物体是指需要探测终端进行人体探测的物体,如机动车辆、机械设备、门及其它装置等;主控端包括无线通信模块、微处理器、展现模块,微处理器用来分析处理探测数据,展现模块用来将人体探测结果以声光电等形式展现出来提醒操作人注意或者控制所服务物体进行相应动作,展现的方式包含LED灯和/或液晶形式的直观展现,在判断探测到人体时还能够进行声光电等形式进行警示提醒,探测结果展现中一般要区分关闭状态、非正常运行状态和正常运行状态,在运行状态中能够区分探测到人体、没有探测到人体,并最好能近似描述各探测终端的位置,还可对探测结果直接进行应用,将探测结果传送给所服务物体自身电路系统或其它具有处理能力的系统再由该系统做出相应的处置,或直接控制物体做出相应的行为,从而实现根据探测结果自动做出相应的反应;主控端还可包含一个的控制模块,设置启动、探测、网络检测等按钮,从而方便进行人工操作。硬件系统的工作流程是:主控端通过其无线通信模块向探测终端发出探测指令、探测终端通过其无线通信模块接受探测指令后将其探测数据传送给主控端,主控端通过其无线通信模块接收到探测数据后送给微处理器处理,然后由展现模块展现探测结果以实现提醒,这种由主控端主动管理的模式可以满足主要的探测需求而忽略一些不必要的探测,有利于采取节电措施;也可由探测终端主动将其探测数据通过其无线通信模块传送给主控端,主控端通过其无线通信模块接收到探测数据后送给微处理器处理,然后由展现模块展现探测结果以实现提醒,这种实时探测的模式在安全要求特别高的情况下可以采用,如无人驾驶;
b.硬件系统全部或部分部署到所服务物体上或距离不超过50cm(本文中厘米均用cm表示)的邻近区域;在分析确定近距离视觉盲区的前提下确定要进行探测的范围,可以全部进行探测,或者只探测主要的危险可能发生范围;绝对不可见近距离视觉盲区可以采取测量的方式来确定,比如小型汽车包含前部盲区(位于车头前,SUV前部盲区纵向距离达3m-本文中米均用m表示,而小型车前部盲区纵向距离有2.1 m)、后部盲区(位于车尾后,SUV后部盲区纵向距离达10 m,而小型车后部盲区纵向距离却达到13 m)、外后视镜盲区(位于车辆侧后方)及汽车其它结构如立柱等引起的其它视觉盲区等,大型车辆还有因其内轮差形成的转弯时外后视死角,起重机械的吊物下方、装载机的铲斗前方等等,均是主要的危险可能发生的盲区范围,装载机产生视觉盲区的部位在于其铲斗遮挡的区域,还有门后视觉盲区及类似情况,这种盲区的易造成危害的时机可以通过对相关事故的分析来确定,比如小型汽车一般在发动后提速时,大型货车一般在转弯时;相对不可见近距离视觉盲区可以采取估计加相关事故的统计分析的方式来确定,比如小型汽车驾驶时很多新手只看前面忽视两侧,而这种盲区的易造成危害的时机也可结合相关的事故分析来确定,如新手驾车转弯时。探测终端一般应部署在所服务物体与视觉盲区的邻接边界区域或距离邻接边界区域不超过50cm的邻近区域且不影响探测的位置,按视觉盲区大小参考各人体探测传感器探测范围采取尽量均匀分布的部署方式,确保不出现探测盲区或者只覆盖最易发生危险的视觉盲区,并避开那些受到遮挡、产生高温及易受外部损伤等对探测有影响位置;所服务物体与视觉盲区的邻接边界区域较大时,首先要避开那些受到遮挡、产生高温及易受外部损伤的位置,然后再参考各传感器探测范围尽量均匀的部署,邻接边界区域较小可只在其中心部位部署一个,如果该位置不是影响探测的位置;主控端部署到所服务物体操作人能够操作或能够感应到的位置或可以便携;主控端可以部署到能够操作的任何位置,无须人工直接操作干预的可以部署到任何可以感应到即可以满足提醒等需求的位置;如果可以便携,比如单独做成一个手持设备,或者整合到智能手机或遥控钥匙上,则可以部署到任何方便且能满足需求的位置。
人体探测传感器按其所采用的技术可以分为磁控开关探测器、振动探测器、超声人体探测器、次声人体探测器、红外人体探测器、微波人体探测器和视频移动探测器等不同的类型,各种不同类型探测器的适应情况是不同的;另外人体探测传感器还有可能受到外界环境因素的影响,比如红外人体探测器在环境背景温度和人体正常温度差距很小的情况下,其探测能力受到很大的影响,如果和温度传感器配合使用,就可以帮助分析红外人体探测器的探测结果是否受到影响;因此需要对上述近距离视觉盲区人体探测方法从探测能力方面进行改进,具体方案是:同一探测终端采用两种及以上不同类型或两个及以上同一类型的传感器,或者不同探测终端采用不同类型或不同数量的传感器,或者前面这两种方法同时采用,即在同一探测终端采用两种及以上不同类型或两个及以上同一类型的传感器同时还有不同探测终端采用不同类型或不同数量的传感器;这里的传感器既包含人体探测传感器,也包含非人体探测的其它传感器,但至少有一个探测终端包含一个人体探测传感器。
上述近距离视觉盲区人体探测方法的硬件系统主控端和探测终端有不同的分工,可以将两种功能整合在一起,增加探测终端的数据处理能力及展现探测结果实现自主的提醒,具体方案是:硬件系统中全部或部分探测终端的组成还包含微处理器、展现模块,从而探测终端本身可以具有较强的数据处理能力,实现探测数据的分析处理,这种探测终端也就可以实现主控端的功能,因此可以不再需要专门的主控端设备,可以让这种探测终端充当主控端的角色,从而专门的主控端不再是硬件系统的必要组成;由于具有展现模块,这种探测终端可以对探测结果进行独立的展现,由于探测终端一般部署在所服务物体的外围,因此可以实现对外部的警示提醒,从而降低危险的发生;当硬件系统仅由一个包含人体探测传感器模块、微处理器、展现模块的探测终端构成时,因为无须与其它设备进行通信,所以其无线通信模块可以省略,这种单一设备系统可适用于门后视觉盲区及其它危害可能发生部位与操作人距离很近的情况(如5m以内),因为距离很近,单一设备对于探测结果展现两边都可以感应到;当硬件系统由两个及以上的探测终端构成时,包含微处理器、展现模块的探测终端与其它探测终端在主控端管理下协调工作的同时,可以仍然保持独立展现探测结果、自主进行探测等部分独立工作的特性,实现外部警示提醒等从而降低危险的发生。
上述近距离视觉盲区人体探测方法所述的无线通信模块全部或部分替换为有线通信模块,在全部为替换为有线通信模块的情况下主控端和探测终端采取有线连接并组成有线网络,在部署有线网络比较方便的场合可以采取这种方式,一般网络可以以主控端为中心组成一个星形网络,也可所有设备组成一个总线型网络或其它拓扑结果的网络;在部分替换为有线通信模块的情况下,主要有两种情况,主控端和最近的探测终端采用有线连接,相近的探测终端之间采用有线连接,但各个有线连接的子网中应至少有一个短距离无线通信模块,以实现各子网间的连接。
根据上述近距离视觉盲区人体探测方法制造的探测装置,具有近距离视觉盲区人体探测功能,具体方案如下:
a.无线通信模块采用ZigBee芯片, 如Chipcon的CC2420/CC2430和CC2500/CC2550、CompXs的ML7065、Freescale的MC13192和MC13193等,也可在上述芯片基础上重新设计整合传感器的新的模块;主控端的展现模块主要由若干个LED灯和一个喇叭组成且LED灯的数量和包含人体探测传感器的探测终端数量相等,这些LED灯不同的颜色表示不同的状态,如可用红色、绿色、黄色分别代表探测到人体、没有探测到人体、其它情况等;
b.主控端微处理器对探测数据进行处理后,如果判断没有探测到人体,则LED灯为绿色且喇叭不响,如果判断探测到人体,则LED灯为红色且喇叭发出声音;整个探测系统启动但还未进入正常工作状态时LED灯为无色或非红色、绿色的其它颜色或还带闪烁且喇叭不发出声音,进入正常工作状态时喇叭发出声音且与探测到人体发出声音有明显区别,如探测到人体喇叭鸣三声而进入正常工作状态时喇叭只鸣一声;
c.或者在a.和b.的基础上使全部或部分的探测终端包含微处理器、展现模块,从而专门的主控端不再是硬件系统的必要组成,因为这种探测终端同时还可以充当主控端的角色,不再需要专门的主控端;在这种情况下,当硬件系统仅由一个包含人体探测传感器模块、微处理器、展现模块的探测终端构成时,因为无须与其它设备进行通信,ZigBee芯片可以省略;当硬件系统由两个及以上的探测终端构成时,包含微处理器、展现模块的探测终端可仍然保持部分独立工作的特性,通过自主的警示提醒和/或主动探测,来满足某些情况下的探测和外部警示提醒需求。
功耗大小对于能源供应受限如户外的应用影响很大,功耗大的因自带能源易耗尽而存在成本高、寿命短、维护难度大等问题,其运用到近距离视觉盲区人体智能探测中也同样面临同样的问题,因此可以从减少能源消耗方面对近距离视觉盲区人体探测方法进行改进,主要有三种措施(这三种措施可以单独采用也可任意组合运用):
a.尽量采用低功耗部件或设计。在无线通信技术中,短距离无线通信技术比手机等采用的长距离无线通信技术能耗更加节约,在短距离无线通信技术中,目前常用的技术有ZigBee、蓝牙、802.11系列、红外、RFID、HiperLAN、HomeRF等,其中无源RFID功耗为零但通信距离较短,ZigBee的功耗很低只有1-3mW且覆盖距离、使用成本、安全性、复杂性、安装使用难以程度等指标都比较理想,非常适用于户外使用,因此在通常情况下短距离无线通信模块可以考虑采用ZigBee芯片。不同厂商生产的设备或芯片在功耗方面也存在差别,在设备或芯片选型时应特别注意功耗因素,将其作为一个重要的考量指标;
b.在可能的情况下将高功耗的设备接入所服务物体电源或外部电源或自带发电装置,从而突破能源瓶颈,如用于机动车辆的主控端可以考虑以接入点烟器等方式接入车辆自带电源、探测终端可以接入最近的车灯电源,用于固定的大型机械设备的主控端、探测终端均可以考虑机械设备自带电源或外部电源;
c.只在需要用时才保持必要设备的正常运行状态,不需要用时在满足探测需求的前提下尽量使探测设备(如主控端、探测终端等)或其组成模块处于睡眠或关闭状态;传感器模块的能源消耗一般都比较大,因此在比不需要用时最好能够关闭或处于睡眠状态,但由于有的传感器从关闭状态到完全正常运行状态要很长时间,如有一种人体探测器启动时间超过90秒,在有的情况下比如机动车辆运用中就不宜通过关闭传感器来省电,否则在需要探测时就难以实时启动,如果有睡眠模式且唤醒时间较短可以采用睡眠模式,不然最好保持正常工作状态,所以要综合考虑启动时间、唤醒时间等具体性能指标和节能及其它应用需求后再进行设计。
下面提供一种上述近距离视觉盲区人体探测方法或装置的节电工作模式,在需要时才保持必要设备的正常运行状态,特别适用于机动车辆及可以自行或被牵引的类似于机动车辆的机械设备或装置,具体方案是:
a.确定需要探测的时机和范围,结合对现实中的事故分析总结出需要探测的时机主要有三个:一是启动时,这个时候应全面探测,因为启动后物体行进方向是不确定的,有可能前进、后退或同时还左/右转弯,当行进方向确定时,如挂前进挡表示前进、挂倒档表示后退,同时还打了方向的则表示要转弯,这样可以按照已确定的行进方向有选择的进行探测,前进则进行前方探测,后退则进行后方探测,打了方向转弯的同时还探测转弯方向一侧;二是停止行进但未熄火后提速行进时,这个时候应根据继续行进的进行探测,即前进则进行前方探测,后退则进行后方探测,打了方向转弯的同时还探测转弯方向一侧;三是行进中转弯时,这种情况中转弯时速度没有降低到接近于停止行进的程度仍保持一定的行进速度,这时应探测转弯方向一侧,特别对于内轮差比较大的情况,需要加强行进中转弯的人体探测;
b.根据上述探测时机及范围采取节电的措施:一是在所服务物体自身启动时同时开启探测设备并全面启动探测,对于所服务物体自身启动时间不长的,可以先开启探测设备然后再启动物体自身,如对于家用小型汽车,可以先启动探测如通过遥控方式等然后再启动自身,这样可以减少等待时间;二是所服务物体启动后且第一次全面探测及紧接的每次间隔时间30-60秒的其它探测完成一定时间后,这个时间为超过允许最长间隔时间两倍以上的时间,在此时间内若有新的探测则重新起算,如在间隔时间不超过60秒的其它探测完成5分钟后(可以缩短为4分钟或更短但应不少于2分钟,也可延长为6分钟或更多,视需要而定,后文类似情况也可这样处理,不再叙述),不进行转弯探测的尽量使探测设备或其组成模块处于睡眠或关闭状态,进行转弯探测的如长度超过6m的大型车辆的保留两侧的探测终端不关闭以便于可以及时探测;三是停止行进但未熄火时,当速度≤5km/h时,如果探测设备已经关闭则开启;四是当在停止行进但未熄火后提速行进时,当速度>5km/h时,按行进方向启动相应探测,即前进则进行前方探测,后退则进行后方探测,转弯的则同时探测转弯一侧;五是四所指提速行进时的探测及紧接的每次间隔时间30-60秒的其它探测完成一定时间后,这个时间为超过允许最长间隔时间两倍以上的时间,在此时间内若有新的探测则重新起算,如在间隔时间不超过60秒的其它探测完成5分钟后,不进行转弯探测的尽量使探测设备或其组成模块处于睡眠或关闭状态,进行转弯探测的保留两侧的探测终端或两侧靠尾部的探测终端不关闭以便于可以及时探测;六是行进中转弯时,进行转弯探测的按转弯方向探测转弯一侧,不进行转弯探测的则忽略;七是所服务物体停机时关闭全部探测设备,机动车辆停机以熄火为标志,机械设备停机一般以关闭电源为标志;另外,上述除首次启动必要时主控端采用可遥控的方式接受启动指令外,主控端在启动及其它情况下都可接入所服务物体的电路系统或其它具有通信能力的系统进行连接,从而在需要的时候由这些系统自动向主控端发送探测指令。
人体探测传感器的探测范围是受限的,因此探测终端如何部署对于近距离视觉盲区人体探测的效果影响很大,这里提供了一种可以适用于机动车辆及可以自行或被牵引的类似于机动车辆的机械设备或装置更为具体有效的近距离视觉盲区人体智能探测终端部署方法,具体方案是:对于长≤6m、宽≤2.5 m的小型装置,在前后四角或距离50cm以内的邻近区域等四个位置范围进行部署,若无后视装置在长≥3m的情况下,两侧中部位置应各加装一个,小型汽车一般宜配置在前后挡板或其下方无遮挡处;对于长>6m或宽>2.5m的大型装置,参考人体探测传感器的探测能力与范围在左右两侧(即与操作室方向平行的两侧)每隔1.5-3m部署一个探测终端、前后两侧(即与操作室方向垂直的两侧)每隔1-1.5m部署一个探测终端,并确保任意两个同一类型且探测方向相同的终端之间的距离>50cm即不靠得太近,有后视装置的可从操作室与其余部分连接处开始进行部署;非长方形的圆形、椭圆形、多边形或其它不规则形状的按驾驶室方向大体分为前后左右四个层面,然后参考前面大型车辆部署方法进行部署,有顶角的优先考虑在顶角或距离50cm以内的邻近区域等位置范围进行部署;底盘离地距离超过50cm的,可在各组车轮或履带前后或距离25cm以内的邻近区域等位置范围部署包含可探测静态人体的传感器的探测终端,因为国内发生过有人在车底睡觉结果在车辆启动时被压死的案例。
带起重臂的起重机械是最易发生人员伤害事故机械设备之一,其中很多事故与近距离视觉盲区相关,带起重臂的起重机械的近距离视觉盲区主要在起重臂下方、起重臂可以行进的方向和吊物下方,因此这里提出一种带起重臂的起重机械近距离视觉盲区人体智能探测终端部署方法,具体方案是:在距离连接起重机械主体部分处1-3m处的起重臂下侧或起重机械主体部分等位置范围设置一个探测终端,实现起重臂下方的探测;探测行进方向盲区可在起重臂可以行进的方向所对应起重臂侧面每隔1.5-3m设置一个探测终端,实现起重臂可以行进的方向的探测,操作室视野良好的3m以内区域可以不设置,起重臂较长的应按起重壁长度并参考各传感器探测范围进行部署,尽量均匀设置,起重壁较短的或探测起重机械本身近距离盲区的,可以设置靠近起重臂根部下方的起重机械本身的位置;在装载被起重物体处设置一个活动的探测终端,有起重物体被装载时临时固定于该物体下方,实现吊物下方的探测,探测终端可以由一根线缆牵引,另一端固定在装载被起重物体处或邻近区域,邻近区域一般指在距离50cm范围以内的范围;最后再综合考虑进行优化,如确保任意两个探测终端之间应保持一定距离如不得小于50cm等。
探测结果应当以非常明显的形式展现出来,其目的是为了在视觉方面或其它提醒注意力方面使操作人感应到这种探测并作出必要的反应,具体方案是:在视觉提醒方面,可以在面板或其它可视的装置上刻画出所安装的设备或主要探测区域的平面或立体模拟图,标出各探测终端的相应位置,并在此位置根据当前探测装置运行状态或检测情况进行可以明显区别的光学展现,如检测到人体显示为红色、没有检测到为绿色;在注意力提醒方面,在探测到人体时,可以同时在主控端发出声音的或光学的警示性提示,比如通过喇叭发出一声或数声警示铃声,或者采用红色灯光闪烁等特殊的光学展现方式进行警示提醒。
各种人体探测传感器都有一定的局限性,有时还需要其它类型传感器配合以确认人体检测的效果,因此要有时要对探测数据进行综合分析,下面是一种采用红外人体传感器的探测数据分析方法,因为红外传感器在环境背景温度与人体温度差距不大时就会探测不到人体,因此可以加配温度传感器来校正探测结果,具体方案是:当探测到的温度接近人体温度即在37℃±4之间而红外人体传感器没有探测出人体时,主控端处理系统做出红外人体传感器探测数据可能不准确的判断,如还有其它类型探测器则只处理其它传感器的探测数据,如仅有红外传感器而无其它类型探测器则通过展现模块展现处可能不准确的探测结果来提示人工检测;若探测到的温度不接近人体温度即在37℃±4之外,则主控端处理系统做出红外人体传感器探测数据准确的判断。
本发明提供的近距离视觉盲区人体探测方法及装置,可以减少甚至避免近距离视觉盲区带来的危险,相比于现在已有一些主要是基于视频监控及探测的方法和装置,部署及扩展非常方便,而且成本可以做到比较低廉,其探测能力还可以根据实际需要进行灵活配置;相比现有的后视装置改进方法及装置,减少甚至避免危险的能力明显更强。上述方法可以通过增强相应传感器的探测能力而将可探测盲区拓展到近距离以外,探测传感器若替换为其它类型的传感器,还可满足其它的探测需求。
 
附图说明
图1为近距离视觉盲区人体探测方法的工作原理图。1.主控端,2.探测终端;(1)主控端向探测终端发出指令(2)探测终端向主控端返回探测数据(2)无线通信方式的网络连接;M:微处理器单元,Z:无线通信模块(以ZigBee芯片为例),D:展现模块,S:人体探测传感器
图2为内轮差造成的视觉盲区示意图
图3为家用小型汽车的近距离视觉盲区人体智能探测终端的部署位置示意图。1、2、3、4表示探测终端在前后左右的四个部署位置
下面结合附图对本发明作进一步说明。
具体实施方式
实施例1
一种用于家用小型汽车的近距离视觉盲区人体智能探测装置,包含一个主控端和四个探测终端,均采用ZigBee芯片组成一个以主控端为中心的星形网络。探测终端由CC2430+AMN41122+3V电池构成;CC2430是带有增强C8051微处理器的ZigBee芯片;AMN41122是松下公司生产的一种人体检测红外线传感器,最大检测距离为5m,AMN41122接入CC2430的I/O引脚,使CC2430可以获取人体探测数据;其中一个探测终端再在前面的基础上加装了一个温度传感器,用于探测室外温度。四个探测终端分别安装于家用小型汽车的前后左右接近于四角附近位置(参见图3),其中加装了一个温度传感器的探测终端装在后面不靠排气管的一角;由于AMN41122的水平方向可探测范围为100°,为了避免中部有探测不到的盲区,因此AMN41122水平方向朝汽车中轴位置偏过来40°;同理由于AMN41122的垂直方向可探测范围为82°,为了避免下部有探测不到的视觉盲区,因此AMN41122垂直方向朝地面方向偏下40-49°,本例中偏下45°。主控端由CC2430和一个带有四个LED灯(分别对应四个探测终端,并有一个可以分清前后左右的汽车轮廓)和一个蜂鸣器的探测结果展现模块组成,并有一个接口接入汽车电路,以接收汽车启动、倒车、转弯等电信号以便作出相应的人体探测反应,主控端安装在车内仪表盘右侧(即驾驶员和副驾驶中间的位置);
系统采用IAR For C8051 7.30B集成环境进行开发,该平台支持ZigBee2006协议栈Z-Stack。系统工作流程如下:汽车点火启动时,汽车电路将相应的电信号发送给CC2430,其自带增强C8051微处理器对电信号进行分析判断为汽车启动信号,则向所有探测终端发出探测指令;各探测终端接收到探测指令后立即启动AMN41122和温度传感器,温度传感器的探测数据可以先发,待AMN41122电路稳定后(启动约需要30秒),在35秒后向主控端发送探测数据;主控端接收到探测数据后,先对温度传感器探测的温度数据进行分析,当探测到的温度接近人体温度即在37℃±4之间而AMN41122没有探测出人体时,主控端处理系统做出红外人体传感器探测数据可能不准确的判断,主控端便控制没有探测出人体的AMN41122对应的LED灯显示黄色并闪烁。若探测到的温度不接近人体温度即在37℃±4之外,则主控端处理系统做出红外人体传感器探测数据准确的判断,没有探测出人体的AMN41122对应的LED灯显示绿色,探测出人体的AMN41122对应的LED灯显示红色并且蜂鸣器鸣三声(有多个探测出人体的AMN41122也只鸣三声)。

Claims (11)

1.一种近距离视觉盲区人体探测方法,其特征在于:
a.硬件系统包含主控端和探测终端两类设备,并组成一个无线通信网络;探测终端包含传感器模块和无线通信模块,其中至少一个探测终端包含一个人体探测传感器模块;主控端包含无线通信模块、微处理器、展现模块;工作流程:主控端通过其无线通信模块向探测终端发出探测指令、探测终端通过其无线通信模块接受探测指令后将其探测数据传送给主控端,或者探测终端主动将其探测数据通过其无线通信模块传送给主控端,主控端通过其无线通信模块接收到探测数据后送给微处理器,处理后由展现模块展现探测结果;
b.硬件系统全部或部分部署到所服务物体上或距离不超过50cm的邻近区域,其中探测终端部署在所服务物体与视觉盲区的邻接边界区域或距离邻接边界区域不超过50cm的邻近区域且不影响探测的位置,主控端部署到所服务物体操作人能够操作或能够感应到的位置或者可以便携。
2.根据权利要求1所述的近距离视觉盲区人体探测方法,其特征在于:同一探测终端采用两种及以上不同类型或两个及以上同一类型的传感器,或者不同探测终端采用不同类型或不同数量的传感器,或者这两种方法同时采用。
3.根据权利要求1或2所述的近距离视觉盲区人体探测方法,其特征在于:其中全部或部分探测终端还包含微处理器、展现模块,专门的主控端不再是硬件系统的必要组成;当硬件系统仅由一个包含人体探测传感器模块、微处理器、展现模块的探测终端构成时,其无线通信模块可以省略;当硬件系统由两个及以上的探测终端构成时,包含微处理器、展现模块的探测终端可仍然保持部分独立工作的特性。
4.根据权利要求1或2所述的近距离视觉盲区人体探测方法,其特征在于:其中全部或部分无线通信模块替换为有线通信模块。
5.根据权利要求1或2所述的近距离视觉盲区人体探测方法制造的探测装置,其特征在于:
a.无线通信模块采用ZigBee芯片,主控端的展现模块包含若干个LED灯和一个喇叭且LED灯的数量和包含人体探测传感器的探测终端数量相等; 
b.主控端微处理器对探测数据进行处理后,如果判断没有探测到人体,则LED灯为绿色且喇叭不响,如果判断探测到人体,则LED灯为红色且喇叭发出声音;整个探测系统启动但还未进入正常工作状态时所有LED灯为无色或非红色、绿色的其它颜色或还带闪烁且喇叭不发出声音,进入正常工作状态时喇叭发出声音且此声音与探测到人体的声音有明显区别;
c.或者在a.和b.的基础上使全部或部分的探测终端包含微处理器、展现模块,从而专门的主控端不再是硬件系统的必要组成;在这种情况下,当硬件系统仅由一个包含人体探测传感器模块、微处理器、展现模块的探测终端构成时,其无线通信模块可以省略,当硬件系统由两个及以上的探测终端构成时,包含微处理器、展现模块的探测终端可仍然保持部分独立工作的特性。
6.一种近距离视觉盲区人体探测方法或装置的节电设计方法,其特征在于采取了以下措施之一:
a.采用低功耗部件或设计;
b.接入所服务物体电源或外部电源或自带发电装置;
c.只在需要时才保持必要设备的正常运行状态,不需要时在满足探测需求的前提下尽量使设备或其组成模块处于睡眠或关闭状态;
d.a.、b.和c.三种措施同时采取或其中任意两种措施同时采取。
7.一种近距离视觉盲区人体探测方法或装置的节电工作模式,在需要时才保持必要设备的正常运行状态,具体方案是:
a.确定需要探测的时机和范围:一是启动时进行全面探测,当行进方向确定时按照已确定的行进方向有选择的进行探测,前进则进行前方探测,后退则进行后方探测,转弯的同时还探测转弯一侧;二是停止行进但未熄火后提速行进时,应根据继续行进的进行探测,即前进则进行前方探测,后退则进行后方探测,转弯的同时还探测转弯一侧;三是行进中转弯时,探测转弯一侧;
b.根据上述探测时机及范围采取节电的措施:一是在所服务物体自身启动时同时开启探测设备并全面启动探测,对于所服务物体自身启动时间不长的,可以先开启探测设备然后再启动所服务物体自身;二是所服务物体启动后且第一次全面探测及紧接的每次间隔时间30-60秒的其它探测完成超过允许最长间隔时间两倍以上时间后(在此时间内若有新的探测则重新起算),不进行转弯探测的尽量使设备或其组成模块处于睡眠或关闭状态,进行转弯探测的则保留两侧的探测终端不关闭;三是停止行进但未熄火时,当速度≤5km/h时,如果探测设备已经关闭则开启;四是当在停止行进但未熄火后提速行进时,当速度>5km/h时,按行进方向启动相应探测,即前进则进行前方探测,后退则进行后方探测,转弯的同时还探测转弯一侧;五是四所指提速行进时的探测及紧接的每次间隔时间30-60秒的其它探测完成超过允许最长间隔时间两倍以上时间后(在此时间内若有新的探测则重新起算),不进行转弯探测的尽量使设备或其组成模块处于睡眠或关闭状态,进行转弯探测的保留两侧的探测终端或两侧靠尾部的探测终端不关闭;六是行进中转弯时,进行转弯探测的按转弯方向探测转弯一侧,不进行转弯探测的则忽略;七是所服务物体停机时关闭全部探测设备。
8.一种近距离视觉盲区人体智能探测终端的部署方法,其特征在于:
a.对于长≤6m、宽≤2.5 m的小型装置,在前后四角或距离50cm以内的邻近区域等四个位置范围进行部署,若无后视装置且长≥3m,两侧中部位置应各加装一个;
b.对于长>6m或宽>2.5m的大型装置,左右两侧每隔1.5-3m部署一个探测终端、前后两侧每隔1-1.5m部署一个探测终端,有后视装置的左右两侧可从操作室与其余部分连接处开始进行部署,且任意两个同一类型且探测方向相同的探测终端之间的距离>50cm;
c.非长方形的其它形状的按操作室方向大体分为前后左右四个层面,然后参考前面部署方法进行部署,有顶角的优先在顶角或距离50cm以内的邻近区域等位置范围进行部署;
d.底盘离地距离超过50cm的,可在各组车轮或履带前后或距离25cm以内的邻近区域等位置范围进行部署。
9.一种适用于带起重臂的起重机械的近距离视觉盲区人体智能探测终端部署方法,其特征在于:在距离连接起重机械主体部分处1-3m处的起重臂下侧或起重机械主体部分等位置范围设置一个探测终端;在起重臂可以行进的方向所对应起重臂侧面每隔1.5-3m设置一个探测终端,操作室视野良好的3m以内区域可以不设置探测终端;在装载被起重物体处或设置一个活动的探测终端,有起重物体被装载时临时固定于该物体下方。
10.一种近距离视觉盲区人体探测结果展现方法,其特征在于:
a.在视觉提醒方面,刻画出所服务物体或其主要探测区域的平面或立体模拟图,标出各探测终端的相应位置,并在此位置根据当前探测装置运行状态及人体探测情况进行可以明显区别的光学展现;
b.或者在注意力提醒方面,在探测到人体时发出声音提醒,或同时还进行特殊的光学提醒;
c.a.和b.所述的方法同时采用。
11.一种近距离视觉盲区人体智能探测数据分析方法,人体探测采用了红外人体传感器且加配了温度传感器,其特征在于:当温度传感器探测到的温度接近人体温度即在37℃±4之间而红外人体传感器没有探测出人体时,主控端做出红外人体传感器探测数据可能不准确的判断,如还有其它类型探测器则只处理其它传感器的探测数据,如仅有红外传感器而无其它类型探测器则通过展现模块展现处可能不准确的探测结果来提示人工检测;若探测到的温度不接近人体温度即在37℃±4之外,则主控端处理系统做出红外人体传感器探测数据准确的判断。
CN2013101791585A 2013-05-15 2013-05-15 一种近距离视觉盲区人体探测方法、装置及相关方法 Pending CN103264661A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2013101791585A CN103264661A (zh) 2013-05-15 2013-05-15 一种近距离视觉盲区人体探测方法、装置及相关方法
CN201310556113.5A CN103617694A (zh) 2013-05-15 2013-11-12 一种背后近距离视觉盲区人体探测方法和装置
CN201310556107.XA CN103617683A (zh) 2013-05-15 2013-11-12 一种特定空间近距离视觉盲区人体探测方法和装置
CN201410024536.7A CN103770701B (zh) 2013-05-15 2014-01-20 一种特定物体近距离视觉盲区人体探测方法、装置及相关方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101791585A CN103264661A (zh) 2013-05-15 2013-05-15 一种近距离视觉盲区人体探测方法、装置及相关方法

Publications (1)

Publication Number Publication Date
CN103264661A true CN103264661A (zh) 2013-08-28

Family

ID=49008344

Family Applications (4)

Application Number Title Priority Date Filing Date
CN2013101791585A Pending CN103264661A (zh) 2013-05-15 2013-05-15 一种近距离视觉盲区人体探测方法、装置及相关方法
CN201310556107.XA Pending CN103617683A (zh) 2013-05-15 2013-11-12 一种特定空间近距离视觉盲区人体探测方法和装置
CN201310556113.5A Pending CN103617694A (zh) 2013-05-15 2013-11-12 一种背后近距离视觉盲区人体探测方法和装置
CN201410024536.7A Active CN103770701B (zh) 2013-05-15 2014-01-20 一种特定物体近距离视觉盲区人体探测方法、装置及相关方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201310556107.XA Pending CN103617683A (zh) 2013-05-15 2013-11-12 一种特定空间近距离视觉盲区人体探测方法和装置
CN201310556113.5A Pending CN103617694A (zh) 2013-05-15 2013-11-12 一种背后近距离视觉盲区人体探测方法和装置
CN201410024536.7A Active CN103770701B (zh) 2013-05-15 2014-01-20 一种特定物体近距离视觉盲区人体探测方法、装置及相关方法

Country Status (1)

Country Link
CN (4) CN103264661A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103673977A (zh) * 2013-11-07 2014-03-26 沈阳师范大学 车辆后方盲区检测的方法和装置
WO2016180162A1 (zh) * 2015-08-07 2016-11-17 中兴通讯股份有限公司 终端操作模式的切换方法及装置
CN106908795A (zh) * 2017-02-28 2017-06-30 深圳天珑无线科技有限公司 探测装置、终端以及探测方法
CN109489202A (zh) * 2018-11-12 2019-03-19 珠海格力电器股份有限公司 空调的控制方法、装置和空调
CN111114548A (zh) * 2019-12-04 2020-05-08 福瑞泰克智能系统有限公司 一种车辆探测方法、装置、电子设备及存储介质
CN113370925A (zh) * 2020-03-10 2021-09-10 丰田自动车株式会社 下车辅助装置
CN114801993A (zh) * 2022-06-28 2022-07-29 鹰驾科技(深圳)有限公司 一种汽车盲区监控系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318807A (zh) * 2014-10-22 2015-01-28 合肥星服信息科技有限责任公司 一种移动式绿化带内行人指示装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100531198B1 (ko) * 2002-09-09 2005-11-25 권대웅 자동차의 후방상황 및 인체감지용 와닝시스템 인터페이스
CN2638019Y (zh) * 2003-09-08 2004-09-01 谢矿生 用于军帽或军用头盔的后视预警观察装置
US7145455B2 (en) * 2004-08-18 2006-12-05 Honeywell International, Inc. MEMS based space safety infrared sensor apparatus and method
JP4513596B2 (ja) * 2004-08-25 2010-07-28 株式会社デンソー 超音波センサ
CN2860344Y (zh) * 2005-09-12 2007-01-24 朱水林 配戴于人体上的多功能监测及追踪器结构
CN100405412C (zh) * 2005-09-12 2008-07-23 朱水林 配戴于人体上的多功能监测及追踪器结构及监测追踪方法
CN201001171Y (zh) * 2007-01-19 2008-01-02 浙江金成科技发展有限公司 一种车用图像监视器
JP2009064222A (ja) * 2007-09-06 2009-03-26 Taisei Corp 保護対象追跡システム
CN201429894Y (zh) * 2009-03-12 2010-03-24 康才畯 一种报警器
CN201549075U (zh) * 2009-10-15 2010-08-11 海安县奇锐电子有限公司 交通盲区提醒装置
CN201812352U (zh) * 2010-09-26 2011-04-27 卢忠仁 便携式哨兵防袭提示装置
CN202210337U (zh) * 2011-09-29 2012-05-02 西安中星测控有限公司 人体跌倒检测报警器
CN103164916A (zh) * 2011-12-16 2013-06-19 江南大学 一种便携式宿营地入侵检测系统
CN102494559A (zh) * 2011-12-18 2012-06-13 揭阳市良润制衣有限公司 嵌入式智能防弹帽
CN202486903U (zh) * 2012-03-16 2012-10-10 雷波泽 一种安防系统的探测装置
CN103085746A (zh) * 2013-02-04 2013-05-08 吉林大学 一种汽车起步盲点区域红外探测警报装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103673977A (zh) * 2013-11-07 2014-03-26 沈阳师范大学 车辆后方盲区检测的方法和装置
CN103673977B (zh) * 2013-11-07 2016-07-27 沈阳师范大学 车辆后方盲区检测的方法和装置
WO2016180162A1 (zh) * 2015-08-07 2016-11-17 中兴通讯股份有限公司 终端操作模式的切换方法及装置
CN106908795A (zh) * 2017-02-28 2017-06-30 深圳天珑无线科技有限公司 探测装置、终端以及探测方法
CN109489202A (zh) * 2018-11-12 2019-03-19 珠海格力电器股份有限公司 空调的控制方法、装置和空调
CN111114548A (zh) * 2019-12-04 2020-05-08 福瑞泰克智能系统有限公司 一种车辆探测方法、装置、电子设备及存储介质
CN111114548B (zh) * 2019-12-04 2021-09-21 福瑞泰克智能系统有限公司 一种车辆探测方法、装置、电子设备及存储介质
CN113370925A (zh) * 2020-03-10 2021-09-10 丰田自动车株式会社 下车辅助装置
CN113370925B (zh) * 2020-03-10 2023-12-15 丰田自动车株式会社 下车辅助装置
CN114801993A (zh) * 2022-06-28 2022-07-29 鹰驾科技(深圳)有限公司 一种汽车盲区监控系统
CN114801993B (zh) * 2022-06-28 2022-09-06 鹰驾科技(深圳)有限公司 一种汽车盲区监控系统

Also Published As

Publication number Publication date
CN103770701A (zh) 2014-05-07
CN103617694A (zh) 2014-03-05
CN103617683A (zh) 2014-03-05
CN103770701B (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN103264661A (zh) 一种近距离视觉盲区人体探测方法、装置及相关方法
CN1331641C (zh) 保安巡逻机器狗
CN207370256U (zh) 自动行走的行李箱、智能设备及系统
CN103523676B (zh) 一种地铁盾构隧道门吊作业安全风险实时监控预警系统及其工作方法
CN110461186A (zh) 自动行走的行李箱、智能设备及系统
CN107524103B (zh) 一种基于无人机的智能道路警示系统及其方法
CN102629415B (zh) 面向高速公路救援的自行式主动预警系统
CN108974062B (zh) 一种安全保护小车
CN108021133A (zh) 一种多传感器融合高速无人车探测避障系统
CN106864359A (zh) 一种车辆转弯盲区警示装置
CN110488153A (zh) 一种基于机器学习的自主地下电缆勘测和保护系统及方法
CN208818246U (zh) 内涝监测系统
CN205426236U (zh) 一种仓储环境监测车及监测系统
CN109231012A (zh) 电站门座式起重机群碰撞防护智能控制系统
CN206975503U (zh) 自主跟随避障工具车装置
CN103268691A (zh) 一种远洋船舶安全监测预警系统及其工作方法
CN106960585A (zh) 路侧显示装置及系统
KR20150086437A (ko) 다목적 스마트 무인 선박
CN104166379A (zh) 用于物流车辆的集成网络监控系统与方法
CN108216031A (zh) 一种汽车开门防撞系统
CN207233158U (zh) 停车场车位预警装置
CN207473409U (zh) 一种智能巡检机器人
CN207717908U (zh) 一种基于弱磁判测的地下电缆故障检测装置
CN205845312U (zh) 一种便携式智能交通量调查设备
CN206833248U (zh) 一种车辆自动寻迹装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: NINGBO FREE TRADE ZONE PANDONG INFORMATION TECHNOL

Free format text: FORMER OWNER: NI LONG

Effective date: 20131128

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 315040 NINGBO, ZHEJIANG PROVINCE TO: 315000 NINGBO, ZHEJIANG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20131128

Address after: 314 room 6, No. three, Xingye Road, Ningbo Free Trade Zone, Zhejiang, 315000

Applicant after: NINGBO FREE TRADE ZONE PANDONG INFORMATION TECHNOLOGY CO., LTD.

Address before: 315040 Zhejiang city of Ningbo province Yinzhou District River Street East Yu Village 11 Room 502

Applicant before: Ni Long

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130828

DD01 Delivery of document by public notice

Addressee: Ningbo Free Trade Zone financial Mdt InfoTech Ltd Pan Tong

Document name: Notification of Approving Refund