CN112789667A - 用于标识和跟踪目标的系统和方法 - Google Patents

用于标识和跟踪目标的系统和方法 Download PDF

Info

Publication number
CN112789667A
CN112789667A CN201980066331.6A CN201980066331A CN112789667A CN 112789667 A CN112789667 A CN 112789667A CN 201980066331 A CN201980066331 A CN 201980066331A CN 112789667 A CN112789667 A CN 112789667A
Authority
CN
China
Prior art keywords
area
wireless packet
target
sensor system
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980066331.6A
Other languages
English (en)
Other versions
CN112789667B (zh
Inventor
J·埃克尔
H·布罗尔斯
R·拉贾戈帕兰
M·H·J·德拉艾耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of CN112789667A publication Critical patent/CN112789667A/zh
Application granted granted Critical
Publication of CN112789667B publication Critical patent/CN112789667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B15/00Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B1/00Systems for signalling characterised solely by the form of transmission of the signal
    • G08B1/08Systems for signalling characterised solely by the form of transmission of the signal using electric transmission ; transformation of alarm signals to electrical signals from a different medium, e.g. transmission of an electric alarm signal upon detection of an audible alarm signal
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Alarm Systems (AREA)

Abstract

一种跟踪目标的方法,包括使用第一传感器系统检测和定位第一区域中的事件;确定与第一区域中的事件相关联的多个目标内的目标;以及使用第二传感器系统从第一区域到第二区域跟踪目标。该方法进一步包括使用无线分组分析器收集多个目标的唯一标识符,并基于在目标的跟踪和由第一和第二无线分组分析器收集的唯一标识符之间的相关性来确定第一区域中目标的数字身份。

Description

用于标识和跟踪目标的系统和方法
技术领域
本公开一般涉及感测系统,并且更特别地涉及使用传感器和无线通信来标识和跟踪目标的系统和方法。
背景技术
智能传感器可以用于基于人的声音和/或行为的事件检测。例如,智能传感器可以通过感测异常行为来检测犯罪活动。然而,单独使用视频监视可能难以查明据信将对事件负责的人的特定身份。查明利用视频监视观察到的个体的特定身份可以通过定位诸如个体的移动电话之类的数字设备来改进,因为数字设备传输包括唯一标识信息的数据分组。移动电话的位置可以使用三角测量来估计,其需要经由蜂窝电话运营商访问来自三个或更多蜂窝塔的蜂窝电话信号。不幸的是,当被检测到的犯罪者在其中每个个体都有蜂窝电话的个体的人群之中时,在没有来自多种移动电话运营商的信息的情况下,被检测到的犯罪者的移动电话不能被唯一地标识和/或跟踪。此外,一旦被检测到的犯罪者在智能传感器覆盖的区域之外,仅在移动电话的唯一标识符是已知的情况下,无线分组分析器可以接管对移动电话的跟踪,但是情况并非总是如此。
发明内容
本领域中存在使用传感器和无线通信来标识和跟踪目标而不需要昂贵且麻烦的三角测量技术的系统和方法的持续需要。
本公开涉及使用跟踪系统标识和跟踪区域内的目标的创造性方法和系统。本文的各种实施例和实现方式针对一种方法和系统,该方法和系统被配置为基于目标的一个或多个观察位置与从与目标并置的移动设备传输的唯一标识信息之间的相关性来导出目标的数字身份。使用事件检测系统检测并定位事件和与事件相关联的多个目标。确定多个目标内将被标识的一个或多个目标,并且利用事件检测系统跟踪该一个或多个目标。使用无线分组分析器收集多个目标的唯一标识符。一种算法将位置信息和分析信息相组合,以确定在事件位置处存在的一个或多个目标的数字身份。
下面提到的所有示例和特征可以以任何技术上可能的方式组合。
通常,在一个方面,提供了一种跟踪至少一个目标的方法。该方法包括:(i)使用第一传感器系统检测和定位第一区域中的事件;(ii)确定要在与第一区域中的事件相关联的多个目标内标识的至少一个目标;(iii)使用第二传感器系统从第一区域到第二区域跟踪至少一个目标;(iv)由第一和第二无线分组分析器收集包括多个目标的唯一标识符的数据,第一无线分组分析器在覆盖第一区域的第一检测区域中收集第一和第二唯一标识符,并且第二无线分组分析器在覆盖第二区域的第二检测区域中收集第一或第二唯一标识符;以及(v)基于对至少一个目标到第二区域的跟踪与由第二无线分组分析器收集的第一或第二唯一标识符之间的相关性,确定第一区域中的至少一个目标的数字身份。
根据实施例,第一传感器系统包括具有多个相机的网络的视频监视系统。
根据实施例,第一传感器系统包括具有麦克风网络的声学检测系统。
根据实施例,为多个目标中的每个目标收集的每个唯一标识符来自移动设备。
根据实施例,该方法进一步包括由第二无线分组分析器收集第一无线分组分析器没有收集的第三唯一标识符的步骤。
根据实施例,第二传感器系统是第一传感器系统的一部分。
根据实施例,第一和第二无线分组分析器的第一和第二检测区域分别不重叠。
根据实施例,该方法进一步包括使用所确定的数字身份和第三无线分组分析器在第三区域中跟踪至少一个目标的步骤。
根据实施例,第二区域与第一区域分离且不同,并且没有被第一传感器系统覆盖。
通常,在另一方面,提供了一种用于跟踪至少一个目标的系统。该系统包括:(i)第一传感器系统,被配置为检测和定位第一区域中的事件;(ii)第二传感器系统,被配置为从第一区域到第二区域跟踪与所述事件相关联的多个目标内的至少一个目标;(iii)第一和第二无线分组分析器,被配置为收集包括多个目标的唯一标识符的数据,第一无线分组分析器被配置为在覆盖第一区域的第一检测区域中收集第一和第二唯一标识符,并且第二无线分组分析器被配置为在覆盖第二区域的第二检测区域中收集第一或第二唯一标识符;以及(iv)控制器,被配置为基于对至少一个目标到第二区域的跟踪和由第二无线分组分析器收集的第一或第二唯一标识符之间的相关性来确定第一区域中的至少一个目标的数字身份。
根据实施例,第一传感器系统包括具有多个相机的网络的视频监视系统。
根据实施例,第一传感器系统包括具有麦克风网络的声学检测系统。
根据实施例,第二传感器系统是第一传感器系统的一部分。
根据实施例,第一和第二无线分组分析器的第一和第二检测区域分别不重叠。
根据实施例,收集的每个唯一标识符来自移动设备。
应当领会,前述概念和下面更详细讨论的附加概念的所有组合(只要这样的概念不相互矛盾)被认为是本文公开的发明主题的一部分。特别地,出现在本公开内容末尾的所要求保护的主题的所有组合被认为是本文公开的发明主题的一部分。还应当领会,本文明确采用的也可能出现在通过引用并入的任何公开中的术语应当被赋予与在本文公开的特定概念最一致的含义。
参考下文描述的(一个或多个)实施例,本发明的这些和其他方面将清楚并得以阐明。
附图说明
在附图中,相同的附图标记贯穿不同的视图通常指代相同的部分。此外,附图不一定是按比例的,取而代之,重点通常放在说明本发明的原理上。
图1是根据实施例的包括事件检测系统和跟踪系统的目标跟踪系统的示意框图。
图2A是根据实施例使用基于人行为的事件检测系统来可视化事件和与事件相关联的个体的示例。
图2B是根据实施例被配置为利用事件检测系统和无线分组分析器来检测个体的系统的示意图。
图2C是根据实施例被配置为利用事件检测系统和两个无线分组分析器来检测个体的系统的示意图。
图3是根据实施例被配置为利用事件检测系统和多个无线分组分析器来检测个体的系统的示意图。
图4是根据实施例的跟踪和标识个体的方法的流程图。
具体实施方式
本公开描述了使用传感器和无线分组分析器(也称为无线分组嗅探器)来标识在包括多个相似目标的区域内的目标(例如人员或对象)的系统和方法的各种实施例。本公开还描述了用于在一个或多个传感器不再可用的情形时跟踪目标的系统和方法的各种实施例。更一般地,申请人已经认识到并领会到,将事件检测系统与移动设备跟踪系统相组合以使能对目标的改进的标识和跟踪将是有益的。因此,本文描述或以其他方式设想的系统和方法将被配置为检测和跟踪目标的事件检测系统与无线分组分析器相组合,以将唯一的数字身份与单个目标相关联。该技术可以应用于有监视系统和无线网络的任何地方。例如,本文所述的系统和方法可以用于公共安全目的,以在拥挤情形下发生事件之后定位个体。类似地,本文所述的系统和方法可以用于零售环境中,以标识和跟踪商店扒手。
例如,在拥挤的区域发生入店行窃事件之后,可以使用视频监视系统来检测和跟踪目标人员。尽管不能从监视系统检索目标人员的身份,但是监视区域内的无线分组分析器可以从被跟踪的个体所携带的设备收集唯一的标识信息,并且这样的数据可以与来自监视系统的数据相组合,以生成利用监视系统观察到的特定人员和特定设备的唯一标识符之间的相关性。一旦生成了相关性,就可以单独通过无线分组分析器来跟踪个体。因此,当商店扒手逃离该区域并进入出租车时,即使他/她在视频监视系统的范围之外,商店扒手的移动电话也可以被跟踪。
参考图1-3,在一个实施例中,描绘了包括事件检测系统11和无线分组分析器12的跟踪系统10。图1示出了包括事件检测系统和跟踪系统的系统的示意框图。图2A示出了使用基于人行为的事件检测系统来可视化事件和与事件相关联的个体的示例。图2B和2C示出了利用事件检测系统和无线分组分析器检测个体的系统的示意图。图3示出了被配置为利用事件检测系统和多个无线分组分析器来检测个体的系统的示意图。字母后缀(“a”、“b” 等)已经被附加到各个无线分组分析器,以促进关于特定无线分组分析器的讨论。关于其他组件在本文中利用类似的命名惯例(应用于基本附图标记的字母后缀)。应当领会,关于具有不包括字母后缀的附图标记的组件的任何讨论通常适用于共享该基本附图标记的所有组件,而不管后缀如何(例如,“无线分组分析器12”的讨论适用于每个无线分组分析器12a和12b)。
在图示的实施例中,事件检测系统11包括具有一个或多个传感器模态的连接的事件检测系统,例如观察公共空间的视频监视系统。该系统被配置为检测事件和/或对象。在示例实施例中,该系统被配置为基于任何合适的技术,例如视频跟踪技术,来检测事件和/或对象,并跟踪事件所涉及的人和/或对象。在示例实施例中,该系统被配置为例如经由面部或语音识别技术记录可以用于标识人员的生物特征信息。如图1中所示,事件检测系统11可以包括一个或多个相机14或相机网络,和/或一个或多个麦克风阵列16或麦克风网络,和/或其他传感器18。虽然本文详细描述的具体实施例包括一个或多个相机以检测和定位事件,但是应当领会,可以使用替代的感测技术来检测和定位事件。替代于相机,声学检测技术可以用来检测和定位事件,并且事件可以与可以观察到的(一个或多个)人或对象联系起来。
例如,包括多个不同传感器并具有位置感知能力的设备——诸如移动电话和自动驾驶车辆——可以用于检测和定位事件,并将事件的位置通知跟踪系统。在零售环境中,包括照明器材和嵌入式麦克风的智能位置感知灯具可以被配置为检测音频警报,并且随后位置感知灯具可以被配置为与监视系统就检测到的事件进行通信。类似地,在室外环境中,一个或多个路灯可以被配置有基于音频的事件检测,并且可以被配置为与监视系统通信以定位事件的位置。附加地或替代地,气体传感器网络可以用于定位由于汽车事故引起的气体泄漏。将气体传感器与风速计组合来测量风速和风向可以提供更准确的定位。
事件检测系统11也可以基于连接的热检测器、基于LIDAR的检测系统或飞行时间技术。例如,飞行时间三维成像技术可以用于检测个体的精确形状,以检测和定位事件,并进一步经由行为分析和移动轨迹来跟踪个体或对象。作为另一个示例,在室外环境中,具有内置加速度计和GPS定位的一个或多个路灯可以被配置为与监视系统通信以定位事件的位置。内置加速度计可以被配置为检测杆相对于直立配置或任何其他配置的摇摆或倾斜的值。当所述值在某个范围内或在某个阈值以下时,所述值可以指示正常的摇摆或倾斜状况,例如,由于无害的环境条件。超过某个范围或某个阈值的检测值可以指示异常或危险的摇摆或倾斜状况,例如,由于高速车辆影响。换句话说,如果车辆与路灯在高速下碰撞,则路灯将由于碰撞而摇摆和/或倾斜,并且加速度计将生成大于正常值的值。在实施例中,事件检测系统11可以包括一个或多个智能位置感知路灯或智能位置感知路灯网络,以检测引起杆摇摆或倾斜的汽车事故。附加地或替代地,与异常摇摆或倾斜的时间相关的上下文数据可以与来自用于事件检测的加速度计的值结合使用。
图2A示出了利用事件检测系统11来可视化检测和定位的个体或对象(目标)的示例。在示例实施例中,事件检测系统11包括覆盖空间和事件的视频监视系统,并且可以基于行为来检测和可视化与事件相关联的目标。在图2A中,圆圈表示据信与事件无关联的个体,并且星号表示据信与事件有关的个体。尽管存在检测到的包括据信与事件有关的三个个体的七个个体,但是不能从事件检测系统11的视频监视系统检索三个个体的特定身份。
图2B示出了使用图2A中的事件检测系统检测到的个体周围的虚线圆圈。虚线圆圈表示无线分组分析器12的检测区域。使用无线分组分析器12,可以从所示的检测区域收集一组唯一的标识符。换句话说,在图2B中所示的示例中,无线分组分析器可以收集七个唯一标识符,其中每个唯一标识符与虚线圆圈内的一个目标相关联。在示例实施例中,唯一标识符从附于对象或并入对象内或由人携带的数字设备传输。然而,由于存在传输唯一可标识的无线数据分组的多个设备,因此与单个无线分组分析器耦合的事件检测系统不能确定哪个唯一标识符属于哪个个体。无线分组分析器可以与无线电接收器和天线一起运转。可以应用不同的天线或天线组来添加检测区域。例如,检测区域可以被调整或变得非常大,例如,覆盖数百英里。通过广泛搜索,并且然后放大到感兴趣的区域,级联的检测区域可以帮助有效且高效地跟踪目标。在示例实施例中,可以调谐无线分组分析器的检测区域和视频监视区域,使得它们紧密重叠。物理区域重叠可以简化跟踪并减少假阳性。换句话说,那些可以可视化的目标也可以被分析。
另一选项是创建区或端口,例如,火车站或沿着轨道或路径的一些其他指定点。这样,携带移动设备的用户的移动调度可以通过跟踪通过这些区或端口的唯一可标识的移动设备来创建。一些设备很少传输探测请求(例如,15分钟到每小时或更长)因此,在长时间段(例如,小时)内收集唯一的标识信息可能是有益的。图2C示出了表示两个无线分组分析器12的两个检测区域A和A’的两个虚线圆圈。在示例实施例中,无线分组分析器12包括连接的无线分组分析器,例如Wi-Fi、蓝牙、3G、4G LTE、5G等,它们被配置为以一定的定位准确度跟踪具有特定数字签名的单个数字设备。无线分组分析器的检测区域A被示为围绕以上讨论的所有七个个体,并且另一个无线分组分析器的检测区域A’被示为仅围绕五个个体,包括由星号表示的所有三个个体。由于可以从对应于检测区域A的无线分组分析器收集七个唯一标识符,并且可以从对应于检测区域A’的另一个无线分组分析器收集五个唯一标识符,这五个唯一标识符与来自检测区域A的七个唯一标识符中的五个相同,所以没有从检测区域A和A’二者的两个无线分组分析器收集的两个唯一标识符可以与目标20和22相关联。然而,由于收集了五个唯一可标识的无线数据分组,包括由星号表示的三个个体,所以系统仍然不能确定在五个唯一标识符之中的哪个唯一标识符属于在检测区域A’内跟踪的哪个个体。尽管图2C中仅存在示出的两个无线分组分析器检测区域,但无线分组分析器检测区域A和A’是较大集合的一部分,该较大集合覆盖了由事件检测系统11的视频监视系统覆盖的较大区域。
在图3中,事件检测系统11的视频监视系统在被表示为星号的个体沿着P1、P2和P3所示的路径移动时跟踪他们,并且无线分组分析器A、B、C、D、E和F从特定区域内的设备收集唯一标识符。每个无线分组分析器A、B、C、D、E和F覆盖特定的感兴趣区域(检测区域),并在多个独特的设备以及因此个体进入和离开每个区域或小区时标识它们。在示例实施例中,视频监视系统基于检测到的明确事件来跟踪个体。然而,在替代实施例中,视频监视系统在没有检测到明确事件的情况下跟踪个体。例如,在具有不良信号接收质量的区域中,视频监视系统的跟踪可以在特定的RF通信小区内发起,并基于发起的跟踪而不是检测到的明确事件在相邻小区中继续。事件检测和定位也可以由第三方提供。
如图3中所示,由星号表示的三个个体在不同的路径P1、P2和P3中行进,并且最后到达分立的位置。跟踪系统10从沿着待标识个体的路径的所有分析器收集数据,以标识哪个唯一标识符属于该个体。在图3中描绘的示例中,所有三个个体沿着路径P1、P2和P3从无线分组分析器A的区域行进到无线分组分析器B和C的区域。此后,三个个体中仅两个个体沿着路径P1和P2行进到无线分组分析器D和E的区域。最后,三个个体中仅一个个体沿着路径P2行进到无线分组分析器F的区域。跟踪系统10组合来自沿路径P2的所有分析器的数据,以标识哪个唯一标识符属于从无线分组分析器A覆盖的区域中开始并在无线分组分析器F覆盖的区域中结束的个体。在示例实施例中,无线分组分析器A至F与云服务共享设备的唯一标识符。例如,在经由面部标识可识别的由星号表示的个体的实施例中,系统10可以从第一和最后的分析器A和F而不是中间的分析器收集数据。
通过利用视频监视系统跟踪个体并利用无线分组分析器监视唯一标识符,可以在特定区域中的特定个体和由多个无线分组分析器收集的唯一标识符之间建立相关性。可以在由星号表示的其他个体和由未示出的无线分组分析器收集的唯一标识符之间建立类似的相关性。当数字身份与人员或对象相联系时,不再必要利用视频监视系统来跟踪个体。例如,可以单独利用射频(RF)跟踪来跟踪个体。因此,由于跟踪可以利用传感器网络和无线网络来实现,并且无线网络比大多数传感器网络大,所以本文描述的系统和方法可以有利地实现更鲁棒的跟踪。应当领会,虽然单个事件检测系统可以被配置为检测和定位事件并随后跟踪事件所涉及的个体和/或对象,但是单独的系统可以负责检测和定位事件并随后跟踪个体和/或对象,如下文进一步讨论的。
跟踪系统10可以包括控制器32或者与控制器32通信,控制器32被布置成促进事件检测系统11和无线分组分析器12的操作。例如,控制器32可以包括处理器34、存储器36和/或通信模块38。处理器34可以采取任何合适的形式,诸如被配置为执行软件指令的微控制器、多个微控制器、电路、单个处理器或多个处理器。存储器36可以采取包括如下各项的任何合适的一个或多个形式:诸如随机存取存储器(RAM)的易失性存储器、或诸如只读存储器(ROM)的非易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)或其他数据存储介质。处理器可以使用存储器36在其操作期间用于数据的临时存储。数据和软件、诸如经由分析器12和传感器14、16和18传输的数据和/或对分析被传输的数据和/或定向一个或多个相机或麦克风所必须的算法或软件以及操作系统、固件或其他应用可以安装在存储器36中。通信模块38被布置成使能系统10的组件之间的通信。通信模块38可以是能够利用包括但不限于Wi-Fi(例如,IEEE 802.11)、蓝牙、蜂窝、以太网、Zigbee等的技术使能有线或无线通信信号的传输和/或接收的任何模块、设备或装置。
控制器32可以嵌入到事件检测系统11或无线分组分析器12中(例如,使能智能或连接的事件检测系统或连接的无线分组分析器的功能)。另外,将领会,用于控制器32的一些或所有计算资源可以由指定的网络基础设施和/或基于云的计算设备(例如,经由互联网或其他数据网络与系统10通信的服务器、网关、路由器或其他计算设备)实现。
在示例实施例中,事件检测系统11位于室外灯具中,以实现最佳的相机视野。室外灯具是指任何室外照明基础设施,其包括从支撑物(诸如杆)延伸的照明器材(诸如照明器材),以便照亮周围区域。一个或多个控制器可以嵌入到照明器材中,以使能智能或连接的传感器和/或照明系统的功能。
在示例实施例中,为了最佳的传感器电力供应,无线分组分析器还被布置在室外灯具处,因为室外灯具已经被电连线以给照明器材供电。此外,室外灯具通常沿着道路、街道、人行道或其他路径以规则的间隔安装,道路、街道、人行道或其他路径延伸到人行进的各个位置和/或在所述位置之间延伸。这样,通过在室外灯具处安装无线分组分析器,系统10可以形成为例如贯穿城市、城镇或其他位置的全部或部分以任何期望的方向延伸的无线分组分析器的连接网络。此外,将领会,可以通过在建筑物或其他结构外部或内部的现有灯上改装无线分组分析器来利用现有的照明基础设施。
在示例实施例中,不同位置中的一个或多个相机可以利用标识的人员或对象的一个或多个图像来更新,以使能识别该人员或对象,并且从无线分组分析器收集的数据可以用于证实在不同位置定位标识的人员或对象。
在示例实施例中,跟踪系统10被配置为使用连接的无线分组分析器来跟踪目标,并且不使用由传感器系统获得的视觉数据。例如,通过知道多个目标的位置,连接的无线分组分析器可以用于利用移动数字设备跟踪那些目标。一个或多个相机可以用于在没有移动数字设备的情况下跟踪目标。
在示例实施例中,本文描述的系统和方法可以与停车库和其他地方中的牌照识别系统耦合。例如通过生物特征标识、面部识别、Wi-Fi探测请求、Wi-Fi地址、蓝牙MAC地址等标识的人可以耦合到安装在车辆上的牌照,使得当在某些地方观察到人时,可以基于汽车移动和标识的犯罪现场或其他事件来标识他们。
图4是用于跟踪和标识个体的示例方法400的流程图。在步骤410,提供跟踪系统。跟踪系统可以是本文描述或以其他方式设想的任何系统,包括事件检测系统和无线分组分析器。
在该方法的步骤420,使用事件检测系统的传感器检测和定位第一区域中的事件和与事件相关联的多个目标。在该方法的步骤430,使用事件检测系统确定多个目标内将被标识的至少一个目标。在该方法的步骤440,使用事件检测系统或与事件检测系统通信的另一跟踪系统在第一区域内跟踪至少一个目标。例如,一旦使用包括照明器材和检测音频警报的嵌入式麦克风的位置感知灯具检测到多个目标并对该多个目标进行定位,位置感知灯具就可以向单独的监视系统通知关于检测到的事件,并且单独的监视系统可以跟踪目标。应当领会,事件检测系统仅需要检测和定位事件。其他跟踪系统可以使用事件的位置来跟随目标。替代地,事件检测系统也可以提供这两种功能。
在该方法的步骤450,从第一区域内的移动设备传输包括多个目标的唯一标识符的数据,并由无线分组分析器收集所述数据。无线分组分析器包括第一和第二无线分组分析器,第一无线分组分析器收集一组唯一标识符,并且第二无线分组分析器收集至少一个唯一标识符。在示例实施例中,第二无线分组分析器仅收集单个唯一标识符。在示例实施例中,第二无线分组分析器收集多个唯一标识符,其仅包括也由第一无线分组分析器收集的单个唯一标识符。在替代实施例中,不管唯一标识符的数量,第一和第二无线分组分析器收集可标识目标的共享唯一标识符。
在该方法的步骤460,基于目标的跟踪和由第二无线分组分析器收集的唯一标识符之间的相关性,确定第一区域中的多个目标中的目标的数字身份。由第一和第二无线分组分析器收集的两个组共有至少一个唯一标识符。在示例实施例中,第一和第二无线分组分析器收集多个唯一标识符,但是两者仅共有一个标识符。
有利的是,本文描述的本发明的系统和方法使能基于移动设备检测进行数字身份检测,其比需要三角测量的常规系统和方法更便宜且麻烦更少。此外,本文描述的系统和方法有利地使能使用跟踪技术的数字身份检索,其中跟踪技术不必由事件检测系统提供,使得跟踪可以延伸到事件检测系统的传感器所覆盖的区域之外。
如本文定义和使用的所有定义应理解为控制字典定义、通过引用并入的文件中的定义和/或定义术语的普通含义。
如本文在说明书中和权利要求书中使用的不定冠词“一”和“一个”,除非有相反的明确指示,否则应该理解为意指“至少一个”。
如本文在说明书中和权利要求书中使用的短语“和/或”应理解为意指如此结合的元素中的“一个或二者”,即,在一些情况下结合出现并且在其他情况下分离出现的元素。用“和/或”列出的多个元素应该以相同的方式来解释,即,如此结合的“一个或多个”元素。除了由“和/或”子句具体标识的元素之外,还可以可选地存在其他元素,无论与那些具体标识的元素相关还是无关。
如本文在说明书中和权利要求书中使用的,“或”应该理解为具有与上面定义的“和/或”相同的含义。例如,当分离列表中的项目时,“或”或“和/或”应被解释为包含性的,即,包括至少一个,但也包括多于一个的元素的数量或列表,以及可选地,附加的未列出的项。仅明确指示相反的术语,诸如“仅一个”或“恰好一个”,或者当在权利要求中使用时,“由……包括”将指代包括多个元素或一系列元素中的恰好一个元素。一般来说,当前面有排他性项、诸如“任一”、“其中一个”、“仅其中一个”或“恰好其中一个”时,如本文使用的术语“或”仅应被解释为指示排他性的替代方案(即,“一个或另一个,但不是两者”)。
如本文在说明书中和权利要求书中使用的,关于一个或多个元素的列表,短语“至少一个”应理解为意指从元素列表中的任何一个或多个元素选择的至少一个元素,但不一定包括元素列表内具体列出的每个元素中的至少一个,并且不排除元素列表中元素的任何组合。该定义还允许可选地可以存在除了在短语“至少一个”所指的元素列表内具体标识的元素之外的元素,无论与那些具体标识的元素相关还是无关。
还应当理解,除非明确相反地指示,否则在本文要求保护的包括多于一个步骤或动作的任何方法中,该方法的步骤或动作的次序不一定限于该方法的步骤或动作被叙述的次序。
在权利要求中,以及在以上说明书中,所有过渡短语,诸如“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“保持”、“组成”等都应理解为开放式的,即,意指包括但不限于。仅过渡短语“由……组成”和“基本由……组成”分别应当是封闭或半封闭的过渡短语。
虽然本文已经描述和说明了若干个发明实施例,但是本领域普通技术人员将容易设想到用于执行本文描述的功能和/或获得结果和/或一个或多个优点的多种其他手段和/或结构,并且每个这样的变型和/或修改被认为在本文描述的发明实施例的范围内。更一般地,本领域的技术人员将容易领会,本文描述的所有参数、尺寸、材料和配置意指是示例性的,并且实际的参数、尺寸、材料和/或配置将取决于本发明教导所用于的一个或多个特定应用。本领域技术人员将认识到,或者能够使用不超过常规实验来查明本文描述的具体发明实施例的许多等同物。因此,将理解,前述实施例仅通过示例的方式呈现,并且在所附权利要求及其等同物的范围内,可以以不同于具体描述和要求保护的方式来实践本发明的实施例。本公开的创造性实施例针对本文描述的每个个体的特征、系统、物品、材料、套件和/或方法。此外,两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合,如果这样的特征、系统、物品、材料、套件和/或方法不相互矛盾,则包括在本公开的发明范围内。

Claims (15)

1.一种跟踪至少一个目标的方法(400),所述方法包括以下步骤:
使用第一传感器系统检测和定位(420)第一区域中的事件;
确定(430)在与第一区域中的事件相关联的多个目标内将被标识的至少一个目标;
使用第二传感器系统从第一区域到第二区域跟踪(440)所述至少一个目标,第一传感器系统包括在第二传感器系统中不存在的至少一个更复杂的传感器类型;
由第一和第二无线分组分析器收集(450)包括所述多个目标的唯一标识符的数据,第一无线分组分析器在覆盖第一区域的第一检测区域中收集第一和第二唯一标识符,并且第二无线分组分析器在覆盖第二区域的第二检测区域中收集第一或第二唯一标识符;和
基于对所述至少一个目标到第二区域的跟踪和由第二无线分组分析器收集的第一或第二唯一标识符之间的相关性,确定(460)第一区域中的所述至少一个目标的数字身份。
2.根据权利要求1所述的方法,其中第一传感器系统包括具有多个相机的网络的视频监视系统。
3.根据权利要求1所述的方法,其中第一传感器系统包括具有麦克风网络的声学检测系统。
4.根据权利要求1所述的方法,其中为所述多个目标中的每个目标收集的每个唯一标识符来自移动设备。
5.根据权利要求1所述的方法,进一步包括由第二无线分组分析器收集未由第一无线分组分析器收集的第三唯一标识符的步骤。
6.根据权利要求1所述的方法,其中第二传感器系统是第一传感器系统的一部分。
7.根据权利要求1所述的方法,其中第一和第二无线分组分析器的第一和第二检测区域分别不重叠。
8.根据权利要求1所述的方法,进一步包括使用确定的数字身份和第三无线分组分析器在第三区域中跟踪所述至少一个目标的步骤。
9.根据权利要求8所述的方法,其中第二区域与第一区域分离且不同,并且未被第一传感器系统覆盖。
10.一种用于跟踪至少一个目标的系统,包括:
第一传感器系统,被配置为检测和定位第一区域中的事件;
第二传感器系统,被配置为从第一区域到第二区域跟踪与所述事件相关联的多个目标内的至少一个目标,第一传感器系统包括在第二传感器系统中不存在的至少一个更复杂的传感器类型;
第一和第二无线分组分析器,被配置为收集包括所述多个目标的唯一标识符的数据,第一无线分组分析器被配置为在覆盖第一区域的第一检测区域中收集第一和第二唯一标识符,并且第二无线分组分析器被配置为在覆盖第二区域的第二检测区域中收集第一或第二唯一标识符;和
控制器,被配置为基于对所述至少一个目标到第二区域的跟踪和由第二无线分组分析器收集的第一或第二唯一标识符之间的相关性来确定第一区域中的所述至少一个目标的数字身份。
11.根据权利要求10所述的系统,其中第一传感器系统包括具有多个相机的网络的视频监视系统。
12.根据权利要求10所述的系统,其中第一传感器系统包括具有麦克风网络的声学检测系统。
13.根据权利要求10所述的系统,其中第二传感器系统是第一传感器系统的一部分。
14.根据权利要求10所述的系统,其中第一和第二无线分组分析器的第一和第二检测区域分别不重叠。
15.根据权利要求10所述的系统,其中被收集的每个唯一标识符来自移动设备。
CN201980066331.6A 2018-10-08 2019-10-01 用于标识和跟踪目标的系统和方法 Active CN112789667B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18199019 2018-10-08
EP18199019.3 2018-10-08
PCT/EP2019/076579 WO2020074322A1 (en) 2018-10-08 2019-10-01 Systems and methods for identifying and tracking a target

Publications (2)

Publication Number Publication Date
CN112789667A true CN112789667A (zh) 2021-05-11
CN112789667B CN112789667B (zh) 2023-02-28

Family

ID=63794335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066331.6A Active CN112789667B (zh) 2018-10-08 2019-10-01 用于标识和跟踪目标的系统和方法

Country Status (4)

Country Link
US (1) US20210334549A1 (zh)
EP (1) EP3864637A1 (zh)
CN (1) CN112789667B (zh)
WO (1) WO2020074322A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091235A1 (ja) * 2020-10-28 2022-05-05 日本電気株式会社 電波情報処理装置、電波情報処理システム、電波情報処理方法および記録媒体
GB202019713D0 (en) * 2020-12-14 2021-01-27 Vaion Ltd Security system

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659602A (zh) * 2002-05-07 2005-08-24 阿果技术公司 跟踪系统和相关方法
CN1666218A (zh) * 2002-06-06 2005-09-07 成套仪器公司 用于在跟踪环境中选择性地监视活动的方法和系统
CN101040192A (zh) * 2004-10-12 2007-09-19 皇家飞利浦电子股份有限公司 使用rf-id技术来跟踪设备的方法和系统
KR100776977B1 (ko) * 2006-10-11 2007-11-21 전자부품연구원 센서 네트워크를 이용한 위치 추적 시스템 및 이를 이용한대상물 위치 추적 방법
CN101542546A (zh) * 2006-06-16 2009-09-23 联邦快递公司 使用传感器网跟踪项目的系统和方法
CN201393304Y (zh) * 2009-04-10 2010-01-27 华南理工大学 基于无线传感器网络的移动目标跟踪系统
US20140066089A1 (en) * 2012-09-05 2014-03-06 Motorola Solutions, Inc. Analytic and tracking systems and methods using over-the-air identifiers of mobile devices
US20140066028A1 (en) * 2012-09-05 2014-03-06 Motorola Solutions, Inc. Method and apparatus for identifying a suspect through multiple correlated device identities
CN104040596A (zh) * 2012-01-06 2014-09-10 皇家飞利浦有限公司 使用照明网络的应急响应和追踪
US20150356848A1 (en) * 2014-06-06 2015-12-10 Vivint, Inc. Child monitoring bracelet/anklet
CN105378812A (zh) * 2013-07-09 2016-03-02 皇家飞利浦有限公司 用于使用多个光传感器跟踪车辆的位置的方法和系统
CN105872481A (zh) * 2016-05-31 2016-08-17 中科劲点(北京)科技有限公司 结合视觉信号与无线信号的跟踪定位装置、方法与系统
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN107529221A (zh) * 2017-08-22 2017-12-29 上海兴容信息技术有限公司 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法
US20180255423A1 (en) * 2017-03-02 2018-09-06 Blyncsy, Inc. Systems and methods for converting an electronic device into a tracking device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184154B2 (en) * 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
US8892120B2 (en) * 2011-12-13 2014-11-18 Gladiator Innovations, Llc Methods in a wireless communication system for crime investigation, evidence generation and analysis
US8971932B2 (en) * 2011-12-24 2015-03-03 Secure Sigint, LLC Secure witness or criminal participant location or position and time recording information apparatus, systemts and methods
US11004337B2 (en) * 2012-12-28 2021-05-11 Balu Subramanya Advanced parking management system
US9762865B2 (en) * 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
US10338191B2 (en) * 2014-10-30 2019-07-02 Bastille Networks, Inc. Sensor mesh and signal transmission architectures for electromagnetic signature analysis
US20160335484A1 (en) * 2015-03-11 2016-11-17 Fortinet, Inc. Access point stream and video surveillance stream based object location detection and activity analysis

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659602A (zh) * 2002-05-07 2005-08-24 阿果技术公司 跟踪系统和相关方法
CN1666218A (zh) * 2002-06-06 2005-09-07 成套仪器公司 用于在跟踪环境中选择性地监视活动的方法和系统
CN101040192A (zh) * 2004-10-12 2007-09-19 皇家飞利浦电子股份有限公司 使用rf-id技术来跟踪设备的方法和系统
CN101542546A (zh) * 2006-06-16 2009-09-23 联邦快递公司 使用传感器网跟踪项目的系统和方法
KR100776977B1 (ko) * 2006-10-11 2007-11-21 전자부품연구원 센서 네트워크를 이용한 위치 추적 시스템 및 이를 이용한대상물 위치 추적 방법
CN201393304Y (zh) * 2009-04-10 2010-01-27 华南理工大学 基于无线传感器网络的移动目标跟踪系统
CN104040596A (zh) * 2012-01-06 2014-09-10 皇家飞利浦有限公司 使用照明网络的应急响应和追踪
US20140066089A1 (en) * 2012-09-05 2014-03-06 Motorola Solutions, Inc. Analytic and tracking systems and methods using over-the-air identifiers of mobile devices
US20140066028A1 (en) * 2012-09-05 2014-03-06 Motorola Solutions, Inc. Method and apparatus for identifying a suspect through multiple correlated device identities
CN105378812A (zh) * 2013-07-09 2016-03-02 皇家飞利浦有限公司 用于使用多个光传感器跟踪车辆的位置的方法和系统
US20150356848A1 (en) * 2014-06-06 2015-12-10 Vivint, Inc. Child monitoring bracelet/anklet
CN105915847A (zh) * 2016-04-29 2016-08-31 浙江理工大学 基于特征匹配跟踪的视频监控装置及其方法
CN105872481A (zh) * 2016-05-31 2016-08-17 中科劲点(北京)科技有限公司 结合视觉信号与无线信号的跟踪定位装置、方法与系统
US20180255423A1 (en) * 2017-03-02 2018-09-06 Blyncsy, Inc. Systems and methods for converting an electronic device into a tracking device
CN107529221A (zh) * 2017-08-22 2017-12-29 上海兴容信息技术有限公司 一种结合视频监控和Wi‑Fi定位的追踪分析系统及方法

Also Published As

Publication number Publication date
US20210334549A1 (en) 2021-10-28
WO2020074322A1 (en) 2020-04-16
CN112789667B (zh) 2023-02-28
EP3864637A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
US9401086B2 (en) Automatic update of crowd and traffic data using device monitoring
US10922937B2 (en) Methods and apparatus to locate and track mobile device users for security applications
US10061013B2 (en) Mobile gunshot detection
EP3619503A1 (en) Sticker location device and associated methods
US10559177B2 (en) Area and property monitoring system and method
US10271016B2 (en) Integrated monitoring CCTV, abnormality detection apparatus, and method for operating the apparatus
WO2008048059A1 (en) Real-time rfid positioning system and method, repeater installation method therefor, position confirmation service system using the same
CN112789667B (zh) 用于标识和跟踪目标的系统和方法
EP3456040A1 (en) Surveillance system and method for camera-based surveillance
Higuchi et al. Mobile devices as an infrastructure: A survey of opportunistic sensing technology
US9264447B2 (en) Simultaneous determination of a mobile device and its user identification
US9336661B2 (en) Safety communication system and method thereof
CN111866367A (zh) 用于人标识以及运动方向估计的装置
US11210529B2 (en) Automated surveillance system and method therefor
Pipelidis et al. HuMAn: Human movement analytics via WiFi probes
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
Kitazato et al. Detection of pedestrian flow using mobile devices for evacuation guiding in disaster
CN110913333B (zh) 一种基于Wi-Fi探针的户外人流量告警方法
Li et al. SenseFlow: An Experimental Study for Tracking People
Akhare et al. Proposed framework for improving localization using bluetooth low energy beacons
CN208158905U (zh) 电子哨兵系统用传感器组
Nwebonyi et al. Check for updates
EP3158428A1 (en) Simultaneous determination of a mobile device and its user identification
Wang et al. A Novel Particles Methods for Tracking People With Sense Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant