CN112215053B - 多传感器多对象跟踪 - Google Patents

多传感器多对象跟踪 Download PDF

Info

Publication number
CN112215053B
CN112215053B CN202010650200.7A CN202010650200A CN112215053B CN 112215053 B CN112215053 B CN 112215053B CN 202010650200 A CN202010650200 A CN 202010650200A CN 112215053 B CN112215053 B CN 112215053B
Authority
CN
China
Prior art keywords
target
tracking
processing device
vehicle
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010650200.7A
Other languages
English (en)
Other versions
CN112215053A (zh
Inventor
S.奥龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112215053A publication Critical patent/CN112215053A/zh
Application granted granted Critical
Publication of CN112215053B publication Critical patent/CN112215053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/937—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of marine craft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

在根据本公开的各方面的一个示例实现中，一种计算机实现的方法包括通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机(VCOC)上。该方法还包括通过处理设备将检测目标投影到VCOC上。该方法还包括通过处理设备计算跟踪目标与检测目标之间的二维交并比(2D‑IOU)。该方法进一步包括通过处理设备至少部分地基于所计算的IOU来执行跟踪目标与检测目标之间的关联。该方法进一步包括通过处理设备至少部分地基于该关联来控制车辆。

Description

多传感器多对象跟踪
技术领域
本公开涉及多传感器多对象跟踪。
背景技术
现代车辆(例如，小汽车、摩托车、船或任何其他类型的汽车)可以配备有车辆通信系统，该车辆通信系统促进了车辆与其他实体之间的不同类型的通信。例如，车辆通信系统可以提供车辆到基础设施(V2I)、车辆到车辆(V2V)、车辆到行人(V2P)和/或车辆到电网(V2G)通信。总的来说，这些可以称为车辆到所有(V2X)通信，该通信使信息能够从车辆传递到任何其他合适的实体。各种应用程序(例如，V2X应用程序)可以使用V2X通信来发送和/或接收安全消息、维护消息、车辆状态消息等。
现代车辆可以配备有用于跟踪对象的不同传感器。例如，这样的车辆可以包括一个或多个摄像机，这些摄像机可提供后援帮助，拍摄车辆驾驶员的图像以确定驾驶员的睡意或注意力，提供车辆行驶中的道路图像以防止碰撞，提供结构识别，例如，道路标志等。车辆可以配备多个摄像机，并且多个摄像机(称为“环视摄像机”)中的图像可以用于创建车辆的“环视”或“鸟瞰”视图。某些摄像机(称为“远距离摄像机”)可用于捕获远距离图像(例如，用于对象检测以避免碰撞，识别结构等)。
这样的车辆还可以配备有雷达设备、激光雷达设备和/或类似物以执行目标跟踪。目标跟踪包括识别目标对象，并且随着目标对象相对于观察目标对象的车辆移动而随时间跟踪目标对象。来自车辆的一个或多个摄像机的图像也可以用于执行目标跟踪。
发明内容
在一个示例性实施例中，提供了一种用于多传感器多对象跟踪的计算机实现的方法。该方法包括通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机(VCOC)上。该方法还包括通过处理设备将检测目标投影到VCOC上。该方法还包括通过处理设备计算跟踪目标与检测目标之间的二维交并比(2D-IOU)。该方法进一步包括通过处理设备至少部分地基于所计算的交并比(IOU)来执行跟踪目标与检测目标之间的关联。该方法进一步包括通过处理设备至少部分地基于该关联来控制车辆。
在另外的示例中，针对多个不重叠的传感器，同时执行计算跟踪目标和检测目标之间的2D-IOU。在另外的示例中，跟踪目标是三维的。在另外的示例中，将跟踪目标和检测目标投影为投影的四边形。在另外的示例中，计算2D-IOU包括计算两个投影的四边形之间的交集(intersection)。在另外的示例中，两个投影的四边形之间的2D-IOU由以下等式给出：
其中，面积(q)＝(h2-h1)·(φ2-φ1)·fr。在另外的示例中，处理设备被设置在车辆中。
在另一个示例性实施例中，一种系统包括具有计算机可读指令的存储器；以及用于执行计算机可读指令的处理设备，用于执行用于多传感器多对象跟踪的方法。该方法包括通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机(VCOC)上。该方法还包括通过处理设备将检测目标投影到VCOC上。该方法还包括通过处理设备计算跟踪目标与检测目标之间的二维交并比。该方法进一步包括通过处理设备至少部分地基于所计算的IOU来执行跟踪目标与检测目标之间的关联。该方法进一步包括通过处理设备至少部分地基于该关联来控制车辆。
在另外的示例中，针对多个非重叠传感器，同时执行计算跟踪目标和检测目标之间的2D-IOU。在另外的示例中，跟踪目标是三维的。在另外的示例中，将跟踪目标和检测目标投影为投影的四边形。在另外的示例中，计算2D-IOU包括计算两个投影的四边形之间的交集。在另外的示例中，两个投影的四边形之间的2D-IOU由以下等式给出：
其中，面积(q)＝(h2-h1)·(φ2-φ1)·fr。在另外的示例中，处理设备被设置在车辆中。
在又一示例性实施例中，一种计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有在其上实施的程序指令，其中，该计算机可读存储介质本身不是瞬态信号，该程序指令可通过处理设备执行以引起处理设备执行用于多传感器多对象跟踪的方法。该方法包括通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机(VCOC)上。该方法还包括通过处理设备将检测目标投影到VCOC上。该方法还包括通过处理设备计算跟踪目标与检测目标之间的二维交并比(2D-IOU)。该方法进一步包括通过处理设备至少部分地基于所计算的IOU来执行跟踪目标与检测目标之间的关联。该方法进一步包括通过处理设备至少部分地基于该关联来控制车辆。
在另外的示例中，针对多个非重叠传感器，同时执行计算跟踪目标与检测目标之间的2D-IOU。在另外的示例中，跟踪目标是三维的。在另外的示例中，将跟踪目标和检测目标投影为投影的四边形。在另外的示例中，计算2D-IOU包括计算两个投影的四边形之间的交集。在另外的示例中，两个投影的四边形之间的2D-IOU由以下等式给出：
其中，面积(q)＝(h2-h1)·(φ2-φ1)·fr。
当结合附图考虑时，从以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式在下面的详细描述中出现，该详细描述参考附图，在附图中：
图1A描绘了根据本文所述的一个或多个实施例的车辆；
图1B描绘了根据本文所述的一个或多个实施例的投影摄像机视图；
图1C描绘了根据本文所述的一个或多个实施例的包括传感器和用于多传感器多对象跟踪的处理系统的车辆；
图2描绘了根据本文描述的一个或多个实施例的用于多传感器多对象跟踪的方法的流程图；
图3描绘了根据本文所述的一个或多个实施例的虚拟圆柱全向摄像机的表示；
图4描绘了根据本文所述的一个或多个实施例的具有虚拟圆柱全向摄像机的图1的车辆，该虚拟圆柱全向摄像机使用来自车辆的传感器的数据来生成围绕车辆的投影；
图5描绘了根据本文所述的一个或多个实施例的虚拟圆柱全向摄像机的表示的图；和
图6描绘了根据示例性实施例的用于实现本文描述的技术的处理系统的框图。
具体实施方式
以下描述本质上仅是示例性的，并且无意于限制本公开，其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。如本文所使用的，术语模块是指可以包括专用集成电路(ASIC)、电子电路、(共享的、专用的或成组的)处理器以及执行一个或多个软件或固件程序的存储器的处理电路、组合逻辑电路和/或提供所述功能的其他合适的部件。
本文描述的技术解决方案提供了使用在其上投影有目标的二维交并比(2D-IOU)进行的多传感器多对象跟踪。该虚拟摄像机是全向的，不会像标准摄像机投影那样遭受非重叠视场或投影数值不稳定的困扰。
特别地，本技术提供了对与车辆相关联的不同传感器(即，摄像机、雷达传感器、激光雷达传感器等)生成的数据进行数据融合。可以在跟踪的对象和观察值之间形成关联。根据本文所述的一个或多个实施例，通过将跟踪目标和检测目标投影到虚拟圆柱全向摄像机上，计算跟踪目标和检测目标之间的2D-IOU，以及至少部分地基于所计算的2D-IOU在跟踪目标和检测的目标之间执行关联，来执行多传感器、多对象跟踪。
图1A描绘了根据本文所述的一个或多个实施例的车辆100。在该示例中，示出了两个被跟踪目标(被跟踪目标150和目标152)。这些目标由与车辆100相关联的传感器(例如，摄像机、雷达传感器、激光雷达传感器等)检测。还示出了两个检测(检测151和检测153)。相对于相对于车辆100的相应视线154、155跟踪/检测目标/检测。图1B描绘了根据本文所述的一个或多个实施例的投影摄像机视图102。投影的摄像机视图102示出了图1A的检测1、目标1、检测2和目标2。
多传感器系统试图以最少数量的传感器获得大覆盖；这会导致传感器视场(FOV)之间重叠最少或没有重叠的区域。多传感器系统中的多对象跟踪利用跟踪目标(例如，跟踪目标150、152)和检测(例如，分别为检测151、153)之间的关联。该关联使用目标检测对之间的成本/相似性(affinity)函数。摄像机平面中的交并比(IOU)是一种有吸引力的相似性度量，因为它可以减轻可能会限制摄像机的传感器范围估计噪声。当传感器具有最小的重叠或没有重叠和/或在摄像机视图中检测到的对象被截断时，这可能会成为问题。投影被截断和/或在摄像机投影中心后面的对象在数值上不稳定。当不同的模态传感器(不是摄像机)检测到对象时，通常不清楚如何使用2D-IOU。当通过不同的不重叠传感器检测到多个目标时，处理按顺序进行，一次一个传感器，这会占用大量时间和大量资源。本技术解决了这些问题。
图1C描绘了根据本文描述的一个或多个实施例的包括传感器和用于多传感器多对象跟踪的处理系统110的车辆100。在图1的示例中，车辆100包括处理系统110和传感器。传感器包括摄像机120、121、122、123，摄像机130、131、132、133，雷达传感器140和激光雷达传感器141。车辆100可以是小汽车、卡车、货车，公共汽车、摩托车、船、飞机或其他合适的车辆100。
摄像机120–123是环视摄像机，其捕获车辆100外部和附近的图像。由摄像机120–123捕获的图像一起形成车辆100的环视图(有时称为“俯视图”或“鸟瞰图”。这些图像可用于操作车辆(例如，停车、倒车等)。摄像机130-133是远程摄像机，其捕获车辆外部并且与摄像机120-123相比更远离车辆100的图像。例如，这些图像可用于对象检测和避免。应当理解，尽管示出了八个摄像机120-123和130-133，但是在各种实施例中可以实现更多或更少的摄像机。
所捕获的图像可以显示在显示器(未示出)上，以向车辆100的驾驶员/操作者提供车辆100的外观。所捕获的图像可以被显示为实时图像、静止图像或其某种组合。在一些示例中，图像可以被组合以形成合成视图，诸如环视图。
雷达传感器140通过发送电磁波并利用传感器测量反射波来测量到目标对象的距离。该信息对于确定目标对象相对于车辆100的距离/位置很有用。
激光雷达(光检测和测距)传感器141通过用脉冲激光照亮目标并利用传感器测量反射脉冲来测量到目标对象的距离。该信息对于确定目标对象相对于车辆100的距离/位置很有用。
从摄像机120-123、130-133，雷达传感器140和/或激光雷达传感器141生成的数据可用于跟踪相对于车辆100的目标对象。目标对象的示例包括其他车辆、行人、自行车、动物等。这样的数据还可以用于生成表示围绕车辆100的虚拟圆柱全向摄像机的视图。因此，本技术提供了将多个不同的传感器投影到虚拟全向圆柱形摄像机上。这在非重叠的多传感器系统中提供了强大的相似性，并且还可以在单个周期内而不是逐个传感器地处理来自非重叠传感器的多个输入。
为实现此，处理系统110包括并利用检测引擎112、关联引擎114和控制引擎116。尽管未示出，但是处理系统110可以包括其他部件、引擎、模块等，例如处理器(例如中央处理器、图形处理单元、微处理器等)，存储器(例如随机存取存储器、只读存储器等)，数据存储区(例如固态驱动器、硬盘驱动器等)。本文进一步描述处理系统110的部件的特征和功能。车辆100的处理系统110执行多传感器多对象跟踪。参考以下附图进一步描述该过程。
图2描绘了根据本文所述的一个或多个实施例的用于多传感器多对象跟踪的方法200的流程图。方法200可以由任何合适的处理设备(例如，图6的处理器621)和/或处理系统(例如，图1的处理系统110或图6的处理系统600)来实现。
在框202处，检测引擎112将跟踪目标(可以是三维的)投影到虚拟圆柱全向摄像机(VCOC)上。在框204处，检测引擎112将检测目标投影到VCOC上。根据本文所述的一个或多个实施例，VCOC以任意焦距(例如0.25m、0.33m、0.5m、0.7m、1.0m、1.2m)定位在车辆100的中心。使用投影技术将跟踪目标(例如，跟踪目标150、152)和检测(例如，检测151、153)投影到VCOC上。一旦将目标和检测投影到VCOC上，就可以使用此处所述的高效轴对齐IOU计算技术来计算2D-IOU。可以同时对多个不重叠的传感器执行此计算(例如，参见图4)，从而提高了效率。
在框206处，检测引擎112计算跟踪目标和检测目标之间的二维交并比(IOU)。
参照图3进一步描述包括检测引擎112的功能的框202、204和206，图3描绘了根据本文所述的一个或多个实施例的虚拟圆柱全向摄像机(VCOC)的表示300。
参照图3，并且在不失一般性的情况下，VCOC的投影中心被定义在主体坐标系(即，充当主体的车辆100的坐标系)中的(x,y,z)＝(0,0,0)处。圆柱半径由fr表示。圆柱壳外部的某一3D点pi＝(xi,yi,zi)到VCOC上的投影由给出，使得：
φi＝arctan2(xi,yi) (2)
其中，这样，跟踪目标和检测的目标就被投影到VCOC上(框202，204)。
接下来，可以计算两个3D长方体的投影之间的2D-IOU(框206)。对于给定的3D长方体，这样的长方体的角表示为ci＝(xi,yi,zi)，其根据等式(1)和(2)的圆柱投影表示为将所有8个长方体角投影到圆柱体上之后，我们计算由qj＝(hj1,φj1,hj2,φj2)给出的投影边界四边形，其中是qj为“四边形j”，使得：
如果(max(φi)-min(φi))>π，则φi＝φi+2π
h1＝min(hi),φ1＝min(φi)
h2＝max(hi),φ2＝max(φi).
两个投影四边形之间的交并比(IOU)由以下给出:
其中：
面积(q)＝(h2-h1)·(φ2-φ1)·fr (4)
在图5中描绘了两个投影的四边形，检测目标502和跟踪目标504各一个。特别地，图5描绘了根据本文所描述的一个或多个实施例的虚拟圆柱全向摄像机的表示500的示意图。
再次参考图3，对于交集(q1,q2)，通过考虑以下四种情况来确定交集四边形：
情况1 φ12,φ22≤π，对于q1和q2二者
情况2 φ12≤π,对于q1；但φ22>π,对于q2
情况3 φ22≤π,对于q2；但φ12>π,对于q1
情况4 φ12,φ22>π,对于q1和q2二者
在情况1和情况4中，交集四边形由以下给出：
q交集＝(max(h11,h21),max(φ11,φ21),min(h12,h22),min(φ12,φ22)) (5)
其中，qi＝(hi1,φi1,hi2,φi2)。因此,
交集(q1,q2)＝面积(q交集) (6)
在情况2中，计算两个交集四边形：第一个四边形是如情况1和4一样计算的，而第二个四边形是在进行φ11＝φ11+2π和φ12＝φ12+2π转换之后计算的。交集面积被视为两次计算之间的最大交集。
在情况3中，还计算了两个交集四边形。在这种情况下，第一个四边形是如情况1和4那样计算的(即原始四边形)，而第二个四边形是在进行φ21＝φ21+2π和φ22＝φ22+2π转换之后进行计算。同样，交集面积被视为两次计算之间的最大交集。
再次参考图2，在框208处，关联引擎114至少部分地基于所计算的IOU在跟踪目标和检测的目标之间执行关联。该关联可以以几种方式执行。例如，可以应用贪婪(greedy)关联算法或匈牙利(Hungarian)算法来执行关联。
关于贪婪关联算法，该方法的目标是使整体关联成本最小化。贪婪关联算法将目标和观测值M之间的成本矩阵作为输入，并输出一组关联S。贪婪关联算法执行如下：(1)将关联集初始化为空，其中S＝[]；(2)在矩阵M中为第i列和第j行找到一个最小值；(3)如果Mij<阈值，(i)将(i,j)添加到关联集，(ii)从M中删除列i，并且(iii)从M中删除行j；(4)其他结束；以及(5)如果M没有更多的行或列，则停止；否则重复。
匈牙利算法采用成本矩阵M并使用以下等式解决优化问题s.t.：
x＝argminx∑xijMij
其中xij是指标变量s.t.，当且仅xij＝1，则目标i与检测j相关联。匈牙利算法通过给定成本矩阵M提供最佳分配来解决此优化问题。
在框210处，控制引擎116至少部分地基于来自框208的关联来控制车辆。控制引擎116至少部分地基于跟踪目标对象来控制车辆。控制车辆100可以包括增加/减小速度，改变方向等。例如，如果目标对象相对于车辆100的位置将引起碰撞，则控制引擎116可以控制车辆100避开目标对象。这是可能的，因为根据本文所述的多传感器多对象跟踪的示例，跟踪目标对象并基于计算出的IOU在跟踪目标和检测的目标之间执行关联。结果，通过使用这种跟踪和关联来控制车辆来改善车辆技术。
还可以包括附加过程，并且应当理解，图2中描绘的过程仅用于说明，并且可以在不脱离本公开的范围和精神的情况下添加其他过程或者可以删除，修改或重新布置现有过程。
图4描绘了根据本文所述的一个或多个实施例的具有VCOC 430的图1的车辆100，该VCOC 430使用来自车辆的传感器的数据生成关于车辆100的投影432。传感器可以包括摄像机、雷达传感器和/或激光雷达传感器。
在图2的示例中，车辆100的传感器包括六个摄像机：420a，420b，420c，420d，420e，420f(统称为“摄像机420”)。每个摄像机420包括视场(FOV)。例如，摄像机420a包括由边界420a1、420a2限定的FOV；摄像机420b包括由边界420b1、420b2限定的FOV；对于其他摄像机420c-420f，依此类推。摄像机420在它们各自的FOV内捕获图像数据。图像数据可用于对象检测和跟踪。例如，摄像机420捕获对象401a，401b，401c，401d(统称为“对象401”)的图像。对象401被描绘为车辆，但是可以是任何合适的对象。
本文示例中，VCOC 430可同时处理来自多个不重叠传感器(例如，摄像机420a-420f)的检测。这比一个接一个地处理传感器输入更有效，并且因此表示处理系统110的功能上的改进，因为它可以同时处理来自多个非重叠传感器的检测。
应当理解，本公开能够与现在已知或以后开发的任何其他类型的计算环境结合实现。例如，图6描绘了用于实现本文描述的技术的处理系统600的框图。在示例中，处理系统600具有一个或多个中央处理单元(处理器)621a，621b，621c等(统称为或总称为处理器621和/或称为处理设备)。在本公开的各方面中，每个处理器621可以包括精简指令集计算机(RISC)微处理器。处理器621经由系统总线633耦接到系统存储器(例如，随机存取存储器(RAM)624)和各种其他部件。只读存储器(ROM)622耦接到系统总线633，并且可以包括基本输入/输出系统(BIOS)，其控制处理系统600的某些基本功能。
进一步描绘了输入/输出(I/O)适配器627和耦接到系统总线633的网络适配器626。I/O适配器627可以是与硬盘623和/或存储设备625或任何其他类似部件通信的小型计算机系统接口(SCSI)适配器。I/O适配器627、硬盘623和存储设备625在本文中统称为大容量存储器634。用于在处理系统600上执行的操作系统640可以存储在大容量存储器634中。网络适配器626将系统总线633与外部网络636互连，使处理系统600能够与其他这样的系统通信。
显示器(例如，显示器监视器)635通过显示器适配器632连接到系统总线633，显示器适配器632可以包括图形适配器以改善图形密集型应用程序和视频控制器的性能。在本公开的一方面，适配器626、627和/或632可以连接到一个或多个I/O总线，该I/O总线经由中间总线桥(未示出)连接到系统总线633。用于连接外围设备(例如硬盘控制器、网络适配器和图形适配器)的合适I/O总线通常包括通用协议，例如外围组件互连(PCI)。附加的输入/输出设备被示为经由用户接口适配器628和显示适配器632连接到系统总线633。输入设备629(例如，键盘、麦克风、触摸屏等)、输入指针630(例如，鼠标、触控板、触摸屏等)和/或扬声器631可以经由用户接口适配器628互连到系统总线633，该用户接口适配器628可以包括例如将多个设备适配器集成到单个集成电路中的Super I/O芯片。摄像机120-123、130-133中的一个或多个也连接到系统总线633。
在本公开的一些方面，处理系统600包括图形处理单元637。图形处理单元637是专用电子电路，其被设计为操纵和改变存储器以加速用于输出到显示器的帧缓冲器中的图像的创建。通常，图形处理单元637在操纵计算机图形和图像处理方面非常有效，并且具有高度并行的结构，这使其对于并行处理大数据块的算法而言比通用CPU更有效。
因此，如本文所配置的，处理系统600包括处理器621形式的处理能力，包括系统存储器(例如，RAM 624)、大容量存储器634、诸如键盘629和鼠标630的输入装置的存储能力，以及包括扬声器631和显示器635的输出能力。在本公开的一些方面中，一部分系统存储器(例如，RAM 624)和大容量存储器634共同存储操作系统640，以协调在处理系统600中示出的各个部件的功能。
已经出于说明的目的给出了本公开的各个示例的描述，但是这些描述并不旨在是穷举的或限于所公开的实施例。在不脱离所描述技术的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释本技术的原理，对市场上发现的技术的实际应用或技术改进，或使本领域的其他普通技术人员能够理解本文公开的技术。
尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物代替其元件。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本技术不限于所公开的特定实施例，而是将包括落入本申请范围内的所有实施例。

Claims (10)

1.一种用于多传感器多对象跟踪的计算机实现的方法，该方法包括：
通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机上；
通过处理设备将检测目标投影到虚拟圆柱全向摄像机上；
通过所述处理设备计算所述跟踪目标与检测目标之间的二维交并比；
通过处理设备至少部分地基于所计算的交并比来执行跟踪目标与检测目标之间的关联；和
通过处理设备至少部分地基于该关联来控制车辆。
2.根据权利要求1所述的计算机实现的方法，其中，针对多个非重叠传感器，同时执行计算所述跟踪目标与检测目标之间的二维交并比。
3.根据权利要求1所述的计算机实现的方法，其中，跟踪目标是三维的。
4.根据权利要求1所述的计算机实现的方法，其中，将跟踪目标和检测目标投影为投影的四边形，分别用q1和q2表示。
5.根据权利要求4所述的计算机实现的方法，其中，计算二维交并比包括计算两个投影的四边形之间的交集。
6.根据权利要求5所述的计算机实现的方法，其中，两个投影的四边形之间的二维交并比由以下等式给出：
7.根据权利要求1所述的计算机实现的方法，其中，所述处理设备被设置在车辆中。
8.一种用于多传感器多对象跟踪的计算机实现的系统，包括：
存储器，该存储器包括计算机可读指令；和
用于执行计算机可读指令的处理设备，以执行用于多传感器多对象跟踪的方法，该方法包括：
通过处理设备将跟踪目标投影到虚拟圆柱全向摄像机上；
通过处理设备将检测目标投影到虚拟圆柱全向摄像机上；
通过所述处理设备计算所述跟踪目标与检测目标之间的二维交并比；
通过处理设备至少部分地基于所计算的交并比来执行跟踪目标与检测目标之间的关联；和
通过处理设备至少部分地基于该关联来控制车辆。
9.根据权利要求8所述的系统，其中，针对多个非重叠传感器，同时执行计算所述跟踪目标与所述检测目标之间的二维交并比。
10.根据权利要求8所述的系统，其中，所跟踪目标是三维的。
CN202010650200.7A 2019-07-12 2020-07-08 多传感器多对象跟踪 Active CN112215053B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/510,260 US10699563B1 (en) 2019-07-12 2019-07-12 Multi-sensor multi-object tracking
US16/510,260 2019-07-12

Publications (2)

Publication Number Publication Date
CN112215053A CN112215053A (zh) 2021-01-12
CN112215053B true CN112215053B (zh) 2023-09-19

Family

ID=71125275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010650200.7A Active CN112215053B (zh) 2019-07-12 2020-07-08 多传感器多对象跟踪

Country Status (2)

Country Link
US (1) US10699563B1 (zh)
CN (1) CN112215053B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11127295B2 (en) * 2018-01-23 2021-09-21 Board Of Trustees Of Michigan State University Visual sensor fusion and data sharing across connected vehicles for active safety
CN113075922A (zh) * 2019-12-17 2021-07-06 图森有限公司 来自多个传感器的数据集成
CN112509008B (zh) * 2020-12-15 2022-05-03 重庆邮电大学 一种基于交并比引导孪生网络的目标跟踪方法
CN113052876B (zh) * 2021-04-25 2022-09-02 合肥中科类脑智能技术有限公司 一种基于深度学习的视频接力跟踪方法及系统
CN113033522B (zh) * 2021-05-25 2021-09-10 风脉能源（武汉）股份有限公司 基于视觉检测塔筒晃动的标记物识别方法
CN113724298B (zh) * 2021-11-01 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 多点位感知融合方法及装置、计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396251B1 (en) * 2016-01-07 2016-07-19 International Business Machines Corporation Detecting and tracking virtual containers
DE102017108254A1 (de) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Rundumsichtkamerasystem zur Objekterkennung und -verfolgung
CN107306338A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 用于对象检测和跟踪的全景摄像机系统
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN109829445A (zh) * 2019-03-01 2019-05-31 大连理工大学 一种视频流中的车辆检测方法
CN109871739A (zh) * 2018-12-27 2019-06-11 南京国图信息产业有限公司 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9255989B2 (en) * 2012-07-24 2016-02-09 Toyota Motor Engineering & Manufacturing North America, Inc. Tracking on-road vehicles with sensors of different modalities
US9866815B2 (en) * 2015-01-05 2018-01-09 Qualcomm Incorporated 3D object segmentation
US10332264B2 (en) * 2016-11-07 2019-06-25 Nec Corporation Deep network flow for multi-object tracking
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
CN111133447B (zh) * 2018-02-18 2024-03-19 辉达公司 适于自主驾驶的对象检测和检测置信度的方法和系统
US11061132B2 (en) * 2018-05-21 2021-07-13 Johnson Controls Technology Company Building radar-camera surveillance system
WO2019241022A1 (en) * 2018-06-13 2019-12-19 Nvidia Corporation Path detection for autonomous machines using deep neural networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396251B1 (en) * 2016-01-07 2016-07-19 International Business Machines Corporation Detecting and tracking virtual containers
DE102017108254A1 (de) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Rundumsichtkamerasystem zur Objekterkennung und -verfolgung
CN107306338A (zh) * 2016-04-19 2017-10-31 通用汽车环球科技运作有限责任公司 用于对象检测和跟踪的全景摄像机系统
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN109871739A (zh) * 2018-12-27 2019-06-11 南京国图信息产业有限公司 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN109829445A (zh) * 2019-03-01 2019-05-31 大连理工大学 一种视频流中的车辆检测方法

Also Published As

Publication number Publication date
US10699563B1 (en) 2020-06-30
CN112215053A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215053B (zh) 多传感器多对象跟踪
JP7295234B2 (ja) 自律運転マシンのための回帰ベースの線分検出
CN110494863B (zh) 确定自主车辆的可驾驶自由空间
CN113139642B (zh) 在自主驾驶应用中使用神经网络执行故障检测
JP2022536030A (ja) ビデオ分析アプリケーションにおける相関フィルタを使用した複数物体追跡
JP2022523614A (ja) 駐車スペース検出に適したスキューされたポリゴンを使用した物体検出
CN111133447A (zh) 适于自主驾驶的对象检测和检测置信度
CN113906271A (zh) 用于自主机器应用的使用地图信息增强的地面实况数据的神经网络训练
CN111695717A (zh) 自主机器应用中的时间信息预测
CN113056749A (zh) 用于自主机器应用的未来对象轨迹预测
US11830160B2 (en) Object detection using planar homography and self-supervised scene structure understanding
KR20220078707A (ko) 머신 러닝을 이용한 이미지로부터의 객체 배향 결정
CN114787879A (zh) 使用神经网络进行训练和推理以预测图像中对象的方向
US10242272B2 (en) Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
CN112989914A (zh) 具有自适应加权输入的注视确定机器学习系统
JP7091485B2 (ja) 運動物体検出およびスマート運転制御方法、装置、媒体、並びに機器
KR20220084118A (ko) 이미지 정렬 신경망
CN114270294A (zh) 使用眩光作为输入的注视确定
JP2023031237A (ja) 自律マシン・アプリケーションのためのＬｉＤＡＲデータを使用する物体追跡
CN115136148A (zh) 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测
CN115830486A (zh) 使用迁移学习训练对象检测模型
JP2023131069A (ja) 自律システム及びアプリケーションのためのニューラル・ネットワークを使用したマップ情報の物体データ・キュレーション
JP2023021910A (ja) 自律マシン・アプリケーションにおける距離画像マッピングのための信念伝搬
JP2023001859A (ja) 駐車に適した車両進路計画立案の並列処理
JP2023087616A (ja) 自律システム及びアプリケーションのための画像コントラスト分析を使用した眩しさ軽減

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant