CN107103275B - 使用雷达和视觉基于车轮进行的车辆检测和追踪 - Google Patents

使用雷达和视觉基于车轮进行的车辆检测和追踪 Download PDF

Info

Publication number
CN107103275B
CN107103275B CN201710067669.6A CN201710067669A CN107103275B CN 107103275 B CN107103275 B CN 107103275B CN 201710067669 A CN201710067669 A CN 201710067669A CN 107103275 B CN107103275 B CN 107103275B
Authority
CN
China
Prior art keywords
wheel
candidate
wheels
tracked
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710067669.6A
Other languages
English (en)
Other versions
CN107103275A (zh
Inventor
W·张
W·佟
S·曾
J·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107103275A publication Critical patent/CN107103275A/zh
Application granted granted Critical
Publication of CN107103275B publication Critical patent/CN107103275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415Identification of targets based on measurements of movement associated with the target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87Combinations of radar systems, e.g. primary radar and secondary radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种用于使用车轮检测来检测相对于主车辆的远程车辆的系统和方法。该系统和方法包括:基于从多个对象检测装置接收到的车轮检测数据来追踪候选车轮;将与每个追踪到的候选车轮的车轮检测数据有关的选择参数进行比较;以及通过基于对选择参数的比较来确定任何追踪到的候选车轮之间是否存在阈值关联来识别远程车辆。

Description

使用雷达和视觉基于车轮进行的车辆检测和追踪
技术领域
本发明总体涉及对象检测和追踪系统,且更具体地涉及一种用于基于多传感器车轮检测来检测和追踪远程车辆的系统和方法。
背景技术
许多现代车辆都装配有先进的安全和驾驶员辅助系统,该先进的安全和驾驶员辅助系统需要稳健且精确的对象检测和追踪系统来控制响应式主车辆操纵。这些系统利用对对象的周期性检测或者连续检测以及控制算法来估算多个对象参数,诸如,相对对象全距、全距变化率(即,对象的关闭速度或者打开速度)、行驶方向、对象位置以及对象的大小。对象检测系统可以使用多种检测技术中的任何一种,诸如,雷达、视觉成像、激光或者激光雷达、超声波等。这些检测系统中的每一个都有助于以不同的方式来进行对象检测和估算对象参数,并且具有多种局限性。某些安全和驾驶员辅助系统(例如,横向碰撞预防系统)所要求的在邻近车道上进行的对象的检测和追踪尤其可能具有挑战性,这是由于一些检测系统相关联的性能局限性。
例如,雷达装置通过传递传感器的视野内的对象反射的电磁信号来检测和定位对象。反射信号作为回波返回至雷达,在该雷达处对回波进行处理以便确定多种信息,诸如,传递/接收能量的往返行程时间。该往返行程时间与来自雷达的对象的全距成正比。除了全距确定之外,还具有用于确定所检测对象的方位(即,横程)位置的方法。因此,雷达能够取决于其复杂性在相对于装置位置的全距和方位上定位对象。
基于在对整个传感器视野进行抽样期间的反射信号,积聚了一组检测点。由于远程传感器(无论是雷达、激光、超声波还是其它有源传感器)收集到的“反射”的性质,所以该组检测点仅仅代表存在于传感器的视野中的对象或者多个对象上的某些点。对这些检测点进行分析以便确定可能存在的是什么类型的对象以及该对象位于哪里。然而,短程雷达装置缺乏用于辨认对象识别细节以及在位置接近的对象之间进行区分所必需的角度和空间分辨率(即,没有点状目标假设)。当主车辆与对象之间具有较小相对速度或者没有相对速度时,雷达系统中也出现性能退化,从而使得难以估算速度和方向。
对象检测和追踪系统也广泛地使用视觉成像来识别位于靠近主车辆的对象并对其进行分类。通常,视觉系统使用一个或多个摄像机来捕集图像,并且使用多种图像处理技术来从该图像提取对象和特征。然后,当对象在主车辆的视野内移动时,就在该图像之间追踪该对象。然而,移动对象的外观可能在一个捕集图像至另一个捕集图像上发生显著变化。因此,相同对象可能在多个位置处捕集到的图像中看起来不同。当对象或者特征的外观在各图像之间大幅地改变时,视觉系统就不能够继续进行追踪。
发明内容
根据本发明的实施例,提供了一种用于使用车轮检测来检测相对于主车辆的远程车辆的方法。该方法包括:基于从多个对象检测装置接收到的车轮检测数据来追踪候选车轮;将与每个追踪到的候选车轮的车轮检测数据有关的选择参数进行比较;以及通过基于对选择参数的比较来确定任何追踪到的候选车轮之间是否存在阈值关联来识别远程车辆。
根据本发明的另一个实施例,提供了一种用于使用车轮检测来检测相对于主车辆的远程车辆的方法。该方法包括:接收与从第一对象检测装置检测到的第一潜在车轮有关的第一车轮检测数据;接收与从第二对象检测装置检测到的第二潜在车轮有关的第二车轮检测数据;将第一车轮检测数据与第二车轮检测数据融合以便生成系统级候选车轮;确定每对系统级候选车轮之间的关系;将每对系统级候选车轮之间的关系与用于车辆简况的一套标准进行比较;以及当一对系统级候选车轮之间的关系满足用于车辆简况的该套标准时,检测车辆。
根据本发明的又另一个实施例,提供了一种用于使用车轮检测来检测相对于主车辆的远程车辆的系统。该系统包括至少一个车辆控制模块,该至少一个车辆控制模块配置为:接收与从多个对象检测装置检测到的潜在车轮有关的车轮检测数据;将来自多个对象检测装置的车轮检测数据融合以便生成系统级候选车轮;确定每对系统级候选车轮之间的关系;将每对系统级候选车轮之间的关系与用于车辆简况的一套标准进行比较;以及当一对系统级候选车轮之间的关系满足用于车辆简况的该套标准时,检测车辆。
附图说明
下文将结合附图对本发明的一个或多个实施例进行描述,图中相似标号表示相似元件,并且在附图中:
图1图示了根据本公开的示例性实施例的包括主车辆和逼近远程车辆的示例性环境的概况;以及
图2图示了根据本公开的示例性实施例的对象检测和追踪系统的框图;
图3图示了流程图,该流程图描绘了根据本公开的示例性实施例的用于检测远程车辆的示例性方法;
图4图示了流程图,该流程图描绘了根据本公开的示例性实施例的用于检测远程车辆的另一个示例性方法;
图5图示了流程图,该流程图描绘了根据本公开的示例性实施例的用于使用雷达检测装置来检测潜在车轮的示例性方法;并且
图6图示了流程图,该流程图描绘了根据本公开的示例性实施例的用于使用视觉系统来检测潜在车轮的示例性方法。
具体实施方式
本文根据需要公开了详细实施例。然而,应理解,所公开的实施例仅仅是多种形式和替代形式、以及其组合的示例。如本文所使用的,用语“示例性地”扩展地用于指代用作图示、范例、模型、或者模式的实施例。附图不一定要按照比例绘制,并且一些特征可以被放大或者缩小以便示出特定部件的细节。在其它情况下,为了避免使本公开含糊不清,所以对于本领域的普通技术人员而言众所周知的部件、系统、材料、或者方法没有进行详细描述。因此,本文公开的特定结构和功能细节不应理解为具有限制性,而是仅仅作为权利要求书的基础以及作为教导本领域的技术人员的代表性基础。
下文描述的系统和方法涉及基于来自多个对象检测装置的车轮检测来检测和追踪远程车辆。在一个实施例中,该系统包括雷达检测装置和视觉检测装置,每个检测装置配置为检测和识别在主车辆的视野中检测到的对象中的潜在车轮。统一车轮追踪器将来自雷达检测装置和视觉检测装置的检测数据融合并且基于所组合的车轮检测数据来追踪候选车轮。如果追踪到的候选车轮中的任意两个之间具有阈值关联,则确定了远程车辆的存在。
尽管本公开和示例性实施例主要是通过示例的方式参照视觉检测系统和雷达检测系统进行描述,但本文公开的一般概念也可以用于将来自多种类型的传感器和对象检测装置的输出融合。换言之,任何数量的不同传感器、部件、装置、模块、系统等都可以为对象检测和追踪系统10提供可以由本方法使用的信息或者输入。应理解,对象检测装置、以及位于对象检测和追踪系统10中的和/或由对象检测和追踪系统10使用的任何其它传感器都可以体现为硬件、软件、固件、或者其一些组合。这些传感器可以直接感测或者测量其提供的条件,或者这些传感器可以基于由其它传感器、部件、装置、模块、系统等提供的信息来间接地评估该条件。此外,这些传感器可以直接联接至所公开的控制模块,经由其它电子装置、车辆通信总线、网络等来间接地联接,或者根据本领域中已知的一些其它布置来联接。这些传感器可以集成在另一车辆部件、装置、模块、系统等内(例如,集成在发动机控制模块(ECM)、牵引力控制系统(TCS)、电子稳定性控制(ESC)系统、防抱死制动系统(ABS)等内的传感器),或者这些传感器可以是独立的部件(如在图1中示意性地示出的)。下文描述的多个传感器读数中的任何读数都能够由主车辆中的一些其它部件、装置、模块、系统等来提供,而不是由实际传感器元件直接提供。在一些情况下,可以采用多个传感器来感测单个参数(例如,为了提供信号冗余度)。应理解,前述情境仅仅代表一些可能性,因为对象检测和追踪系统10可以使用任何类型的合适传感器布置。该系统不限于任何特定传感器或者传感器布置。
图1和图2图示了根据本公开的示例性实施例的由主车辆12实施的对象检测和追踪系统10。图1图示了包括主车辆12和逼近远程车辆14的示例性环境的概况,该逼近远程车辆14在邻近车道中行驶并且在相同的总行驶方向上前进。为了便于解释,图1仅仅示出了涉及主车辆12的与逼近远程车辆14有关的一侧的相关区域。然而,本领域的普通技术人员会理解,典型的对象检测和追踪系统在主车辆12的所有侧上以多种组合形式进行实施以便使得可以在车辆周围360度检测和追踪到对象。图2图示了根据示例性实施例的对象检测和追踪系统10的框图。
参照图1和图2,对象检测和追踪系统10包括多个对象检测装置16和18、车轮追踪器模块20、以及控制模块22,该控制模块22在一个实施例中是外部对象计算模块(EOCM)。多个对象检测装置配置为检测和追踪在主车辆12周围的环境中的对象,并且可以包括已知对象检测系统,包括:但不限于,光检测和测距(LIDAR)装置、无线电检测和测距(RADAR)装置、视觉装置(例如,摄像机等)、激光二极管指示器、或者其组合。在本文示出的示例性实施例中,主车辆12中的对象检测装置指雷达检测装置16和成像系统18。
雷达检测装置16包括多个雷达传感器24,该多个雷达传感器24定位在主车辆12的外围周围的多个位置处。在图1中示出的示例中,雷达传感器24定位在主车辆12的前角和左后角,分别创建出监测特定相关区域的传感器视野26。雷达传感器24配置为传递雷达传感器的视野26内的远程对象反射的电磁信号。反射信号作为回波返回并且由雷达对象检测模块28处理,雷达对象检测模块28从该回波提取与检测到的对象有关的信息,诸如,例如,全距、方位角、以及包括多普勒测量的全距变化率数据。雷达对象检测模块28可以是单一式模块或者可以包括多个其它模块或子模块,该雷达对象检测模块28配置为根据本文公开的方法和算法来接收和处理雷达回波信号。在一个实施例中,雷达对象检测模块28包括:但不限于,放大器、混频器、振荡器、组合器、滤波器、以及转换器。雷达对象检测模块28执行的功能可以发生变化,但大体上包括:执行各种滤波功能、放大功能、转换功能和数字化功能,以及分析信号的多种属性以便确定信号的特点,诸如,相位、频率和振幅。如本领域的技术人员理解的,用于从信号提取该信息的技术可以发生变化,但可以包括:但不限于,使用傅里叶变换进行的同相和正交分析以及频域分析。在一个实施例中,雷达对象检测模块28还可以包括:但不限于,用于执行脉冲压缩功能和杂波抑制(例如,多普勒滤波)功能的部件。如下文详细地描述的,根据本文公开的方法,雷达对象检测模块28配置为将在传感器的视野26中检测到的对象识别为潜在车轮。
成像系统18包括图像捕集装置30,该图像捕集装置30包括但不限于:安装在主车辆12的外围周围的多个位置处的摄像机。在图1中示出的示例中,图像捕集装置30沿着主车辆的左侧定位从而创建出监测特定相关区域的视野32,该特定相关区域在该示例中是主车辆12的左侧。该图像捕集装置捕集视野32中的对象的图像并且将图像数据传递至基于视觉的对象检测模块34。该基于视觉的对象检测模块34可以是单一式模块或者可以包括多个其它模块或子模块,该基于视觉的对象检测模块34配置为根据本文公开的方法和算法来接收和处理捕集到的图像。在一个实施例中,处理捕集到的图像包括:提取与检测到的对象有关的信息,并且可以包括:对输入的捕集到的图像进行矫正、缩放、滤波、以及噪声消除。如下文详细地描述的,根据本文公开的方法,基于视觉的对象检测模块34配置为将在系统的视野32中检测到的对象识别为潜在车轮。
车轮追踪器模块20是控制模块,该控制模块配置为从多个对象检测装置接收车轮检测数据并且融合该车轮检测数据,该多个对象检测装置在图1和图2中示出的示例性实施例中是雷达检测装置16和成像系统18。本领域的普通技术人员会理解,车轮追踪器模块20可以是独立模块,或者可以并入在另一车辆控制模块(诸如,但不限于,控制模块22)内。在一个实施例中,由车轮追踪器模块20接收到的车轮检测数据(即,与被识别为潜在车轮的每个检测到的对象有关的数据)包括与每个潜在车轮相关联的运动学模型。该运动学模型可以发生变化,但大体上包括如下运动学参数:诸如,位置、速度、加速度、速度方向、加速度方向、以及其它运动参数。车轮追踪器模块20配置为将来自雷达检测装置16和成像系统18的车轮检测数据融合或者统一起来以便生成系统级候选车轮,车轮追踪器模块20然后根据已知方法来追踪该系统级候选车轮。来自对象检测装置16和18中的每一个的车轮检测数据的融合可以包括联合过程,在该联合过程中,车轮追踪器模块20确定:每一潜在车轮检测是否与已经被追踪到的现有候选车轮有关,或者是否需要生成新系统级候选车轮。如果发现关联性,则对用于现有系统级候选车轮的追踪器升级,这在一个实施例中包括:升级相关联的运动学模型。本领域的普通技术人员会理解,从车轮追踪器模块20的角度来看,从对象检测装置16和18接收到的车轮检测数据是不可区分的。换言之,车轮追踪器模块20接收与潜在车轮的检测有关的信息,但是不知道或者不监测该信息是从哪个装置或者系统发送出来的。
控制模块22可以包括任何种类的电子处理装置、存储器装置、输入/输出(I/O)装置、以及/或者其它已知部件,并且可以执行多种控制功能和/或通信有关功能。取决于特定实施例,控制模块22可以是独立车辆电子模块,控制模块22可以被并入或者包括在另一车辆电子模块(例如,泊车辅助控制模块、制动控制模块等)内,或者控制模块22可以是较大网络或者系统(例如,碰撞控制模块(CCM)、牵引力控制系统(TCS)、电子稳定性控制(ESC)系统、防抱死制动系统(ABS)、驾驶员辅助系统、自适应巡航控制系统、车道偏离警告系统等)的一部分,只列举几种可能性。控制模块22不限于任何一个特定实施例或者布置。
在一个示例性实施例中,控制模块22是外部对象计算模块(EOCM),该外部对象计算模块(EOCM)包括储存多个数据文件的电子存储器装置、查阅表或者其它数据结构、算法等。存储器装置还可以储存关于车辆12的相关特点和背景信息,诸如,与停车距离、减速度限制、温度限制、湿度或者降水限制、驾驶习惯或者其它驾驶员行为数据等有关的信息。EOCM22还可以包括电子处理装置(例如,微处理器、微控制器、特定用途集成电路(ASIC)等),该电子处理装置执行用于软件、固件、程序、算法、脚本等的指令,该指令储存在存储器装置中并且可以管控本文所描述的过程和方法。EOCM 22可以电子地经由合适的车辆通信连接至其它车辆装置、模块和系统并且可以在需要时与它们相互作用。当然,这仅仅是EOCM22的其中一些可能布置、功能和能力,因为也可以使用其它实施例。
根据本文公开的方法,EOCM 22配置为:基于车轮追踪器模块20追踪到的每个候选车轮之间的比较来检测远程车辆的存在。如下文进一步详细地描述的,在一个实施例中,每个候选车轮之间的比较包括:将每个追踪到的候选车轮的运动学模型的选择特点进行比较。该选择特点对应于与车辆简况相关联的标准,该标准指明属于同一车辆的车轮的某些特点之间的阈值关系。EOCM 22确定车辆已经被检测到,并且更具体地,在至少两个候选车轮满足车辆简况中陈述的标准的情况下确定至少两个追踪到的候选车轮属于同一车辆。根据一个实施例,该标准是基于每个候选车轮的选择运动学特点之间的阈值关系。
图3图示了示例性方法100的流程图,示例性方法100用于使用上文描述的对象检测和追踪系统10来检测远程车辆。应理解,方法100的步骤不必按照任何特定顺序来呈现,并且能够且设想了按照替代顺序来执行一些或者所有步骤。
在步骤102处开始,雷达检测装置16检测在雷达的视野26中的对象并且将这些对象中的至少一些分类为潜在车轮。在步骤104处,成像系统18检测在成像系统的视野32中的对象并且将这些对象中的至少一些分类为潜在车轮。在随后的附图中提供了对用于使用雷达和视觉成像来检测潜在车轮的示例性方法的详细描述。
在步骤106处,车轮追踪器模块20接收与在步骤102和104中检测到的每个潜在车轮有关的车轮检测数据。如上文所陈述的,车轮检测数据可以包括与每个潜在车轮相关联的运动学模型,该运动学模型包括但不限于如下运动学参数:诸如,位置、速度、加速度、速度方向、加速度方向以及其它运动参数。
在步骤108处,车轮追踪器模块20通过确定每个接收到的潜在车轮是否与现有追踪(即,已经由追踪器模块20追踪到的作为追踪到的候选车轮的潜在车轮)相关联来将从雷达检测装置16和成像系统18接收到的车轮检测数据融合。在一个实施例中,车轮追踪器模块20将每个潜在车轮的车轮检测数据同与每个现有追踪到的候选车轮相关联的数据进行比较。如果新接收到的潜在车轮的车轮检测数据与现有追踪相匹配,则使用新获取的检测数据来更新现有追踪到的候选车轮。如果新接收到的潜在车轮的车轮检测数据不可以与现有追踪相关联,则发起对新候选车轮的追踪。换言之,车轮追踪器模块20在步骤108中将来自雷达检测系统16和成像检测系统18两者的所有潜在车轮检测融合且对其进行追踪。
在步骤110处,EOCM 22接收与来自车轮追踪器模块20的每个追踪到的候选车轮(包括车轮检测数据)有关的信息。在步骤112处,EOCM 22执行算法以便基于由融合的车轮追踪器模块20追踪到的候选车轮来检测车辆。EOCM 22确定车辆已经被检测到,并且更具体地,在至少两个候选车轮满足车辆简况中陈述的标准的情况下确定至少两个追踪到的候选车轮属于同一车辆。根据一个实施例,该标准是基于每个候选车轮的选择运动学特点之间的阈值关系。
更具体地,相对于主车辆12的远程车辆14的存在是基于由车轮追踪器模块20追踪到的每个候选车轮之间的(但更具体地,是每个追踪到的候选车轮的特点之间的)比较。该比较包括:将每个追踪到的候选车轮的运动学模型的选择参数进行比较。该选择参数对应于与车辆简况相关联的标准,该标准指明属于同一车辆的车轮的某些特点之间的阈值关系。换言之,车辆的各车轮彼此具有特定关系,该特定关系可以通过将某些运动参数进行比较来得以量化。例如,同一车辆的两个车轮具有可以依照每个车轮的位置和速度来表示的共同特点。更具体地,同一车辆的两个车轮应具有类似速度和方向,并且应定位为足够接近以便落在车辆轴距的距离内。如果两个车轮的选择参数之间的关系不满足与特定车辆简况相关联的标准,则这两个车轮不太可能来自同一车辆。
图4图示了示例性方法200的流程图,示例性方法200用于根据特定实施方式来检测如在步骤112中陈述的车辆。方法200将每个追踪到的候选车轮的特点彼此进行比较,以便将每个追踪到的候选车轮与每个其它候选车轮进行比较。这样,在每对追踪到的候选车轮之间确定了关系。每个追踪到的候选车轮的车轮检测数据包括位置l和速度
Figure GDA0002508495680000101
信息,其中,位置l是主车辆12参考坐标系中的候选车轮的(x,y,z)值,并且速度向量
Figure GDA0002508495680000102
包括追踪到的候选车轮的速度的方向和大小,该追踪到的候选车轮也在主车辆12参考系中。
在步骤202处开始,通过如下方式来确定每对追踪到的候选车轮
Figure GDA0002508495680000103
Figure GDA0002508495680000104
之间的关系:针对用于预定车辆简况的一套标准来评估与每个追踪到的候选车轮wi和wj的运动学模型相关联的多个参数。在一个实施例中,该套标准包括定义选择运动学参数之间的阈值关系的四个标准。将与该标准相关联的每个关系与阈值进行比较,该阈值通常较小并且是基于特定车辆简况来确定的。
在步骤204处,通过如下方式来评估第一个标准:确定追踪到的候选车轮wi和wj两者是否具有类似速度方向,并且更具体地,确定速度方向差别是否小于速度方向阈值tsd。在一个实施例中,两个追踪到的候选车轮之间的速度方向关系被确定为:
Figure GDA0002508495680000105
其中,x是两个速度向量
Figure GDA0002508495680000106
Figure GDA0002508495680000107
和tsd之间的交叉乘积,并且tsd是速度方向阈值,
Figure GDA0002508495680000108
是速度向量
Figure GDA0002508495680000109
的大小,
Figure GDA00025084956800001010
是速度向量
Figure GDA00025084956800001011
的大小。
在步骤206处,通过如下方式来评估第二个标准:确定追踪到的候选车轮wi和wj两者是否具有类似速度大小,并且更具体地,确定速度大小差别是否小于速度大小阈值tsm。在一个实施例中,两个追踪到的候选车轮之间的速度大小关系被确定为:
Figure GDA00025084956800001012
其中,
Figure GDA00025084956800001013
是速度向量
Figure GDA00025084956800001014
的大小,
Figure GDA00025084956800001015
是速度向量
Figure GDA00025084956800001016
的大小,tsm是速度大小阈值,以及|x|是x的绝对值。
在步骤208处,通过如下方式来评估第三个标准:确定潜在车身方向是否与追踪到的候选车轮wi和wj中的任一个的速度方向对齐。在一个实施例中,两个追踪到的候选车轮之间的对齐关系被确定为:
Figure GDA0002508495680000111
Figure GDA0002508495680000112
其中,
Figure GDA0002508495680000113
是从候选车轮wi的位置li至候选车轮wj的位置lj的向量,
Figure GDA0002508495680000114
是向量
Figure GDA0002508495680000115
的大小,x是这两个向量之间的交叉乘积,
Figure GDA0002508495680000116
是速度向量,
Figure GDA0002508495680000117
是向量
Figure GDA0002508495680000118
的大小,以及ta是对齐阈值。
在步骤210处,通过如下方式来评估第四个标准:确定追踪到的候选车轮wi和wj之间的距离是否在与如由车辆简况所陈述的正常车辆的轴距的长度相对应的阈值距离内。在一个实施例中,两个追踪到的候选车轮之间的距离关系被确定为:
d1<d(wi,wj)<d2
其中,d(wi,wj)是候选车轮wi和wj之间的距离,d1和d2是定义车辆简况中的轴距的长度的距离阈值。
如果在步骤204至210中的每一个中所陈述的标准都得到满足(即,每个关系都是真实的),则处于评估下的该对候选车轮是来自同一车辆,并且因此,在步骤212处检测到车辆。然后该车辆的位置可以被估算为两个车轮wi和wj之间的对齐部段的中部,并且该车辆的速度方向和大小可以被估算为车轮wi和wj的速度方向和大小的平均值。
图5图示了根据特定实施例的示例性方法300的流程图,示例性方法300用于使用雷达检测装置16(并且更具体地,雷达对象检测模块28)来检测潜在车轮。如本领域的普通技术人员应理解的,本文公开的方法300仅仅是示例性的,因为可以存在用于使用落在本公开的范围内的雷达传感器来检测车轮的其它方法。
方法300在步骤302处开始,从雷达传感器24获取针对每个mi的雷达测量(或者点)帧m1,m2,…mk。该测量可以包括:但不限于,全距r、角度θ、多普勒v、以及信号强度s。在步骤304处,针对每个测量mi确定信号强度s是否在由如下关系式给出的期望全距内:
slow≤s≤shigh
其中,slow是低信号阈值,并且shigh是高信号阈值。如本领域的普通技术人员已知的,来自车轮的雷达回波信号具有相当稳定的信号强度范围。因此,如果特定测量的信号强度s不在阈值范围内,则丢弃测量mi,因为所检测到的对象不是车轮。
在步骤306处,根据已知方法基于从全距r和角度θ测量计算出的位置将在步骤304中没有被丢弃的剩余测量群集起来。将彼此相距的距离在阈值距离内的位置中的测量分组到一个群集中。该阈值距离可以取决于特定应用发生变化。在步骤308处,针对每个雷达点群集Ci=(mi1,mi2,…mij)对一组条件进行测试。在一个实施例中,通过执行如下步骤来测试该组条件:
确定这些点Ci的多普勒速度的标准偏差是否大于或者等于预定义阈值;
基于雷达点的多普勒速度按照升序来归类该雷达点;
计算处于排序位置k和k+1处的雷达点之间的多普勒速度
Figure GDA0002508495680000121
的差,其中,k=1,2,...,j-1;
针对
Figure GDA0002508495680000122
计算平均值
Figure GDA0002508495680000123
和标准偏差
Figure GDA0002508495680000124
以及
确定是否
Figure GDA0002508495680000125
以及
Figure GDA0002508495680000126
其中,δ0和σ1是预定义阈值。
如果雷达点群集Ci=(mi1,mi2,…mij)满足上面的步骤1至5,则在步骤310处将该群集确认为车轮,如若不然,该群集就不是车轮。如果在步骤310处将该群集确认为车轮,则将潜在车轮和相关联的车轮检测数据发送至车轮追踪器模块20。
图6图示了根据特定实施例的示例性方法400的流程图,示例性方法400用于使用成像装置18(并且更具体地,基于视觉的对象检测模块34)来检测潜在车轮。如本领域的普通技术人员应理解的,本文公开的方法400仅仅是示例性的,因为可以存在用于使用落在本公开的范围内的视觉系统来检测车轮的其它方法。
方法400在步骤402处开始,使视觉车轮追踪器初始化。在一个实施例中,视觉车轮追踪器是基于视觉的对象检测模块34的子模块并且配置为保存车辆外观模型和由成像系统18检测到的潜在车轮的位置。通过使视觉车轮追踪器初始化,将每个视觉车轮追踪器的车轮外观模型设定为默认训练前模型,并且将潜在车轮的位置设定为无效。
在步骤404处,基于视觉的对象检测模块34在时间t处从图像捕集装置30获得包括图像帧的数据帧。在一个实施例中,该数据帧进一步包括与在相同时间从雷达检测装置16检测到的潜在车轮相关联的车轮检测数据。该数据帧可以进一步包括来自由融合的车轮追踪器模块20在时间t-1处追踪到的候选车轮的车轮检测数据。根据已知方法将从来自雷达检测装置16和/或融合的车轮追踪器模块20的车轮数据提取的潜在车轮的位置投射到图像帧上。
在步骤406处,从图像帧提出潜在车轮的一组图像分块。例如,所提出的分块可以是以在404中介绍的由雷达检测装置16和/或融合的车轮追踪器模块20建议的潜在车轮位置为中心的分块。在另一个示例中,所提出的分块可以是使用本领域中已知的标准滑动窗口方法来生成。
在步骤408处,将车轮图像的所提出的分块与来自视觉车轮追踪器的现有追踪进行比较以便确定是否存在关联性。在一个实施例中,通过测量所提出的车轮图像分块的位置至现有追踪器的位置之间的距离来确定关联性。如果该距离小于阈值,则使该分块与现有追踪器相关联。如果检测到了关联性,则根据已知方法使用相关联的图像分块来更新现有视觉追踪的外观模型。
在步骤410处,根据已知方法对所有不相关联的分块进行处理以便确定该不相关联的分块是否是潜在车轮。如果该不相关联的分块被分类为车轮,则创建新的视觉车轮追踪器,如若不然,丢弃该分块。
在步骤412处,将来自视觉车轮追踪器的每个潜在车轮和相关联的车轮检测数据发送至车轮追踪器模块20。
应当理解,前文是对本发明的一个或多个实施例的描述。本发明不限于本文所公开的特定实施例,而是仅仅由如下权利要求书来限定。此外,前文描述中包含的表述涉及特定实施例并且不应理解为对本发明的范围或者对权利要求书中使用的术语的定义有限制性,除非术语或者措辞在上文进行了明确地限定。对于本领域的技术人员而言,多个其它实施例以及对所公开的实施例的多种改变和修改是显而易见的。所有这些其它实施例、改变、以及修改均意在落在所附权利要求书的范围内。
如在说明书和权利要求书中使用的,术语“例如”、“如”、“比如”、“诸如”、以及“像”等、以及动词“包括”、“具有”、“包含”以及其它动词形式在与一个或多个部件或者其它物品的列表结合使用时分别应理解为开放式的,意味着该列表不应理解为排除其它附加部件或者物品。其它术语应使用其最广泛的合理含义来理解,除非其用于要求有不同解释的语境中。
尽管上面的描述包括计算机可执行指令的一般语境,但本公开也可以与其它程序模块一起和/或作为硬件和软件的组合来进行实施。术语“算法”、“方法”、“应用”或者其变体在本文中扩展地用于包括例程、程序模块、程序、部件、数据结构、算法等。应用可以在多种系统配置上进行实施,包括:单处理器或者多处理器系统、基于微处理器的电子设备其组合等。

Claims (5)

1.一种用于使用车轮检测来检测相对于主车辆的远程车辆的方法,所述方法包括以下步骤:
基于从多个对象检测装置接收到的车轮检测数据来追踪候选车轮,其中所述车轮检测数据包括每个追踪到的候选车轮的运动学模型;
将来自每对追踪到的候选车轮的运动学模型的选择参数进行比较,其中,每对追踪到的候选车轮包括第一追踪到的候选车轮和第二追踪到的候选车轮,以及其中所述选择参数的比较与用于车辆简况的一套标准有关;以及
通过基于对所述选择参数的比较来确定任何对追踪到的候选车轮之间是否存在阈值关联来识别远程车辆,其中通过满足用于所述车辆简况的所述一套标准,则存在所述阈值关联,其中所述一套标准包括:所述第一追踪到的候选车轮和所述第二追踪到的候选车轮的速度方向之间的阈值关系、所述第一追踪到的候选车轮和所述第二追踪到的候选车轮的速度大小之间的阈值关系、与所述车辆简况相关联的车身方向与速度方向的对齐之间的阈值关系,以及所述第一追踪到的候选车轮与所述第二追踪到的候选车轮之间的距离的阈值关系。
2.根据权利要求1所述的方法,其中,所述车轮检测数据包括:与被所述多个对象检测装置识别为潜在车轮的一个或多个检测到的对象有关的信息。
3.根据权利要求1所述的方法,进一步包括:将从所述多个对象检测装置接收到的车轮检测数据融合。
4.根据权利要求3所述的方法,其中,所述车轮检测数据指被所述多个对象检测装置识别为潜在车轮的一个或多个检测到的对象,且其中,将从所述多个对象检测装置接收到的所述车轮检测数据融合包括:确定所述多个对象检测装置接收到的所述潜在车轮是否与追踪到的候选车轮的现有追踪相关联。
5.根据权利要求1所述的方法,其中,每个潜在车轮的所述运动学模型包括:与每个潜在车轮的位置、速度、加速度、速度方向、以及加速度方向有关的参数。
CN201710067669.6A 2016-02-19 2017-02-07 使用雷达和视觉基于车轮进行的车辆检测和追踪 Active CN107103275B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/047,959 US9812008B2 (en) 2016-02-19 2016-02-19 Vehicle detection and tracking based on wheels using radar and vision
US15/047959 2016-02-19

Publications (2)

Publication Number Publication Date
CN107103275A CN107103275A (zh) 2017-08-29
CN107103275B true CN107103275B (zh) 2020-11-17

Family

ID=59522456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710067669.6A Active CN107103275B (zh) 2016-02-19 2017-02-07 使用雷达和视觉基于车轮进行的车辆检测和追踪

Country Status (3)

Country Link
US (1) US9812008B2 (zh)
CN (1) CN107103275B (zh)
DE (1) DE102017102506B4 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163017B2 (en) * 2017-09-01 2018-12-25 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
EP3454075B1 (en) * 2017-09-11 2021-10-06 Nxp B.V. Object-detection system calibration
US10393873B2 (en) * 2017-10-02 2019-08-27 Ford Global Technologies, Llc Adaptive mitigation of ultrasonic emission in vehicular object detection systems
US10732640B2 (en) * 2018-04-13 2020-08-04 Blackberry Limited System and method for preforming differential analysis of vehicles
CN111161542B (zh) * 2018-11-08 2021-09-28 杭州海康威视数字技术股份有限公司 车辆识别方法及装置
US11148670B2 (en) * 2019-03-15 2021-10-19 Honda Motor Co., Ltd. System and method for identifying a type of vehicle occupant based on locations of a portable device
CN110065494B (zh) * 2019-04-09 2020-07-31 魔视智能科技(上海)有限公司 一种基于车轮检测的车辆防碰撞方法
CN109976354A (zh) * 2019-04-23 2019-07-05 成都精工华耀科技有限公司 一种可拆装自动行驶轨道巡检小车
CN114937263B (zh) * 2022-05-05 2023-02-10 北京容联易通信息技术有限公司 一种基于视频智能分析的车辆轴数计数方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3941770B2 (ja) * 2003-10-28 2007-07-04 株式会社デンソー 衝突可能性判定装置
US8447437B2 (en) * 2010-11-22 2013-05-21 Yan-Hong Chiang Assistant driving system with video recognition
EP2910968B1 (de) 2014-02-19 2017-01-25 Kapsch TrafficCom AG Vorrichtung und Verfahren zur Detektion einer Radachse eines Fahrzeugs
US9607230B2 (en) 2014-04-16 2017-03-28 Honda Motor Co., Ltd. Mobile object control apparatus and target object detecting apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792314A (zh) * 2009-12-03 2012-11-21 通用汽车环球科技运作有限责任公司 交叉通行碰撞警报系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于毫米波雷达与机器视觉融合的前方车辆检测研究;王亚丽;《中国博士学位论文全文数据库工程科技Ⅱ辑》;20131215(第12期);正文第7-18,23-57页 *

Also Published As

Publication number Publication date
CN107103275A (zh) 2017-08-29
DE102017102506B4 (de) 2023-12-14
US20170243478A1 (en) 2017-08-24
US9812008B2 (en) 2017-11-07
DE102017102506A1 (de) 2017-08-24

Similar Documents

Publication Publication Date Title
CN107103275B (zh) 使用雷达和视觉基于车轮进行的车辆检测和追踪
CN107144839B (zh) 通过传感器融合检测长对象
JP7394582B2 (ja) レーダーデータを処理する装置及び方法
US10605896B2 (en) Radar-installation-angle calculating device, radar apparatus, and radar-installation-angle calculating method
CN109031272B (zh) 确定目标的去混叠距离变化率的方法
EP3151034B1 (en) Automated vehicle radar system to determine yaw-rate of a target vehicle
US11131766B2 (en) Method for the recognition of an object
CN107609522B (zh) 一种基于激光雷达和机器视觉的信息融合车辆检测系统
KR20170039242A (ko) 자동차의 주위 영역 내의 물체를 분류하기 위한 방법, 운전자 보조 시스템 및 자동차
JP2017067756A (ja) 物体検出装置及び物体検出方法
GB2541354A (en) Collision avoidance method, computer program product for said collision avoidance method and collision avoidance system
CN111615641B (zh) 用于探测关键横向运动的方法和设备
CN114296095A (zh) 自动驾驶车辆的有效目标提取方法、装置、车辆及介质
CN113807168A (zh) 一种车辆行驶环境感知方法、车载设备和存储介质
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆
CN110678776B (zh) 用于增强的对象跟踪的系统
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
JPH11142168A (ja) 環境認識装置
BE1028777B1 (nl) Systeem en methode voor het detecteren van inconsistenties in de outputs van perceptiesystemen van autonome voertuigen
CN110691985B (zh) 用于增强的对象追踪的系统
Jang et al. Rainfall observation system using automotive radar sensor for ADAS based driving safety
RU2798739C1 (ru) Способ трекинга объектов на этапе распознавания для беспилотных автомобилей
US20230075921A1 (en) Method for operating radar sensors
US20240010195A1 (en) Method for ascertaining an approximate object position of a dynamic object, computer program, device, and vehicle
US20230221410A1 (en) Object sensing device and object sensing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant