CN111368611B - 车辆跟踪方法、装置、系统及服务器 - Google Patents

车辆跟踪方法、装置、系统及服务器 Download PDF

Info

Publication number
CN111368611B
CN111368611B CN201910151012.7A CN201910151012A CN111368611B CN 111368611 B CN111368611 B CN 111368611B CN 201910151012 A CN201910151012 A CN 201910151012A CN 111368611 B CN111368611 B CN 111368611B
Authority
CN
China
Prior art keywords
vehicle
image data
association
association result
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910151012.7A
Other languages
English (en)
Other versions
CN111368611A (zh
Inventor
王科
沈涛
裴建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201910151012.7A priority Critical patent/CN111368611B/zh
Publication of CN111368611A publication Critical patent/CN111368611A/zh
Application granted granted Critical
Publication of CN111368611B publication Critical patent/CN111368611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了车辆跟踪方法、装置、系统及服务器，该方法包括：获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，第一图像数据与第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；按照第一位置及第二位置，将第一图像数据及第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；按照各车辆关联结果进行车辆跟踪。本申请实施例的车辆跟踪方法，不要求被跟踪车辆上报GPS信息，实现了通过监控设备的图像数据对车辆进行跟踪。

Description

车辆跟踪方法、装置、系统及服务器
技术领域
本申请涉及目标检测跟踪技术领域，特别是涉及车辆跟踪方法、装置、系统及服务器。
背景技术
随着汽车保有量的上升，道路上的车辆也越来越多。出于安全及车辆行为研究等原因，需要对道路上的车辆进行跟踪。在相关的车辆跟踪方法中，需要利用车辆携带的GPS(Global Positioning System，全球定位系统)设备，获取车辆的GPS位置，从而实现对车辆跟踪。
但是在上述车辆跟踪方法中，需要车辆携带GPS设备，并且需要车辆所有者授权跟踪方获取车辆的GPS信息后，才可以实现车辆的跟踪。然而在多数情况下，车辆所有者并不会授权跟踪方获取自身车辆的GPS信息，因此车辆跟踪变得困难。随着道路监控设备的普及，基于图像数据的车辆跟踪方法逐渐成为研究的热点。
发明内容
本申请实施例的目的在于提供一种车辆跟踪方法、装置、系统及服务器，以实现基于图像数据的车辆跟踪。具体技术方案如下：
第一方面，本申请实施例提供了一种车辆跟踪方法，所述方法包括：
获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，所述第一图像数据与所述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；
按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；
按照各所述车辆关联结果进行车辆跟踪。
可选的，所述第一图像数据与所述第二图像数据对应的监控区域存在重叠，所述按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中车辆位置距离小于预设第一距离阈值的车辆关联为同一车辆。
可选的，所述第一图像数据与所述第二图像数据对应的监控区域不存在重叠，所述车辆从所述第一图像数据对应的监控区域驶入所述第二图像数据对应的监控区域，所述按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
按照所述第一位置，预测所述第一图像数据中各车辆在所述第二图像数据中的预测位置；
计算各所述预测位置与所述第二图像数据中各车辆的第二位置的车辆预测距离，将所述车辆预测距离小于预设第二距离阈值的车辆关联为同一车辆。
可选的，本申请实施例的车辆跟踪方法还包括：
获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息；
按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确；
所述按照各所述车辆关联结果进行车辆跟踪，包括：
针对正确的车辆关联结果，按照所述正确的车辆关联结果进行车辆跟踪。
可选的，所述标识信息为车牌信息，所述按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确，包括：
按照所述第三图像数据中各车辆的车牌信息及所述第四图像数据中各车辆的车牌信息，检验各所述车辆关联结果是否正确。
可选的，本申请实施例的车辆跟踪方法还包括：
针对不正确的车辆关联结果，按照车牌信息对所述不正确的车辆关联结果中的车辆重新进行关联。
可选的，所述标识信息为图像特征信息，所述按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确，包括：
按照所述第三图像数据中各车辆的图像特征信息及所述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度；
按照所述第一位置及所述第二位置，计算关联为同一车辆的两辆车辆的位置置信度；
比较各所述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各所述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于所述匹配度阈值，且该车辆关联结果的位置置信度大于所述置信度阈值时，判定该车辆关联结果正确。
可选的，本申请实施例的车辆跟踪方法还包括：
将特征匹配度小于所述匹配度阈值的车辆关联结果判定为不可信结果；
将特征匹配度不小于所述匹配度阈值、且位置置信度不大于所述置信度阈值的车辆关联结果，判定为关联待定结果；
若所述关联待定结果及所述不可信结果的总数为1，则判定所述关联待定结果或所述不可信结果为正确的车辆关联结果；
若所述关联待定结果及所述不可信结果的总数大于1，按照预设关联度公式，得到关联度最高的车辆关联结果，作为正确的车辆关联结果。
第二方面，本申请实施例提供了一种车辆跟踪装置，所述装置包括：
位置获取模块，用于获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，所述第一图像数据与所述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；
车辆关联模块，用于按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；
车辆跟踪模块，用于按照各所述车辆关联结果进行车辆跟踪。
可选的，所述第一图像数据与所述第二图像数据对应的监控区域存在重叠，所述车辆关联模块，具体用于：
按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中车辆位置距离小于预设第一距离阈值的车辆关联为同一车辆。
可选的，所述第一图像数据与所述第二图像数据对应的监控区域不存在重叠，所述车辆从所述第一图像数据对应的监控区域驶入所述第二图像数据对应的监控区域，所述车辆关联模块，包括：
位置预测子模块，用于按照所述第一位置，预测所述第一图像数据中各车辆在所述第二图像数据中的预测位置；
第一阈值判定子模块，用于计算各所述预测位置与所述第二图像数据中各车辆的第二位置的车辆预测距离，将所述车辆预测距离小于预设第二距离阈值的车辆关联为同一车辆。
可选的，本申请实施例的车辆跟踪装置还包括：
标识获取模块，用于获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息；
关联检验模块，用于按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确；
所述车辆跟踪模块，具体用于：
针对正确的车辆关联结果，按照所述正确的车辆关联结果进行车辆跟踪。
可选的，所述标识信息为车牌信息，所述关联检验模块，具体用于：
按照所述第三图像数据中各车辆的车牌信息及所述第四图像数据中各车辆的车牌信息，检验各所述车辆关联结果是否正确。
可选的，本申请实施例的车辆跟踪装置还包括：
第一关联更新模块，用于针对不正确的车辆关联结果，按照车牌信息对所述不正确的车辆关联结果中的车辆重新进行关联。
可选的，所述标识信息为图像特征信息，所述关联检验模块，包括：
匹配度计算子模块，用于按照所述第三图像数据中各车辆的图像特征信息及所述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度；
置信度计算子模块，用于按照所述第一位置及所述第二位置，计算关联为同一车辆的两辆车辆的位置置信度；
第二阈值判定子模块，用于比较各所述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各所述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于所述匹配度阈值，且该车辆关联结果的位置置信度大于所述置信度阈值时，判定该车辆关联结果正确。
可选的，本申请实施例的车辆跟踪装置还包括：
第一结果判定模块，用于将特征匹配度小于所述匹配度阈值的车辆关联结果判定为不可信结果；
第二结果判定模块，用于将特征匹配度不小于所述匹配度阈值、且位置置信度不大于所述置信度阈值的车辆关联结果，判定为关联待定结果；
第一正确结果判定模块，用于若所述关联待定结果及所述不可信结果的总数为1，则判定所述关联待定结果或所述不可信结果为正确的车辆关联结果；
第二正确结果判定模块，用于若所述关联待定结果及所述不可信结果的总数大于1，按照预设关联度公式，得到关联度最高的车辆关联结果，作为正确的车辆关联结果。
第三方面，本申请实施例提供了一种车辆跟踪系统，包括：
多个监控设备及服务器；
所述监控设备用于采集指定监控区域中的图像数据；
所述服务器用于在运行时，实现上述第一方面任一所述的车辆跟踪方法。
第四方面，本申请实施例提供了一种服务器，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的车辆跟踪方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的车辆跟踪方法。
本申请实施例提供的车辆跟踪方法、装置、系统及服务器，获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，第一图像数据与第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；按照第一位置及第二位置，将第一图像数据及第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；按照各车辆关联结果进行车辆跟踪。不要求被跟踪车辆上报GPS信息，实现了通过监控设备的图像数据对车辆进行跟踪。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的车辆跟踪方法的第一种示意图；
图2为本申请实施例的车辆跟踪方法的第二种示意图；
图3为本申请实施例的监控相机安装位置的一种示意图；
图4为本申请实施例的检验车辆关联结果的第一种示意图；
图5为本申请实施例的检验车辆关联结果的第二种示意图；
图6为本申请实施例的车辆跟踪装置的一种示意图；
图7为本申请实施例的服务器的一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在相关的车辆跟踪方法中，需要利用车辆携带的GPS设备，获取车辆的GPS位置，从而实现对车辆跟踪。但是在实际跟踪过程中，大部分车辆并不会向跟踪方上报自身的GPS位置，因此在实际跟踪场景中，上述方法变得难以实行。
有鉴于此，本申请实施例提供了一种车辆跟踪方法，参见图1，该方法包括：
S101，获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，上述第一图像数据与上述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据。
本申请实施例的车辆跟踪方法可以通过服务器实现，服务器可以为一台计算机也可以为多台计算机组成的集合。服务器可以直接或间接的与道路监控系统中的各摄像机通信连接，从而获取各监控设备发送的数据。监控设备发送的数据包括该监控设备采集的图像数据，在监控设备为智能摄像机等智设备时，监控设备发送的数据中还可以包括该监控设备采集的图像数据中各车辆的车辆位置等信息。第一图像数据与第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据，第一图像数据对应的监控区域与第二图像数据对应的监控区域可以有重叠区域也可以没有重叠区域。第一图像数据与第二图像数据可以为视频流，从而方便后续车辆位置的预测及关联。
图像数据中车辆的位置可以为监控设备(例如智能摄像机等)获取并上报给服务器的，也可以为服务器利用计算机视觉技术从图像数据中获取的。
例如，采集第一图像数据的监控设备为常规摄像机，采集第二图像数据的监控设备为智能摄像机，常规摄像机将第一图像数据发送给服务器，服务器通过计算机视觉技术对第一图像数据进行分析，得到第一图像数据中各车辆的位置；智能摄像机通过计算机视觉技术对第二图像数据进行分析，得到第二图像数据中各车辆的位置，并将第二图像数据中各车辆的位置发送给服务器。其中，常规摄像机是指具备图像数据采集及传输功能，不具备车辆目标检测功能的摄像机。智能摄像机内置车辆目标检测算法，智能摄像机可以每间隔预设时间检测车辆在监控画面中的像素坐标(或智能摄像机可以检测每一帧画面中车辆的像素坐标)；智能摄像机还可以内置转换矩阵，利用转换矩阵，计算车辆在统一坐标系下的坐标位置。
当然采集第一图像数据及第二图像数据的监控设备可以均为常规摄像机；或均为智能摄像机；或采集第一图像数据的监控设备为智能摄像机，采集第二图像数据的监控设备为常规摄像机等，此处不再赘述。
服务器获取的第一位置及第二位置为统一坐标系下的坐标。鉴于各监控设备自身的坐标系不同，为了方便位置的比较计算，可以将第一图像数据中各车辆的位置及第二图像数据中各车辆的位置转换到统一坐标系下进行表示，例如可以转换到高斯平面坐标系(大地坐标系)中，也可以转换到相应路段自建的坐标系中。
S102，按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果。
服务器按照第一图像数据中各车辆的第一位置及第二图像数据中各车辆的第二位置，将第一图像数据中与第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果。其中，预设位置规则表征第一图像数据中的车辆与第二图像数据中的车辆为同一车辆。
可选的，上述第一图像数据与上述第二图像数据对应的监控区域存在重叠，上述按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中车辆位置距离小于预设第一距离阈值的车辆关联为同一车辆。
当第一图像数据与第二图像数据对应的监控区域存在重叠时，可以根据重叠区域中同一车辆同一时刻在两监控设备中位置一致来实现车辆在不同监控设备中的位置关联。为了提高关联准确度，需同步获取每个监控中的车辆位置信息，且校时相同，以保证第一图像数据与第二图像数据为同一时刻采集的数据。由于检测及坐标转换过程中存在误差，因此实际情况中车辆位置完全一致存在较大难度，可以利用第一距离阈值进行范围判断，例如在车辆A的第一位置与车辆B的第二位置的距离小于第一距离阈值时，判定车辆A与车辆B符合预设位置规则，即车辆A与车辆B为同一车辆。第一距离阈值为经验值，可以根据实际测量及转换精度进行确定。当第一距离阈值设定的较大时，可能会出现第一图像数据中一个车辆与第二图像中多个车辆的距离均小于第一距离阈值的情况，此时选取车辆位置距离最小的关联为同一车辆。
可选的，上述第一图像数据与上述第二图像数据对应的监控区域不存在重叠，上述车辆从上述第一图像数据对应的监控区域驶入上述第二图像数据对应的监控区域，上述按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
S1021，按照上述第一位置，预测上述第一图像数据中各车辆在上述第二图像数据中的预测位置。
当第一图像数据与第二图像数据对应的监控区域不存在重叠时，可以通过车辆在第一图像数据中的位置，预测该车辆出现在第二图像数据时的位置。例如，第一位置为车辆在前一监控设备消失时的位置，预测车辆在下一监控设备出现的位置作为预测位置。可选的，服务器还可以获取车辆在前一监控设备消失时的时间，并预测该车辆在下一监控设备出现的时间，从而增加时间维度的预测。
S1022，计算各上述预测位置与上述第二图像数据中各车辆的第二位置的车辆预测距离，将上述车辆预测距离小于预设第二距离阈值的车辆关联为同一车辆。
计算各预测位置与第二图像数据中各车辆的位置的距离，得到各车辆预测距离，将车辆预测距离小于预设第二距离阈值的两个车辆关联为同一车辆。预设第二距离阈值按照预测距离偏差进行设定，当第二距离阈值设定的较大时，可能会出现第一图像数据中一个车辆的预测位置与第二图像中多个车辆的位置的距离均小于第二距离阈值的情况，此时选取车辆预测距离最小的关联为同一车辆。
S103，按照各上述车辆关联结果进行车辆跟踪。
服务器按照各车辆关联结果，对不同监控设备下的车辆进行关联，从而实现车辆跟踪。
在本申请实施例中，不要求被跟踪车辆上报GPS信息，实现了通过监控设备的图像数据对车辆进行跟踪。
可选的，参见图2，本申请实施例的车辆跟踪方法还包括：
S104，获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息。
第三图像数据对应的监控区域与第四图像数据对应的监控区域可以相邻也可以不相邻，根据实际的检验要求进行确定，第三图像数据与第四图像数据之间间隔的监控区域越少，车辆关联错误情况也就越少。
标识信息可以为智能摄像机获取并上报给服务器的，也可以为服务器从常规摄像机发送的图像数据中分析获取的。可选的，为了减轻服务器的处理压力，在一种可能的实施方式中，采用智能摄像机上报车辆标识信息的方式，智能摄像机的数量越多，越能够及时对错误的车辆关联结果进行纠正，从而能够有效减少车辆关联错误。如图3所示，其中，三角代表智能摄像机，圆圈代表普通摄像机。当每间隔4个监控设备有一智能摄像机时，车辆轨迹关联错误的范围最大为4个监控设备的长度，当每间隔3个监控设备有一智能摄像机时，车辆轨迹关联错误的最大范围为3个监控设备的长度。有效提升的车辆轨迹的可信度。
S105，按照上述第三图像数据中各车辆的标识信息及上述第四图像数据中各车辆的标识信息，检验各上述车辆关联结果是否正确。
服务器按照第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息，检测关联为同一车辆的两个车辆是否为同一车辆，即检测各车辆关联结果是否正确。车辆的标识信息可以为车辆的车牌信息或图像特征信息等。
可选的，上述标识信息为车牌信息，上述按照上述第三图像数据中各车辆的标识信息及上述第四图像数据中各车辆的标识信息，检验各上述车辆关联结果是否正确，包括：
按照上述第三图像数据中各车辆的车牌信息及上述第四图像数据中各车辆的车牌信息，检验各上述车辆关联结果是否正确。
服务器按照第三图像数据中各车辆的车牌信息及第四图像数据中各车辆的车牌信息，判断车辆关联结果中关联为同一车辆的两个车辆的车牌信息是否相同，若相同则判定该车辆关联结果正确，若不相同则判定该车辆关联结果不正确。
可选的，本申请实施例的车辆跟踪方法还包括：
针对不正确的车辆关联结果，按照车牌信息对上述不正确的车辆关联结果中的车辆重新进行关联。
例如图4所示，在两个车辆关联结果中，车牌a的车辆关联车牌b的车辆，车牌c的车辆关联车牌d的车辆。但车牌a与车牌b不一样，车牌c与车牌d也不一样，而车牌a与车牌d一致，则需要按照车牌对车辆重新关联，将车牌a的车辆与车牌d的车辆关联为同一车辆，更新车辆关联结果。
可选的，上述标识信息为图像特征信息，上述按照上述第三图像数据中各车辆的标识信息及上述第四图像数据中各车辆的标识信息，检验各上述车辆关联结果是否正确，包括：
S1051，按照上述第三图像数据中各车辆的图像特征信息及上述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度。
车辆的图像特征信息可以包括车辆的灰度、品牌及形状等，服务器通过计算机视觉技术，例如卷积神经网络等，计算车辆关联结果中关联为同一车辆的两辆车辆的图像特征信息的匹配度，得到特征匹配度。具体的，特征匹配度可以为两个车辆的特征矩阵中能够匹配的特征的百分比。
S1052，按照上述第一位置及上述第二位置，计算关联为同一车辆的两辆车辆的位置置信度。
服务器按照第一位置及第二位置，计算关联为同一车辆的两辆车辆的位置置信度。例如，当第一图像数据与第二图像数据分别对应的监控区域存在重叠区域时，同一车辆同一时刻中在两个监控设备的重叠区域中的位置距离小于预设第一距离阈值，服务器根据车辆位置距离换算得到位置置信度，车辆位置距离越小，位置置信度越高；第一图像数据与第二图像数据分别对应的监控区域不存在重叠区域时，服务器根据上述预测位置与第二位置的车辆预测距离换算得到位置置信度，车辆预测距离越小，位置置信度越高。
S1053，比较各上述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各上述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于上述匹配度阈值，且该车辆关联结果的位置置信度大于上述置信度阈值时，判定该车辆关联结果正确。
针对每个车辆关联结果，服务器比较该车辆关联结果的特征匹配度α与预设匹配度阈值的大小，并比较该车辆关联结果的位置置信度β与预设置信度阈值的大小，在α不小于预设匹配度阈值且β大于预设置信度阈值时，判断车辆关联结果正确。
可选的，本申请实施例的车辆跟踪方法还包括：
步骤一，将特征匹配度小于上述匹配度阈值的车辆关联结果判定为不可信结果。
服务器将特征匹配度α小于预设匹配度阈值的车辆关联结果判定为不可信结果。
步骤二，将特征匹配度不小于上述匹配度阈值、且位置置信度不大于上述置信度阈值的车辆关联结果，判定为关联待定结果。
服务器将特征匹配度α不小于预设匹配度阈值、且位置置信度β不大于预设置信度阈值的车辆关联结果判定为关联待定结果。
步骤三，若上述关联待定结果及上述不可信结果的总数为1，则判定上述关联待定结果或上述不可信结果为正确的车辆关联结果。
若只有一个非正确的车辆关联结果，即只有一个关联待定结果或一个不可信结果，则直接判定该关联待定结果或该不可信结果为正确的车辆关联结果。
步骤四，若上述关联待定结果及上述不可信结果的总数大于1，按照预设关联度公式，得到关联度最高的车辆关联结果，作为正确的车辆关联结果。
在关联待定结果及不可信结果的总数大于1时，服务器按照预设关联度公式，重新对各车辆进行关联，并将关联度最高的车辆关联结果的组合，作为正确的车辆关联结果。
关联度公式可以为：Y＝∑[(α1+α2+…+αn)+μ(β1+β2+…+βn)]，其中，μ为预设的权重参数，αn为第n个车辆关联结果的特征匹配度，βn为n个车辆关联结果的位置置信度。选取Y最大时的各车辆关联结果，作为正确的车辆关联结果。
例如图5所示，根据车辆关联结果，特征矩阵a的车辆与特征矩阵b的车辆关联为同一车辆，若位置置信度β大于预设置信度阈值，且特征矩阵a与特征矩阵b的特征匹配度α不低于预设匹配度阈值，判定车辆关联结果正确。
若α低于预设预设匹配度阈值，则判定车辆关联结果不可信，寻找时空关系相近的与特征矩阵d关联的位置信息。此时需判断与特征矩阵d关联的位置信息是否与其他位置信息关联可信，若特征矩阵d的位置信息与特征矩阵c的位置信息的匹配为检验匹配正确，则此时只有一对车辆为位置关联待定或位置关联不可信，直接关联特征矩阵a的车辆与特征矩阵b的车辆。否则重新计算位置置信度，并计算特征匹配度。
若所有组合后的车辆关联结果都为位置关联待定。经过计算特征矩阵a与特征矩阵b关联，特征矩阵c与特征矩阵d的位置信息关联的置信度与匹配度为α1，α2和β1，β2，特征矩阵a与特征矩阵d关联，特征矩阵c与特征矩阵b的位置信息关联的置信度与匹配度为α3，α4和β3，β4。由于(α1+α2)+μ(β1+β2)<(α3+α4)+μ(β3+β4)，则需要更新车辆关联结果为：特征矩阵a的车辆与特征矩阵d的车辆关联，特征矩阵c的车辆与特征矩阵b的车辆关联。通过上述检验的过程，可以提高同一车辆关联的准确性。
在检验车辆关系结果后，相应的，上述S103，按照各所述车辆关联结果进行车辆跟踪，包括：
针对正确的车辆关联结果，按照上述正确的车辆关联结果进行车辆跟踪。
在车辆关联结果正确时，服务器按照正确的车辆关联结果进行车辆的关联跟踪。
在本申请实施例中，不要求被跟踪车辆上报GPS信息，实现了通过监控
设备的图像数据对车辆进行跟踪，按照车辆的标识信息对车辆关联结果进行检验，提高了车辆关联跟踪的准确度，有效控制成本。
本申请实施例还提供了一种车辆跟踪装置，参见图6，该装置包括：
位置获取模块601，用于获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，上述第一图像数据与上述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；
车辆关联模块602，用于按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；
车辆跟踪模块603，用于按照各上述车辆关联结果进行车辆跟踪。
可选的，上述第一图像数据与上述第二图像数据对应的监控区域存在重叠，上述车辆关联模块，具体用于：
按照上述第一位置及上述第二位置，将上述第一图像数据及上述第二图像数据中车辆位置距离小于预设第一距离阈值的车辆关联为同一车辆。
可选的，上述第一图像数据与上述第二图像数据对应的监控区域不存在重叠，上述车辆从上述第一图像数据对应的监控区域驶入上述第二图像数据对应的监控区域，上述车辆关联模块，包括：
位置预测子模块，用于按照上述第一位置，预测上述第一图像数据中各车辆在上述第二图像数据中的预测位置；
第一阈值判定子模块，用于计算各上述预测位置与上述第二图像数据中各车辆的第二位置的车辆预测距离，将上述车辆预测距离小于预设第二距离阈值的车辆关联为同一车辆。
可选的，本申请实施例的车辆跟踪装置还包括：
标识获取模块，用于获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息；
关联检验模块，用于按照上述第三图像数据中各车辆的标识信息及上述第四图像数据中各车辆的标识信息，检验各上述车辆关联结果是否正确；
上述车辆跟踪模块，具体用于：
针对正确的车辆关联结果，按照上述正确的车辆关联结果进行车辆跟踪。
可选的，上述标识信息为车牌信息，上述关联检验模块，具体用于：
按照上述第三图像数据中各车辆的车牌信息及上述第四图像数据中各车辆的车牌信息，检验各上述车辆关联结果是否正确。
可选的，本申请实施例的车辆跟踪装置还包括：
第一关联更新模块，用于针对不正确的车辆关联结果，按照车牌信息对上述不正确的车辆关联结果中的车辆重新进行关联。
可选的，上述标识信息为图像特征信息，上述关联检验模块，包括：
匹配度计算子模块，用于按照上述第三图像数据中各车辆的图像特征信息及上述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度；
置信度计算子模块，用于按照上述第一位置及上述第二位置，计算关联为同一车辆的两辆车辆的位置置信度；
第二阈值判定子模块，用于比较各上述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各上述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于上述匹配度阈值，且该车辆关联结果的位置置信度大于上述置信度阈值时，判定该车辆关联结果正确。
可选的，本申请实施例的车辆跟踪装置还包括：
第一结果判定模块，用于将特征匹配度小于上述匹配度阈值的车辆关联结果判定为不可信结果；
第二结果判定模块，用于将特征匹配度不小于上述匹配度阈值、且位置置信度不大于上述置信度阈值的车辆关联结果，判定为关联待定结果；
第一正确结果判定模块，用于若上述关联待定结果及上述不可信结果的总数为1，则判定上述关联待定结果或上述不可信结果为正确的车辆关联结果；
第二正确结果判定模块，用于若上述关联待定结果及上述不可信结果的总数大于1，按照预设关联度公式，得到关联度最高的车辆关联结果，作为正确的车辆关联结果。
本申请实施例还提供了一种车辆跟踪系统，包括：
多个监控设备及服务器；
上述监控设备用于采集指定监控区域中的图像数据；
上述服务器用于在运行时，实现权利上述任一车辆跟踪方法。
可选的，监控设备包括智能摄像机及常规摄像机，智能摄像机及常规摄像机的安装方式可以如图3所示。
本申请实施例还提供了一种服务器，包括处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器，用于执行上述存储器上所存放的程序时，实现权利上述任一车辆跟踪方法。
可选的，参见图7，本申请实施例的服务器，还包括：通信接口702和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
上述服务器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述服务器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一车辆跟踪方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、服务器及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种车辆跟踪方法，其特征在于，所述方法包括：
获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，所述第一图像数据与所述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；
按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；
按照各所述车辆关联结果进行车辆跟踪；
获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息；
按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确；
所述按照各所述车辆关联结果进行车辆跟踪，包括：
针对正确的车辆关联结果，按照所述正确的车辆关联结果进行车辆跟踪；
所述标识信息为图像特征信息，所述按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确，包括：
按照所述第三图像数据中各车辆的图像特征信息及所述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度；
按照所述第一位置及所述第二位置，计算关联为同一车辆的两辆车辆的位置置信度；
比较各所述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各所述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于所述匹配度阈值，且该车辆关联结果的位置置信度大于所述置信度阈值时，判定该车辆关联结果正确。
2.根据权利要求1所述的方法，其特征在于，所述第一图像数据与所述第二图像数据对应的监控区域存在重叠，所述按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中车辆位置距离小于预设第一距离阈值的车辆关联为同一车辆。
3.根据权利要求1所述的方法，其特征在于，所述第一图像数据与所述第二图像数据对应的监控区域不存在重叠，所述车辆从所述第一图像数据对应的监控区域驶入所述第二图像数据对应的监控区域，所述按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，包括：
按照所述第一位置，预测所述第一图像数据中各车辆在所述第二图像数据中的预测位置；
计算各所述预测位置与所述第二图像数据中各车辆的第二位置的车辆预测距离，将所述车辆预测距离小于预设第二距离阈值的车辆关联为同一车辆。
4.根据权利要求1所述的方法，其特征在于，所述标识信息为车牌信息，所述按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确，包括：
按照所述第三图像数据中各车辆的车牌信息及所述第四图像数据中各车辆的车牌信息，检验各所述车辆关联结果是否正确。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
针对不正确的车辆关联结果，按照车牌信息对所述不正确的车辆关联结果中的车辆重新进行关联。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将特征匹配度小于所述匹配度阈值的车辆关联结果判定为不可信结果；
将特征匹配度不小于所述匹配度阈值、且位置置信度不大于所述置信度阈值的车辆关联结果，判定为关联待定结果；
若所述关联待定结果及所述不可信结果的总数为1，则判定所述关联待定结果或所述不可信结果为正确的车辆关联结果；
若所述关联待定结果及所述不可信结果的总数大于1，按照预设关联度公式，得到关联度最高的车辆关联结果，作为正确的车辆关联结果。
7.一种车辆跟踪装置，其特征在于，所述装置包括：
位置获取模块，用于获取第一图像数据中各车辆的第一位置，获取第二图像数据中各车辆的第二位置，其中，所述第一图像数据与所述第二图像数据分别为监控区域相邻的两个监控设备采集的图像数据；
车辆关联模块，用于按照所述第一位置及所述第二位置，将所述第一图像数据及所述第二图像数据中符合预设位置规则的车辆关联为同一车辆，得到各车辆关联结果；
车辆跟踪模块，用于按照各所述车辆关联结果进行车辆跟踪；
标识获取模块，用于获取第三图像数据中各车辆的标识信息及第四图像数据中各车辆的标识信息；
关联检验模块，用于按照所述第三图像数据中各车辆的标识信息及所述第四图像数据中各车辆的标识信息，检验各所述车辆关联结果是否正确；
所述车辆跟踪模块，具体用于：
针对正确的车辆关联结果，按照所述正确的车辆关联结果进行车辆跟踪；
所述标识信息为图像特征信息，所述关联检验模块，包括：
匹配度计算子模块，用于按照所述第三图像数据中各车辆的图像特征信息及所述第四图像数据中各车辆的图像特征信息，计算关联为同一车辆的两辆车辆的图像特征信息的特征匹配度；
置信度计算子模块，用于按照所述第一位置及所述第二位置，计算关联为同一车辆的两辆车辆的位置置信度；
第二阈值判定子模块，用于比较各所述车辆关联结果的特征匹配度与预设匹配度阈值的大小，比较各所述车辆关联结果的位置置信度与预设置信度阈值的大小，其中，针对一车辆关联结果，在该车辆关联结果的特征匹配度不小于所述匹配度阈值，且该车辆关联结果的位置置信度大于所述置信度阈值时，判定该车辆关联结果正确。
8.根据权利要求7所述的装置，其特征在于，所述标识信息为车牌信息，所述关联检验模块，具体用于：
按照所述第三图像数据中各车辆的车牌信息及所述第四图像数据中各车辆的车牌信息，检验各所述车辆关联结果是否正确；
所述装置还包括：
第一关联更新模块，用于针对不正确的车辆关联结果，按照车牌信息对所述不正确的车辆关联结果中的车辆重新进行关联。
9.一种车辆跟踪系统，其特征在于，包括：
多个监控设备及服务器；
所述监控设备用于采集指定监控区域中的图像数据；
所述服务器用于在运行时，实现权利要求1-6任一所述的方法步骤。
10.一种服务器，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
CN201910151012.7A 2019-02-28 2019-02-28 车辆跟踪方法、装置、系统及服务器 Active CN111368611B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910151012.7A CN111368611B (zh) 2019-02-28 2019-02-28 车辆跟踪方法、装置、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910151012.7A CN111368611B (zh) 2019-02-28 2019-02-28 车辆跟踪方法、装置、系统及服务器

Publications (2)

Publication Number Publication Date
CN111368611A CN111368611A (zh) 2020-07-03
CN111368611B true CN111368611B (zh) 2024-04-05

Family

ID=71207922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910151012.7A Active CN111368611B (zh) 2019-02-28 2019-02-28 车辆跟踪方法、装置、系统及服务器

Country Status (1)

Country Link
CN (1) CN111368611B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112885097B (zh) * 2021-02-07 2023-01-10 云控智行(上海)汽车科技有限公司 一种基于跨点位的路侧融合管理方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010005290A1 (de) * 2009-01-26 2010-08-19 GM Global Technology Operations, Inc., Detroit Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
CN104065920A (zh) * 2014-06-10 2014-09-24 北京中芯丙午媒体科技有限公司 一种车辆监控跟踪方法、系统及服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017130639A1 (ja) * 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010005290A1 (de) * 2009-01-26 2010-08-19 GM Global Technology Operations, Inc., Detroit Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
CN104065920A (zh) * 2014-06-10 2014-09-24 北京中芯丙午媒体科技有限公司 一种车辆监控跟踪方法、系统及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Vehicle Tracking with Non-overlapping Views for Multi-Camera Surveillance System;Wenbin Jiang，et al;2013 IEEE 10th International Conference on high Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing;20131115;全文 *
基于多摄像头的车辆跟踪系统设计与实现;魏驰;信息科技;20180815(第8期);全文 *

Also Published As

Publication number Publication date
CN111368611A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
US10713490B2 (en) Traffic monitoring and reporting system and method
CN106864462B (zh) 用于高级驾驶辅助系统用传感器的故障诊断和校准的装置和方法
CN107885795B (zh) 一种卡口数据的数据校验方法、系统和装置
JP2020104547A (ja) 外界センサの故障検出装置、及び、外界センサの故障検出方法
CN113470374B (zh) 车辆超速监测方法、装置、计算机设备及存储介质
CN107644206A (zh) 一种道路异常行为动作检测装置
US12025463B2 (en) Server, vehicle, distributed transaction verification system, and distributed transaction verification method
CN112597807B (zh) 一种违章检测系统、方法、装置、图像采集设备及介质
WO2023050586A1 (zh) 定位传感器的异常检测方法、装置及终端设备
CN111739295A (zh) 一种定位方法及装置
CN111368611B (zh) 车辆跟踪方法、装置、系统及服务器
CN113269042A (zh) 基于行驶车辆违章识别的智能交通管理方法及系统
US20200193731A1 (en) Method, Device and Computer-Readable Storage Medium with Instructions for Processing Data in a Motor Vehicle for Forwarding to a Back End
CN115588008B (zh) 基于视觉的单车规范摆放的判定方法及其应用
US12019179B2 (en) Abnormality detection method of infrastructure sensor apparatus, infrastructure sensor apparatus, infrastructure sensor system, and non-transitory computer readable medium storing an abnormality detection program
CN115909267A (zh) 物体检测匹配方法、装置、设备以及存储介质
CN113207080B (zh) 一种vanet中的数据协作传输方法、装置及电子设备
CN111444766B (zh) 基于图像处理的车辆追踪方法、装置、计算机设备和存储介质
CN111681430B (zh) 实时预测未来机动车到达信号灯路口停止线台数的方法
CN113516852A (zh) 一种多车位多目标车辆停车识别方法及其系统
US20230401841A1 (en) Abnormality determination apparatus, abnormality determination system, abnormality determination method and non-transitory computer-readable recording medium storing abnormality determination program
CN112788228A (zh) 一种基于雷达的抓拍触发系统、方法及装置
CN111652410B (zh) 一种快速路机动车数量预测方法及装置
US20220136859A1 (en) Apparatus and method for updating map
CN116465433A (zh) 一种车辆定位异常判定方法、系统、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant