CN114550449B - 车辆轨迹补全方法、装置、计算机可读介质及电子设备 - Google Patents

车辆轨迹补全方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN114550449B
CN114550449B CN202210143362.0A CN202210143362A CN114550449B CN 114550449 B CN114550449 B CN 114550449B CN 202210143362 A CN202210143362 A CN 202210143362A CN 114550449 B CN114550449 B CN 114550449B
Authority
CN
China
Prior art keywords
vehicle
track
upstream
downstream
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210143362.0A
Other languages
English (en)
Other versions
CN114550449A (zh
Inventor
吕明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Cloud Computing Beijing Co Ltd
Priority to CN202210143362.0A priority Critical patent/CN114550449B/zh
Publication of CN114550449A publication Critical patent/CN114550449A/zh
Application granted granted Critical
Publication of CN114550449B publication Critical patent/CN114550449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请属于智能交通领域,涉及车辆轨迹补全方法、装置、计算机可读介质及电子设备。方法包括:获取拍摄装置所拍摄的车流视频,拍摄装置包括相邻的上游拍摄装置和下游拍摄装置;对车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹;根据车辆行驶轨迹对上游拍摄装置和下游拍摄装置所拍摄的车流视频中的车辆进行匹配;从时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与匹配成功的车辆对应的补全行驶轨迹。本申请能够在辅助数据缺失的情况下对车辆的行驶轨迹进行补全。

Description

车辆轨迹补全方法、装置、计算机可读介质及电子设备
技术领域
本申请属于智能交通技术领域,具体涉及一种车辆轨迹补全方法、车辆轨迹补全装置、计算机可读介质以及电子设备。
背景技术
计算机技术的快速发展和GPS(Global Position System)设备的广泛应用,使记录车辆的轨迹信息变成了一项极其重要的工作。在已知轨迹的基础上,从海量GPS轨迹中挖掘信息成为了研究重点,但是当轨迹中存在缺失,分析结果的准确度就会下降。由于缺乏快速有效的补全缺失轨迹的算法,大部分缺失轨迹就被丢弃或者简单预测,这严重影响了后面轨迹的分析挖掘。
在相关技术中,通常以真实小汽车/货车的行驶轨迹为基础数据,提出了不同的轨迹补全的算法,该算法主要包括数据清理和轨迹补全两方面。但是这些算法首先无法同时解决车辆轨迹的补全与相邻车辆ID的匹配,其次在进行车辆轨迹预测时使用经纬度加时间戳的三维信息,算法效率低且存在不相关的干扰,最后在进行车辆轨迹补全时需要大量的辅助数据进行校正,限制性较大。
发明内容
本申请的目的在于提供一种车辆轨迹补全方法、车辆轨迹补全装置、计算机可读介质以及电子设备,能够克服相关技术中存在的无法同时解决车辆轨迹的补全与车辆ID匹配、采用经纬度加时间戳的信息所导致的算法效率低和存在干扰因素、以及所需辅助数据多的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
第一方面,本申请实施例提供一种车辆轨迹补全方法,该方法包括:获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据所述时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹;根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
第二方面,本申请实施例提供一种车辆轨迹补全装置,该装置包括:车流视频获取模块,用于获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;第一轨迹拟合模块,用于对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据所述时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹;车辆匹配模块,用于根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;第二轨迹拟合模块,用于从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
第三方面,本申请实施例提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的车辆轨迹补全方法。
第四方面,本申请实施例提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的车辆轨迹补全方法。
第五方面,本申请实施例提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读介质中。电子设备的处理器从计算机可读介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行如以上技术方案中的车辆轨迹补全方法。
在本申请实施例提供的技术方案中,通过对上游拍摄装置和下游拍摄装置所拍摄的车流视频中的车辆的行驶轨迹进行拟合并对上游拍摄装置和下游拍摄装置之间的盲区中的行驶轨迹进行预测,接着对相邻拍摄装置所拍摄的车辆进行匹配,并在匹配成功后根据匹配成功的车辆的信息对上游、盲区和下游的轨迹一起进行拟合和预测。本申请提供的技术方案一方面能够同时解决车辆轨迹的补全和相邻的车辆进行匹配;另一方面能够仅根据相邻拍摄装置拍摄的车辆轨迹信息进行车辆轨迹补全和车辆匹配,所需的辅助数据少,限制性小,可以广泛应用与各种需要进行车辆轨迹补全的场景中。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性地示出了应用本申请技术方案的系统架构的示意图。
图2示意性地示出了本申请中车辆轨迹补全方法的步骤流程示意图。
图3示意性地示出了本申请中将经纬度和时间戳降维为时空信息所形成的时空图。
图4示意性地示出了本申请中获取车辆行驶轨迹的流程示意图。
图5示意性地示出了本申请中经过修正均方误差函数评估后的车辆轨迹拟合的界面示意图。
图6示意性地示出了本申请中轨迹拟合以及盲区轨迹预测得到的时空图的界面示意图。
图7示意性地示出了本申请中车辆匹配的流程示意图。
图8示意性地示出了本申请中另一种车辆匹配的流程示意图。
图9示意性地示出了本申请中在待匹配轨迹区域进行车辆匹配的界面示意图。
图10示意性地示出了本申请中获取补全行驶轨迹的流程示意图。
图11示意性地示出了本申请中车辆匹配后获取的补全行驶轨迹的界面示意图。
图12示意性地示出了本申请中车辆轨迹补全装置的结构框图。
图13示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了应用本申请技术方案的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备110,网络120和服务器130。网络120用以在终端设备110和服务器130之间提供通信链路的介质。网络120可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备110可以是具有拍摄单元的各种拍摄装置,包括但不限于摄像头、摄录机等等,其可以设置在目标路段的路侧,也可以设置在架设于目标路段中的龙门架上,用于对可拍摄路段范围内的车辆的行驶轨迹进行拍摄以获取车流视频。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器130可以是多个服务器组成的服务器集群等。
在本申请的一个实施例中,终端设备110包括相邻的上游拍摄装置和下游拍摄装置,用于对不同路段中的车辆的行驶轨迹进行拍摄。值得说明的是,上游拍摄装置和下游拍摄装置之间存在盲区。在完成一个周期的车辆行驶轨迹的拍摄后,上游拍摄装置和下游拍摄装置可以通过网络120将拍摄得到的车流视频上传至服务器130。服务器130接收到车流视频后,可以对车流视频中的所有车辆进行识别,并对识别得到的各车辆的行驶信息进行转换以获取与各车辆对应的时空信息,进而根据时空信息对车辆的行驶轨迹进行拟合以及对车辆在盲区的行驶轨迹进行预测,以获取车辆行驶轨迹,其中在进行盲区的行驶轨迹预测时,可以根据上游摄像头所拍摄的车辆的时空信息沿行驶方向进行预测以获取盲区行驶轨迹,同时还可以根据下游摄像头所拍摄的时空信息沿行驶方向的反方向进行预测以获取盲区行驶轨迹。接着,服务器130可以根据拟合预测得到的车辆行驶轨迹对上游拍摄装置和下游拍摄装置所拍摄到的车辆进行匹配,在完成车辆匹配后,可以根据时空信息确定与匹配成功的车辆对应的目标时空信息,进而根据目标时空信息进行轨迹拟合,并根据拟合得到的拟合轨迹和对应的拟合参数对匹配成功的车辆的行驶轨迹进行轨迹拟合和盲区行驶轨迹预测,进而得到与该匹配成功的车辆对应的补全行驶轨迹。
本申请的技术方案涉及智能交通技术领域,具体而言,涉及智能交通系统以及智能车路协同系统。
智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems,IVICS),简称车路协同系统,是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通系统。
进一步地,当采用云服务器进行车辆轨迹补全方法时,本申请还涉及云技术及云应用,就云应用而言,具体涉及物联网及云物联。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
物联网(The Internet of Things,简称IOT)是指通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术,实时采集任何需要连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在连接,实现对物品和过程的智能化感知、识别和管理。物联网是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互联互通的网络。
云物联(Cloud IOT)旨在将传统物联网中传感设备感知的信息和接受的指令连入互联网中,真正实现网络化,并通过云计算技术实现海量数据存储和运算,由于物联网的特性是物与物相连接,实时感知各个“物体”当前的运行状态,在这个过程中会产生大量的数据信息,如何将这些信息汇总,如何在海量信息中筛取有用信息为后续发展做决策支持,这些已成为影响物联网发展的关键问题,而基于云计算和云存储技术的物联云也因此成为物联网技术和应用的有力支持。
车辆的轨迹信息中蕴含这重要的商业价值,在已知轨迹的基础上,从海量GPS轨迹中挖掘出商业价值成为研究重点。但是当轨迹中存在缺失,分析结果的准确度就会下降,由于缺乏快速有效的补全缺失轨迹的算法,大部分缺失轨迹就被丢弃或者简单预测,严重影响了后期轨迹的分析挖掘。在本领域的相关技术中,轨迹补全的算法主要包括数据清理、发现轨迹中的缺失轨迹和轨迹的补全,其中,首先在数据清理阶段,将给定的GPS原始数据(包括经纬度、速度等)根据要求划为标准的形式,然后挖掘出轨迹中包含的异常点并将其清除;在发现轨迹中的缺失轨迹阶段,通常采用时间间隔和距离间隔的方法来发现轨迹中的缺失轨迹;在轨迹补全阶段,首先根据GPS点中的经纬度信息来求出任意相邻两个GPS点之间的距离,然后根据相邻两个GPS点之间的时间求出相邻两点之间的时间间隔,最后在进行轨迹的补全。
但是相关技术存在相应弊端,主要有三方面:第一,无法同时解决车辆轨迹的补全与相邻的车辆ID匹配的问题。要么仅对车辆的轨迹进行估计,要么只针对相邻路段的车辆ID,利用各种辅助数据进行ID匹配,难以在对车辆轨迹进行估计的同时对车辆ID进行匹配;第二,使用经纬度加时间戳的三维信息,算法效率低以及存在不相关的干扰因素;第三,需要大量的辅助数据进行校正,在很多时候由于数据的限制,模型很难应用到其它地方。
针对相关技术中存在的问题,下面结合具体实施方式对本申请提供的车辆轨迹补全方法、车辆轨迹补全装置、计算机可读介质以及电子设备等技术方案做出详细说明。
图2示意性地示出了本申请一个实施例中的车辆轨迹补全方法的步骤流程示意图,该车辆轨迹补全方法可以由服务器执行,如图1中的服务器130,当然还可以由与服务器具有相同功能的终端设备执行。如图2所示,本申请实施例中的车辆轨迹补全方法可以包括:
S210:获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;
S220:对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据所述时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹;
S230:根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;
S240:从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
在本申请实施例提供的车辆轨迹补全方法中,首先通过对上游拍摄装置和下游拍摄装置所拍摄的车流视频中车辆的行驶轨迹进行拟合,并对上游拍摄装置和下游拍摄装置之间的盲区中的行驶轨迹进行预测,接着对相邻拍摄装置所拍摄的车辆进行匹配,并在匹配成功后根据匹配成功的车辆的信息对上游、盲区和下游的轨迹一起进行拟合和预测,以获取补全的车辆行驶轨迹。本申请提供的技术方案一方面能够同时解决车辆轨迹的补全和车辆的匹配;另一方面能够仅根据相邻拍摄装置拍摄的车辆轨迹信息进行车辆轨迹补全和车辆匹配,所需的辅助数据少,限制性小,可移植性强。
下面以对高速公路上的车辆轨迹进行补全的场景为例,对本申请中的车辆轨迹补全方法的各个方法步骤的具体实现方式进行详细说明。
在S210中,获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区。
在本申请的一个实施例中,在高速公路上间隔一定距离设置有一个或多个拍摄装置,用于对高速公路上的车辆行驶状况进行拍摄和监测。当在高速公路上设置有多个拍摄装置时,沿着车辆的行驶方向可以将拍摄装置划分为上游拍摄装置和下游拍摄装置,作为一个具体示例,上游拍摄装置和下游拍摄装置的拍摄范围内的路段的平均长度在100m左右,二者之间的最短距离约为1000m。上游和下游是一个相对概念,例如对于当前拍摄装置,在行驶方向的反方向上存在拍摄装置,则当前拍摄装置为下游拍摄装置,反方向上的拍摄装置为上游拍摄装置,如果在行驶方向上存在拍摄装置,则当前拍摄装置为上游拍摄装置,行驶方向上的拍摄装置为下游拍摄装置。
本申请是对相邻拍摄装置之间的盲区中的车辆行驶轨迹进行补全,因此在高速公路上设置有多个拍摄装置时,可以将高速公路划分为多个路段,每个路段对应两个相邻的拍摄装置。为了使本申请的技术方案更清晰,以路段上设置有两个相邻的上游拍摄装置和下游拍摄装置为例进行说明,并且在上游拍摄装置和下游拍摄装置之间存在盲区。
在S220中,对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据所述时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹。
在本申请的一个实施例中,在获取上游拍摄装置和下游拍摄装置所拍摄的车流视频后,可以对车流视频中的所有车辆进行识别,并根据所识别得到的车辆的行驶信息转换得到对应的时空信息,进而根据时空信息进行轨迹拟合和盲区轨迹预测。
在本申请的一个实施例中,可以通过视频识别算法对车流视频中的所有车辆进行识别,该视频识别算法可以是用于视频图像识别的机器学习模型,例如可以是深度卷积神经网络模型、循环神经网络模型等等,当然还可以是其它的算法,本申请实施例对此不作具体限定。在识别出视频中所有的车辆后,可以根据预设规则对识别到的车辆设置车辆标识,该车辆标识与车辆唯一对应,在本申请的实施例中,预设规则具体可以是根据车辆在车流视频中出现的时间顺序分别赋予由小到大的数字标识,并且不同车流视频中车辆的车辆标识均不同,例如上游拍摄装置拍摄的车流视频中有两辆车,那么对首先出现的车辆可以设置车辆标识为1,接着出现的车辆可以设置车辆标识为2,对出现在下游拍摄装置拍摄的车流视频中的第一辆车设置车辆标识为3,对出现的第二辆车设置车辆标识为4,即使是同一辆车,出现在不同的车流视频中,所对应的车辆标识也不同。本申请实施例中车辆标识的设置规则包括但不限于上述的预设规则,还可以采用其它的设置规则。在本申请的实施例中,可以通过车辆标识的握手匹配实现上游拍摄装置拍摄的车辆与下游拍摄装置拍摄的车辆的匹配。
在本申请的一个实施例中,在完成对车流视频中所有车辆的识别后,可以对各个车辆的行驶信息进行转换,以获取与其对应的时空信息,进而根据该时空信息进行轨迹拟合和盲区轨迹预测,获取与各个车辆对应的车辆行驶轨迹。
在本申请的一个实施例中,从车流视频中可以获取车辆的行驶信息,该行驶信息包括车辆在拍摄装置可拍摄范围内的高速公路上的位移和时间戳信息,在对行驶信息进行转换获取时空信息时,首先通过视频识别算法根据拍摄装置所在的位置,将车辆的位移转换为车辆距离拍摄装置的相对位置,然后根据拍摄装置的位置信息和拍摄范围内的道路线形对相对位置进行转换,以获取多维车辆行驶信息,该多维车辆行驶信息包括经纬度、车道信息和时间戳,具体而言,可以根据拍摄装置在高速公路路网中的位置信息将车辆距离拍摄装置的相对位置转换为经纬度,同时根据拍摄装置在高速路网中对应的道路线形可以获取车辆所在的车道信息,根据转换后的经纬度、车道信息和时间戳均可以匹配到高速公路的位于拍摄装置的拍摄范围内的路段。最后可以对多维车辆行驶信息进行降维,以获取时空信息。
由于采用经纬度和时间戳来表示车辆沿道路行驶的行车轨迹时,需要考虑三个维度的数据,虽然不至于上升到维度灾难的承担,但是三维数据的操作对后续的车辆匹配以及轨迹的快速有效预测还是有所影响的。为了加快匹配和轨迹预测的计算效率,可以将经纬度信息转化为车辆沿高速公路行驶方向的行驶距离,通过行驶距离与时间戳进行计算,从而将维度由三维降低到二维,该二维信息即为时空信息,同时还避免了线形干扰,并可以直观的观察车辆在纯粹的时空维度下的行驶过程,以及与其它车辆的影响与反应,如换道、超车行为等。
图3示出了将经纬度和时间戳降维为时空信息所形成的时空图,横坐标为时间戳,纵坐标为车辆沿行驶方向的行驶距离,图中的每条线对应一辆车,有的线相互平行,有的线相互交叉,如果存在交叉,说明两辆车存在超车行为,如果相互平行,说明两辆车不存在超车行为,时空图中不存在车道信息,如果车辆在行驶过程中发生换道行为,那么车辆会消失。
在本申请的一个实施例中,在将经纬度信息降维转化为车辆沿高速公路行驶方向的行驶距离时,可以根据上游拍摄装置和下游拍摄装置之间的距离对经纬度信息进行定积分,具体表达式如式(1)所示:
Figure BDA0003507571150000101
其中,L为行驶距离,d为上游拍摄装置和下游拍摄装置之间的距离,x为经度,y为纬度。
在本申请的一个实施例中,由于降维后的时空信息为离散的二维数据,因此在将车辆的行驶信息转换为时空信息后,可以根据该时空信息对车辆的行驶轨迹进行拟合,从而获取车辆行驶的连续信息,并对车辆在盲区的行驶轨迹进行预测,以获取车辆行驶轨迹。在本申请的实施例中,对时空信息进行轨迹拟合采用的是多项式拟合,为了便于说明,将时空信息分为与上游拍摄装置所拍摄的上游车辆对应的第一时空信息和与下游拍摄装置所拍摄的下游车辆对应的第二时空信息。
图4示出了获取车辆行驶轨迹的流程示意图,如图4所示,在步骤S401中,根据所述第一时空信息进行多项式拟合和评估,以获取第一拟合参数和第一拟合轨迹,并根据所述第二时空信息进行多项式拟合和评估,以获取第二拟合参数和第二拟合轨迹;在步骤S402中,根据所述第一时空信息和所述第一拟合参数对所述车辆在所述盲区的行驶轨迹进行预测,以获取第一预测轨迹;在步骤S403中,根据所述第二时空信息和所述第二拟合参数对所述车辆在所述盲区的行驶轨迹进行反向预测,以获取第二预测轨迹;在步骤S404中,根据所述第一拟合轨迹、所述第一预测轨迹、所述第二预测轨迹和所述第二拟合轨迹确定所述车辆行驶轨迹。
其中,步骤S401中对第一时空信息和第二时空信息进行多项式拟合所采用的计算公式如式(2)所示:
Figure BDA0003507571150000111
其中,xn为第一时空信息或第二时空信息中的时间戳信息,n=1,2,…N,N为第一时空信息或第二时空信息中时空信息的总量,M为多项式的最高阶数,j为阶数,W为多项式的系数矩阵,wj为系数矩阵中的各个系数,y(xn,W)为与各时间戳xn对应的预测行驶距离。
多项式确定后,需要一个误差函数来对拟合出的多项式进行评估,例如可以采用均方误差公式对多项式进行评估,但是在使用高阶多项式拟合是存在的主要问题是欠拟合和过拟合,因此为了避免欠拟合和过拟合对轨迹拟合和轨迹预测产生影响,本申请实施例中通过正则化的方式对均方误差函数进行修正,使得多项式系数被有效的控制。修正均方误差函数的表达式如式(3)所示:
Figure BDA0003507571150000112
其中,N为第一时空信息或第二时空信息中包含的时空信息的总量,xn为第一时空信息或第二时空信息中的时间戳,W为多项式的系数,y(xn,W)为与各时间戳xn对应的预测行驶距离,tn为与各时间戳xn对应的真实行驶距离,λ为超参数,
Figure BDA0003507571150000121
M为多项式的最高阶数。
拟合的目的是为了使预测轨迹与实际轨迹相同,那么可以将修正均方误差函数取得最小值作为约束条件,以获取系数矩阵W的唯一解,进而通过将系数矩阵代入公式(2)即可得到基于多项式拟合的最优解。图5示出了经过修正均方误差函数评估后的车辆轨迹拟合的界面示意图,如图5所示,拟合得到的行驶轨迹与观测到的行驶轨迹基本重合,拟合效果好。
本申请中经过修正均方误差函数对多项式进行评估,使得车辆轨迹的拟合不仅避免了对车辆行驶轨迹特征的丢失导致与上游车辆与下游车辆匹配时,车辆行驶特性不一致而引起的匹配错误,同时也避免了对车辆行驶行为描述过于细致而导致信息过载,计算和匹配效率下降的问题。
在本申请的一个实施例中,在根据上游车辆和下游车辆的行驶信息转换得到的时空信息进行轨迹拟合后,一方面得到了上游车辆和下游车辆在拍摄装置可拍摄范围内的行驶轨迹,另一方面也得到了与该行驶轨迹对应的拟合参数,即系数矩阵。对于位于上游拍摄装置和下游拍摄装置之间的盲区的车辆行驶轨迹,则可以根据第一时空信息、第二时空信息以及多项式拟合得到的拟合参数进行盲区轨迹预测。
由于盲区位于上游拍摄装置和下游拍摄装置之间,因此在预测盲区的车辆行驶轨迹时,可以根据上游车辆的第一时空信息和与上游车辆对应的拟合参数沿车辆行驶方向进行预测,同时根据下游车辆的第二时空信息和与下游车辆对应的拟合参数沿车辆行驶方向的反方向进行预测,通过轨迹预测,实现对车辆行驶轨迹的补全。
在本申请的一个实施例中,在根据车辆的时空信息和拟合参数进行轨迹预测时,首先可以获取时空信息中接近盲区的多个子时空信息,例如第一时空信息中包括50个子时空信息,其中第1个子时空信息和第50个子时空信息分别对应车辆在上游拍摄装置可拍摄范围内的起始子时空信息和末端子时空信息,那么可以将第40-50个子时空信息作为接近盲区的多个子时空信息,相应地,当第二时空信息中包括50个子时空信息,其中第1个子时空信息和第50个子时空信息分别对应车辆在下游拍摄装置可拍摄范围内的起始子时空信息和末端子时空信息,那么可以将第1-10个子时空信息作为接近盲区的多个子时空信息;然后根据多个子时空信息和确定的拟合参数确定车辆轨迹方程;接着将车辆进入盲区后对应的时间戳代入车辆轨迹方程,以获取车辆在该时间戳时所对应的行驶距离,该时间戳和对应的行驶距离即为预测到的轨迹点;最后重复上述流程,直至所获取的行驶距离到达下游摄像头可拍摄范围的起始位置或者上游摄像头可拍摄范围的终止位置,根据预测得到的所有轨迹点即可得到车辆在盲区的预测轨迹。
图6示出了轨迹拟合以及盲区轨迹预测得到的时空图的界面示意图,如图6所示,A区域为根据上游拍摄装置所拍摄的上游车辆的时空信息进行多项式拟合后得到的行驶轨迹,C区域为根据下游拍摄装置所拍摄的下游车辆的时空信息进行多项式拟合后得到的行驶轨迹,B区域为分别根据上游车辆的时空信息以及拟合参数进行预测得到的行驶轨迹和根据下游车辆的时空信息以及拟合参数进行预测得到的行驶轨迹。
从图6可以发现,B区域的预测轨迹是比较杂乱的,原因主要有两方面,一方面是未进行车辆匹配,所以轨迹无法对应起来,另一方面是在根据上游车辆的第一时空信息进行多项式拟合得到的拟合参数和根据下游车辆的第二时空信息进行多项式拟合得到的拟合参数是不同的,因此轨迹预测时采用的拟合参数不同,所预测到的车辆轨迹在时空图中显得比较杂乱。
在本申请的一个实施例中,通过进行轨迹拟合和盲区轨迹预测,可以获取与上游拍摄装置对应的第一预测轨迹和第一拟合轨迹,与下游拍摄装置对应的第二预测轨迹和第二拟合轨迹,根据第一预测轨迹、第一拟合轨迹、第二预测轨迹和第二拟合轨迹即可得到车辆行驶轨迹。值得说明的是,该车辆行驶轨迹并不是与出现在上游拍摄装置和下游拍摄装置中的同一车辆对应的连续轨迹,还需要对上游车辆和下游车辆进行匹配,再进行轨迹拟合和预测才能获取与同一车辆对应的连续的行驶轨迹。
在S230中,根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配。
在本申请的一个实施例中,在对车辆进行匹配时,可以根据从车辆的行驶轨迹、所在车道、车速三个维度进行匹配。图7示出了车辆匹配的流程示意图,如图7所示,在步骤S701中,对所述上游拍摄装置所拍摄的车流视频中的所有上游车辆进行识别,以获取所述上游车辆的第一车速和所在的第一车道,对所述下游拍摄装置所拍摄的车流视频中的所有下游车辆进行识别,以获取所述下游车辆的第二车速和所在的第二车道;在步骤S702中,将所述上游车辆中的任一车辆作为目标上游车辆,从所述第一车辆行驶轨迹中获取与所述目标上游车辆对应的第一预测轨迹和与各所述下游车辆对应的第二预测轨迹;在步骤S703中,根据所述第一预测轨迹和各所述第二预测轨迹确定轨迹评分,根据与所述目标上游车辆对应的第一车速和与各所述下游车辆对应的第二车速确定车速评分,并根据与所述目标上游车辆对应的第一车道和与各所述下游车辆对应的第二车道确定车道评分;在步骤S704中,根据所述轨迹评分、所述车速评分、所述车道评分、轨迹权重、车速权重和车道权重确定匹配度;在步骤S705中,获取与最大匹配度对应的目标下游车辆,并将所述目标上游车辆的车辆标识和所述目标下游车辆的车辆标识进行握手匹配。
其中,步骤S703中根据第一预测轨迹和各个第二预测轨迹确定轨迹评分时,首先可以计算第一预测轨迹和第二预测轨迹之间的轨迹误差,然后根据轨迹误差可以确定轨迹评分。在本申请的实施例中,轨迹误差与轨迹评分反相关,误差越小,轨迹评分越高。车速评分可以根据第一车速和第二车速之间的车速差值确定,当车速差值越小时,车速评分越高,同样地,车道评分可以根据第一车道和第二车道的差异确定,当第一车道与第二车道相同时,车道评分最高,当第一车道与第二车道相邻时,车道评分次之,当第一车道与第二车道不相邻时,车道评分最低。在本申请中,可以根据实际需要对轨迹评分、车道评分、车速评分设置不同的评分区域,本申请对此不作具体限定。步骤S704中,在获取轨迹评分、车道评分、车速评分后,可以根据轨迹权重、车道权重和车速权重对轨迹评分、车道评分、车速评分进行加权处理,以获取目标上游车辆和各个下游车辆之间的匹配度。步骤S705中,获取匹配度中的最大匹配度,该最大匹配度对应的目标下游车辆即为与目标上游车辆对应的车辆,也就是说,该目标上游车辆和目标下游车辆为同一车辆,通过将目标上游车辆的车牌标识与目标下游车辆的车辆标识进行握手匹配即可实现车辆的匹配。
在本申请的一个实施例中,由于将每一个上游车辆的行驶轨迹、所在车道和车速分别与各个下游车辆的行驶轨迹、所在车道和车速进行对比,计算量太大、匹配效率低,为了缩小找寻空间、减少匹配车辆数、提高匹配效率,本申请实施例中,还可以根据目标上游车辆的最大车速和最小车速确定待匹配轨迹区域,以在待匹配轨迹区域内进行车辆匹配。
图8示出了另一种车辆匹配的流程示意图,如图8所示,在步骤S801中,将所述上游拍摄装置拍摄的车流视频中的任一车辆作为目标上游车辆,获取与所述目标上游车辆对应的最大行驶速度和最小行驶速度;在步骤S802中,根据所述最大行驶速度、所述最小行驶速度和所述目标上游车辆对应的时间戳在时空图中生成待匹配轨迹区域,其中所述时空图是根据所述时空信息生成的;在步骤S803中,从所述车辆行驶轨迹中获取与所述下游拍摄装置拍摄的下游车辆对应的第二预测轨迹,并判断所述第二预测轨迹中是否存在落入所述待匹配轨迹区域的目标预测轨迹;在步骤S804中,根据判断结果对所述目标上游车辆和所述下游车辆进行匹配。
其中,步骤S801中的最大行驶速度和最小行驶速度可以通过对上游拍摄装置拍摄的车流视频中与目标上游车辆对应的行驶信息进行分析,以获取目标上游车辆在行驶过程中的速度区间,并根据该速度区间确定得到。例如,目标上游车辆的速度区间为[90km/h,120km/h],那么可以将最小行驶速度设定为90km/h,最大行驶速度设定为120km/h,另外,如果目标上游车辆的速度区间为[90km/h,100km/h],而车道的最高限速为120km/h,那么可以将最小行驶速度设定为90km/h,最大行驶速度设定为120km/h或者将最小行驶速度设定为90km/h,最大行驶速度设定为100km/h。接着,根据目标上游车辆的最大行驶速度、最小行驶速度和对应的时间戳可以在根据时空信息生成的时空图中生成一待匹配轨迹区域,并将待匹配轨迹区域的第二拟合轨迹与目标上游车辆的第一拟合轨迹进行对比,以获取与目标上游车辆匹配的目标下游车辆,并将目标上游车辆的标识信息与目标下游车辆的标识信息进行握手匹配。
图9示出了在待匹配轨迹区域进行车辆匹配的界面示意图,如图9所示,在包含下游车辆的第二拟合轨迹和第二预测轨迹的时空图中,根据目标上游车辆在既定时间戳时的最大行驶速度和最小行驶速度在时空图中限定出待匹配轨迹区域(阴影区),因此可以明确位于待匹配轨迹区域中的第二拟合轨迹为目标预测轨迹(即备选车辆轨迹),该目标预测轨迹对应的下游车辆即为可能与目标上游车辆匹配的备选车辆,进一步地,可以根据目标预测轨迹和目标上游车辆的第一预测轨迹(即匹配车辆轨迹)从备选车辆中确定与目标上游车辆匹配的目标下游车辆。
在本申请的一个实施例中,在获取候选下游车辆后,可以将目标预测轨迹与目标上游车辆的第一预测轨迹进行对比,计算二者之间的轨迹误差,如果第一预测轨迹与目标预测轨迹的轨迹误差接近于0或等于0,则该目标预测轨迹对应的下游车辆与目标上游车辆为同一车辆,可进行匹配。在本申请的实施例中,轨迹误差可以根据第一预测轨迹中各时间戳对应的行驶距离和各目标预测轨迹中与该时间戳对应的行驶距离计算均方根值确定得到,计算第一预测轨迹和目标预测轨迹的误差的计算公式如公式(4)所示:
Figure BDA0003507571150000161
其中,m为第一预测轨迹或目标预测轨迹中轨迹点的总量,yi为第一预测轨迹中各时间戳对应的轨迹点中的行驶距离,
Figure BDA0003507571150000162
为目标预测轨迹中与同一时间戳对应的轨迹点中的行驶距离。
通过计算,可以从备选车辆中确定与目标上游车辆对应的目标下游车辆,然后将目标上游车辆对应的车辆标识与目标下游车辆的车辆标识进行握手匹配即可实现车辆匹配。
在S240中,从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
在本申请的一个实施例中,在完成车辆匹配后,可以根据匹配成功的车辆对应的目标时空信息进行进行轨迹拟合和盲区轨迹预测,以获取与匹配成功的车辆对应的补全行驶轨迹。
图10示出了获取补全行驶轨迹的流程示意图,如图10所示,在步骤S1001中,将所述匹配成功的车辆的车辆标识与所述时空信息中的车辆标识进行匹配,以获取所述目标时空信息;在步骤S1002中,根据所述目标时空信息对所述匹配成功的车辆在所述拍摄装置拍摄范围内的轨迹进行拟合,以获取拟合参数和拟合轨迹;在步骤S1003中,根据所述拟合参数和所述拟合轨迹对所述匹配成功的车辆在所述盲区中的轨迹进行预测,以获取预测轨迹;在步骤S1004中,根据所述拟合轨迹和所述预测轨迹确定所述补全行驶轨迹。
车辆匹配成功后,根据车辆在上游行驶时的时空信息和在下游行驶时的时空信息对上游和下游的行驶轨迹进行拟合,并根据拟合得到的拟合参数和拟合轨迹对车辆在盲区的行驶轨迹进行预测,进而得到与车辆对应的补全行驶轨迹。也就是说,在该步骤中,是根据匹配后的车辆的时空信息对上游、盲区和下游的轨迹一起进行拟合和预测的,相比于先根据上游的时空信息以及下游的时空信息分别进行轨迹拟合,再分别根据拟合后的拟合参数进行盲区轨迹预测所得到的行驶轨迹而言,在进行车辆匹配后,同时根据上下游的时空信息进行拟合和盲区轨迹预测得到的行驶轨迹更顺滑,不存在跳跃,也更符合实际的行驶轨迹。图11示出了车辆匹配后获取的补全行驶轨迹的界面示意图,如图11所示,补全行驶轨迹相对于图6所示的行驶轨迹更顺滑,更清晰。
本申请中的车辆轨迹补全方法不仅可以应用于高速公路中的轨迹补全,还可以应用于诸如城市道路、乡镇道路等设置有拍摄装置并且在相邻拍摄装置之间存在盲区的道路中,根据本申请的车辆轨迹补全方法都可以在所获取的短间距的车辆行驶信息的基础上,补全大间距视频盲区的车辆行驶轨迹,以及对相邻拍摄装置之间的车辆进行匹配。并且本申请中的车辆轨迹补全方法只需要获取拍摄装置所拍摄到的车辆的行驶信息,不需要其它的信息即可实现车辆轨迹补全和车辆匹配,大大减少了数据处理量,提高了数据处理效率。
本申请中的车辆轨迹补全方法,首先通过对上游拍摄装置和下游拍摄装置所拍摄的车流视频中车辆的行驶轨迹进行拟合,并对上游拍摄装置和下游拍摄装置之间的盲区中的行驶轨迹进行预测,接着对相邻拍摄装置所拍摄的车辆进行匹配,并在匹配成功后根据匹配成功的车辆的信息对上游、盲区和下游的轨迹一起进行拟合和预测,以获取补全的车辆行驶轨迹。本申请提供的技术方案一方面能够同时解决车辆轨迹的补全和车辆的匹配;另一方面能够仅根据相邻拍摄装置拍摄的车辆行驶信息进行车辆轨迹补全和车辆匹配,所需的辅助数据少,限制性小,可移植性强;再一方面,在进行轨迹补全时是基于时空信息进行的,时空信息是二维信息,相对于时间戳和经纬度的三维信息,算法效率高、干扰信息少,提高了补全的准确性和效率。
可以理解的是,在本申请的具体实施方式中,涉及到车辆行驶信息、等相关数据,当本申请以上实施例运用到具体产品或技术中时,需要获取用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的车辆轨迹补全方法。图12示意性地示出了本申请实施例提供的车辆轨迹补全装置的结构框图。如图12所示,车辆轨迹补全装置1200包括:车流视频获取模块1210、第一轨迹拟合模块1220、车辆匹配模块1230和第二轨迹拟合模块1240,具体地:
车流视频获取模块1210,用于获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;第一轨迹拟合模块1220,用于对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息,并根据所述时空信息进行轨迹拟合和盲区轨迹预测,以获取车辆行驶轨迹;车辆匹配模块1230,用于根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;第二轨迹拟合模块1240,用于从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
在本申请的一些实施例中,基于以上技术方案,所述第一轨迹拟合模块1220配置为:通过视频识别算法对所述视频中的所有车辆进行识别,并根据预设规则对识别到的车辆设置车辆标识。
在本申请的一些实施例中,所述行驶信息包括所述车辆在所述拍摄装置的拍摄范围内的位移和时间信息;基于以上技术方案,所述第一轨迹拟合模块1220包括:第一转换单元,用于通过视频识别算法将所述位移转换为所述车辆与所述拍摄装置之间的相对位置;第二转换单元,用于根据所述拍摄装置的位置信息和拍摄范围内的道路线形对所述相对位置进行转换,以获取多维车辆行驶信息;降维单元,用于对所述多维车辆行驶信息进行降维,以获取所述时空信息。
在本申请的一些实施例中,所述多维车辆行驶信息包括与所述车辆对应的经纬度信息和时间戳;基于以上技术方案,所述降维单元配置为:根据所述上游拍摄装置和所述下游拍摄装置之间的距离对所述经纬度信息进行定积分,以获取所述车辆的行驶距离;根据所述行驶距离和所述时间戳生成所述时空信息。
在本申请的一些实施例中,所述时空信息包括与所述上游拍摄装置所拍摄的上游车辆对应的第一时空信息和与所述下游拍摄装置所拍摄的下游车辆对应的第二时空信息;基于以上技术方案,所述第一轨迹拟合模块1220包括:拟合单元,用于根据所述第一时空信息进行多项式拟合和评估,以获取第一拟合参数和第一拟合轨迹,并根据所述第二时空信息进行多项式拟合和评估,以获取第二拟合参数和第二拟合轨迹;第一预测单元,用于根据所述第一时空信息和所述第一拟合参数对所述车辆在所述盲区的行驶轨迹进行预测,以获取第一预测轨迹;第二预测单元,用于根据所述第二时空信息和所述第二拟合参数对所述车辆在所述盲区的行驶轨迹进行反向预测,以获取第二预测轨迹;轨迹确定单元,用于根据所述第一拟合轨迹、所述第一预测轨迹、所述第二预测轨迹和所述第二拟合轨迹确定所述车辆行驶轨迹。
在本申请的一些实施例中,基于以上技术方案,所述拟合单元配置为:采用修正均方误差函数对拟合得到的多项式进行评估;所述修正均方误差函数的表达式为:
Figure BDA0003507571150000191
其中,N为所述第一时空信息或所述第二时空信息中包含的数据总量,xn为时空信息中的第n个时间戳,W为多项式的系数矩阵,y(xn,W)为根据xn预测的行驶距离,tn为与xn对应的真实行驶距离,λ为超参数,
Figure BDA0003507571150000192
M为多项式的最高阶数。
在本申请的一些实施例中,基于以上技术方案,所述车辆匹配模块1230配置为:对所述上游拍摄装置拍摄的车流视频中的所有上游车辆进行识别,以获取所述上游车辆的第一车速和所在的第一车道,对所述下游拍摄装置拍摄的车流视频中的所有下游车辆进行识别,以获取所述下游车辆的第二车速和所在的第二车道;将所述上游车辆中的任一车辆作为目标上游车辆,从所述车辆行驶轨迹中获取与所述目标上游车辆对应的第一预测轨迹和与各所述下游车辆对应的第二预测轨迹;根据所述第一预测轨迹和各所述第二预测轨迹确定轨迹评分,根据与所述目标上游车辆对应的第一车速和与各所述下游车辆对应的第二车速确定车速评分,并根据与所述目标上游车辆对应的第一车道和与各所述下游车辆对应的第二车道确定车道评分;根据所述轨迹评分、所述车速评分、所述车道评分、轨迹权重、车速权重和车道权重确定匹配度;获取与最大匹配度对应的目标下游车辆,并将所述目标上游车辆的车辆标识和所述目标下游车辆的车辆标识进行握手匹配。
在本申请的一些实施例中,基于以上技术方案,所述车辆匹配模块1230包括:获取单元,用于将所述上游拍摄装置拍摄的车流视频中的任一车辆作为目标上游车辆,获取与所述目标上游车辆对应的最大行驶速度和最小行驶速度;区域生成单元,用于根据所述最大行驶速度、所述最小行驶速度和所述目标上游车辆对应的时间戳时空图中生成待匹配轨迹区域,其中所述时空图是根据所述时空信息生成的;判断单元,用于从所述车辆行驶轨迹中获取与所述下游拍摄装置拍摄的下游车辆对应的第二预测轨迹,并判断所述第二预测轨迹中是否存在落入所述待匹配轨迹区域的目标预测轨迹;匹配单元,用于根据判断结果对所述目标上游车辆和下游车辆进行匹配。
在本申请的一些实施例中,基于以上技术方案,所述匹配单元包括:目标下游车辆确定单元,用于当存在所述目标预测轨迹时,根据所述第一预测轨迹和所述目标预测轨迹确定与所述目标上游车辆匹配的目标下游车辆,并将所述目标上游车辆的车辆标识与所述目标下游车辆的车辆标识进行握手匹配。
在本申请的一些实施例中,所述目标预测轨迹的数量为多个;基于以上技术方案,所述目标下游车辆确定单元包括:计算单元,用于计算所述第一预测轨迹与各所述目标预测轨迹之间的轨迹误差;筛选单元,用于获取最小轨迹误差,将所述最小轨迹误差对应的下游车辆作为所述目标下游车辆。
在本申请的一些实施例中,基于以上技术方案,所述计算单元配置为:根据所述第一预测轨迹中各时间戳对应的行驶距离和各所述目标预测轨迹中与所述时间戳对应的行驶距离计算均方根值,并将所述均方根值作为所述轨迹误差。
在本申请的一些实施例中,基于以上技术方案,所述第二轨迹拟合模块1240配置为:将所述匹配成功的车辆的车辆标识与所述时空信息中的车辆标识进行匹配,以获取所述目标时空信息;根据所述目标时空信息对所述匹配成功的车辆在所述拍摄装置拍摄范围内的轨迹进行拟合,以获取拟合参数和拟合轨迹;根据所述拟合参数和所述拟合轨迹对所述匹配成功的车辆在所述盲区中的轨迹进行预测,以获取预测轨迹;根据所述拟合和所述预测轨迹确定所述补全行驶轨迹。
本申请各实施例中提供的车辆轨迹补全装置的具体细节已经在对应的方法实施例中进行了详细的描述,此处不再赘述。
图13示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图,该电子设备可以是如图1中所示的终端设备110或者服务器130。
需要说明的是,图13示出的电子设备的计算机系统1300仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图13所示,计算机系统1300包括中央处理器1301(Central Processing Unit,CPU),其可以根据存储在只读存储器1302(Read-Only Memory,ROM)中的程序或者从储存部分1308加载到随机访问存储器1303(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1303中,还存储有系统操作所需的各种程序和数据。中央处理器1301、在只读存储器1302以及随机访问存储器1303通过总线1304彼此相连。输入/输出接口1305(Input/Output接口,即I/O接口)也连接至总线1304。
在一些实施例中,以下部件连接至输入/输出接口1305:包括键盘、鼠标等的输入部分1306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid CrystalDisplay,LCD)等以及扬声器等的输出部分1307;包括硬盘等的储存部分1308;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至输入/输出接口1305。可拆卸介质1311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1310上,以便于从其上读出的计算机程序根据需要被安装入储存部分1308。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1309从网络上被下载和安装,和/或从可拆卸介质1311被安装。在该计算机程序被中央处理器1301执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台电子设备执行根据本申请实施方式的方法。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种车辆轨迹补全方法,其特征在于,包括:
获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;
对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息;
根据与所述上游拍摄装置所拍摄的上游车辆对应的第一时空信息进行多项式拟合和评估,以获取第一拟合参数和第一拟合轨迹,并根据与所述下游拍摄装置所拍摄的下游车辆对应的第二时空信息进行多项式拟合和评估,以获取第二拟合参数和第二拟合轨迹;
根据所述第一时空信息和所述第一拟合参数对所述车辆在所述盲区的行驶轨迹进行预测,以获取第一预测轨迹;根据所述第二时空信息和所述第二拟合参数对所述车辆在所述盲区的行驶轨迹进行反向预测,以获取第二预测轨迹;
根据所述第一拟合轨迹、所述第一预测轨迹、所述第二预测轨迹和所述第二拟合轨迹确定所述车辆行驶轨迹;
根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;
从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
2.根据权利要求1所述的方法,其特征在于,所述对所述车流视频中的所有车辆进行识别,包括:
通过视频识别算法对所述视频中的所有车辆进行识别,并根据预设规则对识别到的车辆设置车辆标识。
3.根据权利要求1所述的方法,其特征在于,所述行驶信息包括所述车辆在所述拍摄装置的拍摄范围内的位移和时间信息;
所述对识别到的车辆的行驶信息进行转换以获取时空信息,包括:
通过视频识别算法将所述位移转换为所述车辆与所述拍摄装置之间的相对位置;
根据所述拍摄装置的位置信息和拍摄范围内的道路线形对所述相对位置进行转换,以获取多维车辆行驶信息;
对所述多维车辆行驶信息进行降维,以获取所述时空信息。
4.根据权利要求3所述的方法,其特征在于,所述多维车辆行驶信息包括与所述车辆对应的经纬度信息和时间戳;
所述对所述多维车辆行驶信息进行降维,以获取所述时空信息,包括:
根据所述上游拍摄装置和所述下游拍摄装置之间的距离对所述经纬度信息进行定积分,以获取所述车辆的行驶距离;
根据所述行驶距离和所述时间戳生成所述时空信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一时空信息和所述第二时空信息进行多项式拟合和评估,包括:
采用修正均方误差函数对拟合得到的多项式进行评估;
所述修正均方误差函数的表达式为:
Figure FDA0004006540620000021
其中,N为所述第一时空信息或所述第二时空信息中包含的数据总量,xn为时空信息中的第n个时间戳,W为多项式的系数矩阵,y(xn,W)为根据xn预测的行驶距离,tn为与xn对应的真实行驶距离,λ为超参数,
Figure FDA0004006540620000022
M为多项式的最高阶数,w0、w1、wM为W中的不同系数。
6.根据权利要求1所述的方法,其特征在于,所述根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配,包括:
对所述上游拍摄装置拍摄的车流视频中的所有上游车辆进行识别,以获取所述上游车辆的第一车速和所在的第一车道,对所述下游拍摄装置拍摄的车流视频中的所有下游车辆进行识别,以获取所述下游车辆的第二车速和所在的第二车道;
将所述上游车辆中的任一车辆作为目标上游车辆,从所述车辆行驶轨迹中获取与所述目标上游车辆对应的第一预测轨迹和与各所述下游车辆对应的第二预测轨迹;
根据所述第一预测轨迹和各所述第二预测轨迹确定轨迹评分,根据与所述目标上游车辆对应的第一车速和与各所述下游车辆对应的第二车速确定车速评分,并根据与所述目标上游车辆对应的第一车道和与各所述下游车辆对应的第二车道确定车道评分;
根据所述轨迹评分、所述车速评分、所述车道评分、轨迹权重、车速权重和车道权重确定匹配度;
获取与最大匹配度对应的目标下游车辆,并将所述目标上游车辆的车辆标识和所述目标下游车辆的车辆标识进行握手匹配。
7.根据权利要求1所述的方法,其特征在于,所述根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配,包括:
将所述上游拍摄装置拍摄的车流视频中的任一车辆作为目标上游车辆,获取与所述目标上游车辆对应的最大行驶速度和最小行驶速度;
根据所述最大行驶速度、所述最小行驶速度和所述目标上游车辆对应的时间戳在时空图中生成待匹配轨迹区域,其中所述时空图是根据所述时空信息生成的;
从所述车辆行驶轨迹中获取与所述下游拍摄装置拍摄的下游车辆对应的第二预测轨迹,并判断所述第二预测轨迹中是否存在落入所述待匹配轨迹区域的目标预测轨迹;
根据判断结果对所述目标上游车辆和所述下游车辆进行匹配。
8.根据权利要求7所述的方法,其特征在于,所述根据判断结果对所述目标上游车辆和下游车辆进行匹配,包括:
当存在所述目标预测轨迹时,根据所述目标上游车辆的第一预测轨迹和所述目标预测轨迹确定与所述目标上游车辆匹配的目标下游车辆,并将所述目标上游车辆的车辆标识与所述目标下游车辆的车辆标识进行握手匹配。
9.根据权利要求8所述的方法,其特征在于,所述目标预测轨迹的数量为多个;
所述根据所述第一预测轨迹和所述目标预测轨迹确定与所述目标上游车辆匹配的目标下游车辆,包括:
计算所述第一预测轨迹与各所述目标预测轨迹之间的轨迹误差;
获取最小轨迹误差,将所述最小轨迹误差对应的下游车辆作为所述目标下游车辆。
10.根据权利要求9所述的方法,其特征在于,所述计算所述第一预测轨迹与各所述目标预测轨迹之间的轨迹误差,包括:
根据所述第一预测轨迹中各时间戳对应的行驶距离和各所述目标预测轨迹中与所述时间戳对应的行驶距离计算均方根值,并将所述均方根值作为所述轨迹误差。
11.根据权利要求1所述的方法,其特征在于,所述从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹,包括:
将所述匹配成功的车辆的车辆标识与所述时空信息中的车辆标识进行匹配,以获取所述目标时空信息;
根据所述目标时空信息对所述匹配成功的车辆在所述拍摄装置拍摄范围内的轨迹进行拟合,以获取拟合参数和拟合轨迹;
根据所述拟合参数和所述拟合轨迹对所述匹配成功的车辆在所述盲区中的轨迹进行预测,以获取预测轨迹;
根据所述拟合和所述预测轨迹确定所述补全行驶轨迹。
12.一种车辆轨迹补全装置,其特征在于,包括:
车流视频获取模块,用于获取拍摄装置所拍摄的车流视频,所述拍摄装置包括相邻的上游拍摄装置和下游拍摄装置,并且所述上游拍摄装置和所述下游拍摄装置之间存在盲区;
第一轨迹拟合模块,用于对所述车流视频中的所有车辆进行识别,对识别到的车辆的行驶信息进行转换以获取时空信息;
根据与所述上游拍摄装置所拍摄的上游车辆对应的第一时空信息进行多项式拟合和评估,以获取第一拟合参数和第一拟合轨迹,并根据与所述下游拍摄装置所拍摄的上游车辆对应的第二时空信息进行多项式拟合和评估,以获取第二拟合参数和第二拟合轨迹;
根据所述第一时空信息和所述第一拟合参数对所述车辆在所述盲区的行驶轨迹进行预测,以获取第一预测轨迹;根据所述第二时空信息和所述第二拟合参数对所述车辆在所述盲区的行驶轨迹进行反向预测,以获取第二预测轨迹;
根据所述第一拟合轨迹、所述第一预测轨迹、所述第二预测轨迹和所述第二拟合轨迹确定所述车辆行驶轨迹;
车辆匹配模块,用于根据所述车辆行驶轨迹对所述上游拍摄装置和所述下游拍摄装置所拍摄的车流视频中的车辆进行匹配;
第二轨迹拟合模块,用于从所述时空信息中获取与匹配成功的车辆对应的目标时空信息,并根据所述目标时空信息进行轨迹拟合和盲区轨迹预测,以获取与所述匹配成功的车辆对应的补全行驶轨迹。
13.一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至11中任意一项所述的车辆轨迹补全方法。
14.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储指令;
其中,所述处理器执行所述存储器存储的指令用于实现权利要求1至11中任意一项所述的车辆轨迹补全方法。
CN202210143362.0A 2022-02-16 2022-02-16 车辆轨迹补全方法、装置、计算机可读介质及电子设备 Active CN114550449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210143362.0A CN114550449B (zh) 2022-02-16 2022-02-16 车辆轨迹补全方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210143362.0A CN114550449B (zh) 2022-02-16 2022-02-16 车辆轨迹补全方法、装置、计算机可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN114550449A CN114550449A (zh) 2022-05-27
CN114550449B true CN114550449B (zh) 2023-03-14

Family

ID=81674936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210143362.0A Active CN114550449B (zh) 2022-02-16 2022-02-16 车辆轨迹补全方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN114550449B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114692080B (zh) * 2022-06-01 2022-09-06 南京城建隧桥智慧管理有限公司 基于主动预测的轨迹数据异常检测及修正方法
CN115879294B (zh) * 2022-11-30 2024-04-26 西部科学城智能网联汽车创新中心(重庆)有限公司 一种基于多车环境感知的全样车流轨迹生成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
CN104539909A (zh) * 2015-01-15 2015-04-22 安徽大学 一种视频监控方法及视频监控服务器
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
WO2018099480A1 (zh) * 2016-12-01 2018-06-07 中兴通讯股份有限公司 车辆行驶轨迹监测方法及系统
CN109743541A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 智能监控方法、装置、计算机设备及存储介质
CN111444294A (zh) * 2019-01-17 2020-07-24 杭州海康威视系统技术有限公司 一种轨迹补全方法、装置及电子设备
CN113011323A (zh) * 2021-03-18 2021-06-22 北京百度网讯科技有限公司 通行状态的获取方法、相关装置、路侧设备及云控平台
CN113345228A (zh) * 2021-06-01 2021-09-03 星觅(上海)科技有限公司 基于拟合轨迹的行驶数据的生成方法、装置、设备及介质
CN113687357A (zh) * 2021-09-27 2021-11-23 浙江海康智联科技有限公司 一种多雷达跨区域组网多目标跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
CN104539909A (zh) * 2015-01-15 2015-04-22 安徽大学 一种视频监控方法及视频监控服务器
WO2018099480A1 (zh) * 2016-12-01 2018-06-07 中兴通讯股份有限公司 车辆行驶轨迹监测方法及系统
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
CN109743541A (zh) * 2018-12-15 2019-05-10 深圳壹账通智能科技有限公司 智能监控方法、装置、计算机设备及存储介质
CN111444294A (zh) * 2019-01-17 2020-07-24 杭州海康威视系统技术有限公司 一种轨迹补全方法、装置及电子设备
CN113011323A (zh) * 2021-03-18 2021-06-22 北京百度网讯科技有限公司 通行状态的获取方法、相关装置、路侧设备及云控平台
CN113345228A (zh) * 2021-06-01 2021-09-03 星觅(上海)科技有限公司 基于拟合轨迹的行驶数据的生成方法、装置、设备及介质
CN113687357A (zh) * 2021-09-27 2021-11-23 浙江海康智联科技有限公司 一种多雷达跨区域组网多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
非重叠监控摄像机网络中运动目标检测与跟踪;刘少华;《中国博士学位论文全文数据库信息科技辑》;20110415(第04期);I138-31 *

Also Published As

Publication number Publication date
CN114550449A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114550449B (zh) 车辆轨迹补全方法、装置、计算机可读介质及电子设备
WO2020034903A1 (zh) 一种基于拓扑图的智能导航的方法和系统
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
Yu et al. V2x-seq: A large-scale sequential dataset for vehicle-infrastructure cooperative perception and forecasting
CN111027430B (zh) 一种面向无人车智能评估的交通场景复杂度计算方法
US20140253732A1 (en) Topology determination for non-overlapping camera network
CN108766031B (zh) 一种检测车道障碍物的方法和装置
CN113291321A (zh) 一种车辆轨迹预测方法、装置、设备及存储介质
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
JP2022023910A (ja) 通行状態取得方法及び装置、路側装置、並びに、クラウド制御プラットフォーム
CN111695627A (zh) 路况检测方法、装置、电子设备及可读存储介质
Cui et al. Optimizing Internet of Things-Based Intelligent Transportation System’s Information Acquisition Using Deep Learning
Zheng et al. A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images
Liu et al. HPL-ViT: A Unified Perception Framework for Heterogeneous Parallel LiDARs in V2V
CN114241792B (zh) 一种车流量检测方法及系统
Namiot et al. Pedestrians in the Smart City
CN116503819A (zh) 一种车路协同端到端3d目标检测方法、系统、设备、存储介质
CN115773744A (zh) 模型训练和路网处理方法、装置、设备、介质和产品
CN114973156A (zh) 一种基于知识蒸馏的夜间渣土车检测方法
CN114550116A (zh) 一种对象识别方法和装置
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN113850837A (zh) 视频处理方法、装置、电子设备、存储介质及计算机产品
US20210390725A1 (en) Adaptive stereo matching optimization method and apparatus, device and storage medium
CN106781470B (zh) 城市道路的运行速度的处理方法及装置
CN115762178B (zh) 智能电子警察违章检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067607

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant