CN113807457A - 确定路网表征信息的方法、装置、设备及存储介质 - Google Patents

确定路网表征信息的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113807457A
CN113807457A CN202111131759.XA CN202111131759A CN113807457A CN 113807457 A CN113807457 A CN 113807457A CN 202111131759 A CN202111131759 A CN 202111131759A CN 113807457 A CN113807457 A CN 113807457A
Authority
CN
China
Prior art keywords
node
road network
determining
vehicle
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111131759.XA
Other languages
English (en)
Inventor
马静天
何智群
武伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202111131759.XA priority Critical patent/CN113807457A/zh
Publication of CN113807457A publication Critical patent/CN113807457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例提供一种确定节点表征信息的方法、装置、设备及存储介质。获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。通过学习道路网络结构的多个维度的特性,可以使得确定的各节点的表征信息更加准确。

Description

确定路网表征信息的方法、装置、设备及存储介质
技术领域
本公开涉及人工智能技术领域,尤其涉及一种确定路网表征信息的方法、装置、设备及存储介质。
背景技术
路网是一个城市的骨架,对路网进行建模表征,可以促进路网在智慧交通领域的应用。比如,可以对路网进行建模,对路网的特征进行学习,确定路网的表征信息,然后将路网的表征信息用于车辆追踪、路径规划、信号灯控制等任务当中,以提高任务执行结果的准确度和效率。很明显,准确地确定路网的表征信息,是提升任务执行结果准确度和效率的前提。
发明内容
本公开提供一种确定路网表征信息的方法、装置、设备及存储介质。
根据本公开实施例的第一方面,提供一种确定路网表征信息的方法,所述方法包括:
获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一组节点序列;
基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;
针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
在一些实施例中,获取目标区域范围内的路网数据,包括:
获取目标区域范围内的多个图像采集装置的位置信息;
基于所述多个图像采集装置的位置信息确定覆盖所述多个图像采集装置的搜索范围;
将基于所述搜索范围获取的路网数据,作为所述目标区域范围内的路网数据。
在一些实施例中,基于所述多个图像采集装置的位置信息确定覆盖所述多个图像采集装置的搜索范围,包括:
基于所述多个图像采集装置的位置信息确定所述多个图像采集装置的中心点的位置信息;
基于所述多个图像采集装置的位置信息以及所述中心点的位置信息确定搜索半径;
基于所述中心点的位置信息与所述搜索半径确定所述搜索范围。
在一些实施例中,所述位置信息包括经纬度坐标,基于所述多个图像采集装置的位置信息以及所述中心点的位置信息确定搜索半径,包括:
从所述多个图像采集装置的经纬度坐标中确定最大纬度和最大经度,得到坐标为所述最大纬度和最大经度第一位置点;
从所述多个图像采集装置的经纬度坐标中确定最小纬度和最小经度,得到坐标为所述最小纬度和最小经度的第二位置点,
确定所述中心点与所述第一位置点的第一距离、以及所述中心点与所述第二位置点的第二距离;
基于所述第一距离和所述第二距离的平均值确定所述搜索半径。
在一些实施例中,所述路网数据还包括所述道路网络图中任意两个节点之间的距离,以及任意两个节点之间的车辆轨迹数;
所述通过随机游走的方式从所述道路网络图中确定节点序列,包括:
在随机游走过程中,针对每个当前节点,基于以下方式确定从所述当前节点经过一次随机游走后到达的下一节点:
确定所述当前节点与所述当前节点的各邻居节点的连接权重,所述连接权重用于表征所述当前节点与所述邻居节点之间关联关系的紧密程度;
基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布;
基于所述概率分布从所述各邻居节点中确定所述下一节点。
在一些实施例中,所述确定所述当前节点与所述当前节点的各邻居节点的连接权重,包括:
根据所述当前节点与所述各邻居节点的距离,和/或,所述各邻居节点的车辆轨迹数占比,确定所述当前节点与所述各邻居节点的连接权重,其中,所述车辆轨迹数占比基于所述当前节点通往所述各邻居节点的车辆轨迹数与所述当前节点通往全部所述邻居节点的车辆轨迹总数的比值确定。
在一些实施例中,所述连接权重负相关于所述当前节点与所述邻居节点的距离,和/或
所述连接权重正相关于所述邻居节点的车辆轨迹数占比。
在一些实施例中,基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布,包括:
根据所述连接权重、预设的返回参数、预设的远离参数确定从所述当前节点游走至所述各邻居节点的概率分布,其中,所述返回参数以及所述远离参数用于控制随机游走时的运动趋势。
在一些实施例中,所述返回参数以及所述远离参数用于控制随机游走时的运动趋势,包括:
在所述远离参数大于1的情况下,所述随机游走时的运动趋势为在当前节点周围的节点之间来回跳动;
在所述远离参数小于1的情况下,所述随机游走时的运动趋势为向远离当前节点的方向跳动;
在所述返回参数大于所述远离参数和1中的较大者的情况下,所述随机游走时的运动趋势为跳动至不同当前节点的节点;
在所述返回参数小于所述远离参数和1中的较小者的情况下,所述随机游走时的运动趋势为返回当前节点。
在一些实施例中,根据所述连接权重、预设的返回参数、预设的远离参数确定从所述当前节点游走至所述各邻居节点的概率分布,包括:
在所述邻居节点为所述当前节点的上一节点的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重和所述返回参数的倒数确定;或
在所述邻居节点与所述上一节点存在连接边的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重确定;或
在所述邻居节点与所述上一节点不存在连接边的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重和所述远离参数的倒数确定。
在一些实施例中,在目标邻居节点为所述当前节点的上一节点的情况下,从当前节点游走至目标邻居节点的概率低于从当前节点游走至除目标邻居节点以外的其他邻居节点的概率。
在一些实施例中,所述表征信息包括表征向量,基于所述节点序列确定所述道路网络图中的节点的初始表征信息,包括:
针对所述节点序列中的每个节点,以所述节点的特征作为神经网络的输入,所述节点序列中与所述节点前和/或后相邻的节点的特征作为所述神经网络的输出,对所述神经网络进行训练;
基于训练后的神经网络的权重矩阵确定所述节点序列中每个节点的初始表征向量。
在一些实施例中,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息,包括:
重复执行以下步骤直至达到预设的迭代条件,将所述节点的更新表征信息作为所述节点的目标表征信息:
针对所述道路网络图中的任一节点,确定每一所述节点的多个邻居节点;
将每个所述节点的初始表征信息与所述节点的多个邻居节点的初始表征信息进行聚合,得到每个所述节点的更新表征信息;
利用所述节点的更新表征信息替换所述节点的初始表征信息。
在一些实施例中,所述目标区域范围内的每个道路交汇点处设置有图像采集装置,所述路网数据还包括所述目标区域范围内的图像采集装置与所述节点的对应关系,所述方法还包括:
获取所述目标区域范围内的图像采集装置采集的多帧车辆图像;
基于所述对应关系确定采集各车辆图像的图像采集装置对应的节点;
基于采集各车辆图像的图像采集装置对应的节点的目标表征信息、以及各车辆图像的车辆相关特征对所述多帧车辆图像进行聚类处理。
在一些实施例中,基于采集各车辆图像的图像采集装置对应的节点的表征信息、以及各车辆图像的车辆相关特征对所述多帧车辆图像进行聚类处理,包括:
针对所述多帧车辆图像的任一目标车辆图像,基于以下方式确定所述多帧车辆图像中的其他图像是否与所述目标车辆图像划分至同一聚类:
确定所述目标车辆图像的车辆相关特征与所述其他图像的车辆相关特征的第一相似度;
确定采集所述图像车辆图像的图像采集装置对应的表征信息与采集所述其他图像的图像采集装置对应的表征信息的第二相似度;
基于所述第一相似度和所述第二相似度确定联合相似度;
在所述联合相似度大于预设相似度阈值的情况下,确定将所述其他图像与所述目标车辆图像划分至同一聚类。
在一些实施例中,所述方法还包括:
获取各车辆图像的第一聚类结果以及第二聚类结果,其中,所述第一聚类结果基于所述各车辆图像的图像采集装置对应的节点的目标表征信息、以及所述各车辆图像的车辆相关特征确定,所述第二聚类结果基于所述各车辆图像的车辆相关特征确定;
基于第一聚类结果的准确度与第二聚类结果的准确度对所述节点的目标表征信息的准确度进行验证。
根据本公开实施例的第二方面,提供一种确定路网表征信息的装置,所述装置包括:
获取模块,用于获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
节点序列确定模块,用于通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一组节点序列;
初始表征信息确定模块,用于基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;
目标表征信息确定模块,用于针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备包括处理器、存储器、存储在所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时,可实现上述第一方面提及的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质上存储有计算机指令,所述计算机指令被执行时实现上述第一方面提及的方法。
本公开实施例中,在确定目标区域范围内的道路网络图中各节点的表征信息时,首先通过随机游走的方式在道路网络图中采集至少一组轨迹数据,每组轨迹数据对应一个节点序列,基于采集的轨迹数据对应的节点序列确定各节点的初始表征信息,由于该节点序列可以反映车辆的行驶轨迹,因而确定的表征信息考虑了道路网络结构的特异性以及在深度方向的特性,同时,还结合了各节点的邻居节点的初始表征信息对该节点的初始表征信息进行迭代更新,得到节点最终的目标表征信息,即考虑了道路网络结构的各向同性以及在广度方向的特性,通过学习道路网络结构的多个维度的特性,可以使得确定的各节点的表征信息更加准确。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的道路网络图的示意图。
图2是本公开实施例的确定路网表征信息的方法流程图。
图3是本公开实施例的基于图像采集装置的位置信息确定搜索范围的示意图。
图4是本公开实施例的在道路网络图中随机游走得到节点序列的示意图。
图5是本公开实施例的一次随机游走从当前节点跳往下一节点的示意图。
图6是本公开实施例的一次随机游走从当前节点跳往下一节点的示意图。
图7是本公开实施例的根据skip-gram方法得到节点的表征向量的示意图。
图8是本公开实施例的一种通过GraphSAGE模型对节点表征向量进行聚合的示意图。
图9是本公开实施例的一种确定路网表征信息的装置的逻辑结构示意图。
图10是本公开实施例的一种设备的逻辑结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
在基于道路中的图像采集装置采集的图像进行车辆追踪、路径规划、信号灯控制等任务时,如果结合道路路网的特征,可以提升任务执行结果的准确度和效率。举个例子,在对车辆进行追踪时,可以从道路中设置的各图像采集装置拍摄的大量图像中筛选出待追踪车辆的图像,然后基于待追踪车辆的图像的采集时间和采集地点确定待追踪车辆的行驶轨迹。在从海量的图像中筛选出待追踪车辆的图像时,如果可以结合路网的特征辅助图像筛选,将会使得筛选出的图像更加准确。比如,假设有一帧图像中的车辆的特征和待追踪车辆的特征很相似,如果直接基于车辆的相似度,则会将该图像判定为待追踪车辆的图像。但是如果在判定时,考虑了路网的特征,发现该图像的采集地点与待追踪车辆之前的行驶轨迹偏离很远,则可以将该图像剔除掉,避免最后确定的行驶轨迹误差很大。
为了将路网的特征应用到各种任务当中,可以对路网进行建模表征,即通过模型学习路网中的路段或道路交汇点的特征、以及路网中路段之间或道路交汇点之间的关联关系,基于学习到的上述特征和关联关系确定路网中各路段或各道路交汇点的表征信息,以利用得到的表征信息辅助任务的执行。
在确定路网的表征信息时,通常可以先确定道路网络图,如图1所示,其中,道路网络图中的节点表示道路交汇点(如图1中的V1-V6),道路网络图中的边表示路段(如图中1中的V12、V23等等)。目前,有些技术是通过node2vec模型学习道路网络图中节点的表征向量,这种方式可以很好的捕捉道路网络的特异性,但是对于复杂的道路网络结构,无法很好的学习其特性。也有的技术通过道路网络图中各节点的邻居节点的特征更新自身特征,这种方式有利于捕捉网络结构的各向同性,但缺少对于特定节点序列的建模,而这种特定节点序列在路网建模中广泛存在,比如,车辆轨迹点序列。总之,目前确定路网表征信息的方式都是仅仅考虑了道路网络结构某个维度的特性,缺乏对多个维度特性的综合考虑,导致最终确定的路网表征信息不够准确。
基于此,本公开实施例提供了一种确定路网表征信息的方法,可以通过随机游走的方式从目标区域范围内的道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一个节点序列,基于得到的节点序列确定道路网络图中的节点的初始表征信息,针对道路网络图中的任一节点,可以利用该节点的邻居节点的初始表征信息对该节点的初始表征信息进行迭代更新,得到该节点的最终的表征信息。在确定节点的表征信息时,本公开实施例首先通过随机游走的方式确定节点序列,该节点序列可以反映车辆的行驶轨迹,考虑了道路网络结构的特异性以及在深度方向的特性,同时,还结合了各节点的邻居节点的表征信息对该节点的表征信息进行迭代更新,即考虑了道路网络结构的各向同性以及在广度方向的特性,通过学习道路网络结构的多个维度的特性,可以使得确定的各节点的表征信息更加准确。
本公开实施例中的确定路网表征信息的方法可以通过各种电子设备执行,具体的,所述方法如图2所示,可以包括以下步骤:
S202、获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
在步骤S202中,可以获取目标区域范围内的路网数据,其中,目标区域范围可以是某个城市、某个片区或者用户自定义的一个区域范围,用户想要对该目标区域范围内的路网进行建模表征,以确定该目标区域范围内的路网表征信息。
路网数据可以是与该目标区域范围的路网相关的各种数据,其中,该路网数据中至少包括该目标区域范围内的道路网络图,如图1所示,该道路网络图的节点表示道路交汇点,该道路网络图中的边表示某个路段。当然,路网数据还可以包括道路网络图中不同节点之间的距离(即各路段的长度)、不同路段车流量、从一个节点通往另一节点的车辆轨迹数等数据,具体可以根据需求设置获取的路网数据的内容。
当然,在智能交通领域,大多数任务(比如,车辆追踪、路径规划)都是基于道路中设置的图像采集装置采集的图像来完成,因而,路网表征信息的应用,可以是结合这些图像采集装置采集的图像进行应用。所以,目标区域范围可以是覆盖有图像采集装置的区域范围,以便将该区域范围内的路网表征信息与该区域范围内的图像采集装置采集的图像结合使用,用于完成特定任务。因而,在一些实施例中,该目标区域范围内各道路交汇点处可以设置有一个或多个图像采集装置,在获取目标区域范围的路网数据时,可以先获取目标区域范围内的多个图像采集装置的位置信息,然后基于这多个图像采集装置的位置信息确定一个搜索范围,该搜索范围可以覆盖这多个图像采集装置,然后可以获取该搜索范围内的路网数据作为目标区域范围内的路网数据。在确定搜索范围后,可以基于一些功能库获取在搜索范围内的路网数据,比如,可以基于osmnx功能库获取该搜索范围的路网数据。
在一些实施例中,如图3所示,在基于这多个图像采集装置的位置信息确定覆盖这多个图像采集装置的搜索范围时,可以先基于这多个图像采集装置的位置信息确定这多个图像采集装置的中心点的位置信息,然后可以根据这多个图像采集装置的位置信息以及该中心点的位置信息确定搜索半径,基于该中心的位置信息与该搜索半径确定搜索范围。其中,搜索范围不局限于图中示出的形状,可以是基于该中心点和搜索半径确定的圆形区域、多边形区域等等,本公开实施例不作限制。
在一些实施例中,在基于这多个图像采集装置的位置信息以及该中心点的位置信息确定搜索半径时,可以先基于这多个图像采集装置的位置信息以及该中心点的位置信息,确定这多个图像采集装置与该中心点的最大距离和最小距离。其中,在确定最大距离和最小距离时,可以分别确定出每个图像采集装置与中心点的距离,然后从这些距离中确定最大距离和最小距离。在确定最大距离和最小距离后,可以根据最大距离和最小距离的平均值确定搜索半径。比如,可以直接取最大距离和最小距离的平均值作为搜索半径,或者也可以在平均值的基础上加上一定的距离,得到搜索半径。
在一些实施例中,这多个图像采集装置的位置信息和这多个图像采集装置的中心点的位置信息可以是经纬度信息。在确定中心点的位置信息时,可以从多个图像采集装置的经纬度坐标中确定最大纬度、最小纬度、最大经度和最小经度,取最大纬度和最小纬度的平均值作为中心点的纬度坐标,取最大经度和最小经度的平均值作为中心点的经度坐标。在确定搜索半径时,也可以先从多个图像采集装置的经纬度坐标中确定最大纬度和最大经度,得到坐标为该最大纬度和最大经度第一位置点,然后从这多个图像采集装置的经纬度坐标中确定最小纬度和最小经度,得到坐标为该最小纬度和最小经度的第二位置点,然后确定中心点与第一位置点的第一距离、以及中心点与第二位置点的第二距离,基于第一距离和第二距离的平均值确定搜索半径。比如,可以直接将平均值作为搜索半径,也可以将平均值加上一定距离后作为搜索半径。在一些实施例中,在确定第一距离和第二距离后,也可以选取第一距离和第二距离中较大的一个作为搜索半径。
其中,第一距离和第二距离可以是地表距离。比如,在确定各图像采集装置的经纬度坐标后,可以基于图像采集装置的经纬度坐标确定图像采集装置的中心点的经纬度坐标,然后可以利用haversine函数确定两个经纬度坐标点之间的地表距离。
当然,由于对于有些目标区域范围,其路网结构可能比较复杂,包含较多岔路,这些岔路的车流量很少,并不是关注的重点,所以,在一些实施例中,在基于中心点和搜索半径确定搜索范围,并获取该搜索范围的路网数据后,可以进一步对搜索范围内的路网结构进行简化,比如,仅保留覆盖摄像头的主干路网,从而,最终得到的道路网络图的结构不会过于复杂。
S204、通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每组轨迹数据对应一组节点序列;
在步骤S204中,可以通过在该道路网络图中随机游走,以采集至少一组轨迹数据,每组轨迹数据对应一组节点序列。比如,可以将每次随机游走经过的节点记录,并按顺序排列,完成一轮随机游走后,即可以得到一组节点序列。比如,如图4所示,图中箭头指示的方向为随机游走的游走路径,随机游走过程中经过的节点依次为V1、V2、V3、V6、V5、V2,从而得到的节点序列为{V1、V2、V3、V6、V5、V2}。可以在道路网络图中进行一轮或多轮随机游走,得到一组或者多组节点序列。
在一些实施例中,为了确定的节点序列可以更加符合路网的结构特性以及车辆的行驶轨迹特性,可以结合道路网络图中节点之间的关联关系的紧密程度设置随机游走时的概率分布。比如,在通过随机游走的方式从道路网络图中确定节点序列时,针对每个当前节点,可以基于以下方式确定从当前节点经过一次随机游走后到达的下一节点:
可以确定当前节点与当前节点的各邻居节点之间的连接权重,其中,连接权重用于表征当前节点与各邻居节点之间关联关系的紧密程度。连接权重可以基于两个节点之间的距离,两个节点之间的车流量、两个节点之间的路段数量等任何可以表征节点之间关联关系的参数确定。比如,两个节点之间的距离越小、车流量越大、路段数量越多,说明两个节点之间的关联关系越紧密,连接权重也越大。
在确定当前节点与各邻据节点之间的连接权重后,可以基于连接权重确定从当前节点游走至各邻居节点的概率分布。比如,如果当前节点与邻居节点的关联关系越紧密,则其连接权重越大,从当前节点游走至该邻居节点的概率也越大。
节点之间的关联关系可以通过节点之间的距离以及节点之间的车辆轨迹数表征,所以,在一些实施例中,路网数据还可以包括道路网络图中任意两个节点之间的距离,和/或任意两个节点之间的车辆轨迹数。其中,两个节点之间的距离表示两个节点之间的路段的长度,两个节点之间的车辆轨迹数表示两个节点之间经过车辆的次数,比如,车辆每从两个节点之间行驶一次,则可以形成一条行驶轨迹,累计预设时间段内两个节点的行驶轨迹,即可以得到两个节点之间的车辆轨迹数。
在确定当前节点与当前节点各邻居节点之间的连接权重时,可以先确定各邻居节点的车辆轨迹数占比,其中,针对任一邻居节点,其车辆轨迹数占比可以基于当前节点通往该邻居节点的车辆轨迹数与当前节点通往当前节点的所有邻居节点的车辆轨迹总数的比值确定,比如,可以直接将该比值作为车辆轨迹数占比。然后可以基于当前节点与各邻居节点之间的距离,和/或各邻居节点的车辆轨迹数占比确定当前节点与各邻居节点的连接权重。然后可以根据该连接权重确定从当前节点游走至各邻居节点的概率分布,并基于确定的概率分布从各邻居节点中确定下一节点。
每一次随机游走,都可以重复上述步骤以得到当前节点的下一节点,经过多次随机游走,即可以得到节点序列。
其中,连接权重用于表征道路网络图中两个节点关联关系的紧密程度,如果两个节点的距离越远,则它们之间的关联关系越疏远;如果两个节点之间的车辆轨迹数越多,比如,这两个节点之间的车辆轨迹数多于两个节点中的任一节点与其他节点之间的轨迹数,则说明这个两个节点之间的关联关系越紧密。
所以,在一些实施例中,该连接权重负相关于当前节点与当前节点的邻居节点的距离,和/或该连接权重正相关于当前节点的邻居节点的车辆轨迹数占比。
以下结合一个具体的例子说明,如图5所示,假设上一次随机游走是从节点V1游走到节点V2,此时V2为当前节点,V1为上一节点,下一次随机游走时,可以从V2跳往V2的邻居节点V1、V3、V5、V7,在确定从节点V2游走至V1、V3、V5、V7的概率分布时,可以先确定当前节点V2与V1、V3、V5、V7的距离,D21、D23、D25、D27,然后确定V1、V3、V5、V7的车辆轨迹占比,以V3为例,在确定其车辆轨迹数占比时,可以先确定从V2到V3的车辆轨迹数N1,然后确定从V2到V1、V3、V5、V7(即V2的邻居节点)四个节点的车辆轨迹的总数N总,确定N1与N总的比例R1,作为V3的车辆轨迹数占比,然后基于D23和R1确定V1和V3的连接权重,根据连接权重确定从V2游走至V3的概率。其中,车辆轨迹数占比越大,说明V1与V3的联系越紧密,V1与V3的连接权重越大,此外如果V1与V3的距离越小,说明V1与V3的联系越紧密,V1与V3的连接权重越大。针对其他邻居结果V1、V5和V7,也可以采用类似方式确定其概率分布,基于概率分布从V1、V3、V5、V7中确定下一节点。
在一些实施例中,为了使得随机游走得到的节点序列可以更加符合实际需求,可以预先设置一个返回参数和一个远离参数,这两个参数可以用于调控随机游走时的运动趋势,比如,随机游走过程中是倾向于往远离当前节点的方向游走,还是倾向于在当前节点周围来回游走等,通过控制游走的运动趋势,可以控制采集的轨迹数据,相应控制最终得到的节点序列的分布特点。在确定随机游走过程中的概率分布时,可以结合连接权重、返回参数和远离参数共同确定从当前节点游走至各当前节点的各邻居节点的概率分布。
在一些实施例中,在远离参数大于1的情况下,随机游走时的运动趋势倾向于在当前节点周围的节点之间来回跳动。在远离参数小于1的情况下,随机游走时的运动趋势倾向于向远离当前节点的方向跳动。在返回参数大于远离参数和1中较大的一个时,随机游走时的运动趋势为跳动至不同于当前节点的节点。在返回参数小于远离参数和1中较小的一个时,随机游走时的运动趋势为返回当前节点。
在一些实施例中,如图5所示,在根据连接权重、预设的返回参数、预设的远离参数确定从当前节点游走至各邻居节点的概率分布时,如果某个邻居节点刚好为上一节点,比如,图5中的V1,则从当前节点V2游走至该邻居节点V1的概率基于当前节点与该邻居节点的连接权重以及返回参数的倒数确定。
如果某个邻居节点与上一节点存在连接边,比如,图5中的V7,则从当前节点V2游走至该邻居节点V7的概率基于当前节点与该邻居节点的连接权重确定。
如果某个邻居节点与上一节点不存在连接边,比如,图中的V3和V5,则从当前节点游走V2至该邻居节点(V3或V5)的概率基于当前节点与该邻居节点的连接权重和远离参数的倒数确定。
当然,实际车辆在行驶过程中,大多数情况都是从出发点开往其他位置,即朝着远离出发点的方向行驶,很少在原地来回行驶。因而,在一些实施例中,当目标邻居节点为当前节点的上一节点时,可以通过设置远离参数和返回参数的数值,使得从当前节点游走至目标邻居节点的概率低于从当前节点游走至除目标邻居节点以外的其他邻居节点的概率,以便随机游走的过程中倾向于朝着远离当前节点的方向游走,而不是返回至已走过的节点,使得随机游走得到的节点序列更加符合实际车辆的行驶轨迹。
S206、基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息。
在步骤S206中,在基于随机游走确定节点序列以后,可以基于所确定的节点序列确定道路网络图中的节点的表征信息,以下称为初始表征信息。其中,表征信息可以是用于表征节点的向量、矩阵等各类形式的信息,本公开实施例不作限制。其中,在确定各节点的表征信息时,可以通过神经网络或者模型学习这些节点序列中各节点的特征以及各节点之间的关联关系,基于学习到的节点的特征和节点之间的关联关系确定各节点的表征信息。
在一些实施例中,表征信息可以是表征向量,在基于节点序列确定所述道路网络图中的节点的初始表征信息时,可以针对节点序列中的每个节点,以该节点的特征作为神经网络的输入,以节点序列中与该节点的前和/或后相邻的节点的特征作为神经网络的输出,对神经网络进行训练,然后基于训练后的神经网络的权重矩阵确定节点序列中每个节点的初始表征向量。比如,可以借鉴NLP(Natural language processing,自然语言处理)中的word2vec方法,将道路网络图中的每个节点看作是一个单词,将所有节点看作是单词库,将随机游走得到的节点序列看作是句子,利用skip-gram方法对word2vec模型进行训练得到每个节点的表征向量,比如,可以用节点序列中的节点的特征作为word2vec模型的输入,用与该输入节点的相邻的前面的节点以及后面的节点的特征作为word2vec模型的输出,对word2vec模型进行训练,训练结束后的word2vec模型的权重矩阵即为学习到的节点的初始表征向量。当然,本公开实施例并不局限于word2vec模型,其他具有类似功能的模型都适用。
S208、针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
由于通过对节点序列进行特征学习,确定的节点的初始表征信息,仅仅考虑了车辆在行驶过程中的行驶轨迹的特点以及路网的特异性,并未考虑路网的各向同性及各节点与周围节点之间的关联,因而确定的初始表征信息还不够准确。为了确定的节点的表征信息可以更加准确,可以结合路网多个维度的特性共同确定表征信息。所以,在通过节点序列得到节点的初始表征信息后,针对道路网络图中的任一节点,还可以进一步利用该节点的邻居节点的初始表征信息对该节点的初始表征信息进行迭代更新,以在该节点的初始表征信息的基础上融合该节点的邻近节点的表征信息,得到该节点的最终的表征信息,以下称为目标表征信息。由于道路网络图中,各节点的邻近节点通常与该节点的关联关系比较紧密,因而,通过融合该节点邻近节点的表征信息,可以学习该节点与邻近节点的关联关系,使得最终的表征信息可以更加准确。
在一些实施例中,针对道路网络图中的任一节点,在利用该节点的邻居节点的初始表征信息迭代更新该节点的初始表征信息,以得到该节点的目标表征信息时,针对道路网络图中的每一个节点,可以先确定该节点的多个邻居节点,其中,邻居节点的数量可以预先设置,然后将该节点的初始表征信息与该节点的多个邻居节点的初始表征信息进行聚合,得到该节点的更新表征信息。然后可以利用更新表征信息替换初始表征信息,继续重复上述步骤,直至达到预设的迭代条件,然后将节点的最终得到的更新表征信息作为该节点的目标表征信息。其中,迭代条件可以是迭代次数达到一定的次数,或者是最终得到的节点表征信息的误差小于预设阈值。比如,针对某个节点,可以先确定该节点的多个邻居节点,然后将该节点的初始表征信息与该节点的多个邻居节点的初始表征信息进行聚合,得到该节点的更新表征信息。在利用该节点的邻居节点的初始表征信息对该节点的初始表征信息进行更新后,针对多个邻居节点中的各邻居节点,也可以采用同样的方式,对邻居节点的初始表征信息进行更新,比如,也可以先确定每个邻居节点的多个邻居节点,将每个邻居节点的初始表征信息与所述每个邻居节点的多个邻居节点的初始表征信息进行聚合,得到邻居节点的更新表征信息,然后可以利用邻居节点的更新表征信息替换邻居节点的初始表征信息,再一次对该节点的更新表征信息进行下一次更新,重复执行以上步骤直至达到预设的迭代条件,然后将节点的最终得到的更新表征信息作为该节点的目标表征信息。
在对节点的表征信息和邻居节点的表征信息进行聚合时,可以将该节点与邻居节点的表征信息的平均值或加权平均值作为该节点的更新表征信息,或者,也可以取该节点与邻居节点的表征信息的中值、最大值或最小值作为该节点的更新表征信息,具体可以根据实际需求设置。比如,在一些实施例中,假设待更新的的节点为节点v,节点v当前的表征向量为u1,可以先对节点v的邻居节点进行采样,得到多个邻居节点Nv,然后可以将邻居节点Nv的表征向量u2进行聚合,比如,取平均值,作为各邻居节点Nv的更新表征向量u2’,然后可以将节点v当前的表征向量u1与u2’进行拼接,得到拼接后表征向量,由于拼接后的向量维度变大,因而,可以对拼接后的向量进一步处理,使其与最初的维度一致,得到节点v最终更新后的表征向量u1’。
在得到道路网络中的各节点的目标表征信息后,即可以将各节点的目标表征信息用于各类交通任务处理。比如,用于车辆追踪、道路规划、信号灯控制灯等任务当中,以提升任务处理效率和准确度。
在一些实施例中,可以结合道路网络图中节点的目标表征信息对目标区域内的图像采集装置采集的车辆图像进行聚类处理。从而,可以将同一个车辆的图像划分到同一个聚类中,以便可以基于车辆图像确定车辆的行驶轨迹或用于实现其他任务。比如,目标区域范围内的每个道路交汇点处可以设置有一个或者多个图像采集装置,路网数据中还可以包括目标区域范围内的图像采集装置与道路网络图中的节点的对应关系,比如,每个图像采集装置可以有一个编号,道路网路图中的每个节点可以有一个编号,图像采集装置的编号和节点的编号的对应关系可以预先确定好并存储。
然后可以先获取目标区域范围内的图像采集装置采集的多帧车辆图像,该多帧车辆图像可以是预设的时间段内目标区域范围内所有图像采集装置采集的车辆图像。然后可以根据目标区域范围内的图像采集装置与道路网络图中的节点的对应关系确定采集各车辆图像的图像采集装置对应的节点,基于采集各车辆图像的图像采集装置对应的节点的表征信息、以及各车辆图像的车辆相关特征对多帧车辆图像进行聚类处理,以将包括同一车辆的车辆图像划分至同一个聚类。
由于以往的技术中,在对车辆图像进行聚类,以将同一车辆的车辆图像筛选出来时,通常仅通过图像中的车辆相关的特征,比如,车型特征、车牌特征等特征对车辆图像进行聚类,这种方式通常会将车型、车牌比较相似的车辆图像划分到同一聚类中,从而会导致最终确定的车辆的行驶轨迹存在错误。为了可以获得更加准确的聚类结果,本公开实施例在对车辆图像进行聚类时,除了考虑和车辆有关的特征,还可以结合采集车辆图像的图像采集装置对应的节点的目标表征信息,对车辆图像进行聚类,即将车辆图像的时空特征也考虑进来,使得聚类结果更加准确。
在一些实施例中,在基于采集各车辆图像的图像采集装置对应的节点的表征信息、以及各车辆图像的车辆相关特征对述多帧车辆图像进行聚类处理时,针对该多帧车辆图像的任一目标车辆图像,基于以下方式确定该多帧车辆图像中的其他图像是否与该目标车辆图像划分至同一聚类:首先,可以确定该目标车辆图像的车辆相关特征与该其他图像的车辆相关特征的第一相似度;然后进一步确定采集该目标车辆图像的图像采集装置对应的节点的表征信息与采集该其他图像的图像采集装置对应的节点的表征信息的第二相似度,基于第一相似度和第二相似度确定联合相似度,在该联合相似度大于预设相似度阈值的情况下,确定将其他图像与目标车辆图像划分至同一聚类。
在一些实施例中,第一相似度可以是车辆特征的相似度、车牌特征的相似度、基于车牌文字的编辑距离得到的增益信息中的一种或多种。
在一些实施例中,在确定是否将其他图像与目标车辆图像划分至同一聚类之前,可以先基于与车辆有关的特征对其他图像进行初步筛选,从其他图像中初步筛选出车辆相关特征与目标车辆图像车辆相关特征相似度高于一定阈值的图像,然后再利用节点的表征信息和车辆相关特征对筛选出的图像进行进一步判定,以提高聚类任务的处理效率。
在一些实施例中,为了确定学习到的节点的目标表征信息是否正确,还可以基于利用该目标表征信息执行任务的处理结果和未利用该目标表征信息执行任务的处理结果进行比较,以检验学习到的节点的表征信息是否准确。比如,以对车辆图像进行聚类的任务为例,基于采集各车辆图像的图像采集装置对应的节点的目标表征信息、以及各车辆图像的车辆相关特征对多帧车辆图像进行聚类处理,得到第一聚类结果;同时基于各车辆图像的车辆相关特征对该多帧车辆图像进行聚类处理,得到第二聚类结果;基于第一聚类结果的准确度与第二聚类结果的准确度对确定的节点的目标表征信息的准确度进行验证。
为了进一步解释本公开实施例提供的路网表征信息的确定方法,以下结合一个具体的实施例加以解释。
在智慧交通领域,通常会利用道路上的摄像头采集的图像进行车辆追踪、路径规划等交通任务。在执行上述任务时,如果可以综合考虑路网的特征(即时空特征),则可以大大提升任务处理结果的准确度。因而,准确地确定表征路网特征的表征信息至关重要。
本实施例提供了一种确定路网表征信息的方法,具体可以包括:目标区域的路网数据的获取、目标区域道路网络图中各节点的表征向量的确定、节点表征向量的验证三个步骤,以下逐一对每个步骤进行介绍:
1、目标区域的路网数据的获取
在该步骤中,主要是基于设置在目标区域中各个交汇点的摄像头的坐标数据,获取该目标区域内的路网数据,其中,路网数据包括目标区域的道路网络图,道路网络图中任意两个节点之间的距离、表征任意两个节点关联关系紧密程度的连接权重、以及各摄像头与道路网络图中节点的对应关系(即每个摄像头位于哪个道路交汇点),具体的过程如下:
首先,可以根据目标区域内各摄像头的位置坐标,获取这些摄像头坐标的中心点,计算公式如下:
Figure BDA0003280780200000221
Figure BDA0003280780200000222
Figure BDA0003280780200000223
Figure BDA0003280780200000224
Figure BDA0003280780200000225
Figure BDA0003280780200000226
其中,lngi和lati分别为第i个摄像头的经度和纬度,N为所有摄像头的数量,(lngc,latc)即为摄像头坐标的中心点。
然后可以根据各摄像头的位置坐标,确定搜索半径,计算方法如下:
radius1=haversine(lngc,latc,lngmax,latmax)
radius2=haversine(lngc,latc,lngmin,latmin)
Figure BDA0003280780200000231
其中,haversine函数的功能是计算两个坐标点之间的地表距离,最终得到的radius即为搜索半径。
在确定这些摄像头的坐标中心和搜索半径后,可以利用osmnx功能库获取相应的路网数据。并且可以进一步简化路网结构,只保留覆盖全部摄像头的主干路网。基于osmnx可以得到目标区域的道路网络图,图中的节点表示道路的交汇点,图中的边表示路段,可以得到的道路网络图中每一条路段的三元组的表示形式(vi,vj,dij),其中vi和vj是路网中不同的节点,dij是vi和vj之间的距离。
考虑到相近节点之间关系紧密,较远节点之间关系疏远,可以定义表征任以两个不同节点之间关联关系紧密程度的连接权重aij:
Figure BDA0003280780200000232
其中,nij表示从节点vi到节点vj的轨迹数,
Figure BDA0003280780200000233
表示节点vi的邻居节点,α和β是可调节的参数,比如,可以分别设置为1000和1。
根据最短距离搜索的方法,在保留的路网中为每一个摄像头找到与其匹配的节点,最终得到道路网络图中各节点和摄像头之间的对应关系。
2、道路网络图中各节点的表征向量的确定
在该步骤中,主要是基于获取的网络数据确定道路网络图中各节点的表征向量,具体步骤如下:
首先,通过在道路网路图中进行随机游走,得到节点序列,如图6所示,随机游走过程中,当前节点的下一节点可以通过以下方式确定:
假设一次随机游走刚刚从节点t走到节点v,那么从节点v走到下一个节点x的概率分布αpq(t,v,x)可以基于以下公式确定:
Figure BDA0003280780200000241
Figure BDA0003280780200000242
其中,dtx为节点t和节点x之间的距离,dtx=0,意味着又回到了节点t,表示返回概率;dtx=1,意味着节点t和节点x之间存在连接边;dtx=2,意味着节点t和节点x之间不存在连接边,向远离节点t的方向游走。α′pq(t,v,x)表示将各个邻居节对应的概率分布进行归一化处理后的结果。
可以看出随机游走的概率分布由连接权重a,返回参数p和远离参数q同时控制:
如果p>max(q,1),那么游走会更倾向于跳到新的节点,而非之前走过的节点;
如果p<min(q,1),那么游走更倾向于返回之前的节点,可能会在起始点周围某些节点之间跳来跳去。如果q>1,那么游走会倾向于在起始点周围的节点之间跳动,可以反映广度优先搜索的特点;
如果q<1,那么游走会倾向于向远处的节点进行,可以反映深度优先搜索的特点。
特殊的,当p=q=1时,游走方式就等同于Deepwalk中的随机游走。
经过多轮随机游走后,可以得到一系列节点序列,可以借鉴NLP中的word2vec方法,将道路网络图中的每个节点看作是一个单词,将所有节点看作是单词库,将随机游走得到的节点序列看作是句子,利用skip-gram方法进行训练得到每个节点的表征向量,如图7所示。可以用节点序列中的节点的特征作为word2vec模型的输入,用该输入节点的上下文节点的特征作为word2vec模型的输出,训练结束后的word2vec模型的权重矩阵即为学习到的节点的初始表征向量。
在利用节点序列得到节点的初始表征向量后,可以通过GraphSAGE模型对道路网络图中的节点的初始表征向量进行特征聚合,如图8所示,在每一轮迭代中,首先可以对道路网络图中的每个节点进行邻居节点采样,生成邻居节点集合,然后聚合邻居节点集合中的节点信息,再融合自身信息,并经过一系列变换得到该节点新的表征向量。然后针对每个邻居节点,也可以采用同样的方式对邻居节点的表征向量进行更新,然后再利用更新后的邻居节点的表征向量对该节点更新后的表征向量进行进一步更新。随着迭代轮次的增加,聚合节点的范围也随之增加,并保持距离越近的节点影响越大,距离越远的节点影响越小的特点,具体的计算公式如下:
Figure BDA0003280780200000251
Figure BDA0003280780200000252
Figure BDA0003280780200000253
其中,v表示要更新的节点,
Figure BDA0003280780200000254
表示采样得到的节点v的邻居节点,k表示迭代轮次,
Figure BDA0003280780200000255
表示在第k-1轮迭代中节点u的表征向量,AGGREGATEk表示第k轮的聚合函数,CONCAT表示拼接操作,Wk表示第k轮的可学习参数,由于将两个表征向量拼接后,得到的向量维度变大,Wk用于将其变换成原来的维度;σ表示sigmoid函数,||·||2表示二范数。
在聚合函数AGGREGATE中可以采用平均聚合的方式,即对当前节点的邻居节点的表征向量的每个维度取均值,当然也可以采用其他的聚合方式,具体可根据实际需求设置。经过多轮迭代后,即可以得到各节点更新后的表征向量。
3、节点表征向量的验证
在该步骤中,可以结合一些具体的处理任务对确定的节点的表征向量进行验证,以测试学习到的表征向量是否准确。
以对车辆图像进行聚类,得到同一车辆的车辆图像这一聚类任务为例,针对某个目标车辆,可以基于以下方式从摄像头采集的车辆图像中确定该目标车辆的车辆图像。
首先,可以获取目标车辆的一帧图像,以下称为目标图像,可以先在摄像头采集的所有车辆图像中进行粗搜索,根据车辆特征和车牌特征在所有车辆图像进行检索,筛选出和目标图像中的目标车辆相似度最高的top-K帧车辆图像。其中,对于任一帧车辆图像,可以利用ReID(Re-Identification,再识别任务)模型获取该车辆图像中的车辆特征,利用车牌特征模型获取该车辆图像中的车牌特征,利用车牌OCR(Optical CharacterRecognition,光学字符识别)模型获取该车辆图像中的车牌文字。
然后,对于初步筛选得到的top-K中的每帧图像,可以确定该图像中的车辆和目标图像中的目标车辆的车辆相似度、车牌相似度、车牌文字的编辑距离、时空相似度,其中,时空相似度为采集该top-K中的图像的图像采集装置对应的节点的表征向量与采集该目标图像的图像采集装置对应的节点的表征向量的相似度。其中,两个特征之间的两两相似度定义为cosine相似度,计算公式如下:
Figure BDA0003280780200000261
然后可以基于上述车辆相似度、车牌相似度、车牌文字的编辑距离、时空相似度确定多模态联合相似度。
Figure BDA0003280780200000271
其中,车辆特征相似度用Sf表示。若两辆车都有车牌,则车牌特征相似度用Sg表示,时空相似度用St表示,两两车牌文字的编辑距离用D表示,SD为编辑距离增益,定义为:
Figure BDA0003280780200000272
如果确定的top-K中的图像与该目标图像的多模态联合相似度Sw是大于预设的经验阈值,则将该图像与目标图像划分至一类,即认为该图像为目标车辆的图像,反之,则认为不是目标车辆的图像。最终,可以得到利用了节点表征向量的聚类结果。
此外,还可直接利用车辆特征、车牌特征以及车牌文字确定top-K中的图像与该目标图像的联合相似度,如下:
Figure BDA0003280780200000273
如果确定的top-K中的图像与该目标图像的判断联合相似度Sn是否大于预设的经验阈值,则将该图像与目标图像划分至一类,即认为该图像为目标车辆的图像,反之,则认为不是目标车辆的图像。最终,可以得到未利用节点表征向量的聚类结果。
如果利用了节点表征向量的聚类结果优于未利用节点表征向量的聚类结果,则说明确定的表征向量比较准确。
相应的,本公开实施例还提供了一种确定路网表征信息的装置,如图9所示,所述装置90包括:
获取模块91,用于获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
节点序列确定模块92,用于通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一组节点序列;
初始表征信息确定模块93,用于基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;
目标表征信息确定模块94,用于针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
进一步的,本公开实施例还提供一种设备,如图10所示,所述设备100包括处理器101、存储器102、存储于所述存储器102可供所述处理器101执行的计算机指令,所述处理器101执行所述计算机指令时实现上述实施例中任一项所述的方法。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (18)

1.一种确定路网表征信息的方法,其特征在于,所述方法包括:
获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一组节点序列;
基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;
针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
2.根据权利要求1所述的方法,其特征在于,获取目标区域范围内的路网数据,包括:
获取目标区域范围内的多个图像采集装置的位置信息;
基于所述多个图像采集装置的位置信息确定覆盖所述多个图像采集装置的搜索范围;
将基于所述搜索范围获取的路网数据,作为所述目标区域范围内的路网数据。
3.根据权利要求2所述的方法,其特征在于,基于所述多个图像采集装置的位置信息确定覆盖所述多个图像采集装置的搜索范围,包括:
基于所述多个图像采集装置的位置信息确定所述多个图像采集装置的中心点的位置信息;
基于所述多个图像采集装置的位置信息以及所述中心点的位置信息确定搜索半径;
基于所述中心点的位置信息与所述搜索半径确定所述搜索范围。
4.根据权利要求3所述的方法,其特征在于,所述位置信息包括经纬度坐标,基于所述多个图像采集装置的位置信息以及所述中心点的位置信息确定搜索半径,包括:
从所述多个图像采集装置的经纬度坐标中确定最大纬度和最大经度,得到坐标为所述最大纬度和最大经度第一位置点;
从所述多个图像采集装置的经纬度坐标中确定最小纬度和最小经度,得到坐标为所述最小纬度和最小经度的第二位置点,
确定所述中心点与所述第一位置点的第一距离、以及所述中心点与所述第二位置点的第二距离;
基于所述第一距离和所述第二距离的平均值确定所述搜索半径。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述路网数据还包括所述道路网络图中任意两个节点之间的距离,以及任意两个节点之间的车辆轨迹数;
所述通过随机游走的方式从所述道路网络图中确定节点序列,包括:
在随机游走过程中,针对每个当前节点,基于以下方式确定从所述当前节点经过一次随机游走后到达的下一节点:
确定所述当前节点与所述当前节点的各邻居节点的连接权重,所述连接权重用于表征所述当前节点与所述邻居节点之间关联关系的紧密程度;
基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布;
基于所述概率分布从所述各邻居节点中确定所述下一节点。
6.根据权利要求5所述的方法,其特征在于,所述确定所述当前节点与所述当前节点的各邻居节点的连接权重,包括:
根据所述当前节点与所述各邻居节点的距离,和/或,所述各邻居节点的车辆轨迹数占比,确定所述当前节点与所述各邻居节点的连接权重,其中,所述车辆轨迹数占比基于所述当前节点通往所述各邻居节点的车辆轨迹数与所述当前节点通往全部所述邻居节点的车辆轨迹总数的比值确定。
7.根据权利要求6所述的方法,其特征在于,所述连接权重负相关于所述当前节点与所述邻居节点的距离,和/或
所述连接权重正相关于所述邻居节点的车辆轨迹数占比。
8.根据权利要求5-7任一项所述的方法,其特征在于,基于所述连接权重确定从所述当前节点游走至所述各邻居节点的概率分布,包括:
根据所述连接权重、预设的返回参数、预设的远离参数确定从所述当前节点游走至所述各邻居节点的概率分布,其中,所述返回参数以及所述远离参数用于控制随机游走时的运动趋势。
9.根据权利要求8所述的方法,其特征在于,所述返回参数以及所述远离参数用于控制随机游走时的运动趋势,包括:
在所述远离参数大于1的情况下,所述随机游走时的运动趋势为在当前节点周围的节点之间来回跳动;
在所述远离参数小于1的情况下,所述随机游走时的运动趋势为向远离当前节点的方向跳动;
在所述返回参数大于所述远离参数和1中的较大者的情况下,所述随机游走时的运动趋势为跳动至不同当前节点的节点;
在所述返回参数小于所述远离参数和1中的较小者的情况下,所述随机游走时的运动趋势为返回当前节点。
10.根据权利要求8所述的方法,其特征在于,根据所述连接权重、预设的返回参数、预设的远离参数确定从所述当前节点游走至所述各邻居节点的概率分布,包括:
在所述邻居节点为所述当前节点的上一节点的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重和所述返回参数的倒数确定;或
在所述邻居节点与所述上一节点存在连接边的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重确定;或
在所述邻居节点与所述上一节点不存在连接边的情况下,从所述当前节点游走至所述邻居节点的概率基于所述连接权重和所述远离参数的倒数确定。
11.根据权利要求8所述的方法,其特征在于,在目标邻居节点为所述当前节点的上一节点的情况下,从当前节点游走至目标邻居节点的概率低于从当前节点游走至除目标邻居节点以外的其他邻居节点的概率。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述表征信息包括表征向量,基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息,包括:
针对所述节点序列中的每个节点,以所述节点的特征作为神经网络的输入,所述节点序列中与所述节点前和/或后相邻的节点的特征作为所述神经网络的输出,对所述神经网络进行训练;
基于训练后的神经网络的权重矩阵确定所述节点序列中每个节点的初始表征向量。
13.根据权利要求1-12任一项所述的方法,其特征在于,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息,包括:
重复执行以下步骤直至达到预设的迭代条件,将所述节点的更新表征信息作为所述节点的目标表征信息:
针对所述道路网络图中的任一节点,确定每一所述节点的多个邻居节点;
将每个所述节点的初始表征信息与所述节点的多个邻居节点的初始表征信息进行聚合,得到每个所述节点的更新表征信息;
利用所述节点的更新表征信息替换所述节点的初始表征信息。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述目标区域范围内的每个道路交汇点处设置有图像采集装置,所述路网数据还包括所述目标区域范围内的图像采集装置与所述节点的对应关系,所述方法还包括:
获取所述目标区域范围内的图像采集装置采集的多帧车辆图像;
基于所述对应关系确定采集各车辆图像的图像采集装置对应的节点;
基于采集各车辆图像的图像采集装置对应的节点的目标表征信息、以及各车辆图像的车辆相关特征对所述多帧车辆图像进行聚类处理。
15.根据权利要求14所述的方法,其特征在于,基于采集各车辆图像的图像采集装置对应的节点的表征信息、以及各车辆图像的车辆相关特征对所述多帧车辆图像进行聚类处理,包括:
针对所述多帧车辆图像的任一目标车辆图像,基于以下方式确定所述多帧车辆图像中的其他图像是否与所述目标车辆图像划分至同一聚类:
确定所述目标车辆图像的车辆相关特征与所述其他图像的车辆相关特征的第一相似度;
确定采集所述图像车辆图像的图像采集装置对应的表征信息与采集所述其他图像的图像采集装置对应的表征信息的第二相似度;
基于所述第一相似度和所述第二相似度确定联合相似度;
在所述联合相似度大于预设相似度阈值的情况下,确定将所述其他图像与所述目标车辆图像划分至同一聚类。
16.根据权利要求14-15任一项所述的方法,其特征在于,所述方法还包括:
获取各车辆图像的第一聚类结果以及第二聚类结果,其中,所述第一聚类结果基于所述各车辆图像的图像采集装置对应的节点的目标表征信息、以及所述各车辆图像的车辆相关特征确定,所述第二聚类结果基于所述各车辆图像的车辆相关特征确定;
基于第一聚类结果的准确度与第二聚类结果的准确度对所述节点的目标表征信息的准确度进行验证。
17.一种确定路网表征信息的装置,其特征在于,所述装置包括:
获取模块,用于获取目标区域范围内的路网数据,所述路网数据至少包括所述目标区域范围内的道路网络图,所述道路网络图的节点表示道路交汇点,所述道路网络图中的边表示路段;
节点序列确定模块,用于通过随机游走的方式在所述道路网络图中采集至少一组轨迹数据,每一组轨迹数据对应一组节点序列;
初始表征信息确定模块,用于基于所述至少一组轨迹数据对应的节点序列确定所述道路网络图中的节点的初始表征信息;
目标表征信息确定模块,用于针对所述道路网络图中的任一节点,利用所述节点的邻居节点的初始表征信息迭代更新所述节点的初始表征信息,以得到所述节点的目标表征信息。
18.一种设备,其特征在于,所述设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时实现如权利要求1-16任一项所述的方法。
CN202111131759.XA 2021-09-26 2021-09-26 确定路网表征信息的方法、装置、设备及存储介质 Pending CN113807457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131759.XA CN113807457A (zh) 2021-09-26 2021-09-26 确定路网表征信息的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131759.XA CN113807457A (zh) 2021-09-26 2021-09-26 确定路网表征信息的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113807457A true CN113807457A (zh) 2021-12-17

Family

ID=78938630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131759.XA Pending CN113807457A (zh) 2021-09-26 2021-09-26 确定路网表征信息的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113807457A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419357A (zh) * 2022-03-10 2022-04-29 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机及可读存储介质
WO2024000519A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 轨迹数据的表征方法和装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446381A (zh) * 2018-10-16 2019-03-08 中山大学 一种基于时态图的公共交通路网集成方法
CN110032682A (zh) * 2019-04-17 2019-07-19 腾讯科技(上海)有限公司 一种信息推荐列表生成方法、装置及设备
CN111079975A (zh) * 2019-11-14 2020-04-28 青岛海信网络科技股份有限公司 一种交通数据预测方法、装置及交通工具控制方法
CN111710162A (zh) * 2020-07-07 2020-09-25 深圳市数字城市工程研究中心 一种城市路网交通运行状况监测方法及系统
CN111780774A (zh) * 2020-06-09 2020-10-16 当家移动绿色互联网技术集团有限公司 运动轨迹的生成方法、装置、存储介质和电子设备
CN111860783A (zh) * 2020-07-22 2020-10-30 中山大学 图节点低维表征学习方法、装置、终端设备及存储介质
CN112069415A (zh) * 2020-08-13 2020-12-11 中国海洋大学 一种基于异构属性网络表征学习的兴趣点推荐方法
CN112200046A (zh) * 2020-09-30 2021-01-08 平安科技(深圳)有限公司 驾驶行为识别方法、装置、电子设备及存储介质
CN112199600A (zh) * 2020-10-29 2021-01-08 腾讯科技(深圳)有限公司 目标对象识别方法和装置
CN112395512A (zh) * 2020-11-06 2021-02-23 中山大学 一种基于路径聚合的复杂属性网络表示模型的构建方法
CN112559847A (zh) * 2020-12-10 2021-03-26 腾讯科技(深圳)有限公司 网络图中节点搜索方法、装置、电子设备和存储介质
CN112766551A (zh) * 2021-01-08 2021-05-07 鹏城实验室 一种交通预测方法、智能终端及计算机可读存储介质
CN112949751A (zh) * 2021-03-25 2021-06-11 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113065074A (zh) * 2021-04-02 2021-07-02 大连理工大学 一种基于知识图谱和自注意力机制的轨迹目的地预测的方法
CN113128520A (zh) * 2021-04-28 2021-07-16 北京市商汤科技开发有限公司 图像特征提取方法、目标重识别方法、装置及存储介质
CN113378658A (zh) * 2021-05-24 2021-09-10 上海商汤智能科技有限公司 车辆数据聚类方法以及车辆轨迹还原方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446381A (zh) * 2018-10-16 2019-03-08 中山大学 一种基于时态图的公共交通路网集成方法
CN110032682A (zh) * 2019-04-17 2019-07-19 腾讯科技(上海)有限公司 一种信息推荐列表生成方法、装置及设备
CN111079975A (zh) * 2019-11-14 2020-04-28 青岛海信网络科技股份有限公司 一种交通数据预测方法、装置及交通工具控制方法
CN111780774A (zh) * 2020-06-09 2020-10-16 当家移动绿色互联网技术集团有限公司 运动轨迹的生成方法、装置、存储介质和电子设备
CN111710162A (zh) * 2020-07-07 2020-09-25 深圳市数字城市工程研究中心 一种城市路网交通运行状况监测方法及系统
CN111860783A (zh) * 2020-07-22 2020-10-30 中山大学 图节点低维表征学习方法、装置、终端设备及存储介质
CN112069415A (zh) * 2020-08-13 2020-12-11 中国海洋大学 一种基于异构属性网络表征学习的兴趣点推荐方法
CN112200046A (zh) * 2020-09-30 2021-01-08 平安科技(深圳)有限公司 驾驶行为识别方法、装置、电子设备及存储介质
CN112199600A (zh) * 2020-10-29 2021-01-08 腾讯科技(深圳)有限公司 目标对象识别方法和装置
CN112395512A (zh) * 2020-11-06 2021-02-23 中山大学 一种基于路径聚合的复杂属性网络表示模型的构建方法
CN112559847A (zh) * 2020-12-10 2021-03-26 腾讯科技(深圳)有限公司 网络图中节点搜索方法、装置、电子设备和存储介质
CN112766551A (zh) * 2021-01-08 2021-05-07 鹏城实验室 一种交通预测方法、智能终端及计算机可读存储介质
CN112949751A (zh) * 2021-03-25 2021-06-11 深圳市商汤科技有限公司 车辆图像聚类及轨迹还原方法
CN113065074A (zh) * 2021-04-02 2021-07-02 大连理工大学 一种基于知识图谱和自注意力机制的轨迹目的地预测的方法
CN113128520A (zh) * 2021-04-28 2021-07-16 北京市商汤科技开发有限公司 图像特征提取方法、目标重识别方法、装置及存储介质
CN113378658A (zh) * 2021-05-24 2021-09-10 上海商汤智能科技有限公司 车辆数据聚类方法以及车辆轨迹还原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAHAO JI 等: "Interpretable Spatiotemporal Deep Learning Model for Traffic Flow Prediction Based on Potential Energy Fields", 《2020 IEEE INTERNATIONAL CONFERENCE ON DATA MINING (ICDM)》, pages 1076 - 1081 *
王斌 等: "联合子图模式和网络表征的路网链路预测模型", 《小型微型计算机系统》, vol. 40, no. 11, pages 2357 - 2364 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419357A (zh) * 2022-03-10 2022-04-29 腾讯科技(深圳)有限公司 数据处理方法、装置、计算机及可读存储介质
WO2024000519A1 (zh) * 2022-06-30 2024-01-04 华为技术有限公司 轨迹数据的表征方法和装置

Similar Documents

Publication Publication Date Title
Garcia-Fidalgo et al. Hierarchical place recognition for topological mapping
Kim et al. Extracting vehicle trajectories using unmanned aerial vehicles in congested traffic conditions
CN110415277B (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112651995B (zh) 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法
Mariescu-Istodor et al. CellNet: Inferring road networks from GPS trajectories
CN111461209B (zh) 一种模型训练装置和方法
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same}
CN113807457A (zh) 确定路网表征信息的方法、装置、设备及存储介质
KR20200095387A (ko) 협업 주행을 수행하는 자동차들로부터 획득된 주행 이미지들을 통합하는 방법 및 이를 이용한 주행 이미지 통합 장치
Neogi et al. Context based pedestrian intention prediction using factored latent dynamic conditional random fields
WO2021006870A1 (en) Vehicular autonomy-level functions
CN115690153A (zh) 一种智能体轨迹预测方法及系统
KR102628598B1 (ko) 그래프 합성곱 신경망을 이용한 다중 객체 추적 장치 및 방법
CN112347983B (zh) 车道线检测处理方法、装置、计算机设备和存储介质
CN116861262A (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN114511740A (zh) 车辆图像分类方法、车辆轨迹还原方法、装置及设备
CN116563341A (zh) 一种处理复杂环境下动态物体的视觉定位与建图方法
CN113537258B (zh) 行动轨迹预测方法、装置、计算机可读介质及电子设备
CN115937556A (zh) 对象识别方法、装置、设备和存储介质
CN111488771B (zh) Ocr挂接方法、装置与设备
CN113762043A (zh) 异常轨迹识别方法及装置
Behnia et al. Deep generative models for vehicle speed trajectories
Kang Multiple Object Tracking in Videos
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination