CN112329722B - 行车方向检测方法、系统、设备及存储介质 - Google Patents

行车方向检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112329722B
CN112329722B CN202011350281.5A CN202011350281A CN112329722B CN 112329722 B CN112329722 B CN 112329722B CN 202011350281 A CN202011350281 A CN 202011350281A CN 112329722 B CN112329722 B CN 112329722B
Authority
CN
China
Prior art keywords
vehicle
perspective transformation
lane
driving direction
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011350281.5A
Other languages
English (en)
Other versions
CN112329722A (zh
Inventor
谭黎敏
蔡文扬
郭震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xijing Technology Co ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202011350281.5A priority Critical patent/CN112329722B/zh
Publication of CN112329722A publication Critical patent/CN112329722A/zh
Application granted granted Critical
Publication of CN112329722B publication Critical patent/CN112329722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种行车方向检测方法、系统、设备及存储介质，该方法包括：采集车道视频，所述车道视频包括多帧车道图像；对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。本发明基于视频流并结合机器视觉检测完成行车方向检测，检测速度快且精确度高，对摄像机安装位置要求更加宽松，摄像机可以安装得更高，从而使得摄像机的覆盖范围更加广阔。

Description

行车方向检测方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种行车方向检测方法、系统、设备及存储介质。
背景技术
行车的方向检测，在现在的交通场景中应用很多，但是在园区、厂区等场地应用并不多。现有的方式对于立杆和摄像机的安装要求比较高，需要摄像机安装在较低的位置才能采集到所需要的视频或图像数据，由此能够实现监控的场地范围并不大。然而，对于园区、厂区等场地的监控，经常面临需要监控的场地范围很大，监控内容很多，但是安保人力有限的场景。园区、厂区等场地的摄像机往往安装高度很高，无法采用现有的方式实现行车方向检测。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种行车方向检测方法、系统、设备及存储介质，基于视频流并结合机器视觉检测完成行车方向检测，对摄像机安装位置要求更加宽松。
本发明实施例提供一种行车方向检测方法，包括如下步骤：
采集车道视频，所述车道视频包括多帧车道图像；
对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。
本发明的行车方向检测方法结合机器视觉处理的方式，基于视频流完成行车方向检测，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控；该种行车方向检测方法不仅可以应用于园区、厂区等场景，也可以应用于城市车道等其他场景中。
在一些实施例中，确定车辆在所述透视变换图像中的行车方向之后，还包括如下步骤：
根据所述车辆在所述透视变换图像中的行车方向和车道基准方向的关系，确定所述车辆的行驶行为类别，所述行驶行为类别包括直行、左转、右转和逆行中的至少一种，所述车道基准方向为车道在所述透视变换图像中的方向。
在一些实施例中，确定所述车辆的行驶行为类别之后，还包括如下步骤：
判断确定的所述行驶行为类别与预设的行驶行为类别是否一致；
如果不一致，则进行报警。
在一些实施例中，对至少两帧所述车道图像分别进行透视变换，包括采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像中。
在一些实施例中，所述透视变换矩阵为：
Figure BDA0002801185770000021
其中，(u,v)是所述车道图像中一个点的坐标，投影映射到所述透视变换图像中的点的坐标为(x’,y’)，其中x’＝x/w,y’＝y/w。
在一些实施例中，对至少两帧所述车道图像分别进行透视变换之前，还包括如下步骤：
获取所述车道图像中多个参考点的坐标和所述透视变换图中对应映射点的坐标，计算所述透视变换矩阵。
在一些实施例中，所述采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像之后，还包括如下步骤：
对于所述透视变换图像中未确定像素值的点，采用双线性插值法计算该点的像素值。
在一些实施例中，所述车辆检测模型采用具有多层级特征融合的卷积神经网络模型。
在一些实施例中，根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向，包括如下步骤：
根据所述透视变换图像的车辆位置坐标的变化确定所述车辆在所述透视变换图像中相对于x轴或y轴的行车方向；
根据所述车道基准方向与x轴或y轴的夹角，确定所述车辆相对于所述车道基准方向的行车方向。
在一些实施例中，确定所述车辆的行驶行为类别之后，还包括如下步骤：
获取在2D全局地图中车道方向与所述基准方向的关系，所述基准方向为在2D全局地图中预先选择的一基准方向；
根据所述车道方向与所述基准方向的关系，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向。
在一些实施例中，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向，包括根据车辆的行车方向与所述车道基准方向的夹角以及所述车道方向与所述基准方向的夹角，计算得到车辆的行车方向与所述基准方向的夹角。
本发明实施例还提供一种行车方向检测系统，用于实现所述的行车方向检测方法，所述系统包括：
视频采集模块，用于采集车道视频，所述车道视频包括多帧车道图像；
图像变换模块，用于对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
车辆检测模块，用于采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
方向检测模块，用于根据所述透视变换图像的车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。
本发明的行车方向检测系统结合机器视觉处理的方式，基于视频流完成行车方向检测，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控；该种行车方向检测方法不仅可以应用于园区、厂区等场景，也可以应用于城市车道等其他场景中。
本发明实施例还提供一种行车方向检测设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的行车方向检测方法的步骤。
本发明的行车方向检测设备可以执行所述行车方向检测方法的步骤，因此，所述行车方向检测设备也可以实现上述所述行车方向检测方法的技术效果。
在一些实施例中，还包括网络传输模块，所述网络传输模块为无线传输模块或有线传输模块，所述网络传输模块分别与所述处理器和所述存储器相连接。
在一些实施例中，所述行车方向检测设备还包括FPGA加速卡，所述FPGA加速卡分别与所述处理器和所述存储器相连接。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的行车方向检测方法的步骤。
本发明的计算机可读存储介质被处理器执行时可以实现所述行车方向检测方法的步骤，因此，所述计算机可读存储介质也可以实现上述所述行车方向检测方法的技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的行车方向检测方法的流程图；
图2是本发明一实施例的车道视频采集的示意图；
图3是本发明一实施例的透视变换的示意图；
图4是本发明一实施例的行车方向检测方法的过程示意图；
图5是本发明一实施例的车辆检测的过程示意图；
图6是本发明一实施例的行车方向检测系统的结构示意图；
图7是本发明一实施例的行车方向检测设备的结构示意图；
图8是本发明一实施例的行车方向检测设备的具体应用的示意图；
图9是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，本发明实施例提供一种行车方向检测方法，包括如下步骤：
S100：采集车道视频，所述车道视频包括多帧车道图像；
S200：对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
S300：采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
S400：根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。
本发明的行车方向检测方法首先通过步骤S100采集车道视频，车道视频可以采用视频流的传输方式，并且通过步骤S200对视频中图像进行透视变换，得到横向或纵向的透视变换图像；然后通过步骤S300结合机器视觉处理的方式对车辆位置进行检测，并确定车辆位置坐标，从而可以通过步骤S400根据车辆位置坐标的变化确定车辆的行车方向。该方法实现简单，检测准确，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控。
图2为一种采集车道视频的示意图。所述步骤S100中，可以从一个或多个摄像机A2中采集车道A1的车道视频，进而采用本发明的行车方向检测方法中步骤S200～S400实现对车道A1中车辆A3的行车方向的检测。如图2所示，摄像机A2架设的高度越高，其所能够覆盖到的范围A4也就越大。采用本发明的行车方向检测方法，由于对摄像机的高度限制很小，摄像机可以安装在较高的位置，摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控。
如图3所述，为该实施例中透视变换的示意图。车道视频中包含的车道图像B1经过透视变换后，可以映射到透视变换图B2中，使得车道方向与基准方向D一致。在基准方向设定为横向或纵向时，透过透视变换，可以修正车道方向为横向或者纵向，可以设想车道方向为基准方向的角度。同时由于修正车道方向，车辆的行车方向也可以计算为相对于基准方向的角度。
透视变换是将图片投影到一个新的视平面，也称作投影映射。在该实施例中，所述步骤S200中，对至少两帧所述车道图像分别进行透视变换，包括采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像中。其中，所述透视变换矩阵为：
Figure BDA0002801185770000071
其中，(u,v)是所述车道图像中一个点的坐标，投影映射到所述透视变换图像中的点的坐标为(x’,y’)，其中x’＝x/w,y’＝y/w。由上述变换公式可以得到所述透视变换图中各个点的坐标的计算公式如下：
x＝a11u+a12v+a13
y＝a21u+a22v+a23
w＝a31u+a32v+a33
Figure BDA0002801185770000072
Figure BDA0002801185770000073
变换矩阵
Figure BDA0002801185770000074
可以拆成4部分，
Figure BDA0002801185770000075
表示线性变换，比如缩放和旋转，(a31 a32)用于平移，[a13 a23]T产生透视变换。
在该实施例中，所述步骤S200：对至少两帧所述车道图像分别进行透视变换之前，还包括确定透视变换矩阵。具体地，确定透视变换矩阵可以包括：获取所述车道图像中多个参考点的坐标和所述透视变换图中对应映射点的坐标，计算所述透视变换矩阵，即已知透视变换的几个点的映射关系就可以求得透视变换矩阵中各个参数的值。
例如，预先选取四个车道图像中的参考点和所述透视变换图中对应的四个映射点的坐标，代入到上述透视变换矩阵的公式中，可以计算得到
Figure BDA0002801185770000076
中各个参数的值，用于将车道图像中其他的各个点映射到所述透视变换图中。
进一步地，所述步骤S200中，采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像之后，还包括如下步骤：
对于所述透视变换图像中未确定像素值的点，采用双线性插值法计算该点的像素值。
例如，对于所述透视变换图像中一未确定像素值的点，以计算其红色通道数值为例。已知四组坐标为(x1,y1)，(x2,y2)，(x1,y2)，(x2,y1),对应红色通道数值分别为r11，r22，r12，r21，同时已知待确定像素值的点的坐标为(xm,ym)，采用如下公式求新坐标红色通道数值：
x轴上线性插值计算得到：
Figure BDA0002801185770000081
Figure BDA0002801185770000082
y轴上双线性插值计算得到
Figure BDA0002801185770000083
综合起来双线性插值最后结果就是：
Figure BDA0002801185770000084
该待确定像素值的点的绿色通道的数值和蓝色通道的数值可以参照上述红色通道的数值的计算方式。
如图4所示，为该实施例的行车方向检测方法的具体流程图。首先对应于步骤S100，获取到视频流后，将视频流解码，得到车道图像，然后对应于步骤S200，对车道图像进行透视变换，得到透视变换图像，对应于步骤S300，在透视变换图像中进行车辆检测，得到车辆位置坐标，对应于步骤S400，进行车辆行车方向计算，得到车辆在透视变换图中的行车方向。图4中，C1形状的方格表示数据内容，C2形状的方格表示计算处理节点，C3形状的方格表示多个数据内容。
所述步骤S400确定车辆在所述透视变换图像中的行车方向之后，可以进一步进行车辆的行驶行为类别的判断，所述行驶行为类别包括直行、左转、右转和逆行中的至少一种。具体地，所述行驶行为类别的判断包括如下步骤：
根据所述车辆在所述透视变换图像中的行车方向和车道基准方向的关系，确定所述车辆的行驶行为类别，所述车道基准方向为车道在所述透视变换图像中的方向。在所述透视变换图像中，所述车道基准方向与所述预设的基准方向的方向一致。
具体地，如果行车方向与车道基准方向的夹角在一个很小的角度范围，例如0～30°，则说明车辆直行，如果行车方向与车道基准方向的夹角接近直角，例如80～100°，则说明车辆转弯，并且可以根据夹角的朝向确定是左转还是右转，如果行车方向与车道基准方向的夹角接近180°，例如170°～180°，则说明车辆逆行。可以设定不同的角度范围与不同行驶行为类别的映射关系，例如行车方向与车道基准方向的夹角为(a1～a2)时，确定车辆直行，行车方向与车道基准方向的夹角为(a3～a4)时，确定车辆转弯，行车方向与基准方向的夹角为(a5～a6)时，确定车辆逆行。其中，a1<a2<a3<a4<a5<a6。具体的角度范围大小可以根据需要选择设定和调整。
在该实施例中，确定所述车辆的行驶行为类别之后，还包括如下步骤：
判断确定的所述行驶行为类别与预设的行驶行为类别是否一致；
如果不一致，则进行报警。
例如，由于逆行会带来很大的交通安全隐患，如果确定车辆正在逆行中，则进行报警。报警方式可以为软件报警，即向对应的终端或服务器发送报警信号，也可以采用报警器进行声光报警等。
此外，对于其他的车辆行驶行为类别，在已经对车辆的路径进行了规划时，可以确定车辆在每个位置或每个时间点的期望行驶行为类别，如果根据检测到的行车方向确定的行驶行为类别和期望行驶行为类别不一致时，则及时进行报警，对车辆的行驶路线进行纠偏。
在该实施例中，所述步骤S400：根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向，包括如下步骤：
根据所述透视变换图像的车辆位置坐标的变化确定所述车辆在所述透视变换图像中相对于x轴或y轴的行车方向；
根据所述车道基准方向与x轴或y轴的夹角，确定所述车辆相对于所述车道基准方向的行车方向。
例如，确定两帧透视变换图像中车辆的位置坐标，将时间比较早的一帧透视变换图像中车辆位置坐标作为初始坐标(x,y)，将时间比较晚的一帧透视变换图像中车辆位置坐标作为停留坐标(x′,y′)，坐标均是在透视变换图像中的坐标值。设定透视变换图像中坐标按照图片坐标，左上角为圆点，向下为y轴正方向，向右为x轴正方向，车道基准方向与x轴顺时针夹角为δ。则可以根据如下步骤来计算得到车辆与所述车道基准方向之间沿顺时针方向的夹角α，即得到了所述车辆相对于所述车道基准方向的行车方向。
Δx＝x'-x，Δy＝y′-y
Figure BDA0002801185770000101
如果角α>360°,则需要减去360°
如图4所示，在该实施例中，确定所述车辆的行驶行为类别之后，还包括如下步骤：
获取在2D全局地图中车道方向相对于所述基准方向的角度，所述基准方向为在2D全局地图中预先选择的一基准方向，此处在2D全局地图中车道方向相对于所述基准方向的角度，即为车道方向相对于世界坐标系的方向信息；
根据所述2D全局地图中车道方向与所述基准方向的关系，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向。
具体地，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向，包括根据车辆的行车方向与所述车道基准方向的夹角α以及所述车道方向与所述基准方向的夹角β，计算得到车辆的行车方向与所述基准方向的夹角。
假定2D全局地图任意方向为基准方向，基准方向为0度，车道在2D图中顺时针方向角度为β，在车道与车辆的图片中，假定车道方向为基准方向，矩阵变换之后行车方向与车道基准方向顺时针角度方向为α，则行车方向在全局2D地图中与基准方向的角度应该为α+β或α+β±180°。其中±180°是因为车道基准方向与2D图中车道方向可能为相反，如果角度大于360°则需要减去360°度。通常2D全局地图，选择上北下南左西右东，上北为基准方向。车道与车辆图片中，车道方向矩阵变换之后为正东西向或者正南北向，来统一基准方向，简化计算，方便描述。
在将所述车辆的行车方向与车道基准方向的角度转换为车辆的行车方向相对于2D全局地图中的基准方向的角度之后，即将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向，可以基于车辆在世界坐标系中的行车方向进一步应用于车辆导航、车辆路径监测等场景中。
如图5所示，在该实施例中，所述车辆检测模型采用具有多层级特征融合的卷积神经网络模型，所述车辆检测模型可以实现端到端的车辆位置检测，即输入车道图像后，可以进行特征提取和车辆位置识别。图5中，D1形状的方格表示数据内容，D 2形状的方格表示计算处理节点，D3形状的方格表示多个数据内容。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络主要包括输入层、隐含层和输出层。卷积神经网络的隐含层包含卷积层、池化层、激活层和BN层(Batch Normalization，批归一化)常见构筑，卷积层的功能是对输入数据进行特征提取。本发明的卷积神经网络在提取多个层级的特征图后，进一步对多个层级的特征进行融合，使得卷积神经网络提取到的特征更加的全面，进一步提高车辆检测的准确度。在进行车辆检测时，在不同尺度特征图中通过锚点回归车辆坐标、分类、置信度等信息。
在其他可替代的实施方式中，所述车辆检测模型也可以采用其他类型的机器学习模型，而不限于此处列举的卷积神经网络模型，均属于本发明的保护范围之内。
在采用所述车辆检测模型在透视变换图像中进行车辆检测之前，还包括对所述车辆检测模型进行训练。具体地，预先采集多张车道图像作为样本图像加入训练集，对所述样本图像中车辆的位置等进行标注。然后将样本图像输入到车辆检测模型中，输出所述车辆检测模型预测的车辆的位置，与标注的车辆位置进行比较，构建损失函数，并迭代优化训练所述车辆检测模型，至所述损失函数的值满足要求为止，得到训练好的车辆检测模型，可以用于后续车道图像或透视变换图像中车辆的位置检测。
在需要采用所述车辆检测模型对多个车辆属性进行检测时，例如同时检测车辆位置和类别，则预先对所述样本图像中车辆的位置和类别均进行标注，将样本图像输入到车辆检测模型之后，输出所述车辆检测模型预测的车辆的位置和类别，可以分别构建位置和类别损失函数，然后进行组合，迭代优化训练所述车辆检测模型。
此处所述车辆检测模型的训练方式仅为举例，在其他实施方式中，也可以采用其他的模型训练方式，均属于本发明的保护范围之内。
如图6所示，本发明实施例还提供一种行车方向检测系统，用于实现所述的行车方向检测方法，所述系统包括：
视频采集模块M100，用于采集车道视频，所述车道视频包括多帧车道图像；
图像变换模块M200，用于对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
车辆检测模块M300，用于采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
方向检测模块M400，用于根据所述透视变换图像的车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。
本发明的行车方向检测方法首先通过视频采集模块M100采集车道视频，车道视频可以采用视频流的传输方式，并且通过图像变换模块M200对视频中图像进行透视变换，得到横向或纵向的透视变换图像；然后通过车辆检测模块M300结合机器视觉处理的方式对车辆位置进行检测，并确定车辆位置坐标，从而可以通过方向检测模块M400根据车辆位置坐标的变化确定车辆的行车方向。该方法实现简单，检测准确，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控。
在该实施例中，所述视频采集模块M100可以从一个或多个摄像机中采集车道的车道视频流，对视频流解码后可以得到多帧车道图像。所述图像变换模块M200可以首先确定基准方向，然后采用透视变换矩阵来将对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像。在采用透视变换矩阵进行投影映射之后，所述图像变换模块M200还可以对于所述透视变换图像中未确定像素值的点，采用双线性插值法计算该点的像素值。所述车辆检测模块M300可以采用卷积神经网络模型分别检测各帧所述透视变换图像中的车辆位置坐标，所述车辆检测模型可以实现端到端的车辆位置检测，即输入车道图像后，可以进行特征提取和车辆位置识别。但本发明不限于此，在其他实施方式中，所述车辆检测模型也可以为其他类型的机器学习模型。
在该实施例中，所述行车方向检测系统还可以包括模型训练模块，用于对所述车辆检测模型进行训练。具体地，所述模型训练模块训练所述车辆检测模型包括：预先采集多张车道图像作为样本图像加入训练集，对所述样本图像中车辆的位置等进行标注。然后将样本图像输入到车辆检测模型中，输出所述车辆检测模型预测的车辆的位置，与标注的车辆位置进行比较，构建损失函数，并迭代优化训练所述车辆检测模型，至所述损失函数的值满足要求为止，得到训练好的车辆检测模型，可以用于后续车道图像或透视变换图像中车辆的位置检测。
在该实施例中，所述行车方向检测系统进一步还可以包括行驶行为判断模块，用于根据所述车辆在所述透视变换图像中的行车方向和所述车道基准方向的关系，确定所述车辆的行驶行为类别。例如，可以设定不同的角度范围与不同行驶行为类别的映射关系，例如行车方向与车道基准方向的夹角为(a1～a2)时，确定车辆直行，行车方向与车道基准方向的夹角为(a3～a4)时，确定车辆转弯，行车方向与车道基准方向的夹角为(a5～a6)时，确定车辆逆行。其中，a1<a2<a3<a4<a5<a6。具体的角度范围大小可以根据需要选择设定和调整。
在该实施例中，所述行车方向检测系统还可以包括报警模块，用于判断确定的所述行驶行为类别与预设的行驶行为类别是否一致；如果不一致，则进行报警。例如，由于逆行会带来很大的交通安全隐患，如果确定车辆正在逆行中，则进行报警。报警方式可以为软件报警，即向对应的终端或服务器发送报警信号，也可以采用报警器进行声光报警等。此外，对于其他的车辆行驶行为类别，在已经对车辆的路径进行了规划时，可以确定车辆在每个位置或每个时间点的期望行驶行为类别，如果根据检测到的行车方向确定的行驶行为类别和期望行驶行为类别不一致时，则及时进行报警，对车辆的行驶路线进行纠偏。
在该实施例中，所述行车方向检测系统还可以包括坐标系转换模块，用于根据在2D全局地图中车道基准方向与基准方向的关系，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向，具体地，根据车辆的行车方向与所述车道基准方向的夹角以及所述车道方向与所述基准方向的夹角，计算得到车辆的行车方向与所述基准方向的夹角。在将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向之后，可以基于车辆在世界坐标系中的行车方向进一步应用于车辆导航、车辆路径监测等场景中。
本发明实施例还提供一种行车方向检测设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的行车方向检测方法的步骤。
在该实施例中，还包括网络传输模块，所述网络传输模块为无线传输模块或有线传输模块，所述网络传输模块分别与所述处理器和所述存储器相连接，所述网络传输模块可以与摄像机传输数据，获取摄像机拍摄的视频流。例如，所述网络传输模块可以包括光/电网口、网卡或USB传输模块等。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述行车方向检测方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本发明的行车方向检测设备在采用处理单元执行所述行车方向检测方法的步骤时，首先采集车道视频，车道视频可以采用视频流的传输方式，并且通过对视频中图像进行透视变换，得到横向或纵向的透视变换图像；然后通过结合机器视觉处理的方式对车辆位置进行检测，并确定车辆位置坐标，从而可以根据车辆位置坐标的变化确定车辆的行车方向。该方法实现简单，检测准确，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控。
如图8所示，为本发明的行车方向检测设备的一种具体应用的示意图。其中，处理单元包括主板和CPU，存储单元包括内存、SSD(Solid State Disk，固态硬盘)、HDD(HardDisk Drive，硬盘驱动器)、ROM等，处理单元与外部通信可以通过I/O接口或网卡。外部设备可以包括摄像机、交换机和外部显示设备。通过交换机可以获取到摄像机采集的视频流数据。
在该实施例中，所述行车方向检测设备还包括FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)可编程加速卡，实现硬件加速，所述FPGA加速卡分别与所述处理器和所述存储器相连接。FPGA加速卡(PAC)的一个重要应用场合是减轻CPU的负担，把一些原来要在CPU上运行的工作量转移到FPGA的加速卡上，可用于从边缘/智能设备到云的产品中。本发明的行车方向检测设备通过采用加速卡，所述处理单元在执行所述车辆行车方向检测方法的步骤时，执行速度更快的同时，硬件能耗更低，从而同时获得检测精确度、检测速度和低能耗等方面的提升，可以更快速地获取到精确检测的行车方向数据。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的行车方向检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述行车方向检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明的计算机存储介质中的程序在被处理器执行而实现所述行车方向检测方法的步骤时，首先采集车道视频，车道视频可以采用视频流的传输方式，并且通过对视频中图像进行透视变换，得到横向或纵向的透视变换图像；然后通过结合机器视觉处理的方式对车辆位置进行检测，并确定车辆位置坐标，从而可以根据车辆位置坐标的变化确定车辆的行车方向。该方法实现简单，检测准确，对摄像机安装位置要求更加宽松，摄像机可以安装在较高的位置，可以实现行车数据采集和行车方向的快速和准确检测，基于行车方向的检测可以应用于后续逆行判断或将行车方向转换为世界坐标系中的方向等，并且摄像机的覆盖范围可以更加广阔，从而实现更大范围内的监控。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种行车方向检测方法，其特征在于，包括如下步骤：
采集车道视频，所述车道视频包括多帧车道图像；
对至少两帧所述车道图像分别进行透视变换，将车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向；
确定车辆在所述透视变换图像中的行车方向之后，还包括如下步骤：
根据所述车辆在所述透视变换图像中的行车方向和车道基准方向的关系，确定所述车辆的行驶行为类别，所述行驶行为类别包括直行、左转、右转和逆行中的至少一种，所述车道基准方向为车道在所述透视变换图像中的方向。
2.根据权利要求1所述的行车方向检测方法，其特征在于，确定所述车辆的行驶行为类别之后，还包括如下步骤：
判断确定的所述行驶行为类别与预设的行驶行为类别是否一致；
如果不一致，则进行报警。
3.根据权利要求1所述的行车方向检测方法，其特征在于，对至少两帧所述车道图像分别进行透视变换，包括采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像中。
4.根据权利要求3所述的行车方向检测方法，其特征在于，所述透视变换矩阵为：
Figure FDA0003213145790000011
其中，(u,v)是所述车道图像中一个点的坐标，投影映射到所述透视变换图像中的点的坐标为(x’,y’)，其中x’＝x/w,y’＝y/w。
5.根据权利要求3所述的行车方向检测方法，其特征在于，对至少两帧所述车道图像分别进行透视变换之前，还包括如下步骤：
获取所述车道图像中多个参考点的坐标和所述透视变换图中对应映射点的坐标，计算所述透视变换矩阵。
6.根据权利要求4所述的行车方向检测方法，其特征在于，所述采用透视变换矩阵将所述车道图像中的各个点投影映射到透视变换图像之后，还包括如下步骤：
对于所述透视变换图像中未确定像素值的点，采用双线性插值法计算该点的像素值。
7.根据权利要求1所述的行车方向检测方法，其特征在于，所述车辆检测模型采用具有多层级特征融合的卷积神经网络模型。
8.根据权利要求1所述的行车方向检测方法，其特征在于，根据所述透视变换图像中车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向，包括如下步骤：
根据所述透视变换图像的车辆位置坐标的变化确定所述车辆在所述透视变换图像中相对于x轴或y轴的行车方向；
根据所述车道基准方向与x轴或y轴的夹角，确定所述车辆相对于所述车道基准方向的行车方向。
9.根据权利要求1所述的行车方向检测方法，其特征在于，确定所述车辆的行驶行为类别之后，还包括如下步骤：
获取在2D全局地图中车道方向与所述基准方向的关系，所述基准方向为在2D全局地图中预先选择的一基准方向；
根据所述车道方向与所述基准方向的关系，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向。
10.根据权利要求9所述的行车方向检测方法，其特征在于，将所述车辆在所述透视变换图像中的行车方向转换为车辆在世界坐标系中的行车方向，包括根据车辆的行车方向与所述车道基准方向的夹角以及所述车道方向与所述基准方向的夹角，计算得到车辆的行车方向与所述基准方向的夹角。
11.一种行车方向检测系统，用于实现权利要求1至10中任一项所述的行车方向检测方法，其特征在于，所述系统包括：
视频采集模块，用于采集车道视频，所述车道视频包括多帧车道图像；
图像变换模块，用于对至少两帧所述车道图像分别进行透视变换，将所述车道方向透视变换为预设的基准方向，得到对应的透视变换图像；
车辆检测模块，用于采用车辆检测模型分别检测各帧所述透视变换图像中的车辆位置坐标；
方向检测模块，用于根据所述透视变换图像的车辆位置坐标的变化确定车辆在所述透视变换图像中的行车方向。
12.一种行车方向检测设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任一项所述的行车方向检测方法的步骤。
13.根据权利要求12所述的行车方向检测设备，其特征在于，还包括网络传输模块，所述网络传输模块为无线传输模块或有线传输模块，所述网络传输模块分别与所述处理器和所述存储器相连接。
14.根据权利要求12所述的行车方向检测设备，其特征在于，还包括FPGA加速卡，所述FPGA加速卡分别与所述处理器和所述存储器相连接。
15.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至10中任一项所述的行车方向检测方法的步骤。
CN202011350281.5A 2020-11-26 2020-11-26 行车方向检测方法、系统、设备及存储介质 Active CN112329722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011350281.5A CN112329722B (zh) 2020-11-26 2020-11-26 行车方向检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011350281.5A CN112329722B (zh) 2020-11-26 2020-11-26 行车方向检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112329722A CN112329722A (zh) 2021-02-05
CN112329722B true CN112329722B (zh) 2021-09-28

Family

ID=74308862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011350281.5A Active CN112329722B (zh) 2020-11-26 2020-11-26 行车方向检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112329722B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570877B (zh) * 2021-06-22 2022-09-23 淮阴工学院 一种非机动车逆行检测装置及检测方法
CN114882393B (zh) * 2022-03-29 2023-04-07 华南理工大学 一种基于目标检测的道路逆行与交通事故事件检测方法
CN114913695B (zh) * 2022-06-21 2023-10-31 上海西井科技股份有限公司 基于ai视觉的车辆逆行检测方法、系统、设备及存储介质
CN114972945A (zh) * 2022-06-21 2022-08-30 上海西井信息科技有限公司 多机位信息融合的车辆识别方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768353A (zh) * 2003-09-02 2006-05-03 松下电器产业株式会社 目标行进方向检测方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN111539303A (zh) * 2020-04-20 2020-08-14 长安大学 基于单目视觉的车辆驾驶偏移预警方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254318B (zh) * 2011-04-08 2013-01-09 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法
WO2017162278A1 (en) * 2016-03-23 2017-09-28 Deutsche Telekom Ag System and method for a full lane change aid system with augmented reality technology
CN107516423B (zh) * 2017-07-20 2020-06-23 济南中维世纪科技有限公司 一种基于视频的车辆行驶方向检测方法
US11403857B2 (en) * 2018-11-19 2022-08-02 Nauto, Inc. System and method for vehicle localization
CN111275960A (zh) * 2018-12-05 2020-06-12 杭州海康威视系统技术有限公司 一种交通路况分析方法、系统及摄像机
CN109815831B (zh) * 2018-12-28 2021-03-23 东软睿驰汽车技术（沈阳）有限公司 一种车辆朝向获取方法及相关装置
CN110414329A (zh) * 2019-06-19 2019-11-05 上海眼控科技股份有限公司 一种基于图像的车辆行驶方向判断方法
CN111767853B (zh) * 2020-06-30 2024-04-23 北京百度网讯科技有限公司 车道线检测方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1768353A (zh) * 2003-09-02 2006-05-03 松下电器产业株式会社 目标行进方向检测方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN111539303A (zh) * 2020-04-20 2020-08-14 长安大学 基于单目视觉的车辆驾驶偏移预警方法

Also Published As

Publication number Publication date
CN112329722A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112329722B (zh) 行车方向检测方法、系统、设备及存储介质
EP4152204A1 (en) Lane line detection method, and related apparatus
CN109931945B (zh) Ar导航方法、装置、设备和存储介质
US11064178B2 (en) Deep virtual stereo odometry
US9270891B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
EP3617997A1 (en) Method, apparatus, device, and storage medium for calibrating posture of moving obstacle
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
EP4050305A1 (en) Visual positioning method and device
CN113469045B (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
WO2023184869A1 (zh) 室内停车场的语义地图构建及定位方法和装置
CN115249266A (zh) 航路点位置预测方法、系统、设备及存储介质
Kocur et al. Traffic camera calibration via vehicle vanishing point detection
CN109300322B (zh) 引导线绘制方法、装置、设备和介质
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN117789148A (zh) 车道线检测方法、系统、设备及存储介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN116883972A (zh) 确定障碍物空间位置的方法、模型的训练方法和装置
CN113673288A (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN116452911A (zh) 目标检测模型训练方法及装置、目标检测方法及装置
CN112818866B (zh) 车辆定位的方法、装置及电子设备
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114333390A (zh) 共享车辆停放事件的检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.