CN116071284A - 交通标志物检测方法和交通标志物检测模型的训练方法 - Google Patents

交通标志物检测方法和交通标志物检测模型的训练方法 Download PDF

Info

Publication number
CN116071284A
CN116071284A CN202111243057.0A CN202111243057A CN116071284A CN 116071284 A CN116071284 A CN 116071284A CN 202111243057 A CN202111243057 A CN 202111243057A CN 116071284 A CN116071284 A CN 116071284A
Authority
CN
China
Prior art keywords
traffic
detection
response
image
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111243057.0A
Other languages
English (en)
Inventor
沈振伟
黄泽昊
王乃岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN202111243057.0A priority Critical patent/CN116071284A/zh
Priority to EP22201576.0A priority patent/EP4170601A1/en
Priority to AU2022252806A priority patent/AU2022252806A1/en
Priority to JP2022169974A priority patent/JP2023064093A/ja
Priority to US18/049,597 priority patent/US20230129175A1/en
Publication of CN116071284A publication Critical patent/CN116071284A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/471—Contour-based spatial representations, e.g. vector-coding using approximation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Investigation Of Foundation Soil And Reinforcement Of Foundation Soil By Compacting Or Drainage (AREA)

Abstract

本公开涉及一种交通标志物检测方法和交通标志物检测模型的训练方法，涉及智能交通技术领域，特别涉及自动驾驶技术。交通标志物检测方法，包括：获取包含交通标志物的目标图像；以及将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记；其中，所述检测标记包括检测点和检测线中的至少一项，用于表征所述交通标志物在所述目标图像中的位置。

Description

交通标志物检测方法和交通标志物检测模型的训练方法
技术领域
本公开涉及智能交通领域，特别涉及自动驾驶技术，具体涉及一种用于交通标志物检测方法和交通标志物检测模型的训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
交通标志物，例如交通锥，作为道路隔离警戒设施常常出现在道路上。自动驾驶车辆需要具备实时检测交通标志物的能力。
在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
发明内容
根据本公开的一个方面，提供了一种交通标志物检测方法，包括：获取包含交通标志物的目标图像；以及将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记，其中，所述检测标记包括检测点和检测线中的至少一项，用于表征所述交通标志物在所述目标图像中的位置。
根据本公开的另一方面，提供了一种交通标志物检测模型的训练方法，包括：获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物的预测标记；以及基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
根据本公开的另一方面，提供了一种交通标志物检测装置，包括：图像获取单元，被配置用于获取包含交通标志物的目标图像；以及检测单元，被配置用于将所述目标图像输入到交通标志物检测模型中，得到所述交通标志物对应的检测标记，其中，所述检测标记包括检测点，用于表征所述交通标志物在所述目标图像中的位置，且所述检测标记包括检测点和检测线中的至少一项。
根据本公开的另一方面，提供了一种训练交通标志物检测模型的装置，包括：第一获取单元，被配置用于获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；模型预测单元，被配置用于将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物对应的预测标记；以及模型训练单元，被配置用于基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有指令，该指令当被至少一个处理器执行时使至少一个处理器执行本公开所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所述的方法。
根据本公开的另一方面，提供了一种车辆，包括如前所述的电子设备。
根据本公开的一个或多个实施例，通过将包含交通标志物的目标图像输入到交通标志物检测模型，得到交通标志物对应的检测点或检测线，使得对于道路上交通标志物，无论以何种形式出现，无论距离车辆上的用以获取目标图像的摄像装置多远，均能够实现对交通标志物的检测。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1示出根据示例性实施例的应用场景的示意图；
图2示出了根据本公开的实施例的交通标志物检测方法的流程图；
图3示出了根据本公开的实施例的包含交通标志物的图像的示意图；
图4示出了根据本公开的实施例的交通标志物检测方法中将目标图像输入到交通标志物检测模型得到交通标志物对应的检测标记的过程的流程图；
图5示出了根据本公开的实施例的交通标志物检测模型的训练方法的流程图；
图6示出了根据本公开的实施例的标注图像的示意图；
图7示出了根据本公开的实施例的交通标志物检测模型的训练方法中基于训练图像的预测标记和标注图像的标注标记对交通标志物检测模型进行训练的过程的流程图；
图8示出了根据本公开的实施例的交通标志物检测装置的示例性框图；
图9示出了根据本公开的实施例的交通标志物检测模型的训练装置的示例性框图；以及
图10是示出能够应用于示例性实施例的示例性计算设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
本公开的实施例提供了一种新的交通标志物检测方法以及交通标志物检测模型的训练方法。下文中将结合附图描述本公开的原理。
图1示出根据示例性实施例的应用场景100的示意图。如图1所示，该应用场景100可以包括车辆110(如图1中示出的车辆)、网络120、服务器130以及数据库140。其中，车辆110可以搭载有用于自动驾驶的电子系统。
车辆110可以耦接有摄像装置，用以采集道路上的图像数据，其中，图像数据包括包含有交通标志物的目标图像。车辆110可以为自动驾驶车辆，如自动驾驶卡车。
车辆110还可以包括通信单元，并可以将目标图像经由网络120发送至服务器130，并由服务器130执行本申请提供的交通标志物检测方法。
在一些实现方式中，服务器130可以利用服务器内置的应用程序执行本申请提供的交通标志物检测方法。在另一些实现方式中，服务器130可以通过调用服务器外部存储的应用程序执行本申请提供的交通标志物检测方法。
网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器130可以内置于车辆110中，作为车辆110的车载服务器；也可以是独立于车辆110的外部设备，用于远程为车辆110提供服务。服务器110可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。
数据库140可以泛指具有存储功能的设备。数据库140主要用于存储从车辆110和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库140可以是独立的设备。在另一些实施例中，数据库140也可以集成在车辆110和服务器130中的至少一个中。例如，数据库140可以设置在车辆110上，也可以设置在服务器130上。又例如，数据库140也可以是分布式的，其一部分设置在车辆110上，另一部分设置在服务器130上。
图2示出了根据本公开的实施例的交通标志物检测方法的流程图。可以利用图1中示出的服务器130执行图2中示出的方法200。
如图2所示，根据本公开的一些实施例的交通标志物检测方200包括：
步骤S210：获取包含交通标志物的目标图像；以及
步骤S220：将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记，其中，所述检测标记包括检测点和检测线中的至少一项，用于表征所述交通标志物在所述目标图像中的位置。
根据本公开的一个或多个实施例，通过将包含交通标志物的目标图像输入到交通标志物检测模型，得到交通标志物对应的检测点或检测线，使得对于道路上交通标志物，无论以何种形式出现，无论距离车辆上的用以获取目标图像的摄像装置多远，均能够实现对交通标志物的检测。
在相关技术中，对道路上的交通标志物进行检测的过程中，采用包围交通标志物的矩形框表征交通标志物在图像中的位置。当图像中包含道路上设置的多个交通标志物时，往往无法对每一交通标志物均进行清楚表征，使交通标志物的检测受限。
图3示出根据一些实施例的包含交通标志物的图像的示意图。其中，图3为由在道路上行驶的车辆的车载摄像装置获取的沿着道路延伸方向摆放的多个交通锥，例如交通锥301的图像，由于摄像装置采集图像时具有近大远小的成像特点，使图像中距离车辆较远处的多个交通锥301往往相互遮挡或者模糊不清(如图3中方框A所示)。此时采用包围交通锥301的矩形框表征交通锥301在图形中的位置，使得对于距离车辆较远处的多个交通锥301，其对应的多个检测框发生重叠而无法分辨或者无法使用检测框表征，因而使远处的交通锥301无法分辨，检测受限。在根据本公开的实施例中，交通锥301可以用检测点和/或检测线表征，具体可以全部表征为检测点，也可以将检测点拟合为检测线，还可以采用检测点和检测线相结合的方式表征。例如，对于距离测量较近处的交通锥301可以采用检测点表征，对于距离车辆较远处的多个交通锥301可以采用检测线表征，从而可以实现对图像中的所有交通锥的表征，进而可以实现对图像中的所有交通锥的检测。
需要理解的是，实施例以包含沿着道路延伸方向摆放的多个交通锥的图3为示例说明根据本公开的方法可以实现对距离车辆上的摄像装置较远处的多个交通锥的表征仅仅是示例性的，本领域技术人员应当理解，对任何摆放形式的交通标志物(例如横穿道路摆放、位于道路两侧等)，根据本公开的方法均可以实现对交通标志物的表征，进而实现对交通标志物的检测。
同时，需要理解的是，实施例以对图3中距离车辆较近处的各个交通锥301采用检测点表征，对距离车辆较远处的多个交通锥301采用检测线表征仅仅是示例性的。本领域技术人员应当理解，根据本公开的方法还可以对图3中的多个交通锥301均采用检测点表征或者采用同一检测线表征。
例如，在一些实施例中，将图3中的每个交通锥301均以检测点表征，视觉上来看，远处密集的多个交通锥301的检测点可以近似为一条线。在另一些实施例中，进一步可以将远处密集的多个交通锥301的检测点连成一条检测线。在另一些实施例中，进一步通过聚类和拟合这些交通锥301的检测点，生成一条拟合线，从而以拟合线的形式表征这些交通锥301。
在一些实施例中，交通标志物包括多种类型的交通标志要素，多种类型的交通标志要素例如可以包括交通锥、水马、电线杆、车道线或者道路两旁的树等等，在此并不限定。
在一些实施例中，目标图像中包括同一类型的多个交通标志要素，例如包括沿道路延伸方向摆放的多个交通锥，横穿道路摆放的多个水马等。
在一些实施例中，交通标志物包括多个第一交通标志要素，多个第一交通标志要素中的任意两个相邻第一交通标志要素之间的像素距离大于或者等于预设阈值，检测标记包括对应于每一个第一交通标志要素的检测点。这里的像素距离可以是第一交通标志要素的中心点之间的像素距离，或者同一位置顶点的像素距离，也可以是相邻两个第一交通标志要素的相邻左右边界之间的距离。
对于多个第一交通标志要素，由于相邻的第一交通标志要素之间的像素距离大于或者等于预设阈值，使多个第一交通标志要素中的每一个第一交通标志要素在目标图像中可以被清晰分辨。对每一个第一交通标志要素采用检测点标记，使检测点所表征的第一交通标志要素在目标图像中的位置准确、清晰且可以被分辨，有利于车辆根据检测点标记的第一交通标志要素调整行驶路径。
在一些实施例中，交通标志物包括多个第二交通标志要素，多个第二交通标志要素中的任意两个相邻第二交通标志要素之间的像素距离小于预设阈值，标注标记包括对应于多个第二交通标志要素的检测线。同样地，这里的像素距离可以是第一交通标志要素的中心点之间的像素距离，或者同一位置顶点的像素距离，也可以是相邻两个第一交通标志要素的相邻左右边界之间的距离。
对于多个第二交通标志要素，由于相邻的第二交通标志要素之间的像素距离小于预设阈值，可能在目标图像中出现重叠而无法被清晰分辨，采用检测线标记，使目标图像中发生重叠的第二交通标志要素仍然能够被表征，且检测线表征的第二交通标志要素在目标图像中的位置准确、清晰且可以被分辨，有利于车辆根据检测点标记的第二交通标志要素预判需要调整的行驶路径。
在一个示例中，交通标志要素为交通锥，并且多个交通锥沿着道路延伸方向摆放，使得目标图像中的目标交通标志物中的多个第一交通标志要素和多个第二交通标志要素分别对应于多个第一交通锥和多个第二交通锥。其中，多个第一交通锥位于目标图像中靠近用以采集目标图像的图像采集装置的一侧，多个第二交通锥位于目标图像中远离图像采集装置的一侧。使得对于多个第一交通锥，任意两个相邻交通锥之间的像素距离大于或者等于预设阈值；对于多个第二交通锥，任意两个相邻交通锥之间的像素距离小于预设阈值。在根据本公开的实施例中，采用检测点标记多个第一交通锥中的每一个第一交通锥，采用检测线标记多个第二交通锥，从而得到同时包括检测点和检测线的检测标记。
需要理解的是，上述示例中以检测标记包括检测点和检测线为示例进行说明，仅仅是示例性的，本领域技术人员应当理解，检测标记仅包括检测点、仅包括检测线、包括检测点与检测框的组合或者包括检测线、检测点和检测框的组合等等均适用于本公开的实施例。在另一些实施例中，检测标记还可以包括检测面，即以一个平面来表示交通标志物。
同时，需要理解的是，上述示例中以交通锥作为交通标志要素为示例，说明对多个第一交通标志要素和多个第二交通标志要素进行检测时得到相应的检测点和检测线仅仅是示例性的。本领域技术人员应当理解，多个第一交通标志要素和多个第二交通标志要素可以是相同类型的交通标志要素，也可以是不同类型的交通标志要素；其中，多个第一交通标志要素中的各个第一交通标志要素可以是相同类型的交通标志要素，也可以是不同类型的交通标志要素，多个第二交通标志要素中的各个第二交通标志要素可以是相同类型的交通标志要素，也可以是不同类型的交通标志要素，其均适用于本公开的实施例。例如，多个第一交通标志物包括多个交通锥和多个电线杆，多个第二交通标志物包括多个交通锥和多个水马，等。
在一些实施例中，目标图像是由车辆上的图像采集装置获得的，检测标记位于所述交通标志物的靠近所述车辆的一侧。进一步地，检测标记位于交通标志物距离车辆最近的一个顶点角位置。例如，假设图像采集装置所在的车辆位于交通标志物的左侧，若车辆向后行驶，则检测标记可位于交通标志物的左下方，若车辆向前行驶，则检测标记可位于交通标志物的左上方，方便根据检测标记计算车辆与交通标志物的最近距离，避免发生碰撞。
基于车辆上的图像采集装置获得的目标图像，得到靠近车辆的一侧的检测标记，从而可以基于该检测标记调整车辆行驶路径，例如，调整行驶路径以避开检测标记。
在一些实施例中，如图4所示，步骤S220、将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记包括：
步骤S410：获得所述目标图像对应的响应图，所述响应图中各位置的响应值用于表征各位置存在交通标志物的置信度；以及
步骤S420：根据所述响应图中各位置的响应值，生成所述检测标记。
在一些实施例中，响应图与为目标图像对应。该响应图可以与目标图像的像素尺寸一一对应，也可以是目标图像按照预定比例缩放的缩放图，只要能够根据目标图像中的像素点找到响应图中的对应点即可，本公开对此不作限制。
在一些实施例中，响应图与目标图像中交通标志物所在的区域对应。例如，响应图出现在目标图像上与交通标志物所在的区域。进一步地，响应图与目标图像中交通标志物的检测标记所在的区域对应。例如，该交通标志物的检测标记在交通标志物的左下角，则响应图主要显示在该左下角预定范围的响应值。
在一些实施例中，根据所述响应图中各位置的响应值，生成所述检测标记包括：采用预设滑窗区域在所述响应图中作滑窗操作，若所述滑窗区域的目标点的响应值满足预定条件，则在所述滑窗区域的目标点生成一个检测标记；其中，所述预定条件为所述滑窗区域的目标点的响应值大于等于预设阈值且为所述滑窗区域的局部极大值。
由于响应图的各位置的响应值表征各位置存在交通标志物的置信度，将滑窗区域的大于等于阈值的局部极大值作为生成检测标记的目标点，即在滑窗区域内的存在交通标志物的置信度最大的位置生成检测标记，使生成的检测标记准确。
需要说明的是，本公开的术语“局部极大值”是指响应图在滑窗区域中的各位置的响应值中的最大响应值。
在一些实施例中，所述交通标志物包括多种类型的交通标志要素，并且其中，所述响应图包括与所述多种类型的交通标志要素对应的多个子响应图，且所述多个子响应图中的每一个子响应图中各个位置的响应值用于表征各位置存在对应类型的交通标志要素的置信度。
在根据本公开的实施例中，针对多种类型的交通标志要素，分别生成各自对应的子响应图，从而可以根据对应的子响应图能生成各种类型的交通标志要素的检测标记，使生成的检测标记准确。
例如，交通标志物包括交通锥和水马两种类型的交通标志要素，是生成的响应图包括对应于交通锥的第一子响应图和对应于水马的第二子响应图，根据第一子响应图可以生成对应于交通锥的检测标记，根据第二子响应图可以生成对应于水马的检测标记，使生成的检测标记准确。
在一些实施例中，所述检测标记包括多种类型的检测标记标识，步骤S320根据所述响应图中各位置的响应值，生成所述检测标记包括：
对于多个子响应图中的每一个子响应图，根据该子响应图中各个位置的响应值，生成与对应类型的交通标志要素相应类型的检测标记标识。
针对多种类型的交通标志要素中的每一类型的交通标志要素，根据对应的子响应图生成相应类型的检测标记标识，使根据检测标记标识可以识别出相应类型的交通标志要素，进而可以根据相应类型的交通标志要素调整车辆行驶路径。
在一些实施例中，多种类型的检测标记标识可以是不同颜色类型的检测标记，例如红色检测点和检测线、绿色检测点和检测线、蓝色检测点和检测线。
例如，对于交通标志物中的交通锥和水马，分别生成红色检测线和绿色检测线作为各自对应的检测标记标识，使根据红色检测线可以获得该交通标记物中的交通标志要素为交通锥，根据绿色检测线可以获得该交通标记物中的交通标志要素为水马。
在一些实施例中，多种类型的检测标记标识可以多种形状的检测标记标识，例如圆形检测点、菱形检测点、和三角形检测点等。
在一些实施例中多种类型的检测标记标识可以为多种颜色类型和多种形状的组合的检测标记标识。
根据本公开的另一个方面，还提供了一种交通标志物检测模型的训练方法。应当理解的是，本领域技术人员可以根据需要自行设定交通标志物检测模型的模型结构、参数和超参数，只要能够基于输入的目标图像输出对应的响应图和检测标记即可，本公开该网络模型的结构和参数不作具体限制。例如，该交通标志物检测模型可以包括卷积神经网络和标记检测模块，该卷积神经网络可以是UNet(U型网络)/HRNet(高分辨率网络)等网络结构形式，用以生成与目标图像对应的响应图，标记检测模块则用于根据响应图输出最终的检测标记。这两种子网络的结构和参数，本领域技术人员同样可以根据需要自行设定，本公开对此不作限制。
参看图5，根据本公开的一些实施例的交通标志物检测模型的训练方法500包括：
步骤S510：获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；
步骤S520：将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物的预测标记；以及
步骤S530：基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
通过包括标注点和标注线中的至少一项的标注标记标注训练图像中的交通标志物的位置，使根据训练图像训练后的交通标志物检测模型输出的用以表征交通标志物的位置的检测标记为点或线中的至少一项，从而对于道路上交通标志物，无论以何种形式出现，无论距离车辆上的用以获取目标图像的摄像装置多远，通过训练后的交通标志物检测模型均能够实现对交通标志物的检测。
在一些实施例中，交通标志物包括多种类型的交通标志要素，交通标志要素例如可以是交通锥、水马、电线杆、车道线或者道路两旁的树等等，在此并不限定。
在一些实施例中，交通标志物包括多个第一交通标志要素，所述多个第一交通标志要素中的任意两个相邻所述第一交通标志要素之间的像素距离大于或者等于预设像素距离，所述标注标记包括对应于每一个第一交通标志要素的标注点。
对于多个第一交通标志要素，由于相邻的第一交通标志要素之间的像素距离大于或者等于预设阈值，使多个第一交通标志要素每一个第一交通标志要素在目标图像中可以被清晰分辨。对每一个第一交通标志要素采用标注点标注，使标注点所表征的第一交通标志要素在训练图像中的位置准确，从而使根据包括标注标记的标注图像训练后的交通标志物检测模型能够准确获得第一交通标志要素在训练图像中的位置。
在一些实施例中，交通标志物包括多个第二交通标志要素，所述多个第二交通标志要素中的任意两个相邻所述第二交通标志要素之间的像素距离小于预设像素距离，所述标注标记包括对应于所述多个第二交通标志要素的标注线。
对于多个第二交通标志要素，由于相邻的第二交通标志要素之间的像素距离小于预设阈值，可能在训练图像中出现重叠而无法被清晰分辨，采用标注线标记，使训练图像中发生重叠的第二交通标志要素仍然能够被表征，且标注线表征的第二交通标志要素在训练图像中的位置准确，从而使根据包括标注标记的标注图像训练后的交通标志物检测模型能够准确获得第二交通标志要素在训练图像中的位置。
在一个示例中，如图6所示，通过车载摄像装置获得的训练图像中的交通标志物包括多个交通锥601，并且多个交通锥沿着道路延伸方向摆放，使得训练图像中包括的训练交通标志物包括多个第一交通锥(如图6中方框C中所示)和多个第二交通锥(如图6中方框B中所示)。其中，多个第一交通锥位于训练图像中靠近用以采集训练图像的图像采集装置的一侧，多个第二交通锥位于训练图像中远离图像采集装置的一侧。使得对于多个第一交通锥，任意两个相邻第一交通锥之间的像素距离大于或者等于预设阈值；对于多个第二交通锥，任意两个相邻第二交通锥之间的像素距离小于预设阈值。在根据本公开的实施例中，如图6所示，采用标注点620标注多个第一交通锥中的每一个第一交通锥，采用标注线610标注多个第二交通锥中的每一个第二交通锥，从而得到同时包括标注点610和标注线620的标注标记。
需要说明的是，本实施例中通过同时包括标注点和标注线的标注标志标注交通标志物仅仅是示例性的，还可以仅通过标注点标注交通标志物，或者仅通过标注线标注交通标志物。
在一些实施例中，步骤S520、将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物的预测标记交通标志物检测模型基于所述训练图像得到所述训练图像中的所述交通标志物对应的预测标记包括：所述交通标志物检测模型基于所述训练图像获取对应于该训练图像的预测响应图，所述预测响应图包括各位置的预测响应值，并且其中，如图7所示，步骤S530、基于所述训练图像的预测标记和所述标注图像的标注标记对所述交通标志物检测模型进行训练包括：
步骤S710：获得所述标注图像的对应的真值响应图，所述真值响应图包括各位置的真值响应值；以及
步骤S720：基于所述预测响应图的预测响应值和所述真值响应图的真值响应值对所述交通标志物检测模型进行训练。
通过交通标志物检测模型输出的训练图像的预测响应图和标注图像的真值响应图，训练交通标志物检测模型，由于预测响应图中各个位置的预测响应值表征各个位置存在交通标志物的置信度，真值响应图中各个位置的真值响应值表征各个位置存在交通标志物的置信度，基于预测响应图的预测响应值和真值响应图的真值响应值训练交通标志物检测模型，使训练的交通标志物检测模型能够输出与真值响应图相应的预测响应图，进而根据预测响应图得到预测标记，从而实现对交通标志物检测模型的训练。
在一些实施例中，所述真值响应图中，所述标注标记预定范围内(如预定m个像素范围内)各位置的真值响应值呈现预定分布(如高斯分布，当然不限于此)，以使对应于标注标记所在的位置的第一位置的真值响应值大于区别于该第一位置的第二位置的真值响应值。
例如，在获取真值响应图的过程中，将标注图像中对应于标注标记所在的位置的第一位置的真值响应值设置为1，根据到第一位置的距离，将位于第一位置附近的位置的真值响应值设置为小于1的相应的数值，具体地，将到第一位置的距离小于或者等于第一距离S的第二位置的真值响应值设置为0.8，将到第一位置的距离小于或者等于2S(两倍的第一距离)的第三位置的真值响应值设置为0.6，……，依次类推，将到第一位置的距离超过5S(物五倍的第一距离)的第六位置的响应值设置为0。
在一些实施例中，所述真值响应图中，所述标注标记处的真值响应值为第一数值，非标记标注处的真值响应值为区别于第一数值的第二数值。
例如，在获取真值响应图的过程中，将标注图像中对应于标注标记所在的位置的第一位置的真值响应值设置为1，将标注图像中其他位置(非标注标记所在的位置)的真值响应值设置为0。
在一些实施例中，所述交通标志物包括多种类型的交通标志要素，并且其中，获得所述标注图像的对应的真值响应图包括：获取与所述多种类型的交通标志要素对应的多个真值子响应图，其中，对于所述多个真值子响应图中的每一个真值子响应图，该真值子响应图中各个位置的真值响应值用于表征各位置存在对应类型的交通标要素的置信度。
对于多种类型的交通标志要素，分别获取各种类型的交通标志要素对应的真值子响应图，以使针对多种类型的交通标志要素中的每一种类型的交通标志要素，能够基于其对应的真值子响应图生成对应类型的交通标志要素相应的检测标记标识，使根据相应的检测标记标识能够获得对应类型的交通标志要素。
在一些实施例中，所述训练图像是由车辆上的图像采集装置获得的，所述标注标记位于所述交通标志物的靠近所述车辆的一侧。
基于车辆上的图像采集装置获得的训练图像，使训练得到的交通标志物检测模型输出的位于图像中靠近车辆的一侧，从而可以基于检测标记调整车辆行驶路径，例如，调整行驶路径以避开检测标记。
根据本公开的另一方面，还提供一种交通标志物检测装置。
参看图8，根据本公开的一些实施例的交通标志物检测装置800包括：图像获取单元810，被配置用于获取包含交通标志物的目标图像；以及检测单元820，被配置用于将所述目标图像输入到交通标志物检测模型中，得到所述交通标志物对应的检测标记，其中，所述检测标记包括检测点，用于表征所述交通标志物在所述目标图像中的位置，且所述检测标记包括检测点和检测线中的至少一项。
这里，交通标志物检测装置800的上述各单元810～820的操作分别与前面描述的步骤S210～S220的操作类似，在此不再赘述。
根据本公开的另一方面，还提供一种训练交通标志物检测模型的装置。
参看图9，根据本公开的一些实时的训练交通标志物检测模型的装置900包括：
第一获取单元910，被配置用于获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；模型预测单元920，被配置用于将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物对应的预测标记；以及模型训练单元930，被配置用于基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
这里，训练交通标志物检测模型的装置900的上述各单元910～930的操作分别与前面描述的步骤S510～S530的操作类似，在此不再赘述。
根据本公开的另一方面，还提供一种电子设备，包括：至少一个处理器；以及至少一个存储器，所述存储器存储有指令，所述指令当被所述至少一个处理器执行时使所述至少一个处理器执行如上所述的方法。
根据本公开的另一方面，还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现如上所述的方法。
根据本公开的另一方面，还提供一种车辆，包括如上所述的电子设备。
参照图10，现将描述电子设备1000，其是可以应用于本公开的各方面的硬件设备的示例。电子设备1000可以是被配置为执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机或其任何组合。上述交通数据可视化装置可以全部或至少部分地由电子设备1000或类似设备或系统实现。
电子设备1000可以包括(可能经由一个或多个接口)与总线1002连接或与总线1002通信的元件。例如，电子设备1000可以包括总线1002、一个或多个处理器1004、一个或多个输入设备1006以及一个或多个输出设备1008。一个或多个处理器1004可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如特殊处理芯片)。输入设备1006可以是能向电子设备1000输入信息的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备1008可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。电子设备1000还可以包括非暂时性存储设备1010或者与非暂时性存储设备1010连接，非暂时性存储设备可以是非暂时性的并且可以实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非暂时性存储设备1010可以从接口拆卸。非暂时性存储设备1010可以具有用于实现上述方法和步骤的数据/程序(包括指令)/代码。电子设备1000还可以包括通信设备1012。通信设备1012可以是使得能够与外部设备和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
电子设备1000还可以包括工作存储器1014，其可以是可以存储对处理器1004的工作有用的程序(包括指令)和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件要素(程序)可以位于工作存储器1014中，包括但不限于操作系统1016、一个或多个应用程序1018、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以被包括在一个或多个应用程序1018中，并且上述交通数据可视化装置可以通过由处理器1004读取和执行一个或多个应用程序1018的指令来实现。软件要素(程序)的指令的可执行代码或源代码可以存储在非暂时性计算机可读存储介质(例如上述存储设备1010)中，并且在执行时可以被存入工作存储器1014中(可能被编译和/或安装)。软件要素(程序)的指令的可执行代码或源代码也可以从远程位置下载。
还应该理解，可以根据具体要求而进行各种变型。例如，也可以使用定制硬件，和/或可以用硬件、软件、固件、中间件、微代码，硬件描述语言或其任何组合来实现特定元件。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法，用汇编语言或硬件编程语言(诸如VERILOG，VHDL，C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)进行编程来实现。
还应该理解，前述方法可以通过服务器-客户端模式来实现。例如，客户端可以接收用户输入的数据并将所述数据发送到服务器。客户端也可以接收用户输入的数据，进行前述方法中的一部分处理，并将处理所得到的数据发送到服务器。服务器可以接收来自客户端的数据，并且执行前述方法或前述方法中的另一部分，并将执行结果返回给客户端。客户端可以从服务器接收到方法的执行结果，并例如可以通过输出设备呈现给用户。
还应该理解，电子设备1000的组件可以分布在网络上。例如，可以使用一个处理器执行一些处理，而同时可以由远离该一个处理器的另一个处理器执行其他处理。计算系统1000的其他组件也可以类似地分布。这样，电子设备1000可以被解释为在多个位置执行处理的分布式计算系统。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (19)

1.一种交通标志物检测方法，包括：
获取包含交通标志物的目标图像；以及
将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记，
其中，所述检测标记包括检测点和检测线中的至少一项，用于表征所述交通标志物在所述目标图像中的位置。
2.如权利要求1所述的方法，其中，所述将所述目标图像输入到交通标志物检测模型，得到所述交通标志物对应的检测标记包括：
获得所述目标图像对应的响应图，所述响应图中各位置的响应值用于表征各位置存在交通标志物的置信度；以及
根据所述响应图中各位置的响应值，生成所述检测标记。
3.如权利要求2所述的方法，其中，所述根据所述响应图中各位置的响应值，生成所述检测标记包括：
采用预设滑窗区域在所述响应图中作滑窗操作，若所述滑窗区域的目标点的响应值满足预定条件，则在所述滑窗区域的目标点生成一个检测标记；
其中，所述预定条件为所述滑窗区域的目标点的响应值大于等于预设阈值且为所述滑窗区域的局部极大值。
4.如权利要求2所述的方法，其中，所述交通标志物包括多种类型的交通标志要素，并且其中，所述获得所述目标图像对应的响应图包括：
获得与所述多种类型的交通标志要素对应的多个子响应图，且所述多个子响应图中的每一个子响应图中各位置的响应值用于表征各位置存在对应类型的交通标志要素的置信度。
5.如权利要求4所述的方法，其中，所述检测标记包括多种类型的检测标记标识，所述根据所述响应图中各位置的响应值，生成所述检测标记包括：
对于多个子响应图中的每一个子响应图，根据该子响应图中各位置的响应值，生成对应类型的交通标志要素的相应类型的检测标记标识。
6.如权利要求1-5任一项所述的方法，其中，所述目标图像是由车辆上的图像采集装置获得的，所述检测标记位于所述交通标志物的靠近所述车辆的一侧。
7.一种交通标志物检测模型的训练方法，包括：
获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；
将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物的预测标记；以及
基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
8.如权利要求7所述的方法，其中，所述交通标志物包括多个第一交通标志要素，所述多个第一交通标志要素中的任意两个相邻所述第一交通标志要素之间的像素距离大于或者等于预设像素距离，所述标注标记包括对应于每一个第一交通标志要素的标注点。
9.如权利要求7或8所述的方法，其中，所述交通标志物包括多个第二交通标志要素，所述多个第二交通标志要素中的任意两个相邻所述第二交通标志要素之间的像素距离小于预设像素距离，所述标注标记包括对应于所述多个第二交通标志要素的标注线。
10.如权利要求7所述的方法，其中，
所述将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物的预测标记包括：
所述交通标志物检测模型基于所述训练图像获取对应于该训练图像的预测响应图，所述预测响应图包括各位置的预测响应值；并且其中，
基于所述训练图像的预测标记和所述标注图像的标注标记对所述交通标志物检测模型进行训练包括：
获得所述标注图像的对应的真值响应图，所述真值响应图包括各位置的真值响应值；以及
基于所述预测响应图的预测响应值和所述真值响应图的真值响应值对所述交通标志物检测模型进行训练。
11.如权利要求10所述的方法，其中，所述真值响应图中：
所述标注标记预定范围内的各位置处的真值响应值呈现预定分布；或者所述标注标记处的真值响应值为第一数值，非标记标注处的真值响应值为区别于第一数值的第二数值。
12.如权利要求10所述的方法，其中，所述交通标志物包括多种类型的交通标志要素，并且其中，所述获得所述标注图像对应的真值响应图包括：
获得与所述多种类型的交通标志要素对应的多个真值子响应图，其中，对于所述多个真值子响应图中的每一个真值子响应图，该真值子响应图中各个位置的真值响应值用于表征各位置存在对应类型的交通标要素的置信度。
13.如权利要求7所述的方法，其中，所述训练图像是由车辆上的图像采集装置获得的，所述标注标记位于所述交通标志物的靠近所述车辆的一侧。
14.一种交通标志物检测装置，包括：
图像获取单元，被配置用于获取包含交通标志物的目标图像；以及
检测单元，被配置用于将所述目标图像输入到交通标志物检测模型中，得到所述交通标志物对应的检测标记，
其中，所述检测标记包括检测点，用于表征所述交通标志物在所述目标图像中的位置，且所述检测标记包括检测点和检测线中的至少一项。
15.一种训练交通标志物检测模型的装置，包括：
第一获取单元，被配置用于获取训练图像和与所述训练图像对应的标注图像，所述训练图像包括交通标志物，所述标注图像包括所述训练图像中的所述交通标志物对应的标注标记，所述标注标记用于标注所述交通标志物在对应的训练图像中的位置，且所述标注标记包括标注点和标注线中的至少一项；
模型预测单元，被配置用于将所述训练图像输入交通标志物检测模型，得到所述训练图像中的所述交通标志物对应的预测标记；以及
模型训练单元，被配置用于基于所述训练图像的预测标记和对应的所述标注图像的标注标记对所述交通标志物检测模型进行训练。
16.一种电子设备，包括：
至少一个处理器；以及
至少一个存储器，所述存储器存储有指令，所述指令当被所述至少一个处理器执行时使所述至少一个处理器执行权利要求1-13中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。
18.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-13中任一项所述的方法。
19.一种车辆，包括如权利要求16所述的电子设备。
CN202111243057.0A 2021-10-25 2021-10-25 交通标志物检测方法和交通标志物检测模型的训练方法 Pending CN116071284A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202111243057.0A CN116071284A (zh) 2021-10-25 2021-10-25 交通标志物检测方法和交通标志物检测模型的训练方法
EP22201576.0A EP4170601A1 (en) 2021-10-25 2022-10-14 Traffic marker detection method and training method for traffic marker detection model
AU2022252806A AU2022252806A1 (en) 2021-10-25 2022-10-14 Traffic marker detection method and training method for traffic marker detection model
JP2022169974A JP2023064093A (ja) 2021-10-25 2022-10-24 交通標識検出方法及び交通標識検出モデルのトレーニング方法
US18/049,597 US20230129175A1 (en) 2021-10-25 2022-10-25 Traffic marker detection method and training method for traffic marker detection model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111243057.0A CN116071284A (zh) 2021-10-25 2021-10-25 交通标志物检测方法和交通标志物检测模型的训练方法

Publications (1)

Publication Number Publication Date
CN116071284A true CN116071284A (zh) 2023-05-05

Family

ID=83693165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111243057.0A Pending CN116071284A (zh) 2021-10-25 2021-10-25 交通标志物检测方法和交通标志物检测模型的训练方法

Country Status (5)

Country Link
US (1) US20230129175A1 (zh)
EP (1) EP4170601A1 (zh)
JP (1) JP2023064093A (zh)
CN (1) CN116071284A (zh)
AU (1) AU2022252806A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022060074A (ja) * 2020-10-02 2022-04-14 株式会社Subaru 車両の運転支援装置
CN116721355B (zh) * 2023-08-09 2023-10-24 江西云眼视界科技股份有限公司 广告牌检测方法、系统、可读存储介质及计算机设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
CN110781768A (zh) * 2019-09-30 2020-02-11 奇点汽车研发中心有限公司 目标对象检测方法和装置、电子设备和介质
CN113924462A (zh) * 2020-01-03 2022-01-11 移动眼视觉科技有限公司 用于确定物体尺寸的导航系统和方法

Also Published As

Publication number Publication date
JP2023064093A (ja) 2023-05-10
AU2022252806A1 (en) 2023-05-11
EP4170601A1 (en) 2023-04-26
US20230129175A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
CN112417967B (zh) 障碍物检测方法、装置、计算机设备和存储介质
US10540554B2 (en) Real-time detection of traffic situation
US9830510B2 (en) Method and apparatus for object identification and location correlation based on received images
EP4152204A1 (en) Lane line detection method, and related apparatus
EP4170601A1 (en) Traffic marker detection method and training method for traffic marker detection model
JP2019008460A (ja) 物体検出装置、物体検出方法およびプログラム
JP2019096072A (ja) 物体検出装置、物体検出方法およびプログラム
KR20170089743A (ko) 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치
CN106097755A (zh) 用于识别泊车场地和/或空出场地的方法
CN110085055A (zh) 用于车辆自高估计的车辆间合作
CN107977654B (zh) 一种道路区域检测方法、装置及终端
CN114097006A (zh) 交叉模态传感器数据对准
EP3940666A1 (en) Digital reconstruction method, apparatus, and system for traffic road
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN112735253B (zh) 红绿灯自动标注方法及计算机设备
WO2022166606A1 (zh) 一种目标检测方法及装置
WO2022082571A1 (zh) 一种车道线检测方法和装置
CN111898491A (zh) 一种车辆逆向行驶的识别方法、装置及电子设备
CN114729810A (zh) 人行横道检测
CN112396044A (zh) 车道线属性信息检测模型训练、车道线属性信息检测方法
CN109903308B (zh) 用于获取信息的方法及装置
WO2022142827A1 (zh) 占道信息确定方法和装置
JP7429246B2 (ja) 対象を識別する方法とシステム
Xiong et al. Fast and robust approaches for lane detection using multi‐camera fusion in complex scenes
CN112099481A (zh) 用于构建道路模型的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination