CN112991434B - 自动驾驶交通标识信息的生成方法及相关装置 - Google Patents

自动驾驶交通标识信息的生成方法及相关装置 Download PDF

Info

Publication number
CN112991434B
CN112991434B CN202110461177.1A CN202110461177A CN112991434B CN 112991434 B CN112991434 B CN 112991434B CN 202110461177 A CN202110461177 A CN 202110461177A CN 112991434 B CN112991434 B CN 112991434B
Authority
CN
China
Prior art keywords
images
image group
target image
preset
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110461177.1A
Other languages
English (en)
Other versions
CN112991434A (zh
Inventor
单国航
朱磊
贾双成
李倩
高雅晰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202110461177.1A priority Critical patent/CN112991434B/zh
Publication of CN112991434A publication Critical patent/CN112991434A/zh
Application granted granted Critical
Publication of CN112991434B publication Critical patent/CN112991434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请是关于一种自动驾驶交通标识信息的生成方法及相关装置。该方法包括：获取包含同一路牌的至少三张图像；在所述至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；选择其中一个目标图像组中的两张图像，作为两张优选图像；根据所述两张优选图像，以及分别拍摄所述两张优选图像时相机的地理位置信息，生成所述路牌的地理坐标。本申请提供的方案，能够获得高精准程度的路牌地理坐标。

Description

自动驾驶交通标识信息的生成方法及相关装置
技术领域
本申请涉及导航技术领域，尤其涉及一种自动驾驶交通标识信息的生成方法及相关装置。
背景技术
随着人工智能、自动驾驶等技术的发展，构建智慧交通也成为了研究热点，而高精地图是智慧交通数据构建中必不可少的部分。高精地图中可以包含多种交通标识信息，例如能够通过详细的车道地图来表达现实世界中诸如车道线、行车停止线、人行横道线等地面特征要素以及路牌、红绿灯等高空特征要素，以便为自动驾驶等应用场景时的导航提供数据支撑。
交通标识中路牌作为城市地理实体的信息承载载体，具备地名、路线、距离和方向等信息导航功能，同时作为分布于城市道路交叉口的基础设施，在空间上具有其特殊性，是城市基础物联网的良好载体。
相关技术中，通常是采用包含同一路牌的两张图像来制作路牌，且用于制作路牌的两张图像一般是人工手动选取的。由于人工选取时主观性强，个体之间存在评判差异，如果选取的图像不好，将会直接影响路牌制作的精度。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种自动驾驶交通标识信息的生成方法及相关装置，能够获得高精准程度的路牌地理坐标。
本申请第一方面提供一种自动驾驶交通标识信息的生成方法，包括：
获取包含同一路牌的至少三张图像；
在所述至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；
将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；
选择其中一个目标图像组中的两张图像，作为两张优选图像；
根据所述两张优选图像，以及分别拍摄所述两张优选图像时相机的地理位置信息，生成所述路牌的地理坐标。
在一种实施方式中，所述将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组之后，还包括：
将所述至少一个目标图像组，分别按照预设评分规则进行评分；
其中，所述选择其中一个目标图像组中的两张图像，作为两张优选图像，包括：
选择评分最高的一个目标图像组中的两张图像，作为两张优选图像。
在一种实施方式中，所述将所述至少一个目标图像组，分别按照预设评分规则进行评分，包括：
将所述至少一个目标图像组中，各个所述目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个所述目标图像组的评分。
在一种实施方式中，所述将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组，包括：
选取所述包含同一路牌的至少三张图像中各个图像的同一路牌元素，获取所述元素在各个图像中的像素坐标，计算所述像素坐标分别在各个图像中与图像中心的像素坐标的相对距离；
在各个所述图像组中，选取两张图像的两个所述相对距离均小于第一预设距离值的图像组，作为目标图像组；和/或，
在各个所述图像组中，选取两张图像的两个所述相对距离的差值大于第一预设差值的图像组，作为目标图像组。
在一种实施方式中，所述将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组，包括：
在各个所述图像组中，选取所述路牌分别在两张图像中的面积均大于预设面积值的图像组，作为目标图像组；和/或，
在各个所述图像组中，选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。
在一种实施方式中，所述在各个所述图像组中，选取两张图像的两个所述相对距离均小于第一预设距离值的图像组，作为目标图像组，包括：
在各个所述图像组中，选取一张图像的相对距离小于第二预设距离值，且另一张图像的相对距离小于第三预设距离值的图像组，作为目标图像组；
其中，所述第二预设距离值与所述第三预设距离值均小于或等于所述第一预设距离值，且所述第二预设距离值与所述第三预设距离值不同。
在一种实施方式中，所述在各个所述图像组中，选取两张图像的两个所述相对距离的差值大于第一预设差值的图像组，作为目标图像组，包括：
在各个所述图像组中，当两张图像中的其中一张图像的相对距离大于所述第一预设距离值时，选取两张图像的两个所述相对距离的差值大于第二预设差值的图像组，作为目标图像组；
其中，所述第二预设差值大于所述第一预设差值。
本申请第二方面提供一种自动驾驶交通标识信息的生成装置，包括：
获取单元，用于获取包含同一路牌的至少三张图像；
构建单元，用于在所述至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；
筛选单元，用于将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；
选择单元，用于选择其中一个目标图像组中的两张图像，作为两张优选图像；
生成单元，用于根据所述两张优选图像，以及分别拍摄所述两张优选图像时相机的地理位置信息，生成所述路牌的地理坐标。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：
本申请实施例提供的方法，通过获取包含同一路牌的至少三张图像，并在至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合。将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组。选择其中一个目标图像组中的两张图像，作为两张优选图像。根据两张优选图像，以及分别拍摄两张优选图像时相机的地理位置信息，生成路牌的地理坐标。通过预设筛选规则进行筛选，从而得到可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度。利用其中一个目标图像组中的两张图像作为两张优选图像，以生成路牌的地理坐标，从而确保路牌地理坐标的精准程度，提升了路牌制作的精度。
进一步的，本申请实施例提供的方法，在得到至少一个目标图像组之后，还可以将至少一个目标图像组，分别按照预设评分规则进行评分，然后选择评分最高的一个目标图像组中的两张图像，作为两张优选图像，从而利于提升路牌制作的精度。
进一步的，本申请实施例提供的方法，可以将至少一个目标图像组中，各个目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个目标图像组的评分，以便于选出评分最高的一个目标图像组，从而提升路牌制作的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的自动驾驶交通标识信息的生成方法的流程示意图；
图2是本申请实施例示出的自动驾驶交通标识信息的生成方法的另一流程示意图；
图3是本申请实施例示出的关于同一路牌元素的投影示意图；
图4是本申请实施例示出的自动驾驶交通标识信息的生成装置的结构示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
相关技术中，通常是采用包含同一路牌的两张图像来制作路牌，且用于制作路牌的两张图像一般是人工手动选取的。由于人工选取时主观性强，个体之间存在评判差异，如果选取的图像不好，将会直接影响路牌制作的精度。
针对上述问题，本申请实施例提供一种自动驾驶交通标识信息的生成方法及相关装置，能够获得高精准程度的路牌地理坐标。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的自动驾驶交通标识信息的生成方法的流程示意图。
参见图1，该方法包括：
步骤S101、获取包含同一路牌的至少三张图像。
本申请实施例中，可以通过摄像装置来采集图像，摄像装置可以设置于车辆的前挡风玻璃处。其中，至少三张图像中相邻两张图像的采集时间间隔可以相同。
步骤S102、在至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合。
在该步骤中，当至少三张图像中包含A、B、C三张图像时，在A、B、C三张图像中选取任意两张图像作为一个图像组，则一个图像组可以为AB图像组，也可以为AC图像组，还可以为BC图像组，所构建的包含至少三个图像组的集合为：AB图像组、AC图像组以及BC图像组。
步骤S103、将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组。
在该步骤中，可以在各个图像组中，选取路牌分别在两张图像中的面积均大于预设面积值的图像组，作为目标图像组。也可以在各个图像组中，选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。
步骤S104、选择其中一个目标图像组中的两张图像，作为两张优选图像。
在该步骤中，若经过预设筛选规则筛选后的目标图像组有多个，可以从中任意选择其中一个目标图像组，也可以对每一目标图像组进行评分，从中选取评分最高的一个目标图像组。将该被选中的目标图像组中的两张图像作为两张优选图像，以执行下一步骤。
步骤S105、根据两张优选图像，以及分别拍摄两张优选图像时相机的地理位置信息，生成路牌的地理坐标。
从该实施例可以看出，本申请实施例提供的方法，通过获取包含同一路牌的至少三张图像，并在至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合。将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组。选择其中一个目标图像组中的两张图像，作为两张优选图像。根据两张优选图像，以及分别拍摄两张优选图像时相机的地理位置信息，生成路牌的地理坐标。通过预设筛选规则进行筛选，从而得到可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度。利用其中一个目标图像组中的两张图像作为两张优选图像，以生成路牌的地理坐标，从而确保路牌地理坐标的精准程度，提升了路牌制作的精度。
图2是本申请实施例的自动驾驶交通标识信息的生成方法的另一流程示意图。图2相对图1更详细描述了本申请的方案。
参见图2，该方法包括：
步骤S201、获取包含同一路牌的至少三张图像。
本申请实施例中，可以通过摄像装置来采集行车过程中的视频数据，其中，该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中，摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的路牌进行视频录像从而获得包含路牌的连续的视频图像。为了后续对图像进行处理，需要对车辆行驶中获取包含路牌的视频数据进行抽帧。通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，从而获得拍摄的多帧图像，相邻两帧图像的时间间隔为抽帧时间间隔。
步骤S202、在至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合。
在该步骤中，当至少三张图像中包含A、B、C三张图像时，在A、B、C三张图像中选取任意两张图像作为一个图像组，则一个图像组可以为AB图像组，也可以为AC图像组，还可以为BC图像组，所构建的包含至少三个图像组的集合为：AB图像组、AC图像组以及BC图像组。也就是说，当至少三张图像中包含有三张图像时，则构建包含有三个图像组的集合。
当至少三张图像中包含A、B、C、D四张图像时，在A、B、C、D四张图像中选取任意两张图像作为一个图像组，则一个图像组可以为AB图像组、AC图像组、AD图像组、BC图像组、BD图像组或者CD图像组，所构建的包含至少三个图像组的集合为：AB图像组、AC图像组、AD图像组、BC图像组、BD图像组以及CD图像组。也就是说，当至少三张图像中包含有四张图像时，则构建包含有六个图像组的集合。
其他情况以此类推，当至少三张图像中包含的图像越多时，构建的图像集合中包含的图像组的数量也越多。
步骤S203、将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组。
在该步骤中，可以选取包含同一路牌的至少三张图像中各个图像的同一路牌元素，获取元素在各个图像中的像素坐标，计算像素坐标分别在各个图像中与图像中心的像素坐标的相对距离。
需要说明的是，上述同一路牌元素，可以是能够识别出的路牌中的任意元素。例如，路牌中文字或数字中的某个部分。例如，路牌上的其中一个或任意一个角点，或者是路牌的中心点，或者是路牌中可识别的字体的顶点等。所述字体可以是交通标识符，如惊叹号、休息区标识等，也可以是距离单位km等。
在本实施例中，通过YOLO V3算法识别至少三张图像中各个图像的路牌，以保证对图像中路牌获取的可靠性。
具体的，请参阅图3，O0和O1分别为两张图像拍摄时相机（即摄像装置）所在的位置，这里可以将O0和O1分别看作为两张图像的中心位置。基于特殊应用场景，设定相机在拍摄上述两张图像时所在像平面为平行状态。O0和O1所在的直线为光轴，P点为上述两张图像中的同一路牌元素（或称为特征点），P点投影在O0所在像平面的投影点为P0，P点投影在O1所在像平面的投影点为P1。P0的像素坐标与O0的像素坐标之间的相对距离为l0，P1的像素坐标与O1的像素坐标之间的相对距离为l1。d0为相机中心到图像中心的距离，θ0为P0与相机中心的连线与光轴的夹角，θ1为P1与相机中心的连线与光轴的夹角。两个相机位置之间的距离为d1，P点到光轴的距离为n，P点在O0上的深度为m，满足m远大于d0，则列出如下方程：
Figure 420171DEST_PATH_IMAGE001
进一步推出：
Figure 549801DEST_PATH_IMAGE002
进一步推出：
Figure 98594DEST_PATH_IMAGE003
基于上述公式推导，由于l0与l1分别可以为P点在两张图像上的像素坐标与图像中心的像素坐标的距离，跟像素坐标有固定的比例关系。那么对于∂m/∂l0就可以理解为m随着l0变化的变化率。由于在对图像进行特征点提取时，可能会出现提取误差，为了尽量降低提取误差带来的影响，可以使提取误差导致的深度误差尽量小，即深度的变化率要小。通过上述公式可以发现∂m/∂l0的值跟l1成正比，跟(l0-l1)2成反比。也就是说，可以进一步推出，要使∂m/∂l0的值较小，应使l0与l1的值越小，即同一路牌元素于像平面的像素坐标越靠近图像中心。还可以进一步推出，l0与l1的差值越大，那么利用这两张图像所生成的路牌的精度越高。其他偏导公式同理分析。
在其中一个具体的实施方式中，在各个图像组中，选取两张图像的两个相对距离均小于第一预设距离值的图像组，作为目标图像组。也就是说，该实施方式中，选取两张图像的两个相对距离l0与l1均小于第一预设距离值X1的图像组，作为目标图像组，从而得到可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度，进而利于提升路牌制作的精度。
进一步的，在另一个实施例中，在各个图像组中，选取一张图像的相对距离小于第二预设距离值，且另一张图像的相对距离小于第三预设距离值的图像组，作为目标图像组。其中，第二预设距离值与第三预设距离值均小于或等于第一预设距离值，且第二预设距离值与第三预设距离值不同。也就是说，该实施方式中，选取一张图像的相对距离l0小于第二预设距离值X2，且另一张图像的相对距离l1小于第三预设距离值X3的图像组，作为目标图像组，并且X2与X3均小于X1，X2与X3不同，X2可以大于X3，X2也可以小于X3，进而得到可靠程度更高的目标图像组，利于提升路牌制作的精度。
在其中一个具体的实施方式中，在各个图像组中，选取两张图像的两个相对距离的差值大于第一预设差值的图像组，作为目标图像组。也就是说，该实施方式中，两张图像的两个相对距离的差值l0-l1大于第一预设差值Y1的图像组，作为目标图像组，进而得到可靠程度更高的目标图像组，利于提升路牌制作的精度。
进一步的，在另一个实施例中，在各个图像组中，当两张图像中的其中一张图像的相对距离大于第一预设距离值时，选取两张图像的两个相对距离的差值大于第二预设差值的图像组，作为目标图像组。其中，第二预设差值大于第一预设差值。也就是说，该实施方式中，当两张图像中的其中一张图像的相对距离l0大于第一预设距离值X1时，选取两张图像的两个相对距离的差值l0-l1大于第二预设差值Y2的图像组，作为目标图像组。其中，Y2大于Y1，进而得到可靠程度更高的目标图像组，利于提升路牌制作的精度。
在其中一个具体的实施方式中，在各个图像组中，选取两张图像的两个相对距离均小于第一预设距离值，且两张图像的两个相对距离的差值大于第一预设差值的图像组，作为目标图像组。也就是说，在该实施方式中，选取两张图像的两个相对距离l0与l1均小于第一预设距离值X1，且两张图像的两个相对距离的差值l0-l1大于第一预设差值Y1的图像组，作为目标图像组，进而得到可靠程度更高的目标图像组，利于提升路牌制作的精度。
可以理解，当路牌距离相机拍摄点很远时，路牌元素点（即特征点）将非常靠近图像的中心，即l的值比较小，且两张图像的差值l0-l1也会比较小，若选择此两张图像生成路牌，误差将十分大。为了有效避免上述情况，在其中一个具体的实施方式中，在各个图像组中，选取路牌分别在两张图像中的面积均大于预设面积值的图像组，作为目标图像组。例如，选取路牌分别在两张图像中的每米像素均大于40个像素值的图像组，作为目标图像组。在此以长方形路牌举例说明，路牌尺寸的预估长p为4m、宽为q为2m，那么此路牌分别在两张图像上需满足：长度方向占据40x4=160个像素以上，宽度方向占据2x40=80个像素以上。这样，能够保证路牌上有足够多的元素呈现在图像上，得到了可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度，进而利于提升路牌制作的精度。可以理解的是，每米包含的像素个数可以根据路牌的实际尺寸来确定，路牌尺寸越大，对应的像素个数越多。
进一步的，在其中一个具体的实施方式中，在各个图像组中，选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。其中，预设位移距离值可以为5米、5.5米、5.8米、6米、7米或其他值。优选的，可以选取拍摄两张图像时相机的位移距离大于5米的图像组，作为目标图像组。这样，能够保证同一个元素在两张图像上的像素坐标差足够大，得到了可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度，进而利于提升路牌制作的精度。
需要注意的是，预设位移距离值不能过大，如果太大，则d1越大，由于d1与∂m/∂l0成正比，d1越大，m的变化率也就会越大。因此，预设位移距离值要限定在合适的范围内。
在其中一个具体的实施方式中，在各个图像组中，选取路牌分别在两张图像中的面积均大于预设面积值，且选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。优选的，可以选取路牌分别在两张图像中的每米像素均大于40个像素值，且拍摄两张图像时相机的位移距离大于5米的图像组，作为目标图像组。这样，能够保证路牌上有足够多的元素呈现在图像上，保证同一个元素在两张图像上的像素坐标差足够大，从而得到了可靠程度更高的目标图像组，保证了目标图像组中两张图像的优良匹配度，进而利于提升路牌制作的精度。
步骤S204、将至少一个目标图像组，分别按照预设评分规则进行评分。
在该步骤中，在一个具体的实施方式中，将至少一个目标图像组中，各个目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个目标图像组的评分。
其中，预设分数计算公式为：
Figure 655477DEST_PATH_IMAGE004
其中，(p，q)是预估的路牌尺寸，(x，y)是在对应p，q方向的像素数目，n为路牌的p，q方向在图像上每米包含的预设像素数目，优选的，n为40个。w是路牌中心的像素坐标与图像中心的像素坐标之间的距离，r是图像的对角线长度（像素数目）的1/2。distance是拍摄两张图像时，相机位置的距离，s为拍摄两张图像时预设位移距离值，优选的，s为5米。l是路牌中心在两张图像上的像素距离。k1为第一修正系数，k1的取值为小于或等于1的正数。k2为第二修正系数，k2的取值为大于或等于1的数，优选的k2等于5。k3为第三修正系数，k3的取值为大于或等于1的数。k4为第四修正系数，k4的取值为大于或等于1的正数。
步骤S205、选择评分最高的一个目标图像组中的两张图像，作为两张优选图像。
在该步骤中，选择score评分最高的一个目标图像组，将此目标图像组中的两张图像作为两张优选图像。
步骤S206、根据两张优选图像，以及分别拍摄两张优选图像时相机的地理位置信息，生成路牌的地理坐标。
本申请实施例将采集图像的摄像装置看作为相机。另外，可通过车载或者手机等配置的定位设备来采集车辆或相机的地理位置信息，其中，定位设备可以采用GPS（GlobalPositioning System，全球定位系统）、北斗、RTK（RealTimeKinematic，实时动态）等现有设备实现，本申请不作限定。车辆（或相机）的地理位置信息可以包括但不限于车辆（或相机）的地理坐标（如GPS坐标、经纬度坐标等）、方位、航向角、朝向等信息。
本申请实施例提供的方法可以应用于车机，也可以应用于其他具备计算和处理功能的设备，如计算机、电脑、手机等。这里以车机为例，相机和定位设备可以内置于车机，也可以设置于车机外，且与车机之间建立通信连接。
相机在拍摄图像的同时，定位设备采集车辆或相机的地理位置信息，并一起传输给车机。根据图像的拍摄时间可以查找到同一时间定位设备获取的地理位置信息。可以理解的是，可以事先对相机和定位设备的时间进行同步处理，其目的是使拍摄的图像能够准确对应车辆或相机当时的位置。
需要说明的是，在该步骤中，根据两张图像以及分别拍摄两张图像时相机的地理位置信息，生成路牌的地理坐标的具体过程，可以参阅相关技术，此处不再赘述其具体的实现过程。
从该实施例可以看出，本申请实施例提供的方法，可选用一种或者结合多种预设筛选规则对各个图像组进行筛选，从而得到可靠程度更高的目标图像组。在各个高可靠性的目标图像组中，分别将每一个目标图像组中的两张图像的参数信息，代入预设分数计算公式，从而得到各个目标图像组的评分。通过选取评分最高的一个目标图像组中的两张图像作为两张优选图像，以利用两张优选图像进行路牌制作，从而确保路牌地理坐标的精准程度，进一步的提升了路牌制作的精度。
与前述应用功能实现方法实施例相对应，本申请还提供了一种自动驾驶交通标识信息的生成装置的实施例。
图4是本申请实施例示出的自动驾驶交通标识信息的生成装置的结构示意图。
参见图4，本申请实施例提供一种自动驾驶交通标识信息的生成装置，包括：
获取单元401，用于获取包含同一路牌的至少三张图像；
构建单元402，用于在至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；
筛选单元403，用于将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；
选择单元405，用于选择其中一个目标图像组中的两张图像，作为两张优选图像；
生成单元406，用于根据两张优选图像，以及分别拍摄两张优选图像时相机的地理位置信息，生成路牌的地理坐标。
可选的，图4所示的装置还可以包括：
评分单元404，用于将至少一个目标图像组，分别按照预设评分规则进行评分；
选择单元405，选择其中一个目标图像组中的两张图像，作为两张优选图像的方式可以包括：
选择单元405选择评分最高的一个目标图像组中的两张图像，作为两张优选图像。
可选的，评分单元404将至少一个目标图像组，分别按照预设评分规则进行评分的方式可以包括：
将至少一个目标图像组中，各个目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个目标图像组的评分。
可选的，筛选单元403将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组的方式可以包括：
选取包含同一路牌的至少三张图像中各个图像的同一路牌元素，获取元素在各个图像中的像素坐标，计算像素坐标分别在各个图像中与图像中心的像素坐标的相对距离；
在各个图像组中，选取两张图像的两个相对距离均小于第一预设距离值的图像组，作为目标图像组；和/或，
在各个图像组中，选取两张图像的两个相对距离的差值大于第一预设差值的图像组，作为目标图像组。
可选的，筛选单元403将包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组的方式还可以包括：
在各个图像组中，选取路牌分别在两张图像中的面积均大于预设面积值的图像组，作为目标图像组；和/或，
在各个图像组中，选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。
可选的，筛选单元403在各个图像组中，选取两张图像的两个相对距离均小于第一预设距离值的图像组，作为目标图像组的方式还可以包括：
在各个图像组中，选取一张图像的相对距离小于第二预设距离值，且另一张图像的相对距离小于第三预设距离值的图像组，作为目标图像组；其中，第二预设距离值与第三预设距离值均小于或等于第一预设距离值，且第二预设距离值与第三预设距离值不同。
可选的，筛选单元403在各个图像组中，选取两张图像的两个相对距离的差值大于第一预设差值的图像组，作为目标图像组的方式还可以包括：
在各个图像组中，当两张图像中的其中一张图像的相对距离大于第一预设距离值时，选取两张图像的两个相对距离的差值大于第二预设差值的图像组，作为目标图像组；其中，第二预设差值大于第一预设差值。
实施图4所示的装置，能够获得高精准程度的路牌地理坐标。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图5是本申请实施例示出的电子设备的结构示意图。
请参阅图5，本申请实施例还提供了另一种电子设备500。该电子设备500可以用于执行上述实施例提供的自动驾驶交通标识信息的生成方法。该电子设备500可以是任意具有计算单元的设备，如计算机、服务器、手持设备（如智能手机、平板电脑等）、或行车记录仪等等，本申请实施例不作限定。
参见图5，该电子设备500包括存储器501和处理器502。
处理器502可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器501可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器502或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器501可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器501可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器501上存储有可执行代码，当可执行代码被处理器502处理时，可以使处理器502执行上文述及的方法中的部分或全部步骤。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.一种自动驾驶交通标识信息的生成方法，其特征在于，包括：
获取包含同一路牌的至少三张图像；
在所述至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；
将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；
将所述至少一个目标图像组，分别按照预设评分规则进行评分；其中，包括将所述至少一个目标图像组中，各个所述目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个所述目标图像组的评分；
选择其中一个目标图像组中的两张图像，作为两张优选图像；其中，包括选择评分最高的一个目标图像组中的两张图像，作为两张优选图像；
根据所述两张优选图像，以及分别拍摄所述两张优选图像时相机的地理位置信息，生成所述路牌的地理坐标。
2.根据权利要求1所述的方法，其特征在于，所述将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组，包括：
选取所述包含同一路牌的至少三张图像中各个图像的同一路牌元素，获取所述元素在各个图像中的像素坐标，计算所述像素坐标分别在各个图像中与图像中心的像素坐标的相对距离；
在各个所述图像组中，选取两张图像的两个所述相对距离均小于第一预设距离值的图像组，作为目标图像组；和/或，
在各个所述图像组中，选取两张图像的两个所述相对距离的差值大于第一预设差值的图像组，作为目标图像组。
3.根据权利要求1所述的方法，其特征在于，所述将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组，包括：
在各个所述图像组中，选取所述路牌分别在两张图像中的面积均大于预设面积值的图像组，作为目标图像组；和/或，
在各个所述图像组中，选取拍摄两张图像时相机的位移距离大于预设位移距离值的图像组，作为目标图像组。
4.根据权利要求2所述的方法，其特征在于，所述在各个所述图像组中，选取两张图像的两个所述相对距离均小于第一预设距离值的图像组，作为目标图像组，包括：
在各个所述图像组中，选取一张图像的相对距离小于第二预设距离值，且另一张图像的相对距离小于第三预设距离值的图像组，作为目标图像组；
其中，所述第二预设距离值与所述第三预设距离值均小于或等于所述第一预设距离值，且所述第二预设距离值与所述第三预设距离值不同。
5.根据权利要求2所述的方法，其特征在于，所述在各个所述图像组中，选取两张图像的两个所述相对距离的差值大于第一预设差值的图像组，作为目标图像组，包括：
在各个所述图像组中，当两张图像中的其中一张图像的相对距离大于所述第一预设距离值时，选取两张图像的两个所述相对距离的差值大于第二预设差值的图像组，作为目标图像组；
其中，所述第二预设差值大于所述第一预设差值。
6.一种自动驾驶交通标识信息的生成装置，其特征在于，包括：
获取单元，用于获取包含同一路牌的至少三张图像；
构建单元，用于在所述至少三张图像中，选取任意两张图像作为一个图像组，构建包含至少三个图像组的集合；
筛选单元，用于将所述包含至少三个图像组的集合，按照预设筛选规则进行筛选，得到至少一个目标图像组；
评分单元，用于将所述至少一个目标图像组，分别按照预设评分规则进行评分；其中，包括将所述至少一个目标图像组中，各个所述目标图像组中两张图像的参数信息，分别代入预设分数计算公式，得到各个所述目标图像组的评分；
选择单元，用于选择其中一个目标图像组中的两张图像，作为两张优选图像；其中，包括选择评分最高的一个目标图像组中的两张图像，作为两张优选图像；
生成单元，用于根据所述两张优选图像，以及分别拍摄所述两张优选图像时相机的地理位置信息，生成所述路牌的地理坐标。
7.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
8.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-5中任一项所述的方法。
CN202110461177.1A 2021-04-27 2021-04-27 自动驾驶交通标识信息的生成方法及相关装置 Active CN112991434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110461177.1A CN112991434B (zh) 2021-04-27 2021-04-27 自动驾驶交通标识信息的生成方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110461177.1A CN112991434B (zh) 2021-04-27 2021-04-27 自动驾驶交通标识信息的生成方法及相关装置

Publications (2)

Publication Number Publication Date
CN112991434A CN112991434A (zh) 2021-06-18
CN112991434B true CN112991434B (zh) 2021-08-17

Family

ID=76340411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461177.1A Active CN112991434B (zh) 2021-04-27 2021-04-27 自动驾驶交通标识信息的生成方法及相关装置

Country Status (1)

Country Link
CN (1) CN112991434B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635639A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
US10417829B2 (en) * 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
CN112396831A (zh) * 2020-10-23 2021-02-23 腾讯科技（深圳）有限公司 一种交通标识的三维信息生成方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417829B2 (en) * 2017-11-27 2019-09-17 Electronics And Telecommunications Research Institute Method and apparatus for providing realistic 2D/3D AR experience service based on video image
CN109635639A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 交通标识的位置检测方法、装置、设备和存储介质
CN112396831A (zh) * 2020-10-23 2021-02-23 腾讯科技（深圳）有限公司 一种交通标识的三维信息生成方法和装置

Also Published As

Publication number Publication date
CN112991434A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
US20120133639A1 (en) Strip panorama
US20210019897A1 (en) Method, apparatus, and system for providing real-world distance information from a monocular image
CN113139031B (zh) 用于自动驾驶的交通标识的生成方法及相关装置
TWI475191B (zh) 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體
JP2008065087A (ja) 静止物地図生成装置
CN111930877B (zh) 地图路牌的生成方法及电子设备
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
US10949707B2 (en) Method, apparatus, and system for generating feature correspondence from camera geometry
CN114067288A (zh) 一种交通标志牌提取方法、系统、电子设备及存储介质
US20200134853A1 (en) Method, apparatus, and system for providing a distance marker in an image
CN114463984B (zh) 车辆轨迹显示方法及相关设备
CN105444773A (zh) 一种基于实景识别与增强现实的导航方法及系统
CN112595335B (zh) 一种智慧交通行车停止线的生成方法及相关装置
US11570576B2 (en) Image-based approach for device localization based on a vehicle location
CN112991434B (zh) 自动驾驶交通标识信息的生成方法及相关装置
CN114863347A (zh) 地图校验方法、装置及设备
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
CN113465615A (zh) 车道线的生成方法及相关装置
CN113009533A (zh) 基于视觉slam的车辆定位方法、设备及云服务器
CN113320546A (zh) 基于阴影的车辆定位方法和控制装置、存储介质及车辆
CN114299469A (zh) 交通路牌的生成方法、装置及设备
CN113536854A (zh) 一种高精地图路牌的生成方法、装置及服务器
CN114863383A (zh) 一种智慧交通圆形路牌的生成方法及相关装置
EP2816531A1 (en) 3-dimensional map view with background images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant