CN116259031A - 用于定量确定路面标志质量的系统 - Google Patents

用于定量确定路面标志质量的系统 Download PDF

Info

Publication number
CN116259031A
CN116259031A CN202211309299.XA CN202211309299A CN116259031A CN 116259031 A CN116259031 A CN 116259031A CN 202211309299 A CN202211309299 A CN 202211309299A CN 116259031 A CN116259031 A CN 116259031A
Authority
CN
China
Prior art keywords
pavement
color
color space
marker
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211309299.XA
Other languages
English (en)
Inventor
F·艾哈迈德
R·戈登
D·K·格林姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN116259031A publication Critical patent/CN116259031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于定量确定沿道路上的路面设置的路面标志的质量的系统，包括与多个车辆进行无线通信的一个或多个控制器。一个或多个控制器接收由多个车辆收集的表示沿路面设置的路面标志的图像数据。一个或多个控制器执行指令以确定路面标志的平均色彩空间值与理想标志色彩空间值之间的色彩距离测量以及路面标志与路面之间的标志强度对比度中的至少一个。

Description

用于定量确定路面标志质量的系统
技术领域
本公开涉及一种通过确定路面标志的当前标志色彩与原始或理想标志色彩之间的色彩距离测量以及路面与路面标志之间的标志强度对比度来定量确定路面标志质量的系统和方法。
背景技术
路面标志可以用于向道路使用者传达信息。具体地，路面标志可以指示要使用的道路的特定部分，提供关于前方状况的信息，并且指示哪里允许通行。例如，黄线分隔相反方向的交通，而白线分隔同向行驶的车道。
路面标志会随着时间的推移而磨损，因此有必要定期重划路面标志。在一些情况下，主观视觉检查可以用于确定道路标志的美学质量验收。然而，当前质量检测具有定性成分，并没有提供统一的评估，因此这种方法导致基于执行视觉检查的特定个人的感知的质量变化。替代地，一些政府机构和市政当局可能会基于人工或预设的时间表而不是路面标志的当前质量来重划路面标志。目前还没有一种方法可以用来测量与周围路面材料相比，路面标志的油漆色彩的退化或可见度对比。
因此，虽然当前路面标志重划技术实现了它们的预期目的，但本领域仍需要一种客观地确定路面标志的当前状况的方法。
发明内容
根据几个方面，公开了一种用于定量确定沿道路上的路面设置的路面标志的质量的系统。该系统包括与多个车辆进行无线通信的一个或多个控制器，其中，一个或多个控制器接收由多个车辆收集的表示沿路面设置的路面标志的图像数据。一个或多个控制器执行指令，以将基于图像数据的图像帧转换成灰度图像帧，其中，灰度图像帧保留指示图像帧的原始色彩空间值的数据。一个或多个控制器执行指令，以通过提供仅分离表示路面标志的原始色彩空间值的一个或多个色彩掩码，并且然后将一个或多个色彩掩码的输出组合在一起，来创建灰度滤色器。一个或多个控制器执行指令，以通过灰度滤色器将表示路面标志的原始色彩空间值从灰度图像帧中分离出来，以确定滤色后的灰度图像帧。一个或多个控制器执行指令，以基于滤色后的灰度图像帧来确定对应于路面标志的平均色彩空间值和对应于路面的平均色彩空间值。一个或多个控制器执行指令，以确定路面标志的平均色彩空间值与理想标志色彩空间值之间的色彩距离测量以及路面标志与路面之间的标志强度对比度中的至少一个。
在一个方面中，一个或多个控制器执行指令，以由Boolean掩码通过将二进制值分配给经滤色的灰度图像帧的像素来滤色被掩蔽的经滤色的灰度图像帧。表示路面标志的像素被分配给第一二进制值，并且表示路面的像素被分配给第二二进制值。
在另一方面中，一个或多个控制器执行指令，以确定表示路面标志的第一二进制值的像素的平均色彩空间值。一个或多个控制器执行指令，以确定表示路面的第二二进制值的像素的平均色彩空间值，并且标识由表示路面标志的平均色彩空间值所表示的色彩。
在又一方面中，一个或多个控制器标识经滤色的灰度图像帧的路面标志与路面之间的边界。
在一个方面中，一个或多个控制器执行指令，以校正灰度图像帧的亮度，以去除表示道路的路面的图像数据中的变色。
在另一方面中，一个或多个色彩掩码包括仅分离表示第一色彩的色彩空间值的第一色彩掩码和仅分离表示第二色彩的色彩空间值的第二色彩掩码。
在又一方面中，第一色彩是黄色，并且第二色彩是白色。
在一个方面中，标志强度对比度由下式确定：
Figure SMS_1
其中，μM是标志强度，并且μp是路面强度。
在另一方面中，一个或多个控制器执行指令，以创建绘制特定地理位置的路面标志的色彩距离测量的地图，其中，地图在需要重涂路面标志的地方提供视觉指示符。
在又一方面中，一个或多个控制器执行指令，以基于经滤色的灰度图像帧的原始色彩空间值来确定路面标志和路面的主导色彩空间值。一个或多个控制器确定多个聚类，每个聚类表示路面标志和路面的主导色彩空间值。一个或多个控制器确定路面标志的每个主导色彩空间值的平均色彩空间值与理想标志色彩空间值之间的欧几里德距离。
在一个方面中，路面标志是车道标志。
在另一方面中，公开了一种用于定量确定沿道路上的路面设置的路面标志的质量的方法。该方法包括由一个或多个控制器接收由多个车辆收集的表示沿路面设置的路面标志的图像数据。该方法还包括由一个或多个控制器将基于图像数据的图像帧转换成灰度图像帧，其中，灰度图像帧保留指示图像帧的原始色彩空间值的数据。该方法还包括通过提供仅分离表示路面标志的原始色彩空间值的一个或多个色彩掩码，然后将一个或多个色彩掩码的输出组合在一起，来创建灰度滤色器。该方法还包括通过灰度滤色器将表示路面标志的原始色彩空间值从灰度图像帧中分离出来，以确定经滤色的灰度图像帧。该方法还包括基于经滤色的灰度图像帧来确定对应于路面标志的平均色彩空间值和对应于路面的平均色彩空间值。最后，该方法包括确定路面标志的平均色彩空间值与理想标志色彩空间值之间的色彩距离测量以及路面标志与路面之间的标志强度对比度中的至少一个。
在另一方面中，该方法包括由Boolean掩码通过将二进制值分配给经滤色的灰度图像帧的像素来滤色被掩蔽的经滤色的灰度图像帧，其中，表示路面标志的像素被分配给第一二进制值，并且表示路面的像素被分配给第二二进制值。
在又一方面中，该方法包括确定表示路面标志的第一二进制值的像素的平均色彩空间值。该方法包括确定表示路面的第二二进制值的像素的平均色彩空间值，并且标识由表示路面标志的平均色彩空间值所表示的色彩。
在一个方面中，该方法包括标识经滤色的灰度图像帧的路面标志与路面之间的边界。
在另一方面中，该方法包括校正灰度图像帧的亮度，以去除表示道路的路面的图像数据中的变色。
在又一方面中，该方法包括确定标志强度对比度，该标志强度对比度通过下式确定：
Figure SMS_2
其中，μM是标志强度，并且μp是路面强度。
在一个方面中，该方法包括创建绘制特定地理位置的路面标志的色彩距离测量的地图，其中，地图在需要重涂路面标志的地方提供视觉指示符。
在另一方面中，该方法包括基于以滤色的灰度图像帧的原始色彩空间值来确定路面标志和路面的主导色彩空间值。该方法还包括：确定多个聚类，每个聚类表示路面标志和路面的主导色彩空间值；以及确定路面标志的每个主导色彩空间值的平均色彩空间值与理想标志色彩空间值之间的欧几里德距离。
在一个方面中，公开了一种用于定量确定沿道路上的路面设置的车道标志质量的系统。该系统包括与多个车辆进行无线通信的一个或多个控制器，其中，一个或多个控制器接收由多个车辆收集的表示沿路面设置的车道标志的图像数据。一个或多个控制器执行指令，以将基于图像数据的图像帧转换成灰度图像帧，其中，灰度图像帧保留指示图像帧的原始色彩空间值的数据。一个或多个控制器通过提供仅分离表示车道标志的原始色彩空间值的一个或多个色彩掩码，然后将一个或多个色彩掩码的输出组合在一起，来创建灰度滤色器。一个或多个控制器通过灰度滤色器将表示车道标志的原始色彩空间值从灰度图像帧中分离出来，以确定经滤色的灰度图像帧。一个或多个控制器基于经滤色的灰度图像帧确定对应于车道标志的平均色彩空间值和对应于路面的平均色彩空间值。一个或多个控制器确定车道标志的平均色彩空间值与理想标志色彩空间值之间的欧几里德距离以及车道标志与路面之间的标志强度对比度中的至少一个。
从本文提供的描述中，进一步的应用领域将变得显而易见。应理解的是，描述和具体示例仅用于说明目的，并不旨在限制本公开的范围。
附图说明
本文所描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1A是根据示例性实施例的所公开的用于定量确定路面标志的质量的系统的示意图，该系统包括与多个车辆进行无线通信的计算系统；
图1B是根据示例性实施例的沿道路的路面设置的路面标志的示意图；
图2是示出根据示例性实施例的图1中所示的计算系统的示意图；以及
图3是根据示例性实施例的示出用于确定图1B中所示的路面标志的质量的方法的流程图。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本公开、应用或使用。
参考图1A和图1B，公开了一种用于定量确定沿道路16的路面14设置的路面标志12的质量的示例性系统10。路面14表示用于车辆或行人交通的路面。在如图1B中所示和如下述描述的示例中，路面标志12是表示中央车道标志的白色或黄色虚线。然而，应理解的是，这些附图本质上仅仅是示例性的，并且路面标志12不限于车道标志，并且也可以包括其它形状和色彩。例如，在另一实施例中，路面标志12是符号，诸如指示为高载客量车辆的使用保留的车道的菱形或指示为骑自行车的人保留的车道的自行车。此外，尽管描述了路面标志12，但是在一个实施例中，系统10也可以用于确定道路标志的质量，诸如停止标志、出口坡道标志以及交通标志。
在如图1A中所示的示例中，系统10包括计算系统20，计算系统20包括与车队或多辆车辆22进行无线通信的一个或多个控制器26。一个或多个控制器26接收并汇总从多个车辆22收集的图像数据18。多辆车辆22可以包括任何类型的具有连接到计算系统20的无线能力的车辆，诸如但不限于轿车、卡车、运动型多用途车、货车或房车。每辆车辆22包括一个或多个用于捕获图像数据18的摄像机24，其中，图像数据18表示沿路面14设置的路面标志12。如下所述，计算系统20执行图像处理算法和定量技术来确定当前标志色彩与原始或理想标志色彩之间以及当前路面色彩与理想路面色彩之间的色彩距离测量。在一个实施例中，理想标志色彩和理想路面色彩是基于来自各种政府机构(诸如联邦和州政府的交通部(DoT))的标准。此外，应理解的是，尽管本公开将欧几里德距离模型描述为用于确定色彩距离测量的示例性用例，但是也可以使用其它色差公式，诸如城市街区模型或CIELAB色彩空间模型。系统20还确定路面14与路面标志12之间的标志强度对比度。
当前和理想标志色彩之间的色彩距离测量提供了指示路面标志油漆色彩随着时间的推移而退化的客观测量，并且标志强度对比度提供了指示路面标志12相对于路面14的可见度的客观测量。具体地，当前标志色彩和理想标志色彩之间的色彩距离测量指示随着时间的推移路面标志的当前标志色彩与理想标志色彩偏差有多大。例如，欧几里德距离越大，指示随着时间的推移路面标志12的油漆色彩退化程度越大。标志强度对比度是在路面标志12与路面14之间测量的，并且提供了路面标志12与路面14之间可见度对比的客观测量，其中，对比度越高，指示可见度越高，并且对比度越低，指示可见度越低或越差。
图2是计算系统20的框图，计算系统20包括一个或多个控制器26，用于确定当前标志色彩与理想标志色彩之间的色彩距离测量以及路面14与路面标志12之间的标志强度对比度。计算系统20包括收集模块30、预处理模块32、特征提取模块34、滤色模块36、欧几里德距离模块38、对比度模块40和评估模块42。参考图1A、图1B和图2，计算系统20的收集模块30从多个车辆22接收图像数据18，其中，图像数据18表示道路16的特定路段的路面标志12。应理解的是，由于图像数据18是从一个以上的车辆22收集的，因此对于道路16的特定路段可能存在多组图像数据18。图像帧44然后被发送到计算系统20的预处理模块32。
预处理模块32对图像帧44执行一种或多种预处理技术，以基于图像帧44生成表示道路16(图1B)的特定路段的路面标志12的灰度图像帧50。在图2中所示的示例中，预处理模块32包括灰度块52和亮度块54。灰度块52将色彩空间值中的图像帧44转换成灰度图像帧50。应理解的是，尽管图像帧44被转换成灰度，但是灰度图像帧50仍然指示原始色彩空间值。也就是说，灰度图像帧50在每个像素内保留指示原始图像帧44的原始色彩空间值的数据。然后对灰度图像帧50进行亮度校正，以通过亮度块54去除表示路面14的图像数据中的变色。在一个非限制性实施例中，亮度块54执行伽马校正算法来去除变色，然而，应理解的是，也可以使用其它技术。
然后，经亮度校正的灰度图像帧50被发送到特征提取模块34。在如图2中所示的示例中，特征提取模块34包括色彩空间块60、色彩掩码块62、公共掩码64、灰度滤色器68和边缘检测块70。特征提取模块34的色彩空间块60将灰度图像帧50转换成以色彩空间值72表示的图像帧。例如，在一个实施例中，经变暗的灰度图像50被转换成图像帧，其中，基于公共掩码64将路面标志12与路面14分开。创建公共掩码64，以色调、饱和度和亮度(HSL)色彩空间值来表达图像帧44，然而，应当理解的是，也可以使用其它色彩空间来确定色差测量和对比度，其它色彩空间诸如但不限于色调、饱和度、值(HSV)、红蓝绿(RGB)色彩空间或Y′UV色彩空间。
然后，以色彩空间值72表示的图像帧被发送到色彩掩码块62，其包括一个或多个色彩掩码，以分离表示路面标志的原始色彩空间值。在一个实施例中，色彩掩码块62包括第一色彩掩码62A和第二色彩掩码62B，然而，也可以使用两个以上的色彩掩码。第一色彩掩码62A仅从以色彩空间值72表示的图像帧中分离出表示第一色彩的色彩空间值，以创建第一色彩掩码62A，并且第二色彩掩码62B仅从以色彩空间值72表示的图像帧中分离出表示第二色彩的色彩空间值。在一个实施例中，由于许多路面标志不是白色就是黄色，所以第一色彩是黄色，第二色彩是白色，并且白色掩码对应于白色标志，黄色掩码对应于黄色标志。然而，应理解的是，其它色彩也可以用于第一色彩和第二色彩。
第一色彩掩码62A和第二色彩掩码62B被组合在一起，以创建逐位“或(OR)”掩码，这就是公共掩码64，其中，实施逐位“或”操作，以从双色掩码(即，白色和黄色)创建公共掩码64。公共掩码64仅从以色彩空间值72表示的图像帧中分离表示第一色彩或第二色彩的色彩空间值，其中，公共掩码64的输出被组合在一起，以创建灰度滤色器68。灰度滤色器68将表示第一色彩和第二色彩的原始色彩空间值与灰度图像帧50分离，从而用作逐位“与(AND)”掩码。因此，灰度滤色器68是通过首先提供仅分离表示路面标志12的原始色彩空间值(在本示例中为黄色和白色)的一个或多个色彩掩码，然后将一个或多个色彩掩码的输出组合在一起(在本示例中，输出全部为黄色或白色路面色彩)来创建的。
灰度滤色器68从预处理模块32接收表示道路16的特定路段的路面标志12的灰度图像帧50，并且从灰度图像帧50中分离出表示第一色彩和第二色彩的原始色彩空间值，以确定经滤色的灰度图像帧80，其中，路面标志12与路面14相比是单独可见的。在本示例中，灰度滤色器68从表示黄色和白色色彩值的灰度图像帧50中分离出原始色彩空间值，黄色和白色是为路面标志选择的常见色彩。
然后经滤色的灰度图像帧80被发送到边缘检测块70。在一个实施例中，在被发送到边缘检测块70之前，可以首先使用任何类型的图像降噪技术(诸如高斯模糊)对经滤色的灰度图像帧80进行滤色。高斯模糊降噪技术已被用于降低图像噪声，并且在本例中是通过降低图像帧的路面部分中可能可见的规格来实现的。边缘检测块70标识经滤色的灰度图像帧80的路面标志12与路面14之间的边界。例如，在一个实施例中，边缘检测算法是坎尼边(Canny)边缘检测器，然而，应理解的是，也可以使用其它算法。然后经滤色的灰度图像帧80被发送到滤色模块36。
滤色模块36包括Boolean掩码82、第一滤色器84和第二滤色器86。滤色模块36基于从特征提取模块34接收的经滤色的灰度图像帧80，确定分别对应于路面标志12和路面14的平均色彩空间值88、90。具体地，Boolean掩码82通过向经滤色的灰度图像帧80的像素分配二进制值来确定被掩蔽的经滤色的灰度图像帧92，其中，表示路面标志12的像素被分配给第一二进制值，并且表示路面14的像素被分配给第二二进制值。例如，在一个实施例中，表示路面标志12的像素被分配为1，而表示路面14的像素被分配为0。当然，该实施例可以反过来，使得路面标志12被分配为0，并且路面14被分配为1。
然后，第一滤色器84基于被掩蔽的经滤色的灰度图像帧92来确定路面标志12的平均色彩空间值88和路面14的平均色彩空间值90。具体地，第一滤色器84确定对应于表示路面标志12的所有第一二进制值的像素的平均色彩空间值88。然后，第一滤色器84确定对应于表示路面14的所有第二二进制值的像素的平均色彩空间值90。然后，平均色彩空间值88、90被发送到第二滤色器86。第二滤色器86标识由表示路面标志12的平均色彩空间值88表示的色彩。例如，如果路面标志12是黄色，则第二滤色器86确定由表示路面标志12的平均色彩空间值表示的色彩是黄色。
然后，平均色彩空间值88、90和表示路面标志12的平均色彩空间值88的色彩被发送到欧几里德距离模块38和对比度模块40两者。欧几里德距离模块38确定平均色彩空间值88与理想标志色彩空间值之间的欧几里德距离。应理解的是，为了计算欧几里德距离和色彩空间值，可以使用HSL、RGB和Y′UV色彩空间。在一个实施例中，基于式1-3来确定欧几里德距离，式1-3如下：
式1
Figure SMS_3
式2
Figure SMS_4
式3
Figure SMS_5
其中，如果平均色彩空间值88用RGB色彩空间表示，则使用式1，如果平均色彩空间值88用HSL或HSV色彩空间值表示，则使用式2，如果平均色彩空间值88用Y′UV色彩空间值表示，则使用式3，LM表示路面标志12的平均色彩空间值88，I表示理想标志色彩，R、G、B表示红色、绿色和蓝色的值，H表示色调的值，V表示值，L表示亮度，Y是亮度分量，U、V表示色度分量。
对比度模块40基于路面标志12的平均色彩空间值88和路面14的平均色彩空间值90来确定路面14与路面标志12之间的标志强度对比度，其中，平均色彩空间值88、90表示目标标志的平均强度。标志强度对比度是衡量路面标志12的强度与周围背景区域(诸如本例中的路面14)的强度之间的差异。因此，标志强度对比度值越高，指示个人和自主车辆越容易感知路面标志12。在一个实施例中，标志强度对比度是基于路面标志强度值和路面强度值确定的，并且具体地，是通过式4确定的，式4是：
Figure SMS_6
其中，μM是标志强度，并且μp是路面强度。
在实施例中，系统20的一个或多个控制器26接收指示路面标志12的地理位置的数据。例如，在一个实施例中，全球定位系统(GPS)坐标被包括在由多个车辆22传输到一个或多个控制器26的图像数据18中(图1A)。一个或多个控制器26的评估模块42创建绘制特定地理位置的路面标志12的欧几里德距离38和标志强度对比度的地图98，其中，地图98提供了路面标志质量和可见度的视觉指示符。例如，地图98可以指示道路的特定路段或长度的车道标志在哪里需要重划或重涂，以提高路面标志质量和/或可见度。
图3是示出确定沿道路16(图1B)的路面14设置的路面标志12的质量的示例性方法200的流程图。具体地，方法200确定当前标志色彩与理想标志色彩之间的色彩距离测量以及路面14与路面标志12之间的标志强度对比度。总体参考图1A、图1B、图2和图3，方法200开始于框202。在框202中，一个或多个控制器26的预处理模块30将图像帧44转换成灰度图像帧50。如上所述，灰度图像帧50保留指示原始图像帧44的原始色彩空间值的数据。也如上所述，预处理模块30的灰度块52将色彩空间值中的图像帧44转换成灰度图像帧50，然后，预处理模块30的亮度块54校正灰度图像帧50的亮度，以去除表示路面14的图像数据中的变色。然后，方法200可以进行到框204。
在框204中，特征提取模块34的色彩空间块60将灰度图像帧50转换成以色彩空间值72表示的图像帧。然后，方法200可以进行到框206。
在框206中，一个或多个控制器26的特征提取模块34通过首先提供仅分离表示路面标志12的原始色彩空间值的一个或多个色彩掩码，然后将一个或多个色彩掩码的输出组合在一起，来创建灰度滤色器68。在本示例中，第一色彩掩码62A分离黄色，并且第二色彩掩码62B分离白色，黄色和白色是路面标志的常见色彩。然后，方法200可以进行到框208。
在框208中，灰度滤色器68从经变暗的灰度图像帧50中分离出表示路面标志12的原始色彩空间值，以确定经滤色的灰度图像帧80。在本示例中，灰度空间滤色器68分离表示黄色和白色色彩值的原始色彩空间值，黄色和白色是为路面标志选择的常见色彩。然后，方法200可以进行到框210。
在框210中，特征提取模块34的边缘检测块70标识经滤色的灰度图像帧80的路面标志12与路面14之间的边界。然后，方法200可以进行到框212。
在框212中，滤色模块36基于经滤色的灰度图像帧80来确定对应于路面标志12的平均色彩空间值88和对应于路面14的平均色彩空间值90。具体地，如上所述，滤色模块36的Boolean掩码通过向经滤色的灰度图像帧80的像素分配二进制值来确定被掩蔽的经滤色的灰度图像帧92。第一滤色器84确定对应于表示路面标志12的所有二进制值的像素的平均色彩空间值88和对应于表示路面14的所有二进制值的像素的平均色彩空间值90。第二滤色器86标识由表示路面标志12的平均色彩空间值表示的色彩。然后，方法200可以进行到框214A和214B。
在框214A中，欧几里德距离模块38确定平均色彩空间值88与理想标志色彩空间值之间的色彩距离测量。如上述描述的式1-3可以用于确定欧几里德距离。在框214B中，对比度模块40确定标志强度对比度，这在上述式4中有所描述。方法200可以进行到框216。
在框216中，一个或多个控制器26创建绘制特定地理位置的路面标志12的欧几里德距离和标志强度对比度的地图98，其中，地图98提供了路面标志12的路面标志质量和可见度的视觉指示符。例如，地图98可以指示特定路段或长度或道路的路面标志12在哪里需要重划或重涂，以提高路面标志质量和/或可见度。然后，方法200可以结束。
返回参考图1B和图2，在一个可选实施例中，路面标志12的质量是基于主导色彩方法来确定的。具体地，在一个实施例中，系统20还包括主导色彩模块100，主导色彩模块100确定路面标志12和路面14两者的主导色彩空间值。主导色彩模块100包括聚类块102、直方图块104和绘制块106。
聚类块102基于经滤色的灰度图像帧80的原始色彩空间值来确定路面标志12和路面14的主导色彩空间值。主导色彩模块100确定N个聚类180，每个聚类表示路面标志12和路面14的主导色彩空间值，其中，数量N可以是至少为2的任何数量。具体地，聚类块102基于路面标志12和路面14的经滤色的灰度图像帧80的原始色彩空间值来确定聚类的数量N，其中，数量N的值越高，指示路面标志12和路面14的色彩变化越大，退化越大。然后，直方图块104可以创建示出N个聚类180的分布的直方图，每个聚类表示路面标志12和路面14的主导色彩。然后，绘制块106可以创建示出图像帧44中所有主导色彩的色彩图。也可以呈现路面标志12和路面14的主导色彩的所有原始色彩空间值(即，RGB、HSV或Y′UV色彩空间)。
然后，每个表示主导色彩空间值的N个聚类180被发送到欧几里德距离模块138，欧几里德距离模块138确定路面标志12的每个主导色彩空间值与理想标志色空间值之间的欧几里德距离。如上所述，欧几里德距离是基于式1-3确定的。在一个实施例中，路面标志12的主导色彩空间值与理想标志色空间之间的欧几里德距离被发送到评估模块42。评估模块42创建绘制特定地理位置的路面标志12的欧几里德距离的地图98。
总体参考附图，所公开的系统提供了各种技术效果和益处。具体地，所公开的系统提供了一种定量确定路面标志质量的方法，该方法不考虑人的感知，这反过来，人的感知可以导致统一的结果，而不基于不同个体之间的色彩感知的变化。所公开的方法允许各个市政当局和政府机构基于特定的质量标准进行重涂，这反过来，又可以降低重涂成本。最后，所公开的方法能够探索在路面标志中感知的色彩变化(例如，诸如主导色彩空间方法)，这在以前是不可能的。
诸如在片上系统中，控制器可以指电子电路、组合逻辑电路、现场可编程门阵列(FPGA)、执行代码的处理器(共享的、专用的或成组的)，或者上述的一些或全部的组合，或者是它们的一部分。附加地，控制器可以是基于微处理器的，诸如具有至少一个处理器、存储器(RAM和/或ROM)以及相关联的输入和输出总线的计算机。处理器可以在驻留在存储器中的操作系统的控制下运行。操作系统可以管理计算机资源，使得体现为一个或多个计算机软件应用程序的计算机程序代码，诸如驻留在存储器中的应用程序，可以具有由处理器执行的指令。在可选实施例中，处理器可以直接执行应用程序，在这种情况下，可以省略操作系统。
本公开的描述本质上仅仅是示例性的，并且不脱离本公开的主旨的变化旨在处于本公开的范围内。这种变化不应被视为背离了本公开的精神和范围。

Claims (10)

1.一种用于定量确定沿道路上的路面设置的路面标志的质量的系统，所述系统包括：
与多个车辆进行无线通信的一个或多个控制器，其中，所述一个或多个控制器接收由所述多个车辆收集的表示沿所述路面设置的所述路面标志的图像数据，其中，所述一个或多个控制器执行指令以：
将基于所述图像数据的图像帧转换成灰度图像帧，其中，所述灰度图像帧保留指示所述图像帧的原始色彩空间值的数据；
通过提供仅分离表示所述路面标志的所述原始色彩空间值的一个或多个色彩掩码，然后将所述一个或多个色彩掩码的输出组合在一起，来创建灰度滤色器；
通过所述灰度滤色器从所述灰度图像帧中分离出表示所述路面标志的原始色彩空间值，以确定经滤色的灰度图像帧；
基于所述经滤色的灰度图像帧来确定对应于所述路面标志的平均色彩空间值和对应于所述路面的平均色彩空间值；以及
确定所述路面标志的平均色彩空间值与理想标志色彩空间值之间的色彩距离测量以及所述路面标志与所述路面之间的标志强度对比度中的至少一个。
2.根据权利要求1所述的系统，其中，所述一个或多个控制器执行指令以：
由Boolean掩码通过将二进制值分配给所述经滤色的灰度图像帧的像素来滤色被掩蔽的经滤色的灰度图像帧，其中，表示所述路面标志的像素被分配给第一二进制值，并且表示所述路面的像素被分配给第二二进制值。
3.根据权利要求2所述的系统，其中，所述一个或多个控制器执行指令以：
确定表示所述路面标志的第一二进制值的所述像素的平均色彩空间值；
确定表示所述路面的第二二进制值的所述像素的平均色彩空间值；以及
标识由表示所述路面标志的平均色彩空间值表示的色彩。
4.根据权利要求1所述的系统，其中，所述一个或多个控制器标识所述经滤色的灰度图像帧的所述路面标志与所述路面之间的边界。
5.根据权利要求1所述的系统，其中，所述一个或多个控制器执行指令以：
校正所述灰度图像帧的亮度，以去除表示所述道路的路面的所述图像数据中的变色。
6.根据权利要求1所述的系统，其中，所述一个或多个色彩掩码包括仅分离表示第一色彩的色彩空间值的第一色彩掩码和仅分离表示第二色彩的色彩空间值的第二色彩掩码。
7.根据权利要求6所述的系统，其中，所述第一色彩是黄色，并且所述第二色彩是白色。
8.根据权利要求1所述的系统，其中，所述标志强度对比度由下式确定：
Figure FDA0003907322310000021
其中，μM是标志强度，并且μp是路面强度。
9.根据权利要求1所述的系统，其中，所述一个或多个控制器执行指令以：
创建绘制特定地理位置的所述路面标志的色彩距离测量的地图，其中，所述地图在需要重涂所述路面标志的地方提供视觉指示符。
10.根据权利要求1所述的系统，其中，所述一个或多个控制器执行指令以：
基于所述经滤色的灰度图像帧的所述原始色彩空间值来确定所述路面标志和所述路面的主导色彩空间值。
CN202211309299.XA 2021-12-10 2022-10-25 用于定量确定路面标志质量的系统 Pending CN116259031A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/547,580 2021-12-10
US17/547,580 US20230186450A1 (en) 2021-12-10 2021-12-10 System for quantitively determining pavement marking quality

Publications (1)

Publication Number Publication Date
CN116259031A true CN116259031A (zh) 2023-06-13

Family

ID=86498229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211309299.XA Pending CN116259031A (zh) 2021-12-10 2022-10-25 用于定量确定路面标志质量的系统

Country Status (3)

Country Link
US (1) US20230186450A1 (zh)
CN (1) CN116259031A (zh)
DE (1) DE102022124853A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935057B2 (en) * 2012-01-17 2015-01-13 LimnTech LLC Roadway mark data acquisition and analysis apparatus, systems, and methods
JP7188203B2 (ja) * 2019-03-15 2022-12-13 トヨタ自動車株式会社 区画線劣化特定システムおよび区画線劣化特定方法
US11443142B2 (en) * 2020-02-14 2022-09-13 Samsung Electronics Co., Ltd. In-storage-based data processing using machine learning

Also Published As

Publication number Publication date
US20230186450A1 (en) 2023-06-15
DE102022124853A1 (de) 2023-06-15

Similar Documents

Publication Publication Date Title
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN102375982B (zh) 一种融合多字符特征的车牌定位方法
CN110688907B (zh) 基于夜间道路光源识别物体的方法及装置
CN102314601B (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN110084111B (zh) 一种应用于自适应远光灯的快速夜间车辆检测方法
CN104408424A (zh) 一种基于图像处理的多信号灯识别方法
CN104778833A (zh) 识别交通信号灯的方法
CN102938057A (zh) 一种车辆阴影消除方法及装置
CN107644538A (zh) 交通信号灯的识别方法及装置
CN110060221A (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
CN111027494A (zh) 一种基于计算机视觉的矩阵车灯识别方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
CN112419745A (zh) 一种基于深度融合网络的高速公路团雾预警系统
CN107145824B (zh) 一种基于显著性分析的车道线分割方法及系统、车载终端
CN107886033A (zh) 识别圆形交通灯的方法、装置及车辆
Mandal et al. Real-time automotive night-vision system for drivers to inhibit headlight glare of the oncoming vehicles and enhance road visibility
CN111666811A (zh) 一种提取交通场景图像中交通标志牌区域方法及系统
KR101651061B1 (ko) 차선인식 방법 및 장치
CN109800693B (zh) 一种基于颜色通道混合特征的夜间车辆检测方法
CN110570347B (zh) 用于车道线检测的彩色图像灰度化方法
CN107316002A (zh) 一种基于主动学习的夜间前方车辆识别方法
CN110388985B (zh) 确定街道标记的颜色的方法和图像处理系统
CN109330833B (zh) 一种辅助视障患者安全出行的智能感知系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination