CN114841874B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

一种图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114841874B
CN114841874B CN202210417230.2A CN202210417230A CN114841874B CN 114841874 B CN114841874 B CN 114841874B CN 202210417230 A CN202210417230 A CN 202210417230A CN 114841874 B CN114841874 B CN 114841874B
Authority
CN
China
Prior art keywords
light area
image
gray
gray level
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210417230.2A
Other languages
English (en)
Other versions
CN114841874A (zh
Inventor
邵展坚
张青峰
易成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foss Hangzhou Intelligent Technology Co Ltd
Original Assignee
Foss Hangzhou Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foss Hangzhou Intelligent Technology Co Ltd filed Critical Foss Hangzhou Intelligent Technology Co Ltd
Priority to CN202210417230.2A priority Critical patent/CN114841874B/zh
Publication of CN114841874A publication Critical patent/CN114841874A/zh
Application granted granted Critical
Publication of CN114841874B publication Critical patent/CN114841874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像处理方法、装置、设备及存储介质,其中,方法包括:获取感知设备采集的原始图像;对原始图像进行灰度化处理,得到原始图像对应的灰度图;对灰度图进行阈值分割处理,得到原始图像对应的二值图;提取二值图中符合预设灯光特征的连通域作为第一灯光区域;基于二值图判断第一灯光区域中是否存在符合预设光斑特征的连通域;若否,输出第一灯光区域在图像坐标系下的坐标和尺寸信息;若是,基于灰度图和二值图在第一灯光区域中提取第二灯光区域;将第一灯光区域与第二灯光区域合并得到第三灯光区域;输出第三灯光区域在图像坐标系下的坐标和尺寸信息。本发明实现了被大光斑掩盖的灯光轮廓的精细提取。

Description

一种图像处理方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种图像处理方法、装置、设备及存储介质。
背景技术
智能驾驶技术旨在通过利用机器来帮助人类进行驾驶,提高驾驶的性能、体验以及安全性。在夜晚黑暗的道路场景上行驶时,在没有同向或者对向车辆行驶的情况下,驾驶员们通常都希望使用远光灯来提高可视距离,了解道路情况;而前方存在同向或者对向车辆行驶的情况下,又必须使用近光灯,避免远光灯对其他驾驶员造成影响,造成安全隐患。这样的情形,可能会导致驾驶员们需要频繁切换远近光灯来保证驾驶体验,不仅较为繁琐,而且可能会吸引驾驶员们的注意力,降低驾驶的安全性。因此,在智能驾驶这个概念的影响下,智能远光灯控制(Intelligence High Beam Control,IHBC)系统应运而生。该系统会根据特定条件,对汽车的远近光灯进行自动切换,帮助驾驶员们将注意力集中于驾驶中,提高驾驶的安全性。
智能远光灯控制系统的关键在于对场景的精确识别。因此,如何检测行车场景中灯光的位置和其他信息是实现这个系统的核心。在一些已有的方案中,智能远光灯控制系统采取雷达和光敏电阻来感知环境中物体的数量和环境的光照强度,就采取雷达和光敏电阻来感知环境的方案而言,普通中长距离的雷达测量距离相较摄像头的检测距离较近,而且雷达对对象类型的判定并不准确,容易造成误检,在同样的检测距离下,雷达的成本较摄像头较高,或者说,相较于基于雷达的检测方案,基于图像处理进行灯光检测的方案在同等成本下,能实现更远的检测距离。
还有一些方案中,智能远光灯控制系统根据前方车辆的数量对远近光灯进行控制,通过摄像头采集图像,基于数字图像处理技术,对视野中的车辆和灯光进行判别。而现有的基于数字图像处理技术的方案并不关注车灯光斑边界的精细提取。在实际应用过程中可能会造成车灯的误检和漏检,也会影响通过视觉对车灯进行测距,从而影响车灯控制的可靠性。
发明内容
本发明旨在减少现有方法进行检测时产生的误检测以及细化提取到的灯光光斑区域。为此,本发明第一方面提出一种图像处理方法,包括:
获取感知设备采集的原始图像;
对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图;
对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图;
提取所述二值图中符合预设灯光特征的连通域作为第一灯光区域;
基于所述二值图判断所述第一灯光区域中是否存在符合预设光斑特征的连通域;其中,所述预设光斑特征包括所述连通域包含的像素数量大于预设值且所述连通域的中心处于图像中心区域;
若否,输出所述第一灯光区域在图像坐标系下的坐标和尺寸信息;
若是,基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
将所述第一灯光区域与所述第二灯光区域合并得到第三灯光区域;
输出所述第三灯光区域在图像坐标系下的坐标和尺寸信息。
进一步地,所述对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图,包括:
获取所述感知设备的型号;
根据所述感知设备的型号确定其内置的图像传感器的色彩滤波阵列的结构;
根据所述色彩滤波阵列的结构解析所述原始图像,得到初始灰度图;
对所述初始灰度图进行图像预处理,得到所述灰度图。
进一步地,所述对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图,包括:
统计所述灰度图的灰度直方图,得到第一灰度直方图;
基于所述第一灰度直方图使用第一阈值分割方法对所述灰度图进行阈值分割,得到第一阈值分割结果;
基于所述第一阈值分割结果更新所述灰度图得到第一灰度图;
统计所述第一灰度图的灰度直方图,得到第二灰度直方图;
基于所述第二灰度直方图使用第二阈值分割方法对所述第一灰度图进行阈值分割,得到第二阈值分割结果;
基于所述第二阈值分割结果对所述第一灰度图进行二值化处理,得到所述二值图。
进一步地,所述基于所述第一阈值分割结果更新所述灰度图,包括:
基于所述第一阈值分割结果将所述灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变;其中,所述预设灰度值小于阈值。
进一步地,所述基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域,包括:
从所述灰度图中提取所述第一灯光区域的灰度信息;
从所述二值图中提取所述第一灯光区域的二值信息;
根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息计算所述第一灯光区域内前景像素的灰度最小值;
将所述第一灯光区域内背景像素的灰度值更新为所述前景像素的灰度最小值,得到所述第一灯光区域对应的灰度图;
对所述第一灯光区域对应的灰度图进行阈值分割处理,得到所述第一灯光区域对应的二值图;
在所述第一灯光区域对应的二值图中检测符合所述预设光斑特征的连通域,将检测出的连通域作为所述第二灯光区域。
进一步地,所述对所述第一灯光区域对应的灰度图进行阈值分割处理,得到所述第一灯光区域对应的二值图,包括:
统计所述第一灯光区域对应的灰度图的灰度直方图,得到第三灰度直方图;
基于所述第三灰度直方图使用第一阈值分割方法对所述第一灯光区域对应的灰度图进行阈值分割,得到第三阈值分割结果;
基于所述第三阈值分割结果更新所述第一灯光区域对应的灰度图得到第二灰度图;
统计所述第二灰度图的灰度直方图,得到第四灰度直方图;
基于所述第四灰度直方图使用第二阈值分割方法对所述第二灰度图进行阈值分割,得到第四阈值分割结果;
基于所述第四阈值分割结果对所述第二灰度图进行二值化处理,得到所述第一灯光区域对应的二值图。
进一步地,所述基于所述第三阈值分割结果更新所述第一灯光区域对应的灰度图,包括:
基于所述第三阈值分割结果将所述第一灯光区域对应的灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变;其中,所述预设灰度值小于阈值。
本发明第二方面提出一种图像处理装置,包括:
获取模块,用于获取感知设备采集的原始图像;
灰度化模块,用于对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图;
二值化模块,用于对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图;
第一提取模块,用于提取所述二值图中符合预设灯光特征的连通域作为第一灯光区域;
判断模块,用于基于所述二值图判断所述第一灯光区域中是否存在符合预设光斑特征的连通域;其中,所述预设光斑特征包括所述连通域包含的像素数量大于预设值且所述连通域的中心处于图像中心区域;若否,转向第一输出模块,若是,转向第二提取模块;
所述第一输出模块,用于输出所述第一灯光区域在图像坐标系下的坐标和尺寸信息;
所述第二提取模块,用于基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
图像合并模块,用于将所述第一灯光区域与所述第二灯光区域合并得到第三灯光区域;
第二输出模块,用于输出所述第三灯光区域在图像坐标系下的坐标和尺寸信息。
本发明第三方面提出一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本发明第一方面所述的图像处理方法。
本发明第四方面提出一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本发明第一方面所述的图像处理方法。
本发明实施例使用保留有光斑下的灯光轮廓信息的原始图像作为输入,在图像中对灯光产生的光斑进行了两次提取,第一次提取是为了提取灯光存在的区域,第二次提取是为了在第一次提取的大光斑中捕捉光斑下灯光的轮廓信息,提取被大光斑掩盖的灯光精细轮廓。与现有技术相比,本发明实施例提取到的灯光区域更精细,有利于避免车灯的误检和漏检,提高车灯控制的可靠性。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例提供的一种图像处理方法的流程图;
图2是本发明实施例提供的步骤S102的流程图;
图3是现有技术提供的拜尔滤色阵列的排列结构示意图;
图4是图3中一个基本滤色单元的排列结构示意图;
图5是本发明实施例提供的步骤S103的流程图;
图6是本发明实施例提供的步骤S107的流程图;
图7是本发明实施例提供的步骤S1075的流程图;
图8是本发明实施例提供的一种图像处理装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
实施例
在对向有多辆来车、路灯光强较高、城市中各种光照较为充足等环境场景下,源自车灯的光斑可能会汇聚在一起,形成一个较大的光斑,干扰灯光光斑边界的精确检测,这种情况下,就更需要对灯光的轮廓进行精细提取。为了降低现有检测方法的误检率以及细化提取到的灯光光斑区域,本发明实施例提供了一种图像处理方法。
图1是本发明实施例提供的一种图像处理方法的流程图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,该方法可以包括以下步骤:
S101:获取感知设备采集的原始图像;
其中,原始图像中包括光斑下的灯光轮廓细节;原始图像包括但不限于RAW格式的原始图像,其他格式的包括了光斑下的灯光轮廓细节的图像也可以在本文中应用。感知设备包括但不限于搭载在基准目标上任意位置的任意类型的摄像装置或集成有图像感知功能的其他设备,其中,摄像装置包括但不限于彩色摄像头;基准目标可以是自车车辆,还可以是路侧设备/设施等,本实施例不以此为限。
具体的,这里的灯光不限于车前照灯、后尾灯以及道路旁的路灯。
现有的基于数字图像处理技术的方案一般基于JPEG、PNG等格式的压缩后的图像进行车灯检测。这种压缩将图像数据调整到相机合适的图像素质,同时压缩图像大小,以便在CF卡等记录介质上尽可能地存储更多的文件。但是,这种压缩是不可撤销的,也就是说,经过处理之后无法恢复原始图像数据。
在一些环境场景下,例如,对向有多辆来车的情况下、路灯光强较高的情况下、城市中各种光照较为充足的情况下等,源自车灯的光斑可能会汇聚在一起,形成一个较大的光斑,干扰灯光的精确检测。由于图像压缩过程中会丢失光斑下的灯光轮廓细节,在基于JPEG、PNG等格式的压缩后的图像进行灯光检测时,很难将这样的大光斑掩盖下的灯光检测出来。
原始图像是由CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。原始图像记录了图像传感器的原始信息,可以一定程度地反映光斑下的细节。因此,基于原始图像进行检测,最大化地利用了图像传感器所感知到的数据,相较于现有的基于压缩后图像检测的方案,可以感知到图像上更精细的灯光轮廓信息,将大光斑下的灯光轮廓更精细地检测出来。
除此之外,原始图像中保留下来的信息还可以用来来区分车灯、路灯等需要辨别的车灯类型,并处理标志牌、护栏的反光等需要排除的干扰项。
排除大光斑的干扰,获取灯光的精细轮廓有以下几个好处:
1)可以辅助图像和雷达进行目标检测。
2)有效提升车辆车灯的检出率,后续可以对车灯进行匹配分组,并在分组的基础上进行测距。
3)可以在比较精细的区域内提取灯光的细节特征,丰富了用于灯光分类的图像信息,有助于提高灯光分类的正确率,降低由于路面和标志牌等反光产生的误检,降低误检率。
S102:对原始图像进行灰度化处理,得到原始图像对应的灰度图;
S103:对灰度图进行阈值分割处理,得到原始图像对应的二值图;
S104:提取二值图中符合预设灯光特征的连通域作为第一灯光区域;
步骤S104用于在二值图像上对灯光区域进行粗提取并统计灯光的位置和尺寸信息。在一个实施例中,步骤S104具体包括以下步骤:检测二值图中由前景像素构成的连通域,得到第一连通域检测结果;基于第一连通域检测结果筛选符合预设灯光特征的连通域,得到第一连通域筛选结果;根据第一连通域筛选结果提取符合预设灯光特征的连通域,得到第一灯光区域。
其中,检测连通域的方法可以是两次扫描法、基于轮廓扫描的连通域标记方法、基于行程的连通域标记算法和种子填充算法中的任意一种或若干中的组合。
两次扫描法(Two-Pass)是指第一次见扫描时赋予每个像素位置一个标签,扫描过程中同一个连通区域内的像素集合中可能被赋予一个或多个不同的标签,因此需要将这些属于同一个连通区域但具有不同值的标签合并,即记录它们之间的相等关系;第二遍扫描就是将具有相等关系的label所标记的像素区域并赋予一个相同的标签(通常为其中的最小值)。
基于轮廓的连通域标记方法是指从上至下,从左至右依次遍历整个图像,判断所遍历到的前景像素点是否属于轮廓的一部分。若属于,则判断是属于外轮廓还是内轮廓,然后根据内外轮廓不同的特征,遍历整个轮廓并标记。而不属于轮廓的前景像素则依据其最近的轮廓标记来进行标记。
在一些实施例中,检测二值图中由前景像素构成的连通域,得到第一连通域检测结果具体可以包括以下步骤:
逐行扫描原始图像对应的二值图,检测出由每行连续的前景像素组成的像素团,记录像素团的轮廓信息;其中,像素团是由同一行连续的前景像素组成的一个序列,轮廓信息包括起点、终点和所在的行号;
从第二行开始,判断当前检测出的像素团与前一行中任一个像素团是否存在重合区域;
若否,则为当前检测出的像素团赋予新的编号;
若是,判断前一行中与当前检测出的像素团有重合区域的像素团数量是否为一个;
若是,将前一行中与当前检测出的像素团有重合区域的像素团的编号赋予当前检测出的像素团;
若否,将前一行中与当前检测出的像素团有重合区域的多个像素团的最小编号赋予当前检测出的像素团,并将多个像素团的编号写入等价对;
基于像素团的编号、轮廓信息和等价对,得到图像中光斑的连通域信息,对连通域进行筛选,提取符合预设灯光特征的连通域,得到第一灯光区域。
其中,预设灯光特征的具体条件为:
1)根据连通域所在区域,筛选合适大小的连通域,连通域位置距离自车越近,其应有的尺寸大小越大;连通域位置距离自车越远,其应有的尺寸大小越小。
2)连通域的宽高比需要符合一般车灯的规律,其形状应接近一般车灯的形状。
3)连通域中每个像素的平均亮度需要达到一定阈值。
4)大小过大的连通域暂时保留,等待后续步骤S104中进一步判断是否需要进行光斑再提取。
具体的,灯光的位置指的是灯光光斑在像素坐标系中的左上角坐标(u,v),尺寸信息指的是灯光光斑的宽度、高度以及光斑连通域内前景像素的数量,单位均为像素(pixel)。
S105:基于二值图判断第一灯光区域中是否存在符合预设光斑特征的连通域;即判断第一灯光区域中是否有被较大光源光晕掩盖下的灯光的轮廓;若否,转向步骤S106;若是,转向步骤S107;
其中,预设光斑特征的具体条件包括:
1)光斑连通域包含的像素数量大于预设值,这里的预设值是指一个灯光通常该有的像素数量。
2)光斑连通域的中心处于图像中心区域。
由于车辆都是在道路中各个车道组成的行驶区域内行驶的,因此光斑连通域的中心应位于以图像消失点为中心,以路面接地点为下边缘,以左右车道边界为左右边缘,高度与一般车辆符合的区域内。
S106:输出第一灯光区域在图像坐标系下的坐标和尺寸信息;
为了精细地提取场景中被较大光源光晕掩盖下的灯光的轮廓,需要对粗提取的第一灯光区域进行筛选,选出符合再提取条件的光斑区域。
S107:基于灰度图和二值图提取第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
S108:将第一灯光区域与第二灯光区域合并得到第三灯光区域;
S109:输出第三灯光区域在图像坐标系下的坐标和尺寸信息。
步骤S106和步骤S109输出的灯光区域的坐标和尺寸信息可用作灯光控制的信号输入,还可用作其他车身控制的信号输入,本发明实施例不以此为限。
图2是本发明实施例提供的步骤S102的流程图,如图2所示,在一些实施例中,步骤S102可以包括以下步骤:
S1021:获取感知设备的型号;
S1022:根据感知设备的型号确定其内置的图像传感器的色彩滤波阵列(ColorFilter Array,CFA)的结构;
色彩滤波阵列是像素传感器上方的一层马赛克覆盖层,用于采集图像的色彩信息。由于一般的光电传感器只能感应光的强度,不能区分光的波长(色彩)。而色彩滤波器的作用就是根据波长对光线进行滤波。因此,图像传感器需要通过色彩滤波来获取像素点的色彩信息。如今,常见的滤色阵列格式有拜尔滤色阵列(RGGB)、RCCB、RCCC、RGB-IR、单色滤色阵列(Monochrome)。
图3是现有技术提供的拜尔滤色阵列的排列结构示意图,图4是图3中一个基本滤色单元的排列结构示意图,拜尔滤色阵列是目前市场用途最广的色彩滤波阵列之一,具体的如图3和图4所示,这类滤色阵列是一种将RGB滤色器按照特定顺序排列在光传感组件方格上所形成的马赛克彩色滤色阵列。其配置中包含一个红光、一个蓝光以及两个绿光滤波器。图3、4中的文字如红、蓝、绿用于指示该光传感器组件方格对应的颜色。
S1023:根据色彩滤波阵列的结构解析原始图像,得到初始灰度图;
根据色彩滤波阵列的排列结构以及原始图像的像素信息获取各个通道的像素值,计算出每个像素的灰度值,进而解析出原始图像对应的初始灰度图。
具体的,根据RGB三通道彩色转灰度的公式:
Gray=R*0.299+G*0.587+B*0.114
上式中,Gray指的是灰度值,R指的是R通道的数值,G指的是G通道的数值,B指的是B通道的数值。
在图4示出的RGGB的基本滤色单元上,每个像素点只记录一种颜色的数值。因此解析出初始灰度图可以有两种处理方案,其一,是依据每个像素周围的其他颜色的数值来补充该像素点上缺失的颜色信息。其二,是将图像划分为NxN的子区域,每个子区域综合区域内不同的颜色信息输出一个灰度值。
S1024:对初始灰度图进行图像预处理,得到灰度图。
需要说明的是,这里进行图像预处理的目的在于增强灯光的特征,降低反光等干扰项的影响;在一些实施方式中,该图像预处理操作包括:
对第一灰度图像进行减噪处理,得到减噪后的第一灰度图像;
对减噪后的第一灰度图像进行灰度校正处理,以降低第一灰度图像的整体灰度,同时增强较亮区域的信息。
对第一灰度图像进行减噪处理的目的在于消除在图像采集过程中由于电气系统和外界影响而引入的噪声,减噪处理可以是使用高斯滤波进行图像降噪处理,使用高斯滤波可以消除高斯噪声(即概率分布服从高斯分布的噪声)。除此之外,其他图像降噪算法也可以在本文中应用。
灰度校正处理可以采用包括但不限于Gamma校正的图像灰度级调整算法。在本发明实施例中,应用的是γ>1的Gamma校正,Gamma校正的公式为:
f(I)=Iγ
上式中,I为待处理图像的像素点的归一化后的灰度值,γ为参数,取值范围为[0,+∞)。
需要说明的是,预处理步骤还可以使用其他的曝光度调节算法或者其他调节图像质量的方法来替代,由于预处理可以优化的方面很多,且预处理方式本身本非本方案的改进点,此处不再一一举例。
图5是本发明实施例提供的步骤S103的流程图,具体的如图5所示,在一些实施例中,步骤S103可以包括:
S1031:统计灰度图的灰度直方图,得到第一灰度直方图;
S1032:基于第一灰度直方图使用第一阈值分割方法对灰度图进行阈值分割,得到第一阈值分割结果;
S1033:基于第一阈值分割结果更新灰度图得到第一灰度图;
在一些实施例中,步骤S1033具体包括:将灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变,得到第一灰度图;其中,预设灰度值小于阈值,例如预设灰度值为0。
S1034:统计第一灰度图的灰度直方图,得到第二灰度直方图;
S1035:基于第二灰度直方图使用第二阈值分割方法对第一灰度图进行阈值分割,得到第二阈值分割结果;
S1036:基于第二阈值分割结果对第一灰度图进行二值化处理,得到原始图像对应的二值图。
需要说明的是,第一阈值分割方法与第二阈值分割方法可以相同或不同,第一阈值分割方法、第二阈值分割方法可以相互替代。第一阈值分割方法、第二阈值分割方法可以是大津法(即最大类间方差法)、最大熵分割法和自适应二值化算法中的任意一种或任意两种的组合,其他阈值分割算法也可以在本文中应用。
但是根据实际检验,采用第一阈值分割方法为大津法(即最大类间方差法),第二阈值分割方法为最大熵分割法的组合,其效果和可靠性更强。
图6是本发明实施例提供的步骤S107的流程图,具体的如图6所示,在一些实施例中,步骤S107可以包括:
S1071:从灰度图中提取第一灯光区域的灰度信息;
S1072:从二值图中提取第一灯光区域的二值信息;
需要说明的是,步骤S1071与步骤S1072可以按图6示出的顺序进行,也可以以其他顺序进行,例如,步骤S1071在步骤S1072之后发生或者步骤S1071与步骤S1072同时发生。
S1073:根据第一灯光区域的灰度信息和第一灯光区域的二值信息计算第一灯光区域内前景像素的灰度最小值;
可以理解的是,前景像素是相对于背景像素而言的,本发明实施例中前景像素是灰度图中灰度值高于阈值的像素(即灰度图中较亮的像素),背景像素是灰度图中灰度值低于阈值的像素(即灰度图中较暗的像素)。
S1074:根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息将第一灯光区域内背景像素的灰度值更新为前景像素的灰度最小值,得到第一灯光区域对应的灰度图;其中,第一灯光区域内前景像素的像素值保持不变。
S1075:对第一灯光区域对应的灰度图进行阈值分割处理,得到第一灯光区域对应的二值图;
图7是本发明实施例提供的步骤S1075的流程图,具体的如图7所示,在一些实施例中,步骤S1075可以包括:
S10751:统计第一灯光区域对应的灰度图的灰度直方图,得到第三灰度直方图;
S10752:基于第三灰度直方图使用第一阈值分割方法对第一灯光区域对应的灰度图进行阈值分割,得到第三阈值分割结果;
S10753:基于第三阈值分割结果更新第一灯光区域对应的灰度图得到第二灰度图;
在一些实施例中,步骤S10753具体包括:将第一灯光区域对应的灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变;其中,预设灰度值小于阈值。
S10754:统计第二灰度图的灰度直方图,得到第四灰度直方图;
S10755:基于第四灰度直方图使用第二阈值分割方法对第二灰度图进行阈值分割,得到第四阈值分割结果;
S10756:基于第四阈值分割结果对第二灰度图进行二值化处理,得到第一灯光区域对应的二值图。
在得到第一灯光区域对应的二值图之后即可转向检测第二灯光区域的步骤S1076。
S1076:在第一灯光区域对应的二值图中检测符合预设光斑特征的连通域,将检测出的连通域作为第二灯光区域。
在一个实施例中,步骤S1076包括以下步骤:检测第一灯光区域中由前景像素构成的连通域,得到第二连通域检测结果;基于第二连通域检测结果筛选符合预设光斑特征的连通域,得到第二连通域筛选结果;根据第二连通域筛选结果提取符合预设光斑特征的连通域,得到第二灯光区域。
其中,检测连通域的方法可以采用两次扫描法、基于轮廓扫描的连通域标记方法、基于行程的连通域标记算法和种子填充算法中的任意一种。
两次扫描法(Two-Pass)是指第一次见扫描时赋予每个像素位置一个标签,扫描过程中同一个连通区域内的像素集合中可能被赋予一个或多个不同的标签,因此需要将这些属于同一个连通区域但具有不同值的标签合并,即记录它们之间的相等关系;第二遍扫描就是将具有相等关系的label所标记的像素区域并赋予一个相同的标签(通常为其中的最小值)。
基于轮廓的连通域标记方法是指从上至下,从左至右依次遍历整个图像,判断所遍历到的前景像素点是否属于轮廓的一部分。若属于,则判断是属于外轮廓还是内轮廓,然后根据内外轮廓不同的特征,遍历整个轮廓并标记。而不属于轮廓的前景像素则依据其最近的轮廓标记来进行标记。
在一个实施例中,检测第一灯光区域中由前景像素构成的连通域,得到第二连通域检测结果具体可以包括以下步骤:
按预设顺序扫描第一灯光区域中未标记的区域,为检测到的第一个前景像素点赋予一个标签,将与第一个前景像素点相邻的所有前景像素都压入栈中;其中,预设顺序可以是从左向右、从上向下,其他的顺序也可以在本文中应用。
弹出栈顶像素,为栈顶像素赋予与第一个前景像素点相同的标签;
将与栈顶像素相邻的所有前景像素都压入栈中,转向弹出栈顶像素的步骤,直到栈为空;
转向按预设顺序扫描第一灯光区域中未标记的区域的步骤,直至扫描结束;
统计已标记的前景像素的标签,根据统计结果得到第二灯光区域。
需要说明的是,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于相同的发明构思,本发明实施例还提供了一种图像处理装置,该图像处理装置与感知设备一体设置,图8是本发明实施例提供的一种图像处理装置的结构框图,具体的如图8所示,该装置可以包括以下模块:
获取模块201,用于获取感知设备采集的原始图像;
灰度化模块202,用于对原始图像进行灰度化处理,得到原始图像对应的灰度图;
二值化模块203,用于对灰度图进行阈值分割处理,得到原始图像对应的二值图;
第一提取模块204,用于提取二值图中符合预设灯光特征的连通域作为第一灯光区域;
判断模块205,用于基于二值图判断第一灯光区域中是否存在符合预设光斑特征的连通域;其中,预设光斑特征包括连通域包含的像素数量大于预设值且连通域的中心处于图像中心区域;若否,转向第一输出模块206,若是,转向第二提取模块207;
第一输出模块206,用于输出第一灯光区域在图像坐标系下的坐标和尺寸信息;
第二提取模块207,用于基于灰度图和二值图提取第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
图像合并模块208,用于将第一灯光区域与第二灯光区域合并得到第三灯光区域;
第二输出模块209,用于输出第三灯光区域在图像坐标系下的坐标和尺寸信息。
本发明的实施例还提供了一种车辆,该车辆包括装置实施例记载的图像处理装置和感知设备,图像处理装置与感知设备一体设置,感知设备搭载在车辆上。
本发明的实施例还提供了一种电子设备,电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如方法实施例中的图像处理方法。
本发明的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中的图像处理方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的图像处理方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本发明提供的图像处理方法、装置、电子设备或存储介质的实施例可见,本发明实施例使用保留有光斑下的灯光轮廓信息的原始图像作为输入,在图像中对灯光产生的光斑进行了两次提取,第一次提取是为了提取灯光存在的区域,第二次提取是为了在第一次提取的大光斑中捕捉光斑下灯光的轮廓信息,提取被大光斑掩盖的灯光精细轮廓。与现有技术相比,本发明实施例提取到的灯光区域更精细,有利于避免车灯的误检和漏检,提高车灯控制的可靠性。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像处理方法,其特征在于,包括:
获取感知设备采集的原始图像;
对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图;
对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图;
提取所述二值图中符合预设灯光特征的连通域作为第一灯光区域;
基于所述二值图判断所述第一灯光区域中是否存在符合预设光斑特征的连通域;其中,所述预设光斑特征包括所述连通域包含的像素数量大于预设值且所述连通域的中心处于图像中心区域;
若否,输出所述第一灯光区域在图像坐标系下的坐标和尺寸信息;
若是,基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
将所述第一灯光区域与所述第二灯光区域合并得到第三灯光区域;
输出所述第三灯光区域在图像坐标系下的坐标和尺寸信息;
所述基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域,包括:
从所述灰度图中提取所述第一灯光区域的灰度信息;
从所述二值图中提取所述第一灯光区域的二值信息;
根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息计算所述第一灯光区域内前景像素的灰度最小值;
根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息将所述第一灯光区域内背景像素的灰度值更新为所述前景像素的灰度最小值,得到所述第一灯光区域对应的灰度图;
对所述第一灯光区域对应的灰度图进行阈值分割处理,得到所述第一灯光区域对应的二值图;
在所述第一灯光区域对应的二值图中检测符合所述预设光斑特征的连通域,将检测出的连通域作为所述第二灯光区域。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图,包括:
获取所述感知设备的型号;
根据所述感知设备的型号确定其内置的图像传感器的色彩滤波阵列的结构;
根据所述色彩滤波阵列的结构解析所述原始图像,得到初始灰度图;
对所述初始灰度图进行图像预处理,得到所述灰度图。
3.根据权利要求1所述的方法,其特征在于,所述对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图,包括:
统计所述灰度图的灰度直方图,得到第一灰度直方图;
基于所述第一灰度直方图使用第一阈值分割方法对所述灰度图进行阈值分割,得到第一阈值分割结果;
基于所述第一阈值分割结果更新所述灰度图得到第一灰度图;
统计所述第一灰度图的灰度直方图,得到第二灰度直方图;
基于所述第二灰度直方图使用第二阈值分割方法对所述第一灰度图进行阈值分割,得到第二阈值分割结果;
基于所述第二阈值分割结果对所述第一灰度图进行二值化处理,得到所述二值图。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第一阈值分割结果更新所述灰度图,包括:
基于所述第一阈值分割结果将所述灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变;其中,所述预设灰度值小于阈值。
5.根据权利要求1所述的方法,其特征在于,所述对所述第一灯光区域对应的灰度图进行阈值分割处理,得到所述第一灯光区域对应的二值图,包括:
统计所述第一灯光区域对应的灰度图的灰度直方图,得到第三灰度直方图;
基于所述第三灰度直方图使用第一阈值分割方法对所述第一灯光区域对应的灰度图进行阈值分割,得到第三阈值分割结果;
基于所述第三阈值分割结果更新所述第一灯光区域对应的灰度图得到第二灰度图;
统计所述第二灰度图的灰度直方图,得到第四灰度直方图;
基于所述第四灰度直方图使用第二阈值分割方法对所述第二灰度图进行阈值分割,得到第四阈值分割结果;
基于所述第四阈值分割结果对所述第二灰度图进行二值化处理,得到所述第一灯光区域对应的二值图。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第三阈值分割结果更新所述第一灯光区域对应的灰度图,包括:
基于所述第三阈值分割结果将所述第一灯光区域对应的灰度图中低于阈值的像素的灰度置为预设灰度值,高于阈值的像素的灰度保持不变;其中,所述预设灰度值小于阈值。
7.一种图像处理装置,其特征在于,包括:
获取模块,用于获取感知设备采集的原始图像;
灰度化模块,用于对所述原始图像进行灰度化处理,得到所述原始图像对应的灰度图;
二值化模块,用于对所述灰度图进行阈值分割处理,得到所述原始图像对应的二值图;
第一提取模块,用于提取所述二值图中符合预设灯光特征的连通域作为第一灯光区域;
判断模块,用于基于所述二值图判断所述第一灯光区域中是否存在符合预设光斑特征的连通域;其中,所述预设光斑特征包括所述连通域包含的像素数量大于预设值且所述连通域的中心处于图像中心区域;若否,转向第一输出模块,若是,转向第二提取模块;
所述第一输出模块,用于输出所述第一灯光区域在图像坐标系下的坐标和尺寸信息;
所述第二提取模块,用于基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域;
图像合并模块,用于将所述第一灯光区域与所述第二灯光区域合并得到第三灯光区域;
第二输出模块,用于输出所述第三灯光区域在图像坐标系下的坐标和尺寸信息;
所述基于所述灰度图和所述二值图提取所述第一灯光区域中符合预设光斑特征的连通域作为第二灯光区域,包括:
从所述灰度图中提取所述第一灯光区域的灰度信息;
从所述二值图中提取所述第一灯光区域的二值信息;
根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息计算所述第一灯光区域内前景像素的灰度最小值;
根据所述第一灯光区域的灰度信息和所述第一灯光区域的二值信息将所述第一灯光区域内背景像素的灰度值更新为所述前景像素的灰度最小值,得到所述第一灯光区域对应的灰度图;
对所述第一灯光区域对应的灰度图进行阈值分割处理,得到所述第一灯光区域对应的二值图;
在所述第一灯光区域对应的二值图中检测符合所述预设光斑特征的连通域,将检测出的连通域作为所述第二灯光区域。
8.一种电子设备,其特征在于,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-6任一项所述的图像处理方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-6任一项所述的图像处理方法。
CN202210417230.2A 2022-04-20 2022-04-20 一种图像处理方法、装置、设备及存储介质 Active CN114841874B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210417230.2A CN114841874B (zh) 2022-04-20 2022-04-20 一种图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210417230.2A CN114841874B (zh) 2022-04-20 2022-04-20 一种图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114841874A CN114841874A (zh) 2022-08-02
CN114841874B true CN114841874B (zh) 2024-05-31

Family

ID=82566756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210417230.2A Active CN114841874B (zh) 2022-04-20 2022-04-20 一种图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114841874B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117723155B (zh) * 2024-02-18 2024-05-31 深圳市深视智能科技有限公司 颜色传感器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020948A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二○七所 智能车载防撞预警系统中的夜间图像特征提取方法
CN106295528A (zh) * 2016-08-01 2017-01-04 长安大学 一种基于多部件空间位置关系gmm建模的车辆检测方法
CN109636777A (zh) * 2018-11-20 2019-04-16 广州方纬智慧大脑研究开发有限公司 一种交通信号灯的故障检测方法、系统及存储介质
CN109741307A (zh) * 2018-12-27 2019-05-10 宁波舜宇光电信息有限公司 摄像模组的杂光检测方法、杂光检测装置及杂光检测系统
CN112487896A (zh) * 2020-11-18 2021-03-12 合肥湛达智能科技有限公司 一种基于深度学习的远光灯识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785347A (zh) * 2018-04-27 2019-05-21 京东方科技集团股份有限公司 图像处理方法、图像处理系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020948A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二○七所 智能车载防撞预警系统中的夜间图像特征提取方法
CN106295528A (zh) * 2016-08-01 2017-01-04 长安大学 一种基于多部件空间位置关系gmm建模的车辆检测方法
CN109636777A (zh) * 2018-11-20 2019-04-16 广州方纬智慧大脑研究开发有限公司 一种交通信号灯的故障检测方法、系统及存储介质
CN109741307A (zh) * 2018-12-27 2019-05-10 宁波舜宇光电信息有限公司 摄像模组的杂光检测方法、杂光检测装置及杂光检测系统
CN112487896A (zh) * 2020-11-18 2021-03-12 合肥湛达智能科技有限公司 一种基于深度学习的远光灯识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于MATLAB的激光光斑图像处理算法;马时亮;马群;史国清;;工具技术;20110820(第08期);全文 *

Also Published As

Publication number Publication date
CN114841874A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
CN101334836B (zh) 一种融合色彩、尺寸和纹理特征的车牌定位方法
CN107301405A (zh) 自然场景下的交通标志检测方法
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
CN104732235B (zh) 一种消除夜间道路反光干扰的车辆检测方法
CN108256521B (zh) 用于车身颜色识别的有效区域定位方法
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
CN102231236B (zh) 车辆计数方法和装置
CN111027535B (zh) 一种车牌识别方法及相关设备
KR20210006276A (ko) 플리커를 약화시키기 위한 이미지 처리 방법
CN113327252B (zh) 用于对象检测的方法和系统
CN110163109B (zh) 一种车道线标注方法及装置
CN102314601A (zh) 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影
Jagannathan et al. License plate character segmentation using horizontal and vertical projection with dynamic thresholding
CN109886168B (zh) 一种基于层阶的地面交通标志识别方法
CN110782409A (zh) 一种去除多运动物体阴影的方法
CN111723805A (zh) 一种信号灯的前景区域识别方法及相关装置
CN114841874B (zh) 一种图像处理方法、装置、设备及存储介质
CN109389122A (zh) 一种车牌定位方法及装置
JP5983729B2 (ja) 白線検出装置、白線検出フィルタ装置及び白線検出方法
CN111695374B (zh) 监控视角中斑马线区域的分割方法、系统、介质及设备
CN112052859A (zh) 一种自由场景下的车牌精准定位方法及装置
TW201419168A (zh) 不均勻光線下的車牌辨識方法及系統
CN110633705A (zh) 一种低照度成像车牌识别方法及装置
CN112785550B (zh) 图像质量值确定方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant