CN109040522B - 图像处理系统和方法 - Google Patents

图像处理系统和方法 Download PDF

Info

Publication number
CN109040522B
CN109040522B CN201710429041.6A CN201710429041A CN109040522B CN 109040522 B CN109040522 B CN 109040522B CN 201710429041 A CN201710429041 A CN 201710429041A CN 109040522 B CN109040522 B CN 109040522B
Authority
CN
China
Prior art keywords
shadow
image
area
original
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710429041.6A
Other languages
English (en)
Other versions
CN109040522A (zh
Inventor
唐帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to CN201710429041.6A priority Critical patent/CN109040522B/zh
Publication of CN109040522A publication Critical patent/CN109040522A/zh
Application granted granted Critical
Publication of CN109040522B publication Critical patent/CN109040522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Abstract

本发明涉及图像处理系统和方法。图像处理系统包括:图像获取装置,其被构造为获取图像;判定装置,其被构造为判定所述图像的特定区域中是否存在交织光影;和去除装置,其被构造为如果所述图像的特定区域中存在交织光影则去除所述交织光影。图像处理方法包括以下步骤:获取图像;判定所述图像的特定区域中是否存在交织光影;和如果所述图像的所述特定区域中存在交织光影,则去除所述交织光影。该系统和方法能够产生没有交织光影的图像,从而不会使驾驶员眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。

Description

图像处理系统和方法
技术领域
本发明总体上涉及图像处理领域,尤其涉及用于车辆的图像处理系统和方法。
背景技术
当车辆在一些场合下行驶(例如在林荫道上行驶)时,周围环境中的交织光影可能会使驾驶员产生眩晕。当车辆由驾驶辅助系统进行辅助驾驶时,周围环境中的交织光影使得该系统难以清楚地检测周围环境中的交通标记。当具有交织光影的图像在显示装置(诸如HUD(Head-Up Display,平视显示器或抬头显示器)和可穿戴式设备(例如智能眼镜)等)上显示时,交织光影可能会导致在这些显示装置上显示的图像不清楚,从而影响驾驶员通过显示装置对周围环境、车辆状况等进行观察。
因此,需要提供生成没有交织光影的图像的图像处理系统和方法,该图像不会使驾驶员产生眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。
发明内容
本发明的目的在于提供图像处理系统和方法,该系统和方法能够生成没有交织光影的图像,从而不会使驾驶员产生眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。
根据本发明的一方面,提供了一种图像处理系统,其包括:图像获取装置,其被构造为获取图像;判定装置,其被构造为判定图像的特定区域中是否存在交织光影;和去除装置,其被构造为如果图像的特定区域中存在交织光影则去除交织光影。
根据本发明的实施例,图像处理系统还包括:识别装置,其被构造为识别图像的特定区域中的阴影区和光照区,其中,判定装置被构造为根据图像的特定区域中是否包括具有预定面积的如下所述的部分来判定图像的特定区域中是否存在交织光影:在该部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数大于数量阈值。
根据本发明的实施例,第一面积阈值等于第二面积阈值。
根据本发明的实施例,识别装置包括:检测单元,其被构造为检测图像的特定区域中的阴影像素和光照像素;判定单元,其被构造为将由相邻的阴影像素组成的区域判定为原始阴影区并且将由相邻的光照像素组成的区域判定为原始光照区;和处理单元,其被构造为对原始阴影区和原始光照区进行降噪处理,以获得阴影区和光照区。
根据本发明的实施例,判定单元被构造为如果检测单元检测到图像的特定区域中存在阴影像素和光照像素两者则判定原始阴影区和原始光照区。
根据本发明的实施例,预定面积、第一面积阈值、第二面积阈值和数量阈值为预设经验值或通过机器学习算法所获得的预设值。
根据本发明的实施例,预定面积、第一面积阈值和第二面积阈值可以由面积值、像素数或比值来表示。
根据本发明的实施例,去除装置包括:映射单元,其被构造为将图像映射到HSV颜色空间;计算单元,其被构造为对于每个阴影区,分别计算各自相邻的一个或多个光照区的所有光照像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave;调节单元,其被构造为通过以下公式调节每个阴影区的每个阴影像素的色调、饱和度和明度:
H_shadow_adjust=F1(H_shadow_original,H_ave,parameter_H)
S_shadow_adjust=F2(S_shadow_original,S_ave,parameter_S)
V_shadow_adjust=F3(V_shadow_original,V_ave,parameter_V)
其中,“H_shadow_adjust”是指调节之后的阴影像素的色调;“S_shadow_adjust”是指调节之后的阴影像素的饱和度;“V_shadow_adjust”是指调节之后的阴影像素的明度;“H_shadow_original”是指调节之前的阴影像素的色调;“S_shadow_original”是指调节之前的阴影像素的饱和度;并且“V_shadow_original”是指调节之前的阴影像素的明度,并且其中,映射函数“F1(x,y,z)”、“F2(x,y,z)”和“F3(x,y,z)”是预设经验函数或通过机器学习算法获得的预设函数,并且参数“parameter_H”、“parameter_S”和“parameter_V”是预设经验值或通过机器学习算法获得的预设值。
根据本发明的实施例,图像获取装置构造成获取车辆前方的场景的图像,并且特定区域是车辆正在行驶的车道。
根据本发明的另一方面,提供了一种安装有如上所述的根据本发明的实施例的图像处理系统的车辆。
根据本发明的另一方面,提供了一种图像处理方法,其包括以下步骤:获取图像;判定图像的特定区域中是否存在交织光影;和如果图像的特定区域中存在交织光影,则去除交织光影。
根据本发明的实施例,图像处理方法还包括以下步骤:识别图像的特定区域中的阴影区和光照区,其中,根据图像的特定区域中是否包括具有预定面积的如下所述的部分来判定图像的特定区域中是否存在交织光影:在该部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数大于数量阈值。
根据本发明的实施例,第一面积阈值等于第二面积阈值。
根据本发明的实施例,识别阴影区和光照区的步骤包括以下步骤:检测图像的特定区域中的阴影像素和光照像素;将由相邻的阴影像素组成的区域判定为原始阴影区并且将由相邻的光照像素组成的区域判定为原始光照区;和对原始阴影区和原始光照区进行降噪处理以得到阴影区和光照区。
根据本发明的实施例,如果检测到图像的特定区域中存在阴影像素和光照像素两者则判定原始阴影区和原始光照区。
根据本发明的实施例,预定面积、第一面积阈值、第二面积阈值和数量阈值是预设经验值或通过机器学习算法所获得的预设值。
根据本发明的实施例,预定面积、第一面积阈值和第二面积阈值由面积值、像素数或比值来表示。
根据本发明的实施例,去除交织光影的步骤包括以下步骤:将图像映射到HSV颜色空间;对于每个阴影区,分别计算各自相邻的一个或多个光照区的所有光照像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave;通过以下公式调节每个阴影区的每个阴影像素的色调、饱和度和明度:
H_shadow_adjust=F1(H_shadow_original,H_ave,parameter_H)
S_shadow_adjust=F2(S_shadow_original,S_ave,parameter_S)
V_shadow_adjust=F3(V_shadow_original,V_ave,parameter_V)
其中,“H_shadow_adjust”是指调节之后的阴影像素的色调;“S_shadow_adjust”是指调节之后的阴影像素的饱和度;“V_shadow_adjust”是指调节之后的阴影像素的明度;“H_shadow_original”是指调节之前的阴影像素的色调;“S_shadow_original”是指调节之前的阴影像素的饱和度;并且“V_shadow_original”是指调节之前的阴影像素的明度,并且其中,映射函数“F1(x,y,z)”、“F2(x,y,z)”和“F3(x,y,z)”是预设经验函数或通过机器学习算法获得的预设函数,并且参数“parameter_H”、“parameter_S”和“parameter_V”是预设经验值或通过机器学习算法获得的预设值。
根据本发明的实施例,获取图像的步骤包括获取车辆前方的场景的图像,并且特定区域是车辆正在行驶的车道。
根据本发明的实施例的图像处理系统和方法能够生成没有交织光影的图像,从而不会使驾驶员产生眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。
附图说明
图1是示出根据本发明的实施例的图像处理系统的示意图。
图2是示出根据本发明的实施例的车辆前方的场景的示意图。
图3A是示出根据本发明的实施例的由图像获取装置采集的图像的示意图。
图3B是示出根据本发明的实施例的由图像采集装置采集的图像的示意图。
图4是根据本发明的实施例的图像处理方法的流程图。
图5A是根据本发明的实施例的阴影区和光照区的分布的示意图。
图5B是根据本发明的实施例的阴影区和光照区的分布的示意图。
具体实施方式
下文中,参照附图描述本发明的实施例。下面的详细描述和附图用于示例性地说明本发明的原理,本发明不限于所描述的优选实施例,本发明的范围由权利要求书限定。
根据本发明的实施例的图像处理系统能够安装或应用于车辆,以便在车辆行驶时为车辆或驾驶员提供辅助。本文中的车辆例如可以是使用内燃机作为驱动源的内燃机汽车,可以是使用电动机作为驱动源的电动汽车或燃料电池汽车,也可以是使用内燃机和电动机作为驱动源的混合动力汽车,或者可以是包括其它驱动源的汽车。
图1是示出根据本发明的实施例的图像处理系统的示意图。如图1所示,车辆1包括图像处理系统100。图像处理系统100可以与车辆1的其它部件彼此连接和通信。为了简明起见,车辆中公知的动力和操纵装置、传动系统等部件未在图1中示出。
根据本发明的一些实施例,图像处理系统100包括图像获取装置110、判定装置120和去除装置130。在示例性实施例中,图像处理系统100还可以包括识别装置140和图像显示装置150。
图像获取装置110被构造为获取图像,其中,所获取的图像能够反映亮度分布。根据本发明的实施例,图像获取装置110可以用于采集车辆前方的场景的图像。图像获取装置110能够以预定的时间间隔连续地采集图像。图2是示出由图像获取装置110所采集的图像的示意图。如图2所示,图像中包括具有交叉路口的道路210、在道路210上行驶的一些车辆以及该道路210右侧的绿化带。
本领域的技术人员应当理解根据不同的场合和需求,图像可以有相应的作用。在一个示例中,图像可以传输至驾驶辅助系统,以判断道路上或周围环境中的交通标志或交通标线。在另一个示例中,图像可以被存储在存储器中以记录车辆状态。在又一个示例中,图像可以传输至显示装置(诸如HUD和可穿戴式设备等)以向驾驶员显示车辆前方的场景。此外,在又一个示例中,图像可以与现实增强图像叠加。
根据本发明的实施例,图像获取装置110可以包括用于采集车辆前方的场景的图像的一个或多个相机。相机例如可以为RGB相机或其它类型的相机。每个相机可以安装在车辆上有利于采集车辆前方的场景的图像的任意位置。例如,相机可以安装在车辆的前部、尾部、侧部或顶部或其组合。
识别装置120被构造为识别图像的特定区域中的阴影区和光照区。特定区域可以是图像的一部分或整个图像。在图像用于向车辆的驾驶辅助系统或驾驶员等提供周围环境的信息时,该特定区域可以包括整个图像区域。当图像用于检测道路上的交通标志和交通标线时,特定区域可以是图像中的路面上的区域、道路两侧的区域和道路上方的区域。
在本发明中,主要对去除图像的特定区域中的交织光影的情况进行描述。在该情况下,特定区域可以是图像中的道路。这是由于驾驶员把更多的注意力放在路况上并且道路通常比道路之外的其它物体(例如绿化带)具有更高的反射率,因此图像中道路所覆盖的区域对驾驶员的视野的影响较大。根据本发明的实施例,道路可以包括各种类型的道路,例如,高速公路、城市道路(土路、水泥路或柏油路)、未开垦的道路等。
根据本发明的实施例,特定区域可以包括车辆正在行驶的道路210,这是由于驾驶员会忽略除车辆正在行驶的道路210之外的其它道路。如图2所示,特定区域并不包含与道路210相交的分支道路220以及与道路210平行并间隔开的道路230。根据本发明的实施例,道路可以包括多条车道,特定区域可以只包括车辆正在行驶的那条车道。
识别装置140被构造为识别图像的特定区域中的阴影区和光照区。识别装置140可以包括检测单元141、判定单元142和处理单元143。
检测单元141被构造成检测图像的特定区域中的阴影像素和光照像素。检测单元141可以包括不同类型的传感器,例如激光传感器、雷达传感器、图像传感器等。根据本发明的实施例,诸如激光传感器、雷达传感器和图像传感器等的传感器可以单独使用或组合使用。
判定单元142被构造为将由相邻的阴影像素组成的区域判定为原始阴影区并且将由相邻的光照像素组成的区域判定为原始光照区。
当车辆周围的环境不同时,图像中的阴影区和光照区的分布(即,位置、形状和数量等)也会发生变化。图3A是示出图像的特定区域中的原始阴影区和原始光照区的分布的示意图。如图3A所示,该图像示出位于车辆前方的具有三条车道的道路。在该图像中,道路的远离图像的底缘延伸大于距离D的部分大致被视为直线340。特定区域由车辆正在行驶的车道的两侧310和320、图像的底缘330和直线340来界定。相邻的阴影像素组成四个原始阴影区S1、S2、S3和S4(由阴影线填充),并且相邻的光照像素组成五个原始光照区L1、L2、L3、L4和L5(未被阴影线填充)。四个阴影区和五个光照区交替排列。
在图3A中,特定区域的形状为锥形。然而,该形状仅是示例的目的而非用于限制。本领域的技术人员应当理解特定区域也可以具有其它形状,例如,矩形、六边形或不规则形状等。
根据本发明的实施例,判定单元142被构造为如果检测单元141检测到图像的特定区域中存在阴影像素和光照像素,则判定原始阴影区和原始光照区。如果检测单元141检测到图像的特定区域中只存在阴影像素和光照像素中的一种,则由于图像的特定区域必然不会存在交织光影,因此判定单元142不必判定原始阴影区和原始光照区。
处理单元143被构造为对原始阴影区和原始光照区进行降噪处理,以获得阴影区和光照区。根据本发明的实施例,处理单元143用于去除夹在两个原始光照区之间以及位于原始光照区中的肉眼难以看到的或太小的阴影区,并且去除夹在两个原始阴影区之间以及位于原始阴影区中的肉眼难以看到的或太小的光照区。有关去除光照区中的阴影区的方法,请参见下文对去除装置130的描述,其中,详细地说明了阴影去除方法。同理,可以采用与阴影去除方法相类似的方法或本领域中公知的其它方法来去除阴影区中的光照区。再次以图3A为例,由于原始阴影区S1与S2之间的光照区L2太小使得驾驶员难以觉察到,故将该光照区L2去除。因此,原始阴影区S1和S2以及原始光照区L2合并为一个阴影区S1’。识别装置140最终识别出图像的特定区域中存在三个阴影区S1’、S3和S4以及四个光照区L1、L3、L4和L5。
判定装置120被构造为判定图像的特定区域中是否存在交织光影。根据本发明的实施例,判定装置120被构造为根据图像的特定区域中是否包括具有特定面积的如下所述的部分来判定图像的特定区域中是否存在交织光影:在该部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数大于数量阈值。
预定面积可以通过主观评估法来获得,例如测试经验、用户调研或机器学习算法。预定面积不能太小。当具有预定面积的区域填充有交织光影时,该区域应当足够大以引起驾驶员的眼睛不适或者干扰驾驶员的眼睛。此外,具有预定面积的部分越小,所需的计算能量越大。此外,预定面积不能太大。否则,判定精度就会降低。
根据本发明的实施例,具有预定面积的部分可以通过使用滑动框来判定。具有预定面积的滑动框可以以滑动方式扫描遍及特定区域。如果在特定区域的位于滑动框内的部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数大于数量阈值,则图像的特定区域中存在交织光影。滑动框可以具有各种形状,例如,矩形或不规则形状。
第一面积阈值、第二面积阈值和数量阈值通过主观评估法来获得,例如测试经验、用户调研或机器学习算法。第一面积阈值和第二面积阈值可以是适当的数值。如果第一面积阈值和第二面积阈值太小,则阴影区或光照区会不能引起驾驶员眩晕。例如,第一面积阈值或第二面积阈值可以为400像素或该部分的面积的20%。数量阈值可以是适当的数值,如果比该数值小,则阴影区和光照区的交替会太少而不能引起驾驶员眩晕。例如,数量阈值可以为7。
根据本发明的实施例,如果车速增加,第一面积阈值和第二面积阈值可以更大并且数量阈值可以更小。例如,当车辆以30km/h的速度行驶时,第一面积阈值或第二面积阈值为该部分的面积的10%,并且数量阈值为4。当车辆以60km/h的速度行驶时,第一面积阈值或第二面积阈值为该部分的面积的15%,并且数量阈值为3。
根据本发明的实施例,第一面积阈值和第二面积阈值相等。在该情况下,假设预定面积的预设值为特定区域的面积的50%,第一面积阈值或第二面积阈值的预设值是特定区域的面积的10%,并且数量阈值的预设值为4。在图3所示的示例中,虚线框中的部分的面积是特定区域的面积的50%。大于特定区域的面积的10%的区域有阴影区SP1、SP2和SP3以及光照区LP1、LP2和LP3。这些阴影区和光照区的总数为6,大于数量阈值,即,4。因此,判定装置120判定图像的特定区域中存在交织光影。
在上文中,预定面积、第一面积阈值和第二面积阈值由比值来表示。然而,本发明并不限于此。预定面积、第一面积阈值和第二面积阈值也可以由面积值或像素数来表示。像素数可以根据图像获取装置110(例如,相机)的分辨率来确定。
此外,本领域的技术人员应当理解,预定面积、第一面积阈值、第二面积阈值和数量阈值的以上示例仅是示例性的并不旨在限制。
去除装置130被构造为去除图像的特定区域中的交织光影。去除装置130包括映射单元131、计算单元132和调节单元133。根据本发明的实施例,去除单元130被构造为基于HSV颜色模型来去除交织光影。
具体而言,映射单元131将图像映射到HSV颜色空间。其中,H表示色调,S表示饱和度,并且V表示明度。由于HSV颜色模型非常符合人们对颜色的视觉感知并且能够精确地反映灰度信息和色彩信息,因此将交织光影在HSV颜色空间中进行处理。根据本发明的实施例,如果由图像获取装置110获取的图像在RGB颜色空间中,则映射单元131将图像从RGB颜色空间映射到HSV颜色空间。
计算单元132被构造为对于每个阴影区,分别计算出各自相邻的一个或多个光照区的所有光照像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave。以图3B中所示的阴影区SP1为例,计算单元132分别计算出与其相邻的光照区SL1和SL2的所有像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave。
调节单元133被构造为通过以下公式调节每个阴影区的每个阴影像素的色调、饱和度和明度:
H_shadow_adjust=F1(H_shadow_original,H_ave,parameter_H)
S_shadow_adjust=F2(S_shadow_original,S_ave,parameter_S)
V_shadow_adjust=F3(V_shadow_original,V_ave,parameter_V)
在以上公式中,“H_shadow_adjust”是指调节之后的阴影像素的色调;“S_shadow_adjust”是指调节之后的阴影像素的饱和度;“V_shadow_adjust”是指调节之后的阴影像素的明度;“H_shadow_original”是指调节之前的阴影像素的色调;“S_shadow_original”是指调节之前的阴影像素的饱和度;并且“V_shadow_original”是指调节之前的阴影像素的明度。映射函数“F1(x,y,z)”、“F2(x,y,z)”和“F3(x,y,z)”是预设经验函数或通过机器学习算法获得的预设函数,并且参数“parameter_H”、“parameter_S”和“parameter_V”是预设经验值或通过机器学习算法获得的预设值。
本领域的技术人员应当理解,由去除装置130执行的去除交织光影的方法并不限于此。去除装置130还可以利用本领域中公知的其它阴影去除方法来去除交织光影。
图像显示装置150被构造为显示去除了交织光影的调节后的图像。根据本发明的实施例,图像显示装置150可以用于显示由去除了交织光影的调节后的多个图像组成的视频。图像显示装置150可以是仪表板、HUD、其上可以投射图像的挡风玻璃或可穿戴式设备(例如智能眼镜)。图像显示装置150可以使用现实增强技术来显示图像,并且相应地有关车辆前方的场景的信息可以叠加在现实世界之上。在这种情况下,有必要校准图像显示装置150以使这些信息与驾驶员的视野相匹配。
因此,根据本发明的实施例的图像处理系统100用于生成没有交织光影的图像,从而不会使驾驶员产生眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。
接着,将参照附图描述根据本发明的实施例的图像处理方法。图4是示出根据本发明的实施例的图像处理方法的流程图。根据本发明的实施例的图像处理方法包括步骤S410至S430。
如图4所示,在步骤S410中,获取图像。根据本发明的实施例,获取车辆前方的场景的图像。本领域的技术人员应当理解所获取的图像并不限于此。在对图像处理装置的说明中示出了所获取的图像的其它示例,故在此不再赘述。
在步骤S420中,判定图像的特定区域中是否存在交织光影。根据本发明的实施例,图像的特定区域是车辆正在行驶的车道。本领域的技术人员应当理解特定区域并不限于此。在对图像处理装置的说明中示出了该特定区域的其它示例,故在此不再赘述。
如果在步骤S420中判定图像的特定区域中不存在交织光影,则图像处理方法结束。根据本发明的其它实施例,在步骤S410中,可以以预定的时间间隔连续地采集多个图像。如果被判定的一个图像的特定区域中不存在交织光影,则图像处理方法结束对该图像的处理并且随后继续对其它图像进行处理。
如果在步骤S420中判定图像的特定区域中存在交织光影,则处理进行到步骤S430。在步骤S430中,去除交织光影。去除方法可以由去除装置130来执行。在上文中,在对去除装置130进行描述时,已经对详细的去除方法进行了说明,故在此不再赘述。
根据本发明的实施例,判定图像的特定区域中是否存在交织光影的步骤S420包括相继执行的步骤S421和S422。在步骤S421中,识别图像的特定区域中的阴影区和光照区。在步骤S422中,根据图像的特定区域中是否包括具有特定面积的如下所述的部分来判定图像的特定区域中是否存在交织光影:在该部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数大于数量阈值。
根据本发明的实施例,识别图像的特定区域中的阴影区和光照区的步骤S421包括相继执行的步骤S4211至S4213。在步骤S4211中,检测图像的特定区域中的阴影像素和光照像素。在步骤S4212中,将相邻的阴影像素组成的区域判定为原始阴影区,并且将相邻的光照像素组成的区域判定为原始光照区。在步骤S4213中,对原始阴影区和原始光照区进行降噪处理以获得阴影区和光照区。
根据本发明的实施例,判定图像的特定区域中是否存在交织光影的步骤S422可以通过利用如上所述的具有预定面积的滑动框来执行。滑动框以滑动的方式遍及图像的特定区域。在滑动期间,判定:在特定区域的位于滑动框之内的部分中,面积大于第一面积阈值的阴影区和面积大于第二面积阈值的光照区的总数是否大于数量阈值。如果是,则判定图像的特定区域存在交织光影。如果否,则判定图像的特定区域中不存在交织光影。
附加地,在步骤S4211和步骤S4212之间还包括步骤S4214,即,判定图像的特定区域中是否存在阴影像素和光照像素两者。如果是,则处理进行到步骤S4212,即判定原始阴影区和原始光照区。如果否,即,图像的特定区域只存在阴影像素和光照像素中的一种,则判定图像的特定区域中不存在交织光影。
因此,根据本发明的实施例的图像处理方法用于生成没有交织光影的图像,从而不会使驾驶员眩晕并且基于该图像运行的车辆的系统和装置能够正常地运行。
<其它实施例>
根据本发明的实施例,以彼此交替排列并且各自延伸至车道的两侧的条状阴影区和光照区(如图3A和3B所示)为例对图像处理系统和方法进行说明。然而,本发明并不限于此。在实际情况下,特定区域中的阴影区和光照区可以具有不同的分布。图5A和图5B是示出这些阴影区和光照区的不同分布的示意图。为了便于描述,仅在图5A和图5B中示出了特定区域,而非整个图像。如图5A所示,在阴影区中分离地分布有多个光照区。如图5B所示,在特定区域中存在一个不规则阴影区以及由特定区域的边缘和阴影区的边缘界定的多个光照区。
尽管已经参考示例性实施例描述了本发明,但是应理解,本发明并不限于上述实施例的构造和方法。相反,本发明意在覆盖各种修改例和等同配置。另外,尽管在各种示例性结合体和构造中示出了所公开发明的各种元件和方法步骤,但是包括更多、更少的元件或方法的其它组合也落在本发明的范围之内。

Claims (19)

1.一种图像处理系统,其包括:
图像获取装置,其被构造为获取图像;
判定装置,其被构造为判定所述图像的特定区域中是否存在交织光影;和
去除装置,其被构造为如果所述图像的特定区域中存在交织光影则去除所述交织光影。
2.根据权利要求1所述的图像处理系统,还包括:
识别装置,其被构造为识别所述图像的特定区域中的阴影区和光照区,其中,
所述判定装置被构造为根据所述图像的特定区域中是否包括具有预定面积的如下所述的部分来判定所述图像的特定区域中是否存在交织光影:在所述部分中,面积大于第一面积阈值的所述阴影区和面积大于第二面积阈值的所述光照区的总数大于数量阈值。
3.根据权利要求2所述的图像处理系统,其中,
所述第一面积阈值等于所述第二面积阈值。
4.根据权利要求2所述的图像处理系统,其中,所述识别装置包括:
检测单元,其被构造为检测所述图像的特定区域中的阴影像素和光照像素;
判定单元,其被构造为将由相邻的所述阴影像素组成的区域判定为原始阴影区并且将由相邻的所述光照像素组成的区域判定为原始光照区;和
处理单元,其被构造为对所述原始阴影区和所述原始光照区进行降噪处理,以获得所述阴影区和所述光照区。
5.根据权利要求4所述的图像处理系统,其中,
所述判定单元被构造为如果所述检测单元检测到所述图像的特定区域中存在所述阴影像素和所述光照像素两者则判定所述原始阴影区和所述原始光照区。
6.根据权利要求2所述的图像处理系统,其中,
所述预定面积、所述第一面积阈值、所述第二面积阈值和所述数量阈值为预设经验值或通过机器学习算法所获得的预设值。
7.根据权利要求2所述的图像处理系统,其中,
所述预定面积、所述第一面积阈值和所述第二面积阈值由面积值、像素数或比值来表示。
8.根据权利要求1所述的图像处理系统,其中,所述去除装置包括:
映射单元,其被构造为将所述图像映射到HSV颜色空间;
计算单元,其被构造为对于每个阴影区,分别计算各自相邻的一个或多个所述光照区的所有光照像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave;
调节单元,其被构造为通过以下公式调节每个所述阴影区的每个所述阴影像素的色调、饱和度和明度:
H_shadow_adjust = F1(H_shadow_original, H_ave, parameter_H)
S_shadow_adjust = F2(S_shadow_original, S_ave, parameter_S)
V_shadow_adjust = F3(V_shadow_original, V_ave, parameter_V)
其中,“H_shadow_adjust”是指调节之后的阴影像素的色调;“S_shadow_adjust”是指调节之后的阴影像素的饱和度;“V_shadow_adjust”是指调节之后的阴影像素的明度;“H_shadow_original”是指调节之前的阴影像素的色调;“S_shadow_original”是指调节之前的阴影像素的饱和度;并且“V_shadow_original”是指调节之前的阴影像素的明度,并且其中,
映射函数“F1(H_shadow_original, H_ave, parameter_H)”、“F2(S_shadow_original, S_ave, parameter_S)”和“F3(V_shadow_original, V_ave, parameter_V)”是预设经验函数或通过机器学习算法获得的预设函数,并且参数“parameter_H”、“parameter_S”和“parameter_V”是预设经验值或通过机器学习算法获得的预设值。
9.根据权利要求1至8中任一项所述的图像处理系统,其中,
所述图像获取装置构造成获取车辆前方的场景的图像,并且所述特定区域是所述车辆正在行驶的车道。
10.一种安装有权利要求1至9中任一项所述的图像处理系统的车辆。
11.一种图像处理方法,其包括以下步骤:
获取图像;
判定所述图像的特定区域中是否存在交织光影;和
如果所述图像的所述特定区域中存在交织光影,则去除所述交织光影。
12.根据权利要求11所述的图像处理方法,还包括以下步骤:
识别所述图像的特定区域中的阴影区和光照区,其中,
根据所述图像的特定区域中是否包括具有预定面积的如下所述的部分来判定所述图像的特定区域中是否存在交织光影:在所述部分中,面积大于第一面积阈值的所述阴影区和面积大于第二面积阈值的所述光照区的总数大于数量阈值。
13.根据权利要求12所述的图像处理方法,其中,
所述第一面积阈值等于所述第二面积阈值。
14.根据权利要求12所述的图像处理方法,其中,识别所述阴影区和所述光照区的步骤包括以下步骤:
检测所述图像的特定区域中的阴影像素和光照像素;
将由相邻的所述阴影像素组成的区域判定为原始阴影区并且将由相邻的所述光照像素组成的区域判定为原始光照区;和
对所述原始阴影区和所述原始光照区进行降噪处理以得到所述阴影区和所述光照区。
15.根据权利要求14所述的图像处理方法,其中,
如果检测到所述图像的特定区域中存在所述阴影像素和所述光照像素两者则判定所述原始阴影区和所述原始光照区。
16.根据权利要求12所述的图像处理方法,其中,
所述预定面积、所述第一面积阈值、所述第二面积阈值和所述数量阈值是预设经验值或通过机器学习算法所获得的预设值。
17.根据权利要求12所述的图像处理方法,其中,
所述预定面积、所述第一面积阈值和所述第二面积阈值由面积值、像素数或比值来表示。
18.根据权利要求11所述的图像处理方法,其中,去除所述交织光影的步骤包括以下步骤:
将所述图像映射到HSV颜色空间;
对于每个阴影区,分别计算各自相邻的一个或多个所述光照区的所有光照像素的色调的平均值H_ave、饱和度的平均值S_ave和明度的平均值V_ave;
通过以下公式调节每个所述阴影区的每个所述阴影像素的色调、饱和度和明度:
H_shadow_adjust = F1(H_shadow_original, H_ave, parameter_H)
S_shadow_adjust = F2(S_shadow_original, S_ave, parameter_S)
V_shadow_adjust = F3(V_shadow_original, V_ave, parameter_V)
其中,“H_shadow_adjust”是指调节之后的所述阴影像素的色调;“S_shadow_adjust”是指调节之后的所述阴影像素的饱和度;“V_shadow_adjust”是指调节之后的所述阴影像素的明度;“H_shadow_original”是指调节之前的所述阴影像素的色调;“S_shadow_original”是指调节之前的所述阴影像素的饱和度;并且“V_shadow_original”是指调节之前的所述阴影像素的明度,并且其中,
映射函数“F1(H_shadow_original, H_ave, parameter_H)”、“F2(S_shadow_original, S_ave, parameter_S)”和“F3(V_shadow_original, V_ave, parameter_V)”是预设经验函数或通过机器学习算法获得的预设函数,并且参数“parameter_H”、“parameter_S”和“parameter_V”是预设经验值或通过机器学习算法获得的预设值。
19.根据权利要求11至18中任一项所述的图像处理方法,其中,获取图像的步骤包括获取车辆前方的场景的图像,并且所述特定区域是所述车辆正在行驶的车道。
CN201710429041.6A 2017-06-08 2017-06-08 图像处理系统和方法 Active CN109040522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710429041.6A CN109040522B (zh) 2017-06-08 2017-06-08 图像处理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710429041.6A CN109040522B (zh) 2017-06-08 2017-06-08 图像处理系统和方法

Publications (2)

Publication Number Publication Date
CN109040522A CN109040522A (zh) 2018-12-18
CN109040522B true CN109040522B (zh) 2021-09-10

Family

ID=64629576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710429041.6A Active CN109040522B (zh) 2017-06-08 2017-06-08 图像处理系统和方法

Country Status (1)

Country Link
CN (1) CN109040522B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216941A (zh) * 2008-01-17 2008-07-09 上海交通大学 剧烈光照变化下基于角点匹配与光流法的运动估计方法
CN101376352A (zh) * 2008-09-24 2009-03-04 上海大学 自动适应夜间行车弯道及坡度的汽车前照灯控制装置及方法
CN101621607A (zh) * 2009-07-24 2010-01-06 天津三星光电子有限公司 数码相机消除影像阴影的方法
CN102177709A (zh) * 2008-10-15 2011-09-07 松下电器产业株式会社 亮度修正装置和亮度修正方法
CN102339390A (zh) * 2011-09-16 2012-02-01 天津市亚安科技股份有限公司 一种视频监控系统目标模板的更新方法及系统
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN103745433A (zh) * 2013-12-05 2014-04-23 莱阳市科盾通信设备有限责任公司 一种用于车辆安全辅助视频图像处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216941A (zh) * 2008-01-17 2008-07-09 上海交通大学 剧烈光照变化下基于角点匹配与光流法的运动估计方法
CN101376352A (zh) * 2008-09-24 2009-03-04 上海大学 自动适应夜间行车弯道及坡度的汽车前照灯控制装置及方法
CN102177709A (zh) * 2008-10-15 2011-09-07 松下电器产业株式会社 亮度修正装置和亮度修正方法
CN101621607A (zh) * 2009-07-24 2010-01-06 天津三星光电子有限公司 数码相机消除影像阴影的方法
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉
CN102339390A (zh) * 2011-09-16 2012-02-01 天津市亚安科技股份有限公司 一种视频监控系统目标模板的更新方法及系统
CN103578119A (zh) * 2013-10-31 2014-02-12 苏州大学 基于超像素的Codebook动态场景中目标检测方法
CN103745433A (zh) * 2013-12-05 2014-04-23 莱阳市科盾通信设备有限责任公司 一种用于车辆安全辅助视频图像处理方法

Also Published As

Publication number Publication date
CN109040522A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
US9424462B2 (en) Object detection device and object detection method
KR101511587B1 (ko) 헤드업 디스플레이 정보 표시 장치 및 방법
JP4853437B2 (ja) 車両周辺監視システム
JP5591395B2 (ja) 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法
CN106295494B (zh) 车外环境识别装置
US20050134479A1 (en) Vehicle display system
US10872419B2 (en) Method and apparatus for evaluating a vehicle travel surface
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2002319091A (ja) 後続車両認識装置
CN109635737B (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN106548177A (zh) 物体识别装置以及污垢检测方法
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
JP6236039B2 (ja) 車外環境認識装置
JP6420650B2 (ja) 車外環境認識装置
JP2016196233A (ja) 車両用道路標識認識装置
US10972711B2 (en) Method of determining the boundary of a driveable space
EP2747027B1 (en) Method for determining the visibility of objects in a field of view of a driver of a vehicle, taking into account a contrast sensitivity function, driver assistance system, and motor vehicle
Mandal et al. Real-time automotive night-vision system for drivers to inhibit headlight glare of the oncoming vehicles and enhance road visibility
JP6620175B2 (ja) 距離算出装置及び車両制御装置
CN113126252B (zh) 微光成像系统
CN109040522B (zh) 图像处理系统和方法
CN107025636B (zh) 结合深度信息的图像去雾方法及装置和电子装置
KR20160069034A (ko) 헤드업 디스플레이 정보의 밝기 제어 장치 및 방법
CN114724104A (zh) 一种视认距离检测的方法、装置、电子设备、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant