CN110520898B - 用于消除明亮区域的图像处理方法 - Google Patents

用于消除明亮区域的图像处理方法 Download PDF

Info

Publication number
CN110520898B
CN110520898B CN201880027136.8A CN201880027136A CN110520898B CN 110520898 B CN110520898 B CN 110520898B CN 201880027136 A CN201880027136 A CN 201880027136A CN 110520898 B CN110520898 B CN 110520898B
Authority
CN
China
Prior art keywords
array
image
current image
over
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880027136.8A
Other languages
English (en)
Other versions
CN110520898A (zh
Inventor
D.格雷罗
D.道伦茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive GmbH
Continental Automotive France SAS
Original Assignee
Continental Automotive GmbH
Continental Automotive France SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive GmbH, Continental Automotive France SAS filed Critical Continental Automotive GmbH
Publication of CN110520898A publication Critical patent/CN110520898A/zh
Application granted granted Critical
Publication of CN110520898B publication Critical patent/CN110520898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的在于用于过滤由视频摄像机采集的图像视频流中出现的光污染的图像处理方法。该方法包括对于所述图像视频流的当前图像的以下步骤:减去(E2)所述当前图像中呈现的背景以获得当前图像的前景,确定(E31)过亮阵列,通过限制所确定的过亮阵列的像素值来确定(E32)补偿阵列,分割(E33)所确定的过亮阵列,基于经分割的过亮阵列来确定(E34)掩模,将所述掩模应用(E35)于所确定的补偿阵列以便获得过滤阵列,以及通过应用所述过滤阵列来过滤(E37)当前图像的前景以减少图像流的图像中的光污染区域。

Description

用于消除明亮区域的图像处理方法
技术领域
本发明涉及图像处理领域,并且更具体地涉及图像处理方法,该图像处理方法使得能够消除(supprimer)可能会掩盖由摄像机捕获的图像视频流中的移动中的对象或人的明亮区域(zone lumineuse)。
背景技术
当今,已知检测由摄像机捕获的图像视频流中的移动中的对象或人。这种检测可能有多种目的。例如,当摄像机固定在路灯上时,已知检测路灯附近往来的行人,以增大亮度从而进一步照亮整个区域,或者以使光通量定向至行人的方向。在另一示例中,出于监控的目的,检测在预定区域中往来的个体可能是有用的。
称为高斯混合模型(GMM或英语的“Gaussian Mixture Model”)的已知解决方案在于将一组高斯分布函数应用于由摄像机采集的图像的像素,以便区分其亮度变化很小或不变的像素和其亮度变化更大的像素,前一种像素被认为是呈现所摄场景的背景,后一种像素被认为是因此呈现移动中的对象。
问题出现于当由摄像机拍摄的周围具有不对应于明亮对象的高亮度区域时,尤其是在夜间。在这种情况下,当对图像应用一组高斯分布函数时,这些明亮区域可能会被认为是图像中的移动中的对象,这可能会导致图像处理期间的解释或操纵错误。例如,当期望跟踪在夜间行驶的车辆时,摄像机可能最终跟踪了由车辆的前灯照亮的区域而不是车辆本身,这在监控的情况下是有问题的。同样,在对象淹没在前灯的光中的情况下,检测被车辆的前灯照亮的对象的形状也可能是困难的,甚至是不可能的,这也是一个缺点。
因此,提出使得能够消除在图像中出现的光污染区域以便正确地检测摄像机周围的对象或人的图像处理解决方案将是有利的。
发明内容
为此,本发明的一个主题是一种用于过滤由视频摄像机采集的图像视频流中出现的光污染的图像处理方法。
所述方法的特征在于,对于所述图像视频流的当前图像,其包括以下步骤:
·减去所述当前图像中呈现的背景以获得当前图像的前景,
·确定过亮阵列(matrice de surbrillance),所述过亮阵列标识当前图像中的其亮度高于图像像素的时间平均亮度的像素,
·通过将所确定的过亮阵列的像素值限制在最小值与最大值之间来确定补偿阵列,
·分割所确定的过亮阵列,
·基于经分割的过亮阵列来确定掩模,
·将所述掩模应用于所确定的补偿阵列,以便获得过滤阵列,以及
·通过应用所述过滤阵列来过滤当前图像的前景,以减少图像流的图像中的光污染区域。
术语“当前图像”应理解为该流中的当前正在处理的图像,按该流的顺序依次对该流的图像进行处理。此外,过亮阵列表征图像视频流中的比正常更亮的像素。
借助于根据本发明的方法,大部分或完全消除了可能是检测对象或人的缺点的图像的明亮区域,使得所述检测容易、快速且可靠。特别地,根据本发明的方法使得能够去除这样的区域:其通过减去底色而被检测为是对象,但其实际上是例如被车辆前灯所照亮的区域。根据本发明的方法有利地适用于期望在其中检测移动中的对象或人的图像,但这并非是限制性的。同样,根据本发明的方法有利地适用于期望在弱照明条件下、尤其是在夜间在其中检测对象或人的图像。
有利地,该方法在减去和确定过亮阵列的步骤之前包括对当前图像进行预处理的步骤。
优选地,确定过亮阵列包括以下子步骤:
·基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度时间平均值,
·基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度标准差的时间平均值,
·基于计算出的当前图像的每个像素的亮度时间平均值和计算出的当前图像的每个像素的亮度标准差的时间平均值来确定标识当前图像中的其亮度高于平均亮度的像素的过亮阵列。
在一个优选实施例中,根据下式逐个像素地确定过亮阵列:
其中,Frame[x,y]是当前图像,[x,y]是图像像素的坐标,GlobalAverage[x,y]是基于从图像流中提取的多个连续图像的当前图像Frame[x,y]的每个像素的亮度时间平均值,GlobalStdDeviation[x,y]是基于从图像流中提取的多个连续图像的当前图像Frame[x,y]的每个像素的亮度的标准差的时间平均值,并且ρ是降噪系数(要根据应用来确立)。优选地,ρ的值接近0,例如低于0.025,以有效地降低过亮阵列中的噪声。
有利地,确定补偿阵列在限制像素的值之后包括对所述经限制的值进行归一化,优选地归一化至0与1之间。
根据本发明的一个方面,分割所确定的过亮阵列包括以下子步骤:
·对所确定的过亮阵列进行平滑处理,
·将所确定的过亮阵列的像素值限为低于阈值,以及
·对经限制的过亮阵列进行二值化以获得经分割的过亮阵列。
仍有利地,确定掩模包括以下子步骤:
·将形态学过程应用于经分割的过亮阵列,
·在经形态学处理的所述过亮阵列中,确定其中像素数低于或高于预定阈值的像素团,以及·将所确定的其中像素数高于预定阈值的团中的像素二值化为值1,并且将所确定的其中像素数低于预定阈值的团中的像素二值化为值0。
根据本发明的一个方面,该方法在过滤步骤之前包括对过滤阵列进行平滑处理的步骤。
根据本发明的另一方面,该方法包括检测在经过滤的图像流中呈现的人或对象的步骤。
本发明还涉及一种用于过滤由视频摄像机采集的图像流中出现的光污染的处理模块,所述处理模块的特征在于,其被配置成从所述视频摄像机接收图像流,并且针对所述图像流的当前图像:
·减去所述当前图像中呈现的背景以获得当前图像的前景,
·确定过亮阵列,所述过亮阵列标识当前图像中的其亮度高于图像像素的时间平均亮度的像素,
·通过将所确定的过亮阵列的像素值限制在最小值与最大值之间来确定补偿阵列,
·分割所确定的过亮阵列,
·基于经分割的过亮阵列来确定掩模,
·将所述掩模应用于所确定的补偿阵列,以便获得过滤阵列,以及
·通过应用经平滑处理的所述过滤阵列来过滤当前图像的前景,以减少图像流的图像中的光污染区域。
优选地,处理模块被配置成对过滤阵列进行平滑处理。
仍优选地,处理模块被配置成检测在经过滤的图像流中呈现的人或对象。
本发明还涉及一种用于过滤由视频摄像机采集的图像流中出现的光污染的图像处理系统。所述系统的特征在于,其包括视频摄像机以及如前文介绍的处理模块,所述处理模块通过通信链路连接到所述视频摄像机。
附图说明
在参考附图进行的以下描述中,本发明的其他特征和优点将愈发显现,所述附图是作为非限制性示例给出的,并且其中相同的附图标记被给予相似的对象。
-图1示意性地示出了根据本发明的系统的一个实施例,其中光源是配备有视频摄像机的路灯。
-图2示出了根据本发明的方法的一个实施例。
-图3是由安装在路灯上的摄像机捕获的夜间图像,并且其中可以分辨出机动车辆和被其前灯照亮的区域。
-图4是经根据本发明的方法处理过的图3的图像,并且其显示出被车辆前灯照亮的区域中的检测已基本消失。
具体实施方式
根据本发明的图像处理系统使得能够消除可能会掩盖图像中的对象或人的明亮区域中的大部分,以便尤其是改善对对象或人的检测。这些对象或人可以例如分别是在道路或人行道上往来的车辆或行人。
图1示意性地示出了根据本发明的系统1的示例。系统1包括其上安装有视频摄像机100的路灯10,以及通过通信链路L1连接到所述摄像机100的处理模块20,以便接收由摄像机100捕获的图像视频流。
该通信链路L1可以是有线的(电缆)或无线的(例如,经由Wi-Fi、Wimax、4G类型的连接或任何其他已知的连接类型)。
在所示实施例中,摄像机100安装在路灯10上,以便拍摄所述路灯10的周围,例如以便监控行车道。应当注意,本发明可以应用于安装在任何类型的支撑物上以便拍摄任何类型的区域的任何类型的摄像机100,在所述区域中期望检测人或对象的存在,如例如行人或者机动车辆。
优选地,摄像机100能够至少在预定时间间隔内保持静止,以便采集同一区域(例如行车道的一段)的图像视频流。
在下面描述的优选实施例中(其完全是非限制性的),处理模块20被配置成对由摄像机捕获的视频流的图像执行一系列操作。
为此,处理模块20优选地包括存储区220和处理器210,处理器210被适配成实现存储在所述存储区220中的指令,并且使得能够对该流的每个当前图像执行下述操作。
术语“当前图像”理解为在从摄像机100接收到的图像视频流中的由处理模块20处理的图像,依次处理该流的图像。
首先,处理模块20被配置成减去当前图像中呈现的背景,以获得所述当前图像的前景。这种减去可以例如通过使用高斯混合模型(GMM或英语的“Gaussian MixtureModel”)来实现,如下文将在本发明的实施方式中描述的那样。
对于流的每个图像,处理模块20首先被配置成确定过亮阵列,所述过亮阵列标识当前图像中的其亮度高于图像像素的时间平均亮度的像素。该过亮阵列表征呈现其亮度增大的元素的像素,这种亮度增大很可能是因为光源。举例来说,这样的像素可以呈现在由摄像机100拍摄的道路上往来的机动车辆的前灯的光。
在一个优选实施例中,为了确定该过亮阵列,处理模块20被配置成基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度时间平均值,被配置成基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度标准差的时间平均值,并且被配置成基于计算出的当前图像的每个像素的亮度时间平均值和计算出的当前图像的每个像素的亮度标准差的平均值来确定标识当前图像中的其亮度高于平均亮度的像素的过亮阵列。
为此,处理模块20被配置成针对当前图像Frame,通过根据下式计算指数包络来计算时刻t处的亮度平均值GlobalAveraget的阵列:
GlobalAveraget[x,y]=(1-α)×(GlobalAverage1-1[x,y])+(α)×(Frame[x,y])
其中,α是要根据每个应用来确立的处于0与1之间的标量参数,其控制着指数包络的衰减,Frame[x,y]是当前图像的坐标为[x,y]的像素的值(即其亮度值)。GlobalAveraget的初始值可以是从摄像机100接收到的视频流的第一个图像。
仍在该实施例中,处理模块20被配置成根据下式来计算当前图像Frame的每个像素相对于其毗邻像素的亮度的平均标准差GlobalStdDeviationFrame:
其中,Frame[x,y]是当前图像的坐标为[x,y]的像素的值(即其亮度值),μ表示均值过滤器,其例如具有3x 3的内核。
仍在该示例中,处理模块20被配置成通过根据下式使用指数包络来针对每个像素计算称为GlobalStdDeviation的阵列,所述阵列的每个像素的值对应于具有相同坐标的像素在视频流的一系列先前图像中的标准差的时间平均值:
GlobalAveraget[x,y]=(1-α)×(GlobalAverage1-1[x,y])+(α)×(StdDeviationFrame[x,y])
其中,α具有与用于计算GlobalAverage的值相同的值。
优选地,处理模块20被配置成根据下式来逐像素地确定过亮阵列BrighterMatrix:
其中,Frame[x,y]是当前图像,[x,y]是当前图像Frame[x,y]的像素的坐标,并且ρ是要根据应用来确立的参数。优选地,ρ的值接近0,例如低于0.025,以降低过亮阵列中的噪声。该过亮阵列的值对应于每个像素的当前强度相对于时间平均强度的偏差,该偏差被用时间平均亮度的标准差进行了加权。
处理模块20还被配置成通过将所确定的过亮阵列的值限制(即界定)在最小值与最大值之间(例如,在1至5之间)以便限制异常值来确定补偿阵列。换句话说,这样的确定使得能够通过尤其是限制过高的值来保留在归一化之后其动态直接相关的值。
优选地,处理模块20还被配置成将补偿阵列的值归一化到0至1之间。
处理模块20被配置成分割所确定的过亮阵列以便获得二值图像。根据一个优选实施例,首先用高斯过滤器对过亮阵列进行平滑处理,然后将过亮阵列的值的上限设为一个值,该值例如等于时间平均亮度的标准差的5倍,以便仅保留与检测光干扰直接相关的动态。接下来,处理模块20被配置成通过对经平滑处理的阵列使用自动阈值化算法、例如根据Li的算法(Li和Tam,1998)来确定经分割的过亮阵列。然后可以将经分割的过亮阵列归一化在0至1之间。
处理模块20被配置成基于经分割的过亮阵列来确定掩模。该掩模将应用于补偿阵列,以便获得(后文描述的)过滤阵列。
优选地,通过将形态学过程应用于经分割的过亮阵列来获得掩模。该过程包括用大小为N的内核进行侵蚀,然后用大小为N+2的内核进行扩张,并用大小为N的内核进行侵蚀。内核的大小N取决于图像的大小和期望的过滤水平。这是用来将像素重组成更紧凑的区域(团)。
接下来,通过使用紧凑像素团(本领域技术人员更为熟知的名称是“blob(二进制大对象)”)的检测算法,处理模块20被配置成检测二进制大对象。根据应用的性质和期望的特征,将以不同的方式处理这些二进制大对象中的某些。
例如,如果使用二进制大对象的面积作为判据,则可以决定以不同方式处理其面积低于预定阈值的二进制大对象,该阈值的值取决于应用。在检测行人和汽车的示例中,这使得能够处理对应于照亮区域(如车辆前灯的投射)的二进制大对象中的可能对应于行人的二进制大对象(其呈现较小的面积)。
最后,对于每个二进制大对象,使用其每个像素的坐标,并且调整补偿阵列中的对应像素(具有相同坐标的像素)的值,这得出如下文将描述的过滤阵列作为结果。例如,对于要从前景中消除的像素(被照亮的区域,具有较大面积的二进制大对象),可以将值调整为1,并且对于要保留在前景中的像素(例如,穿着浅色上衣的行人),可以将值调整为0。
处理模块20被配置成将掩模应用于补偿阵列以便获得过滤阵列。
过滤阵列使得能够根据目标应用来过滤前景的当前图像的具有特定特征的区域。优选地,掩模改变具有较大大小的区(区域)以确保其去除(区域的大小是配置参数)。仍优选地,掩模还改变具有较小大小的区(区域)以确保其留存。例如,在其中检测目的是找到行人的智能照明的情况下,保存具有较小大小的区域以避免删除了可能检测到的行人。
这样,过滤阵列的其值等于1的像素将在过滤当前图像的前景期间完全消除对应像素的检测,并且其值等于0的像素将不会改变过滤期间对对应像素的检测。
在一个优选实施例中,处理模块20还被配置成在将过滤阵列应用于前景的当前图像之前对过滤阵列进行平滑处理。优选地,用高斯过滤器(例如,标准差σ=3,并且内核为7x7像素)来执行该平滑处理,然后将像素的值进行归一化,优选地归一化至0与1之间。
处理模块20被配置成通过应用过滤阵列来过滤当前图像的前景,以便减少甚至消除图像流的图像中的光污染区域。
现在将参考图2来在其实施方式中描述本发明。
摄像机100首先采集图像视频流并通过通信链路L1将其发送给处理模块20,处理模块20在步骤E0中接收所述图像视频流。
接下来,对于图像流的每个图像,处理模块20执行下面描述的步骤。术语“当前图像”或“frame(帧)”理解为图像流的正在被处理的图像,按照在由摄像机100捕获的图像流中排序的顺序依次处理所述图像。
首先,在步骤E1中,处理模块20对当前图像Frame进行预处理。处理模块20将当前图像Frame转换为灰度级图像,对当前图像Frame进行平滑处理以部分地去除噪声,然后增大对比度。
接下来,在步骤E2中,处理模块20减去经预处理的图像中呈现的背景,以便获得称为当前图像Frame的前景、即呈现当前图像Frame的前景的图像。
可以使用高斯混合模型(GMM或英语的“Gaussian Mixture Model”)来实现该减去,该模型包括用一组高斯分布函数来估计由摄像机采集的图像的每个像素的亮度值的分布,以便区分其亮度不随时间变化或变化很小的像素和其亮度变化更大的像素,认为前一种像素呈现所摄场景的背景,认为后一种像素因此很可能呈现移动中的对象。
然后,处理模块20将对当前图像进行后处理,该后处理可以部分地与预处理步骤(E1)和减去步骤(E2)并行地执行。
为了执行该后处理,处理模块20首先在步骤E31中确定标识当前图像Frame的其亮度高于时间平均亮度的像素的过亮阵列。换句话说,基于当前亮度相对于当前图像Frame的每个像素的亮度时间平均值的变化来确定过亮。
为此,在一个优选实施例中,处理模块确定基于3x 3内核的高斯过滤器,目的是对当前图像Frame进行平滑处理。接下来,处理模块根据下式来计算当前图像的每个像素的亮度时间平均值GlobalAverage:
GlobalAveraget[x,y]=(1-α)GlobalAveraget-1[x,y]Frame[x,y]
其中,[x,y]是图像的像素的坐标,并且α是要根据每个应用来确立的处于0与1之间的参数,其控制着指数包络的衰减。GlobalAverage的初始值可以是从摄像机100接收到的视频流的第一个图像。接下来,处理模块20随时间、亦即基于从图像流中提取的多个连续图像来计算当前图像Frame的每个像素的亮度平均标准差GlobalStdDeviation。为此,处理模块20首先计算图像StdDeviationFrame,其每个像素的值是相对于其毗邻像素的标准差,然后接着计算图像GlobalStdDeviation,其每个像素的值对应于具有相同坐标的像素在视频流的一系列先前图像中的标准差的时间平均值。可以根据下式用指数包络来计算该平均值:
GlobalStdDeviationt[x,y]=(1-α)GlobalStdDeviation1-1[x,y]StdDeviationFrame[x,y]
其中,[x,y]是图像的像素的坐标,并且α具有与用于计算GlobalAverage的值相同的值。接下来,处理模块20根据下式来确定过亮阵列,所述过亮阵列标识当前图像的其亮度高于平均亮度的像素:
其中,[x,y]是图像的像素的坐标,Frame[x,y]是当前图像,并且ρ是要根据应用来确立的参数。优选地,ρ的值接近0,以降低过亮阵列中的噪声。
在步骤E32中,处理模块20然后确定补偿阵列。为此,在该优选示例中,处理模块20将所确定的过亮阵列的像素的值限制在最小值与最大值之间,然后将每个像素的值归一化,优选地归一化至0与1之间。
并行地,在步骤E33中,处理模块20对所确定的过亮阵列进行分割。为此,在该优选示例中,处理模块首先通过使用基于平均值的平滑过滤器来对所确定的过亮阵列进行平滑处理,所述平滑过滤器的内核取决于图像的大小。然后,处理模块20限制所确定且经平滑处理的过亮阵列的每个像素的值,使其低于阈值,以便限制异常值。然后,处理模块20对经平滑处理和阈值化的过亮阵列进行二值化,以便获得经分割的过亮阵列。该二值化包括使每个像素的值等于0或1。例如,可以通过使用基于Li的算法(Li和Tam,1998)计算的阈值来执行该二值化。
在步骤E34中,处理模块20基于经分割的过亮阵列来确定掩模。为此,处理模块20首先对经分割的过亮阵列使用形态学过程,其包括用大小为N的内核对经分割的图像进行侵蚀,然后用大小为N+2的内核进行扩张,最后用大小为N的内核进行侵蚀,内核的大小N取决于图像的大小和期望的过滤水平。然后,处理模块20在经形态学处理的过亮阵列中确定连接的像素团(二进制大对象)。该步骤可以例如通过使用Suzuki的算法(Suzuki,1985)来实现。然后,处理模块20根据其面积来分离连接的像素团。其面积小于阈值的那些将被给予最小值(例如0),并且其面积大于或等于同一阈值的那些将被给予最大值(例如1)。
在步骤E35中,处理模块20通过将所确定的掩模应用于补偿阵列来生成过滤阵列。为此,对于每个像素团,使用其每个像素的坐标及其值来将相同的值分配给补偿阵列中的(具有相同坐标的)对应像素。
在步骤E36中,处理模块20通过使用例如高斯过滤器来对过滤阵列进行平滑处理。
然后,处理模块20在步骤E37中通过将经平滑处理的过滤阵列应用于当前图像的前景来对其进行过滤,以便减少图像流的图像中的光污染区域。
在步骤E4中,处理模块20然后在必要的情况下借助于所获得的前景中剩余的像素而容易地检测到图像流中的对象或人。
在可选的步骤E5中,该方法还可以借助于适于期望的应用的(本身已知的)“跟踪”算法来跟踪在图像中检测到的人或对象。
图3中示出了由安装在路灯上的摄像机捕获的夜间图像,并且其中可以分辨出机动车辆和被其前灯照亮的区域。在该图3中,大多数白色像素对应于在应用本发明的方法之前检测为前景的像素。图4中示出了在由根据本发明的方法处理之后的图3的图像。于是观察到,在处理后的图像中,由车辆的前灯照亮的区域基本上从前景中消失,这使得能够使人或对象(在当前情况下为车辆)的检测特别容易且可靠,尤其是在应用GMM类型的算法时。

Claims (11)

1.用于过滤由视频摄像机采集的图像视频流中出现的光污染的图像处理方法,所述方法的特征在于,对于所述图像视频流的当前图像,其包括以下步骤:
·减去(E2)所述当前图像中呈现的背景以获得当前图像的前景,
·确定(E31)过亮阵列,所述过亮阵列标识当前图像中的其亮度高于图像像素的时间平均亮度的像素,
·通过将所确定的过亮阵列的像素值限制在最小值与最大值之间来确定(E32)补偿阵列,
·分割(E33)所确定的过亮阵列,
·基于经分割的过亮阵列来确定(E34)掩模,
·将所述掩模应用(E35)于所确定的补偿阵列,以便获得过滤阵列,以及
·通过应用所述过滤阵列来过滤(E37)当前图像的前景,以减少图像流的图像中的光污染区域。
2.根据权利要求1所述的方法,其中,确定(E31)过亮阵列包括以下子步骤:
·基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度时间平均值,
·基于从图像流中提取的多个连续图像来计算当前图像的每个像素的亮度标准差的时间平均值,
·基于计算出的当前图像的每个像素的亮度时间平均值和计算出的当前图像的每个像素的亮度标准差的时间平均值来确定标识当前图像中的其亮度高于平均亮度的像素的过亮阵列。
3.根据权利要求2所述的方法,其中,根据下式逐个像素地确定过亮阵列:
其中,Frame[x,y]是当前图像,[x,y]是图像像素的坐标,GlobalAverage[x,y]是基于从图像流中提取的多个连续图像的当前图像Frame[x,y]的每个像素的亮度时间平均值,GlobalStdDeviation[x,y]是基于从图像流中提取的多个连续图像的当前图像Frame[x,y]的每个像素的亮度的标准差的时间平均值,StdDeviation[x,y]是当前图像Frame[x,y]的每个像素的亮度的标准差,并且ρ是降噪系数。
4.根据权利要求1至3中的一项所述的方法,其中,确定(E32)补偿阵列在限制像素的值之后包括对经限制的值进行归一化。
5.根据权利要求1至3中的一项所述的方法,其中,分割(E33)所确定的过亮阵列包括以下子步骤:
·对所确定的过亮阵列进行平滑处理,
·将所确定的过亮阵列的像素值限为低于阈值,以及
·对经限制的过亮阵列进行二值化以获得经分割的过亮阵列。
6.根据权利要求1至3中的一项所述的方法,其中,确定(E34)掩模包括以下子步骤:
·将形态学过程应用于经分割的过亮阵列,
·在经形态学处理的所述过亮阵列中,确定其中像素数低于或高于预定阈值的像素团,以及
·将所确定的其中像素数高于预定阈值的团中的像素二值化为值1,并且将所确定的其中像素数低于预定阈值的团中的像素二值化为值0。
7.根据权利要求1至3中的一项所述的方法,在过滤步骤之前还包括对过滤阵列进行平滑处理的步骤。
8.根据权利要求1至3中的一项所述的方法,包括检测在经过滤的图像流中呈现的人的步骤。
9.根据权利要求1至3中的一项所述的方法,包括检测在经过滤的图像流中呈现的对象的步骤。
10.用于过滤由视频摄像机(100)采集的图像流中出现的光污染的处理模块(20),所述处理模块(20)的特征在于,其被配置成从所述视频摄像机(100)接收图像流,并且针对所述图像流的当前图像:
·减去所述当前图像中呈现的背景以获得当前图像的前景,
·确定过亮阵列,所述过亮阵列标识当前图像中的其亮度高于图像像素的时间平均亮度的像素,
·通过将所确定的过亮阵列的像素值限制在最小值与最大值之间来确定补偿阵列,
·分割所确定的过亮阵列,
·基于经分割的过亮阵列来确定掩模,
·将所述掩模应用于所确定的补偿阵列,以便获得过滤阵列,以及
·通过应用所述过滤阵列来过滤当前图像的前景,以减少图像流的图像中的光污染区域。
11.用于过滤由视频摄像机(100)采集的图像流中出现的光污染的图像处理系统(1),所述系统(1)的特征在于,其包括视频摄像机(100)以及根据权利要求10所述的处理模块(20),所述处理模块(20)通过通信链路(L1)连接到所述视频摄像机(100)。
CN201880027136.8A 2017-04-25 2018-03-15 用于消除明亮区域的图像处理方法 Active CN110520898B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1753584 2017-04-25
FR1753584A FR3065560B1 (fr) 2017-04-25 2017-04-25 Procede de traitement d'images pour la suppression de zones lumineuses
PCT/FR2018/050627 WO2018197763A1 (fr) 2017-04-25 2018-03-15 Procédé de traitement d'images pour la suppression de zones lumineuses

Publications (2)

Publication Number Publication Date
CN110520898A CN110520898A (zh) 2019-11-29
CN110520898B true CN110520898B (zh) 2023-09-22

Family

ID=59153128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027136.8A Active CN110520898B (zh) 2017-04-25 2018-03-15 用于消除明亮区域的图像处理方法

Country Status (5)

Country Link
US (1) US11010906B2 (zh)
EP (1) EP3616161B1 (zh)
CN (1) CN110520898B (zh)
FR (1) FR3065560B1 (zh)
WO (1) WO2018197763A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102220950B1 (ko) * 2019-07-31 2021-02-26 엘지전자 주식회사 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
EP3783526B1 (en) * 2019-08-22 2023-12-06 Continental Autonomous Mobility Germany GmbH Method of removing stray light from an ego vehicle window in a camera arrangement, camera arrangement and computer program for applying said method
KR20210071410A (ko) * 2019-12-06 2021-06-16 삼성전자주식회사 센서 특화 이미지 인식 장치 및 방법
JP7494701B2 (ja) * 2020-10-23 2024-06-04 トヨタ自動車株式会社 制御装置、制御方法、及び街灯
CN113191313A (zh) * 2021-05-20 2021-07-30 国能大渡河沙坪发电有限公司 基于水电厂的视频流放电识别方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5847755A (en) * 1995-01-17 1998-12-08 Sarnoff Corporation Method and apparatus for detecting object movement within an image sequence
JP2014103565A (ja) * 2012-11-21 2014-06-05 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
CN103942762A (zh) * 2014-04-24 2014-07-23 胡建国 一种二维码预处理的方法及其装置
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006668B2 (en) * 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US7204428B2 (en) * 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
SG164292A1 (en) * 2009-01-13 2010-09-29 Semiconductor Technologies & Instruments Pte System and method for inspecting a wafer
US8675060B2 (en) * 2009-08-28 2014-03-18 Indian Institute Of Science Machine vision based obstacle avoidance system
US9111353B2 (en) * 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
TWI489090B (zh) * 2012-10-31 2015-06-21 Pixart Imaging Inc 偵測系統
US9275289B2 (en) * 2014-03-27 2016-03-01 Xerox Corporation Feature- and classifier-based vehicle headlight/shadow removal in video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5847755A (en) * 1995-01-17 1998-12-08 Sarnoff Corporation Method and apparatus for detecting object movement within an image sequence
JP2014103565A (ja) * 2012-11-21 2014-06-05 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
CN103942762A (zh) * 2014-04-24 2014-07-23 胡建国 一种二维码预处理的方法及其装置
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于背景重构和水平集的多运动目标分割;危自福等;《光电工程》;20090715;第36卷(第07期);第28-35页 *

Also Published As

Publication number Publication date
CN110520898A (zh) 2019-11-29
FR3065560A1 (fr) 2018-10-26
US20200020114A1 (en) 2020-01-16
WO2018197763A1 (fr) 2018-11-01
US11010906B2 (en) 2021-05-18
EP3616161B1 (fr) 2023-08-23
FR3065560B1 (fr) 2019-04-19
EP3616161A1 (fr) 2020-03-04

Similar Documents

Publication Publication Date Title
CN110520898B (zh) 用于消除明亮区域的图像处理方法
US11142124B2 (en) Adhered-substance detecting apparatus and vehicle system equipped with the same
KR101717613B1 (ko) 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
TWI607901B (zh) 影像修補系統及其方法
US20150278615A1 (en) Vehicle exterior environment recognition device
US9811746B2 (en) Method and system for detecting traffic lights
US9224052B2 (en) Method for in-image periodic noise pixel inpainting
WO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN106778534B (zh) 一种车辆行驶中周围环境灯光识别方法
US10839235B2 (en) Method and apparatus for detecting light source of vehicle
US11282235B2 (en) Vehicle surroundings recognition apparatus
JP2018005682A (ja) 画像処理装置
CN111046741A (zh) 车道线识别的方法和装置
US20150085118A1 (en) Method and camera assembly for detecting raindrops on a windscreen of a vehicle
JP5983729B2 (ja) 白線検出装置、白線検出フィルタ装置及び白線検出方法
JP3550874B2 (ja) 監視装置
KR101026778B1 (ko) 차량 영상 검지 장치
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
KR100801989B1 (ko) 번호판 인식 시스템,전처리 장치 및 방법
US20200219222A1 (en) Attached substance detection device and attached substance detection method
US11393128B2 (en) Adhered substance detection apparatus
US11308709B2 (en) Deposit detection device and deposit detection method
CN110321828B (zh) 一种基于双目摄像机和车底阴影的前方车辆检测方法
JP2007257242A (ja) 白線認識装置
Cao et al. An automatic vehicle detection method based on traffic videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant