CN108734684B - 动态照明场景的图像背景减除 - Google Patents

动态照明场景的图像背景减除 Download PDF

Info

Publication number
CN108734684B
CN108734684B CN201810343015.6A CN201810343015A CN108734684B CN 108734684 B CN108734684 B CN 108734684B CN 201810343015 A CN201810343015 A CN 201810343015A CN 108734684 B CN108734684 B CN 108734684B
Authority
CN
China
Prior art keywords
image
background
scene
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810343015.6A
Other languages
English (en)
Other versions
CN108734684A (zh
Inventor
布鲁诺·希里·贾勒斯·科斯塔
玛德琳·J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108734684A publication Critical patent/CN108734684A/zh
Application granted granted Critical
Publication of CN108734684B publication Critical patent/CN108734684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound

Abstract

描述了非常适用于自主驾驶场景的背景减除方法和设备。该方法包括通过基于在不同照明条件下拍摄的多幅基线图像由正态模型构建正态背景图像来减小照度影响。通过从场景图像中按照像素(即，逐个像素地)减除正态背景图像来获得减除图像。场景图像可包含一个或多个前景对象。通过突出显示强度超过了正态模型中的预定标准偏差的减除图像中的像素来识别前景对象。可选择地利用照度不变色彩空间变换算法来进一步减小不同照度影响。

Description

动态照明场景的图像背景减除
技术领域
本发明大体上涉及图像背景减除和前景对象的识别，并且尤其是涉及可靠背景减除的照度影响的减小。
背景技术
在许多自主驾驶场景中，稳健并且可靠的背景减除对于识别和跟踪对象是非常重要的。根据背景是静态还是动态，有很多种识别场景中的前景对象(或外来对象)的方法。例如，利用全局阈值的简单帧间差分法可以揭示静态背景中的外来对象，但是不会感应到违反静态背景减除的基本假设的现象(例如，具有静态无噪声背景的精确固定的摄像机)。在现实生活场景中，照度可能会发生变化(逐渐或突然)，背景可能包含移动对象(例如，阴影区域变化、风吹动树木)，以及摄像机可能会抖动等。现有的背景减除技术应对不同照明条件的能力差，从而导致在照明条件明显不同于参考照度时错误地识别前景对象。用于识别留在车辆中的对象的背景减除的特定应用是对共乘/叫车服务的车辆内部监测，在这种情况下，车辆内部的照明条件在例如车辆地板这样的位置24小时内可能会有很大不同。
发明内容
根据本发明，提供一种方法，包括：
接收包含背景和所关注的一个或多个前景对象的场景图像；
从正态模型投影正态背景图像，其中正态背景图像包含背景，但不包含一个或多个前景对象；
通过从场景图像中按照像素减除正态背景图像来生成减除图像；以及
基于预定标准偏差阈值来突出显示减除图像中的多个像素。
根据本发明的一个实施例，正态背景图像包括多个背景像素，并且正态模型包括与正态背景图像中的背景像素中的每个背景像素相关的像素强度数据的相应平均值和标准偏差。
根据本发明的一个实施例，方法进一步包括：
基于分别在多种照明条件下拍摄到的多幅基线图像来构建正态模型，其中每一幅基线图像包含背景，但不包含一个或多个前景对象。
根据本发明的一个实施例，构建正态模型包括：
确定多组背景像素的像素强度数据，每组背景像素构成基线图像中的相应基线图像；
获得背景像素中的每个背景像素的像素强度数据的平均值；以及
获得背景像素中的每个背景像素的像素强度数据的标准偏差。
根据本发明的一个实施例，基于预定标准偏差阈值来突出显示减除图像中的像素包括：突出显示像素的相应像素强度数据超过了预定标准偏差阈值的减除图像中的像素。
根据本发明的一个实施例，接收场景图像包括：评估场景图像的照明条件以便投影正态背景图像以及确定预定标准偏差阈值。
根据本发明，提供一种方法，包括：
接收包含背景和所关注的一个或多个前景对象的场景图像；
从正态模型投影正态背景图像，其中正态背景图像包含背景，但没有一个或多个前景对象；
利用照度不变色彩空间变换算法将场景图像转换成第一照度不变图像；
利用照度不变色彩空间变换算法将正态背景图像转换成第二照度不变图像；
通过从场景图像中按照像素减除正态背景图像来生成第一减除图像；
通过从第一照度不变图像中按照像素减除第二照度不变图像来生成第二减除图像；
基于预定标准偏差阈值来突出显示第一减除图像中的多个像素以获得残差图像；以及
在残差图像和第二减除图像之间应用乘法矩阵运算以生成输出图像。
根据本发明的一个实施例，正态背景图像包括多个背景像素，并且其中正态模型包括与正态背景图像中的背景像素中的每个背景像素相关的像素强度数据的相应平均值和标准偏差。
根据本发明的一个实施例，方法进一步包括：
基于分别在多种照明条件下拍摄到的多幅基线图像来构建正态模型，其中每一幅基线图像包含背景，但不包含一个或多个前景对象。
根据本发明的一个实施例，构建正态模型包括：
确定多组背景像素的像素强度数据，每组背景像素构成基线图像中的相应基线图像；
获得背景像素中的每个背景像素的像素强度数据的平均值；以及
获得背景像素中的每个背景像素的像素强度数据的标准偏差。
根据本发明的一个实施例，基于预定标准偏差阈值来突出显示第一减除图像中的像素包括：突出显示像素的相应像素强度数据超过了预定标准偏差阈值的第一减除图像中的像素。
根据本发明的一个实施例，接收场景图像包括：评估场景图像的照明条件以便投影正态背景图像以及确定预定标准偏差阈值。
根据本发明的一个实施例，乘法矩阵运算将相同尺寸的残差图像和第二减除图像作为输入以产生具有相同尺寸的输出图像，以及乘法矩阵运算将分别在残差图像和第二减除图像中的相同像素位置的像素强度数据相乘。
根据本发明，提供一种设备，包括：
摄像机，该摄像机配置成监测包含背景的所关注的场景；以及
处理器，该处理器通信耦接到摄像机，处理器配置成执行包括下列各项的动作：
控制摄像机在多种照明条件下拍摄场景的多幅基线图像，其中一个或多个前景对象不存在于基线图像中；
控制摄像机记录多幅场景图像；
基于基线图像来创建正态背景图像；
将多幅场景图像中的一幅场景图像与正态背景图像进行比较以确定一个或多个前景对象是否存在于一幅场景图像中；
响应于一个或多个前景对象存在于一幅场景图像中而生成信号；以及
响应于一个或多个前景对象存在于一幅场景图像中而将一幅场景图像中的一个或多个前景对象标记为输出图像。
根据本发明的一个实施例，处理器配置成在创建正态背景图像时在多种照明条件下由多幅基线图像构建正态模型。
根据本发明的一个实施例，处理器配置成在构建正态模型时执行包括下列各项的动作：
确定多组背景像素的像素强度数据，每组背景像素构成基线图像中的相应基线图像；
获得背景像素中的每个背景像素的像素强度数据的平均值；以及
获得背景像素中的每个背景像素的像素强度数据的标准偏差。
根据本发明的一个实施例，处理器配置成在将多幅场景图像中的一幅场景图像与正态背景图像进行比较时，执行从一幅场景图像中按照像素减除正态背景图像以获得减除图像。
根据本发明的一个实施例，处理器进一步配置成基于预定标准偏差阈值来执行减除图像中的多个像素的标记，并且其中减除图像中的像素的标记包括：突出显示像素强度数据超过了预定标准偏差阈值的像素。
根据本发明的一个实施例，在突出显示像素时，处理器突出显示像素的相应像素强度数据超过了预定标准偏差阈值的减除图像中的像素。
根据本发明的一个实施例，信号包括文本消息、嘟嘟声、闪烁灯光或其组合。
附图说明
参考如下附图来描述本发明的非限制性和非穷举的实施例，其中，除非另有详细说明，否则相似的附图标记在各附图中始终指的是相似的部件。
图1为示出了根据本发明的图像背景减除的方案的框图；
图2为描绘根据本发明实施例的图像背景减除的示例设备的框图；
图3为描绘根据本发明实施例的利用正态模型的背景减除的示例流程的框图；
图4为描绘根据本发明实施例的利用照度不变色彩空间变换算法的背景减除的另一个示例流程的框图；
图5示出了根据本发明实施例的在不同照度条件下车辆内部的示例图像和背景减除的结果；
图6为根据本发明实施例的示例过程的流程图；
图7为根据本发明实施例的示例过程的流程图。
具体实施方式
在如下描述中，参考构成其一部分且以可实践本发明的具体示例性实施例的说明的方式显示的附图。对这些实施例做出了足够详细的描述，以使本领域的技术人员能够实践本文中公开的构思，并且应该了解的是，在不脱离本发明的范围的前提下，可对所公开的各种实施例做出修改以及可利用其他实施例。因此，如下详细描述不应理解为限制性含义。
在本文中本发明描述了能够减少或以其他方式缓解适于一致地识别前景对象的不同照明条件的背景减除方法。
在根据本发明的各种实施例中，图像背景减除系统可分别在不同照明条件下收集多幅基线图像。基线图像可以包含具有所关注背景的场景，但是该场景中不存在前景对象。可以从基线图像导出正态模型，在这种情况下，正态模型包括基线图像中的背景像素的像素强度数据的平均值和标准偏差。平均值和标准偏差可以与背景像素的每个像素的RGB(红、绿以及蓝)强度相关。可以接收场景图像或帧序列以识别背景中是否存在任何前景对象。正态模型可以投影正态背景图像，该正态背景图像是在场景图像的照明条件下的背景的最佳表示或者不同照明条件的平均表示。进行正态背景图像和场景图像的比较，并且这种比较可以通过从场景图像中按照像素(例如，逐个像素地)减除正态背景图像的RGB像素强度来得到第一减除图像。可以通过标准偏差阈值进一步过滤第一减除图像中的像素，可以通过场景图像的照明条件来确定该标准偏差阈值。对于那些RGB强度超过预定标准偏差阈值的像素，可以识别为减除图像中的前景像素，而不是背景像素。在过滤预定标准偏差阈值之后得到的前景像素可以称为图像背景减除系统的残差图像(residual image)或输出。
在一些实施例中，场景图像和正态背景图像可以进一步经过照度不变色彩空间变换(illumination-invariant color space transformation)，该照度不变色彩空间变换降低了不同照度的影响。照度不变色彩空间变换的目的是为了在大范围的照度变化之内改善对象外观的一致性。不管源照度的强度如何，对象外观都取决于对象的材料属性。本发明中采用的照度不变色彩空间变换的算法可以是基于W.Maddern等人发表在“2014年中国香港IEEE机器人与自动化国际会议(International Conference on Robotics andAutomation，ICRA)变化环境中的视觉场所识别研讨会的论文集”中的参考文献“Illumination Invariant Imaging:Applications in Robust Vision-basedLocalisation,Mapping and Classification for Autonomous Vehicles(照度不变成像：在自主车辆的稳健的基于视觉的定位、映射和分类中的应用)”。可供选择地或者另外，可以利用任何其他适合的算法。
将上述照度不变色彩空间变换应用于场景图像和正态背景图像可以分别产生照度不变的场景图像(II场景图像)和照度不变的正态背景图像(II正态背景图像)。进行II正态背景图像和II场景图像的比较，并且这种比较可以通过从II场景图像中减除II正态背景图像的RGB像素强度来得到第二减除图像。可以对残差图像和第二减除图像进行称为Hadamard(阿达马)乘积的矩阵运算以进一步清除可以用小样本大小的基线图像来获得的残差图像中的前景像素。Hadamard乘积是采用两个相同维数的矩阵并且产生另一个等维矩阵的乘法矩阵运算，在这种情况下，每个元ij是两个原始矩阵的元ij的乘积。Hadamard乘积是两个原始矩阵的元的与运算。
图1示出了根据本发明采用的背景减除方法的示例方案100的概念性表示。演示100可以包含图2中描述的示例设备200以收集多个基线图像110(1)-110(N)，其中N是正整数。可以在各种照明条件下拍摄基线图像110(1)-110(N)，并且基线图像110(1)-110(N)可以包含所关注的背景，而场景中不存在前景对象。可以从基线图像110(1)-110(N)的关于基线图像110(1)-110(N)中的每个像素的像素信息中导出正态模型120，其具有在基线图像110(1)-110(N)的总体上取平均值的平均值和标准偏差或分别对应于基线图像110(1)-110(N)的分类照明条件的一组平均值和标准偏差。基线图像110(1)-110(N)的照明条件可以分类为高照度或低照度、右侧照明或左侧照明、自然光或内部光等。分类的照明条件可以允许正态模型120投影正态背景图像130的近似于由示例设备处理的场景图像150的照明条件的最佳表示。附图标记112指示对基线图像110(1)-110(N)的总体执行以在统计学上获得正态模型120中的每个像素的平均值(μi)和标准偏差(σi)的动作，其中，i是整数并且1≤i≤m，m是其中一幅基线图像110(1)-110(N)中的像素数。正态模型120可以构建为高斯分布、student-t分布(t分布)或者最适合于具有一组{μi}和一组{σi}的基线图像110(1)-110(N)的分布的其他适合的统计分布。当对场景图像150的照明条件进行分析和分类时，从正态模型120投影的正态背景图像130可以是对场景图像150的最佳表示，因此可以投影正态背景图像130。可以对基线图像110(1)-110(N)中的具有/不具有加权平均值的区别特征执行场景图像150的照明条件的分析。
可以通过从场景图像150逐个像素地减除正态背景图像130来执行对场景图像150中的前景对象的评估。通过动作135可以获得因RGB像素强度的差而产生的减除图像160。减除图像160中的像素的RGB强度可以表示RGB强度离正态背景图像的平均值(μi)分别有多远。因此，减除图像160中的前景像素可以表征为其RGB强度距离正态背景图像130中的像素的平均值超过预定标准偏差阈值的像素。可以通过场景图像150的照明条件来评估该标准偏差阈值，并且该标准偏差阈值可以是标准偏差σi的倍数(例如1.2倍σi、2.5倍σi或3倍σi)。一旦通过动作126对减除图像160进行过滤，便可以突出显示有标准偏差阈值测试资格的前景像素，并且可以移除减除图像160中的剩余像素以产生输出图像170。
图2示出了根据本发明实施例的能够进行图像背景减除的示例设备200。设备200可以执行与本文中所述的技术、方法以及系统有关的各种功能(包括上面关于方案100描述的那些功能以及下面关于过程300和400描述的那些功能)。设备200可以安装在车辆中、装配在车辆上、连接到车辆或以其他方式实现在车辆中或者安装在街道交叉口处以实现根据本发明的各种实施例。设备200可以包括图2中所示的一个或多个部件。
在一些实施例中，设备200可以包括至少一台摄像机230和通信耦接到至少一台摄像机230以对摄像机230拍摄的图像执行根据本发明的背景减除的处理器210。为了说明的目的而不是进行限制，图2中显示出单台摄像机230，然而在各种实施方式中实际数量可能有所不同。摄像机230可以在不同照明条件下拍摄或以其他方式捕捉多幅基线图像110(1)-110(N)，并且处理器210可以连续监测基线图像110(1)-110(N)中的所关注的背景。摄像机230可以具有用来测量背景场景的照明等级的内置光传感器。摄像机230可以安装在车辆内部以供自主驾驶应用或者安装在街道交叉口处以进行交通流量分析。
在一些实施例中，设备200可以包括通信耦接到处理器210并且由处理器210来控制的通信装置240。通信装置240可以配置成从自主车辆内部/外部的一个或多个部件接收指令和/或将数据/图像传送到该一个或多个部件。通信装置240可以配置成根据任何适合的无线和/或有线标准、规范和/或协议来进行无线通信和/或经由导线进行通信。
在一些实施例中，设备200可以包括配置成存储基线图像110(1)-110(N)、正态模型120以及关于照度不变色彩空间变换算法226的指令和/或代码的存储器装置220。例如，存储器装置220可将一组平均值和一组标准偏差存储在基于基线图像110(1)-110(N)的统计像素强度分布的正态模型中。
在一些实施例中，处理器210可以配置成执行与方案100有关的操作。处理器210还可以耦接到存储器装置220以存取存储在其中的数据并且执行存储在其中的任何算法。处理器210可以配置成通过通信装置240将处理后的图像输出到显示装置。处理器210可以分析场景图像150的照明条件并且依据场景图像150中的区别特征的加权平均值来对该照明条件进行分类。处理器210可以进一步将正态背景图像130从存储在存储器装置220中的正态模型120投影到场景图像150的最佳表示。在一些实施例中，处理器210可以执行从场景图像150中减除正态背景图像130以产生减除图像160。在一些实施例中，处理器210可以分别对正态背景图像130和场景图像150施以照度不变色彩空间变换以获得II正态背景图像和II场景图像。
在一些实施例中，设备200可以包括声光发射器250，当在场景图像150中或者在场景图像/帧中识别出一个或多个前景对象时，声光发射器250可以提供音频和/或视觉指示(例如，文本消息、嘟嘟声和/或闪烁灯光)。
图3示出了根据本发明的背景减除的示例过程300。过程300可以用于通过从场景图像150中减除背景来识别场景图像150中的前景对象。过程300可以包括显示为框(例如310、320、330、340、350、360以及370)的一个或多个操作、动作或功能。虽然图示为独立的框，但是可以根据期望的实施方式将过程300的各种框分割成额外的框，组合成更少的框或者排除，并且可以按照与图3中所示的顺序不同的顺序来执行或以其他方式执行过程300的各种框。过程300可以通过设备200在方案100中实现。为了说明的目的而不是限制过程300的范围，在方案100的背景下按照设备200实现的那样提供过程300的以下描述。过程300可以从框310开始。
在310，过程300可以包括设备200的摄像机230拍摄包含所关注背景但是没有前景对象的多幅基线图像110(1)-110(N)。处理器210可以以预定间隔或者响应于摄像机230检测到的照度变化而开始拍摄基线图像110(1)-110(N)。基线图像110(1)-110(N)可以存储在存储器装置220中。过程300可以从310继续进行到320。
在320，过程300可以包括处理器210分析基线图像110(1)-110(N)的像素RGB强度并且计算基线图像110(1)-110(N)中的每个像素的RGB强度的平均值和标准偏差。过程300可以从320继续进行到330。
在330，过程300可以包括处理器210基于在320获得的信息来构建正态模型120。正态模型120可以是具有一组平均值和一组标准偏差的基线图像110(1)-110(N)的总体的平均值。可供选择地，可以基于具有多组平均值和多组标准偏差的照明条件来对正态模型120进行分类。过程300可以从330继续进行到340。
在340，过程300可以包括摄像机230拍摄场景图像150并且处理器210经由摄像机230中的内置光传感器来分析场景图像150的照明条件。场景图像150的照明条件的分析结果可以是场景图像150中的区别特征的加权平均值。过程300可以从340继续进行到350。
在350，过程300可以包括处理器210根据框340的照明条件的分析结果将正态背景图像130投影到场景图像150的最佳表示。过程300可以从350继续进行到360。
在360，过程300可以包括处理器210通过从场景图像150逐个像素地减除正态背景图像130来获得减除图像160。减除动作由运算符号355来表示。过程300可以从360继续进行到370。
在370，过程300可以包括处理器210通过突出显示具有超过预定标准偏差阈值的RGB强度的减除图像160中的像素来获得残差图像。标准偏差阈值可以是标准偏差σi的倍数(例如1.2倍σi、2.5倍σi或3倍σi)，并且通过框340的照明条件的分析结果来确定。通过预定标准偏差阈值对减除图像160的过滤动作由运算符号365来表示。
图4示出了根据本发明的利用照度不变色彩空间变换的背景减除的另一个示例过程400。当基线图像110(1)-110(N)的总体大小受到限制时，过程400作为过程300的强化可以用来识别前景对象。通常，当样本大小N小于30并且可以调用照度不变色彩空间变换时，高斯分布偏离。过程400可以包括显示为框(例如440、450、460以及470)的一个或多个操作、动作或功能。虽然图示为独立的框，但是可以根据期望的实施方式将过程400的各种框分割成额外的框，组合成更少的框或者排除，并且可以按照与图4中所示的顺序不同的顺序来执行或以其他方式执行过程400的各种框。过程400可以通过处理器210在方案100中实现。为了说明的目的而不是限制过程400的范围，在方案100的背景下按照设备200的处理器210实现的那样提供过程400的以下描述。过程400还可以包括过程300的功能框310、320、330、340、350、360、370以及运算355和365。为了简洁起见，从框440开始提供过程400的以下描述，而不再重复框310-370。
在440，过程400可以包括处理器210对场景图像150施以照度不变色彩空间变换并且获得照度不变场景图像。照度不变色彩空间变换可以基于前述算法。过程400可以从440继续进行到450。
在450，过程400可以包括处理器210对正态背景图像130施以照度不变色彩空间变换并且获得照度不变正态背景图像。照度不变色彩空间变换可以基于前述W.Maddern等人提出的算法。过程400可以从450继续进行到460。
在460，过程400可以包括处理器210通过从在框440获得的照度不变场景图像中逐个像素地减除在框450获得的照度不变正态背景图像来获得第二减除图像。减除动作由运算符号455来表示。过程400可以从460继续进行到470。
在470，过程400可以包括处理器210执行在框360获得的第一减除图像160与在框460获得的第二减除图像之间的Hadamard矩阵运算以产生输出图像。Hadamard矩阵运算由运算符号465来表示。
图5示出了根据本发明的用于识别外来对象的设备200拍摄和处理的示例图像。图5中的示例图像包含车辆内部的背景场景。图像510和520可以视为如方案100中所述的基线图像110(1)-110(N)的样本。图像510和图像520具有不同照明条件，前者可以表征为具有高照度，而后者可以表征为具有低照度。图像530和540可以视为如方案100中所述的包含外来对象(座椅右侧的瓶装水和地板左侧的便携式电脑)的场景图像150，但是通过两种不同的背景减除算法来处理。图5中的图像530和540的照明条件可以视为与图像510或图像520实质上不同。
图像530可以通过一般的背景减除算法来处理，并且图像540通过本发明中提出的背景减除算法来处理，如过程300中所述。图像530和540中均勾勒出了识别出的外来对象。在图像530中勾勒出了虚构的外来对象，这是因为其照明条件导致一般的背景减除算法做出了错误的识别，而图像540正确地呈现了座椅上的水瓶和地板上的便携式电脑的期望识别结果。接下来的动作可以是与自主驾驶系统进行交互以提醒乘客留在车辆内的外来对象。
图6示出了根据本发明的实施例的示例过程600。过程600可以包括显示为框(例如610、620、630以及640)的一个或多个操作、动作或功能。虽然图示为独立的框，但是可以根据期望的实施方式将过程600的各种框分割成额外的框，组合成更少的框或者排除。而且，可以按照与图6中所示的顺序不同的顺序来执行过程600。过程600可以在方案100中和/或通过设备200实现。为了说明的目的而不是限制，在设备200的背景下提供过程600的以下描述。过程600可以从框610开始。
在610，过程600可以包括设备200接收包含背景和一个或多个所关注的前景对象的场景图像。过程600可以从610继续进行到620。
在620，过程600可以包括设备200从正态模型投影正态背景图像。正态背景图像可以包含背景，但没有一个或多个前景对象。过程600可以从620继续进行到630。
在630，过程600可以包括设备200通过从场景图像中按照像素减除正态背景图像来生成减除图像。过程600可以从630继续进行到640。
在640，过程600可以包括设备200基于预定标准偏差阈值来突出显示减除图像中的多个像素。
在一些实施例中，正态背景图像可以包括多个背景像素。而且，正态模型可以包括与正态背景图像中的背景像素中的每个背景像素相关的像素强度数据的相应平均值和标准偏差。
在一些实施例中，过程600可以进一步包括设备200基于分别在多种照明条件下拍摄到的多幅基线图像来构建正态模型。每一幅基线图像可以包含背景，但不包含一个或多个前景对象。
在一些实施例中，在构建正态模型时，过程600可以包括设备200执行多个动作。例如，过程600可以包括设备200确定多组背景像素的像素强度数据，其中每组背景像素构成基线图像中的相应基线图像。另外，过程600可以包括设备200获得背景像素中的每个背景像素的像素强度数据的平均值。这是因为每个像素都有一个平均值，该平均值是由所有基线图像间相同像素的总和除以基线图像的数量计算得出的。而且，过程600可以包括设备200获得背景像素中的每个背景像素的像素强度数据的标准偏差。这是因为每个像素都有一个标准偏差，该标准偏差是由所有基线图像间每个像素及其平均值(之前计算得出的)之间的差值总和除以基线图像的数量计算得出的。
在一些实施例中，在基于预定标准偏差阈值来突出显示减除图像中的像素时，过程600可以包括设备200突出显示像素的相应像素强度数据超过了预定标准偏差阈值的减除图像中的像素。
在一些实施例中，在接收场景图像时，过程600可以包括设备200评估场景图像的照明条件以便投影正态背景图像以及确定预定标准偏差阈值。
图7示出了根据本发明的实施例的示例过程700。过程700可以包括显示为框(例如710、720、730、740、750、760、770以及780)的一个或多个操作、动作或功能。虽然图示为独立的框，但是可以根据期望的实施方式将过程700的各种框分割成额外的框，组合成更少的框或者排除。而且，可以按照与图7中所示的顺序不同的顺序来执行过程700。过程700可以在方案100中和/或通过设备200实现。为了说明的目的而不是限制，在设备200的背景下提供过程700的以下描述。过程700可以从框710开始。
在710，过程700可以包括设备200接收包含背景和一个或多个所关注的前景对象的场景图像。过程700可以从710继续进行到720。
在720，过程700可以包括设备200从正态模型投影正态背景图像，其中正态背景图像包含背景，但没有一个或多个前景对象。过程700可以从720继续进行到730。
在730，过程700可以包括设备200利用照度不变色彩空间变换算法将场景图像转换成第一照度不变图像。过程700可以从730继续进行到740。
在740，过程700可以包括设备200利用照度不变色彩空间变换算法将正态背景图像转换成第二照度不变图像。过程700可以从740继续进行到750。
在750，过程700可以包括设备200通过从场景图像中按照像素减除正态背景图像来生成第一减除图像。过程700可以从750继续进行到760。
在760，过程700可以包括设备200通过从第一照度不变图像中按照像素减除第二照度不变图像来生成第二减除图像。过程700可以从760继续进行到770。
在770，过程700可以包括设备200基于预定标准偏差阈值来突出显示第一减除图像中的多个像素以获得残差图像。过程700可以从770继续进行到780。
在780，过程700可以包括设备200在残差图像和第二减除图像之间应用乘法矩阵运算以生成输出图像。
在一些实施例中，正态背景图像可以包括多个背景像素。正态模型可以包括与正态背景图像中的背景像素中的每个背景像素相关的像素强度数据的相应平均值和标准偏差。
在一些实施例中，过程700可以进一步包括设备200基于分别在多种照明条件下拍摄到的多幅基线图像来构建正态模型。每一幅基线图像可以包含背景，但不包含一个或多个前景对象。
在一些实施例中，在构建正态模型时，过程700可以包括设备200执行多个动作。例如，过程700可以包括设备200确定多组背景像素的像素强度数据，其中每组背景像素构成基线图像中的相应基线图像。另外，过程700可以包括设备200获得背景像素中的每个背景像素的像素强度数据的平均值。而且，过程700可以包括设备200获得背景像素中的每个背景像素的像素强度数据的标准偏差。
在一些实施例中，在基于预定标准偏差阈值来突出显示第一减除图像中的像素时，过程700可以包括设备200突出显示像素的相应像素强度数据超过了预定标准偏差阈值的第一减除图像中的像素。
在一些实施例中，照度不变色彩空间变换算法可以减小场景图像和正态背景图像上呈现的多个照明条件的影响，使得场景图像和正态背景图像的像素强度数据主要取决于对象的材料性质，而不是取决于照明条件。
在一些实施例中，在接收场景图像时，过程700可以包括设备200评估场景图像的照明条件以便投影正态背景图像以及确定预定标准偏差阈值。
在一些实施例中，乘法矩阵运算可以将相同尺寸的残差图像和第二减除图像作为输入以产生具有相同尺寸的输出图像。而且，乘法矩阵运算可以将分别在残差图像和第二减除图像中的相同像素位置的像素强度数据相乘。
在以上公开中，已参考构成本发明一部分的附图，并且在附图中通过举例说明的方式示出了可实践本发明的具体实施方式。应该理解的是，可利用其他实施方式，并且在不脱离本发明的范围的情况下可做出结构变化。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所述的实施例可包括特定特征、结构或者特点，但是不必然每个实施例都包括该特定特征、结构或者特点。而且，这种措词未必指的是相同的实施例。进一步地，当与实施例有关地描述特定特征、结构或者特点时，主张的是，不论是否做出明确的描述，影响与其他实施例有关的该特征、结构或者特点是在本领域技术人员的认知内。
本文中所公开的系统、设备、装置以及方法的实施方式可包括或者利用包括计算机硬件的专用或者通用计算机，比如，像本文中所讨论的，该计算机硬件为例如一个或多个处理器和系统存储器。本发明范围内的实施方式还可包括用于携带或者存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。该计算机可读介质可为能够由通用或者专用计算机系统来存取的任何可用的介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质为传输介质。因此，通过举例并且不受限制的方式，本发明的实施方式可包括至少两种明显不同类型的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、光盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、固态驱动器(Solid State Drive，“SSD”)(例如，基于随机存取存储器)、闪速存储器、相变存储器(Phase-Change Memory，“PCM”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或者其他磁性存储装置，或者能够用来存储计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取的任何其他介质。
本文中所公开的装置、系统以及方法的实施方式可通过计算机网络进行通信。“网络”定义为能够实现电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输的一条或多条数据链路。当通过网络或者另外的通信连接(硬连线、无线或者硬连线或无线的任何结合)向计算机传递或者提供信息时，该计算机将该连接适当地视为传输介质。传输介质可包括网络和/或数据链路，其能够用来携带计算机可执行指令或者数据结构形式的期望程序代码手段并且能够由通用或者专用计算机来存取。以上所述的组合也应该包含在计算机可读介质的范围内。
计算机可执行指令包括例如当在处理器执行时使通用计算机、专用计算机或者专用处理装置执行某个功能或者功能组的指令和数据。计算机可执行指令可为例如二进制数、中间格式指令(例如汇编语言)乃至源代码。尽管以特定于结构特征和/或方法动作的语言描述了本发明的主题，但是应该理解的是，所附权利要求中限定的主题未必受限于上文描述的所述特征或者动作。相反，所述特征和动作被公开为实施权利要求的示例形式。
本领域的技术人员将领会的是，可在具有多种计算机系统配置的网络计算环境中实践本发明，该计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或者可编程的消费电子产品、网络个人计算机(Personal Computer，PC)、小型计算机、大型计算机、移动电话、个人数字助理(Personal Digital Assistant，PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。还可在分布式系统环境中实践本发明，在该分布式系统环境中，经由网络(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的任何结合)连接起来的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储装置中。
进一步地，在适当的情况下，本文中所述的功能可在硬件、软件、固件、数字部件或者模拟部件的一个或多个中执行。例如，一个或多个专用集成电路(application specificintegrated circuit，ASIC)可编程为实现本文中所述的一个或多个系统和程序。某些术语在说明书和权利要求书中始终用来指特定的系统部件。如本领域的技术人员将领会的，可用不同的名称指称部件。本文并非意在区分名称不同但功能相同的部件。
应该注意的是，上文所讨论的传感器实施例可包括用来执行其至少一部分功能的计算机硬件、软件、固件或其任意组合。例如，传感器可包括配置成在一个或多个处理器中执行的计算机代码，并且可包括由该计算机代码控制的硬件逻辑/电气电路。本文中提供这些示例装置的目的是为了举例说明，而非意在做出限制。如相关技术领域的技术人员将已知的，本发明的实施例可在更多类型的装置中实现。
本发明的至少一些实施例是针对包括存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时，这种软件使装置像本文中描述的那样运行。
虽然上文已描述了本发明的各种实施例，但是应该理解的是，这些实施例只是通过示例的方式来呈现，而并非是限制性的。对相关技术领域的技术人员而言，将显而易见的是，在不脱离本发明的精神和范围的情况下，能够对本发明做出各种形式和细节上的改变。因此，本发明的广度和范围不应该受到上述任何示范性实施例的限制，而是应该只根据如下权利要求及其等同范围来限定。呈现前文的描述是为了阐述和说明。其并非意在穷举或者将本发明限制成所公开的确切形式。根据上文的教导可做出很多修改和变化。进一步地，应该注意的是，可通过期望用来形成本发明额外的混合实施方式的任何组合来使用任何或者所有前述替代实施方式。

Claims (9)

1.一种动态照明场景的图像背景减除的方法，包括：
接收包含背景和所关注的一个或多个前景对象的场景图像；
从正态模型投影正态背景图像，其中所述正态背景图像包含所述背景，但没有所述一个或多个前景对象；
利用照度不变色彩空间变换算法将所述场景图像转换成第一照度不变图像；
利用所述照度不变色彩空间变换算法将所述正态背景图像转换成第二照度不变图像；
通过从所述场景图像中按照像素减除所述正态背景图像来生成第一减除图像；
通过从所述第一照度不变图像中按照像素减除所述第二照度不变图像来生成第二减除图像；
基于预定标准偏差阈值来突出显示所述第一减除图像中的多个像素以获得残差图像；以及
在所述残差图像和所述第二减除图像之间应用乘法矩阵运算以生成输出图像。
2.根据权利要求1所述的方法，其中所述正态背景图像包括多个背景像素，其中所述正态模型包括与所述正态背景图像中的所述背景像素中的每个背景像素相关的像素强度数据的相应平均值和标准偏差，其中基于所述预定标准偏差阈值来突出显示所述第一减除图像中的所述像素包括：突出显示所述像素的相应像素强度数据超过了所述预定标准偏差阈值的所述第一减除图像中的所述像素，其中接收所述场景图像包括：评估所述场景图像的照明条件以便投影所述正态背景图像以及确定所述预定标准偏差阈值，其中所述乘法矩阵运算将相同尺寸的所述残差图像和所述第二减除图像作为输入以产生具有所述相同尺寸的所述输出图像，以及其中所述乘法矩阵运算将分别在所述残差图像和所述第二减除图像中的相同像素位置的像素强度数据相乘。
3.根据权利要求1所述的方法，进一步包括：
基于分别在多种照明条件下拍摄到的多幅基线图像来构建所述正态模型，其中每一幅所述基线图像包含所述背景，但不包含所述一个或多个前景对象。
4.根据权利要求3所述的方法，其中构建所述正态模型包括：
确定多组背景像素的像素强度数据，每组所述背景像素构成所述基线图像中的相应基线图像；
获得所述背景像素中的每个背景像素的所述像素强度数据的平均值；以及
获得所述背景像素中的每个背景像素的所述像素强度数据的标准偏差。
5.一种动态照明场景的图像背景减除的设备，包括：
摄像机，所述摄像机配置成监测包含背景的所关注的场景；以及
处理器，所述处理器通信耦接到所述摄像机，所述处理器配置成执行包括下列各项的动作：
控制所述摄像机在多种照明条件下拍摄所述场景的多幅基线图像，其中所述基线图像不存在一个或多个前景对象；
控制所述摄像机记录多幅场景图像；
基于所述基线图像来创建正态背景图像；
通过从所述多幅场景图像中的一幅场景图像中减除所述正态背景图像来生成第一减除图像以确定所述一个或多个前景对象是否存在于所述一幅场景图像中；
响应于所述一个或多个前景对象存在于所述一幅场景图像中而生成信号；
响应于所述一个或多个前景对象存在于所述一幅场景图像中而将所述第一减除图像中的所述一个或多个前景对象标记为残差图像；
利用照度不变色彩空间变换算法将所述一幅场景图像转换成第一照度不变图像；
利用所述照度不变色彩空间变换算法将所述正态背景图像转换成第二照度不变图像；
通过从所述第一照度不变图像中按照像素减除所述第二照度不变图像来生成第二减除图像；以及
在所述残差图像和所述第二减除图像之间应用乘法矩阵运算以生成输出图像。
6.根据权利要求5所述的设备，其中，所述处理器配置成在创建所述正态背景图像时在所述多种照明条件下由所述多幅基线图像构建正态模型。
7.根据权利要求6所述的设备，其中，所述处理器配置成在构建所述正态模型时执行包括下列各项的动作：
确定多组背景像素的像素强度数据，每组所述背景像素构成所述基线图像中的相应基线图像；
获得所述背景像素中的每个背景像素的所述像素强度数据的平均值；以及
获得所述背景像素中的每个背景像素的所述像素强度数据的标准偏差。
8.根据权利要求5所述的设备，其中，所述处理器配置成在将所述多幅场景图像中的一幅场景图像与所述正态背景图像进行比较时，执行从所述一幅场景图像中按照像素减除所述正态背景图像以获得第一减除图像。
9.根据权利要求8所述的设备，其中所述处理器进一步配置成基于预定标准偏差阈值来执行所述第一减除图像中的多个像素的标记，并且其中所述第一减除图像中的所述像素的所述标记包括：突出显示像素强度数据超过了所述预定标准偏差阈值的所述像素，其中，在突出显示所述像素时，所述处理器突出显示所述像素的相应像素强度数据超过了所述预定标准偏差阈值的所述第一减除图像中的所述像素。
CN201810343015.6A 2017-04-20 2018-04-17 动态照明场景的图像背景减除 Active CN108734684B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/492,961 US10373316B2 (en) 2017-04-20 2017-04-20 Images background subtraction for dynamic lighting scenarios
US15/492,961 2017-04-20

Publications (2)

Publication Number Publication Date
CN108734684A CN108734684A (zh) 2018-11-02
CN108734684B true CN108734684B (zh) 2023-08-18

Family

ID=62203435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810343015.6A Active CN108734684B (zh) 2017-04-20 2018-04-17 动态照明场景的图像背景减除

Country Status (5)

Country Link
US (1) US10373316B2 (zh)
CN (1) CN108734684B (zh)
DE (1) DE102018109276A1 (zh)
GB (1) GB2563142A (zh)
RU (1) RU2018108042A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438072B2 (en) * 2017-02-27 2019-10-08 Echelon Corporation Video data background tracking and subtraction with multiple layers of stationary foreground and background regions
US11479147B2 (en) * 2017-07-31 2022-10-25 Ford Global Technologies, Llc Vehicle occupancy management systems and methods
US20190202372A1 (en) * 2018-01-03 2019-07-04 Getac Technology Corporation Vehicular image pickup device and image capturing method
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
WO2021086022A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 색상 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11776163B1 (en) 2020-12-30 2023-10-03 Waymo Llc Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196361A (ja) * 1996-08-29 1999-04-09 Sanyo Electric Co Ltd 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
CN1777912A (zh) * 2002-06-28 2006-05-24 皇家飞利浦电子股份有限公司 用于改进的背景－前景分割的使用目标分类的增强背景模型

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5805742A (en) * 1995-08-16 1998-09-08 Trw Inc. Object detection system with minimum-spanning gradient filter for scene clutter suppression
FR2779549B1 (fr) * 1998-06-08 2000-09-01 Thomson Csf Procede de separation des composantes dynamique et statique d'une suite d'images
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6912313B2 (en) * 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
EP1387315B1 (en) * 2002-06-07 2007-09-12 Honda Research Institute Europe GmbH Preparation of a digital image with subsequent edge detection
US6999600B2 (en) * 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7127127B2 (en) * 2003-03-04 2006-10-24 Microsoft Corporation System and method for adaptive video fast forward using scene generative models
WO2005036456A2 (en) * 2003-05-12 2005-04-21 Princeton University Method and apparatus for foreground segmentation of video sequences
TWI255429B (en) 2003-12-29 2006-05-21 Ind Tech Res Inst Method for adjusting image acquisition parameters to optimize objection extraction
GB0502371D0 (en) * 2005-02-04 2005-03-16 British Telecomm Identifying spurious regions in a video frame
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
WO2007076892A1 (en) 2005-12-30 2007-07-12 Telecom Italia S.P.A. Edge comparison in segmentation of video sequences
AU2006252252B2 (en) * 2006-12-22 2009-10-01 Canon Kabushiki Kaisha Image processing method and apparatus
US7916944B2 (en) * 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
US7808532B2 (en) 2007-05-29 2010-10-05 Microsoft Corporation Strategies for extracting foreground information using flash and no-flash image pairs
EP2379078A4 (en) * 2008-12-23 2012-06-13 Panmira Pharmaceuticals Llc TOPICAL FORMULATIONS OF FLAP INHIBITORS FOR ADMINISTRATION TO AN EYE
US8571261B2 (en) * 2009-04-22 2013-10-29 Checkvideo Llc System and method for motion detection in a surveillance video
EP2425299A2 (en) 2009-05-01 2012-03-07 Koninklijke Philips Electronics N.V. Systems and apparatus for image-based lighting control and security control
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8941726B2 (en) * 2009-12-10 2015-01-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting moving objects from images using foreground extraction
CN101950352B (zh) 2010-05-31 2012-08-22 北京智安邦科技有限公司 一种去除光照影响的目标检测方法及装置
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US8897571B1 (en) * 2011-03-31 2014-11-25 Raytheon Company Detection of targets from hyperspectral imagery
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US8774504B1 (en) 2011-10-26 2014-07-08 Hrl Laboratories, Llc System for three-dimensional object recognition and foreground extraction
US9270899B1 (en) * 2012-06-27 2016-02-23 Amazon Technologies, Inc. Segmentation approaches for object recognition
GB2505966A (en) * 2012-09-18 2014-03-19 Seebyte Ltd Target recognition in sonar imaging using test objects
CN103793921B (zh) 2012-10-29 2017-02-22 浙江大华技术股份有限公司 一种运动目标提取方法及装置
US9489581B2 (en) * 2014-08-11 2016-11-08 Nokia Technologies Oy Vehicle counting and emission estimation
US10140548B2 (en) * 2014-08-15 2018-11-27 Lenovo (Singapore) Pte. Ltd. Statistical noise analysis for motion detection
CN104200473B (zh) * 2014-09-02 2017-06-06 中航高科技发展有限公司 一种基于图像背景剪除的动态视觉测量方法
CN104835142B (zh) 2015-03-10 2017-11-07 杭州电子科技大学 一种基于纹理特征的车辆排队长度检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196361A (ja) * 1996-08-29 1999-04-09 Sanyo Electric Co Ltd 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体
CN1777912A (zh) * 2002-06-28 2006-05-24 皇家飞利浦电子股份有限公司 用于改进的背景－前景分割的使用目标分类的增强背景模型

Also Published As

Publication number Publication date
US20180308236A1 (en) 2018-10-25
GB201806315D0 (en) 2018-05-30
DE102018109276A1 (de) 2018-10-25
US10373316B2 (en) 2019-08-06
GB2563142A (en) 2018-12-05
RU2018108042A (ru) 2019-09-09
CN108734684A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734684B (zh) 动态照明场景的图像背景减除
US9600746B2 (en) Image processing apparatus and image processing method
US20180204057A1 (en) Object detection method and object detection apparatus
US9524558B2 (en) Method, system and software module for foreground extraction
CN112102204B (zh) 图像增强方法、装置及电子设备
CN109726620B (zh) 一种视频火焰检测方法及装置
JP7272533B2 (ja) 知覚システムを評価するシステム及び方法
CN109308711B (zh) 目标检测方法、装置及图像处理设备
CN111325769A (zh) 一种目标对象检测方法及装置
US20180047271A1 (en) Fire detection method, fire detection apparatus and electronic equipment
KR20190141577A (ko) 이미지 프레임에서의 픽셀 위치가 배경 또는 전경에 속하는지를 결정하기 위한 방법, 장치 및 시스템
US20210012506A1 (en) Method, system and computer readable medium for integration and automatic switching of crowd estimation techniques
WO2021147055A1 (en) Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN113627226A (zh) 使用神经网络在具有宽范围光强度的场景中进行对象检测
KR20160037481A (ko) 영상 인식을 위한 그림자 제거 방법 및 이를 위한 그림자 제거 장치
CN110298302B (zh) 一种人体目标检测方法及相关设备
CN115049675A (zh) 生成区域确定及光斑生成方法、设备、介质及程序产品
CN111402185B (zh) 一种图像检测方法及装置
CN111814617A (zh) 基于视频的火灾判定方法、装置、计算机设备及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN115272682A (zh) 目标对象检测方法、目标检测模型的训练方法及电子设备
CN115147752A (zh) 一种视频分析方法、装置及计算机设备
Abdusalomov et al. Robust shadow removal technique for improving image enhancement based on segmentation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant