CN102842063B - 确定红外图像中的对象的数量 - Google Patents

确定红外图像中的对象的数量 Download PDF

Info

Publication number
CN102842063B
CN102842063B CN201210106979.1A CN201210106979A CN102842063B CN 102842063 B CN102842063 B CN 102842063B CN 201210106979 A CN201210106979 A CN 201210106979A CN 102842063 B CN102842063 B CN 102842063B
Authority
CN
China
Prior art keywords
infrared
lambda
intensity
pixel
reflectance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210106979.1A
Other languages
English (en)
Other versions
CN102842063A (zh
Inventor
Y·R·王
Z·范
L·K·麦萨哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comdount Business Services Co ltd
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of CN102842063A publication Critical patent/CN102842063A/zh
Application granted granted Critical
Publication of CN102842063B publication Critical patent/CN102842063B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/58Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

公开了一种新颖的系统和方法,用于确定使用红外成像系统获得的红外图像中的对象的数量。在一个实施方案中,使用包括红外探测装置和红外照明器的红外成像系统,为红外图像中的每个像素收集总计N个强度值。从数据库取得为多种已知材料诸如头发和皮肤已估计的强度值。使用反射比最优拟合方法或相关方法,为红外图像中的每个像素确定分类。一旦分类,可以确定红外图像中对象的总数。本系统和方法意在用于众多现实世界应用中,诸如用于确定在HOV/HOT车道中行进的车辆里的乘员的数量。

Description

确定红外图像中的对象的数量
相关申请的交叉引用
本申请涉及共同受让且共同未决的美国专利申请“Determining ATotal Number Of People In An IR Image Obtained Via An IR ImagingSystem”,其美国序列号为12/967,775,该申请以引用方式整体纳入本文。
技术领域
本发明涉及使用红外摄影机系统(infrared camera system)获得一个多波段红外图像以及随后确定该红外图像中的对象(object)的总数的系统和方法。
背景技术
市售有许多商用的面部识别系统(FRS)。然而,这些系统大多要求面部定位在摄影机前方并有良好的照明。这样的条件在需要或想要面部识别时通常不具备。在许多实际情况下,正被探测和识别的实验对象(subject)在通过红外摄影机前时可能正在移动,例如乘坐在车中时。此外,该实验对象的照明可能是不足的。现有技术需要用于确定使用红外摄影机捕获的图像中的对象的数量的方法。
现有技术需要的是用于确定使用红外成像系统获得的红外图像中的对象的数量的系统和方法。
发明内容
所公开的是用于确定红外图像中的对象的数量的新颖系统和方法。本系统和方法提供了用于将对象从周围背景分开的手段。这样的系统意在用于众多现实世界应用中,诸如用于确定在HOV/HOT车道中行进的车辆里的乘员的数量、或确定在由安全摄影机捕获的图像中的乘员的数量。
在一个示例实施方案中,本系统和方法涉及如下内容。首先,使用红外成像系统,为红外图像中的每个像素收集总共N个强度值。一收集完这些强度值,就处理红外图像中的每个像素,以使得可确定那个像素的分类(classification)。在一个实施方案中,使用已经为多种已知材料诸如头发和皮肤估计的反射比计算强度值。然后将像素强度与所计算的强度值作比较,且基于最优拟合反射比对像素分类。在另一个实施方案中,计算在每个像素的强度值和所获得的强度值之间的相关系数(correlation coefficient)。然后基于它们之间的相关性的量来对像素分类。一旦像素被分类,则可以基于该像素分类来确定红外图像中的对象的总数。
根据本发明的一个方面,提供一种用于确定由红外成像系统所获得的红外图像中对象的数量的方法,所述方法包括:为红外图像中的每个像素收集总共N个强度值,所述强度值是用一个红外成像系统收集的,所述红外成像系统包括一个红外探测装置和一个红外照明器;从数据库取得为多种已知材料估计的强度值;使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及基于像素的所述分类,确定在所述红外图像中的对象的总数。
在一个优选的实施方案中,所述红外探测装置是单个红外探测装置,以及其中所述红外照明器是带有一个固定滤波器的顺序照明的N波段照明器(N≥3),所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s i ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L ( λ ) D ( λ ) dλ + I b ,
其中i=1,...,N,使得i是来自顺序照明的所述照明器的第i个红外波段,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,是光源的第i个波段的强度,Ib是来自诸如太阳光的红外分量之类的背景光源的强度,Ro(λ)是由所述红外探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是对来自所述照明器的被车辆玻璃反射且由所述探测器接收到的光的百分比的度量,在其他情况下η=0,TL(λ)是所述固定滤波器的透射比,且D(λ)是所述探测装置的响应率。
在一个优选的实施方案中,所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)-Is是计算的强度差,而Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且基于所述相关性的量,对所述像素分类。
在一个优选的实施方案中,所述最优拟合反射比方法包括:使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且基于最优拟合反射比,将所述像素分类。
在一个优选的实施方案中,所述红外探测装置是具有N个带通滤波器的N个探测装置(N≥3),所述红外照明器具有一个覆盖所述滤波器的波长范围的照明器,所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L i ( λ ) D ( λ ) dλ + I b ,
其中i=1,...,N,使得i是第i个红外带通滤波器,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,IS(λ)是所述光源的强度,Ib是背景强度,Ro(λ)是被所述红外探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是对来自所述照明器的被车辆玻璃反射且由所述探测器接收到的光的百分比的度量,在其他情况下η为0,是第i个滤波器的透射比,且D(λ)是所述探测装置的响应率。
在一个优选的实施方案中,所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)-Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且基于所述相关性的量,对所述像素分类。
在一个优选的实施方案中,所述最优拟合反射比方法包括:使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且基于最优拟合反射比,将所述像素分类。
在一个优选的实施方案中,所述数据库还包括下列任一:所述照明器的功率谱,一个滤波器的透射比,响应率曲线,以及所述红外探测装置上的探测器的量子效率曲线。
在一个优选的实施方案中,所述方法还包括结合所述像素强度值中的任一个,为所述像素生成至少一个新的强度值。
在一个优选的实施方案中,所述对象是机动车辆中的人类乘员。
根据本发明的又一方面,提供一种用于确定在一个红外图像中的对象的数量的系统,所述系统包括:红外成像系统,包括一个红外探测装置和一个红外照明器;存储器和存储介质;以及处理器,与所述存储介质和所述存储器通信,所述处理器执行机器可读指令以执行下列方法:使用所述红外成像系统为红外图像中的每个像素收集总共N个强度值;从数据库取得为多种已知材料估计的强度值;使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及基于像素的所述分类,确定在所述红外图像中的对象的总数。
在一个优选的实施方案中,所述红外探测装置是单个红外探测装置,其中所述红外照明器是带有一个固定滤波器的顺序照明的N波段照明器(N≥3),所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s i ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L ( λ ) D ( λ ) dλ + I b ,
其中i=1,...,N,使得i是来自顺序照明的所述照明器的第i个红外波段,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,是光源的第i个波段的强度,Ib是来自诸如太阳光的红外分量之类的背景光源的强度,Ro(λ)是由所述红外探测装置探测的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是对来自所述照明器的被车辆玻璃反射且由所述探测器接收到的光的百分比的度量,在其他情况下η=0,TL(λ)是所述固定滤波器的透射比,且D(λ)是所述探测装置的响应率。
在一个优选的实施方案中,所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)-Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且基于所述相关性的量,对所述像素分类。
在一个优选的实施方案中,所述最优拟合反射比方法包括:使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且基于最优拟合反射比,将所述像素分类。
在一个优选的实施方案中,所述红外探测装置是具有N个带通滤波器的N个探测装置(N≥3),所述红外照明器具有一个覆盖所述滤波器的波长范围的照明器,所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L i ( λ ) D ( λ ) dλ + I b ,
其中i=1,...,N,使得i是第i个红外带通滤波器,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,IS(λ)是所述光源的强度,Ib是背景强度,Ro(λ)是所述红外探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是对来自所述照明器的被车辆玻璃反射且由所述探测器接收到的光的百分比的度量,在其他情况下η为0,是第i个滤波器的透射比,且D(λ)是所述探测装置的响应率。
在一个优选的实施方案中,所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)-Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且基于所述相关性的量,对所述像素分类。
在一个优选的实施方案中,所述最优拟合反射比方法包括:使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且基于最优拟合反射比,将所述像素分类。
在一个优选的实施方案中,所述数据库还包括下列任一:所述照明器的功率谱、一个滤波器的透射比、响应率曲线、以及所述红外探测装置上的探测器的量子效率曲线。
根据本发明的又一方面,提供一种用于确定在一个红外图像中的对象的数量的系统,所述系统包括:红外成像系统,包括一个红外探测装置和一个红外照明器;存储器和存储介质;数据库;以及处理器,与所述存储介质、所述存储器和所述数据库通信,其中:所述红外成像系统为红外图像中的每个像素收集总共N个强度值;所述处理器从所述数据库取得为多种已知材料估计的强度值;所述处理器使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及所述处理器基于像素的所述分类,确定在所述红外图像中的对象的总数。
从下面的详细描述和附图,将立即明了上述方法的许多特征和优点。
附图说明
从下面结合附图的具体说明中,将明了本文公开的主题的上述和其他特征和优点,在附图中:
图1示出了一个示例红外图像;
图2示出了一个示例红外照明系统的一个实施方案;
图3示出了一个示例红外探测系统的一个实施方案;
图4示出了一个示例的车辆乘用探测系统,其包括图2的红外照明系统和图3的红外探测系统;
图5示出了旨在实现用于确定机动车辆内的乘员数量的一个实施方案的本发明方法的一个示例实施方案;
图6至12示出了适合用于本文的各个实施方案的红外LED的相对辐射强度;
图13示出了对于3波段和4波段系统的相关系数,其中η=0;
图14示出了对于3波段和4波段系统的相关系数,其中η=0.05;
图15是关于对于3波段和4波段系统的相关系数的表格,其中η=0且带有20%的白噪声;
图16示出了一个示例系统的方框图,该系统能够实现关于图5的流程图所示和描述的本方法的各个方面;
图17示出了一个用于执行关于图5的示例流程图和图16的示例功能方框图所描述的本发明的系统和方法的一个或多个方面的专用计算机系统的一个示例实施方案的方框图。
具体实施方式
所公开的是用于确定使用红外成像系统获得的红外图像中的对象的数量的新颖系统和方法。本方法通过两个实施方案将活的对象从周围背景分离开,一个实施方案利用了一组相关系数,而另一个利用了一组最佳拟合反射比。由此得出的数量被用来选择性地分类图像中的像素。基于所述分类,可确定图像中的对象的数量。
非限制性的定义
“像素(pixel)”,是图像中最小的可寻址元素。每个像素都有其自己的地址。像素通常被布置成一个网格。每个像素的强度都是可变的,且取决于正用于测量该像素的感测装置的特性和灵敏度。摄影机的分辨率实际上就是像素的大小。较小的像素意味着更多的像素可以进入该图像,给出更好的清晰度。
“红外图像(IR Image)”,是由具有从被照明的样本反射的探测红外光的红外探测装置获得的图像。一个完全填充(fully-populated)的红外图像由多个像素组成,其中每个像素在感兴趣的每个预期光谱带处均具有强度值。图1示出了用红外摄影机捕获的示例红外图像。红外(IR)光是波长介于0.7到300微米的电磁辐射。应注意,红外线范围的上限波长没有精确设定。这相当于在1到430THz之间的频率范围。红外波长比可见光的波长更长,但比微波短。明亮的阳光在海平面提供了每平方米约1千瓦的光照。在此能量中,527瓦特是红外线,445瓦特是可见光,32瓦特是紫外线。对于主动红外,摄影机用人眼不可见的红外波长照明现场。红外能量仅仅是包括来自γ射线、X射线、紫外线、可见光的一小部分、红外、太赫波、微波、以及无线电波的辐射的电磁波谱的一部分。这些在它们的波长的长度方面都是相关联和相区分的。本发明的各个实施方案利用了整个下反射红外线(LRIR)波段(即≈800-1400纳米)。LRIR可以用对该频率波段敏感的多波段成像(MBI)装置来探测,且提供类似黑白图片的图像。上反射红外线(URIR)波段(即≈1400-2200纳米),URIR感测的图像不同于LRIR感测的图像,区别在于人的肌肤反射红外线的方式不同于无生命对象。由于下红外波段和上红外波段都是反射性的,现场可能需要一个照明源。这样的照明不需要是可见的,这样将不会让人分心。在白天,LRIR和URIR照明可能是不必要的,因为普通日光可以提供足够的红外照明。
“红外照明器(IR illuminator)”是光源。光级(light level)可通过改变驱动电流来控制。例如,LED的光输出随着电流线性变化。能够以时间顺序方式或同时进行红外照明的LED阵列是众所周知的。在图2中示出了一个示例性红外照明系统。
“红外成像系统(IR Imaging System)”是这样的装置,它被设计用于捕获从目标对象反射的红外光,将红外光分成它的分量波长(component wavelength),并输出该目标的红外图像。这样的系统有一个红外探测器(如红外摄影机)和红外照明器。图3示出了一个示例红外探测系统。红外成像系统,可以是单个红外探测装置以及带有一个固定滤波器的按顺序亮起的N波段照明器(N≥3);或者可以包括总共N个探测装置(N≥3)以及单个照明源,每个探测装置有各自的带通滤波器。
示例照明系统
现在参见图2,其示出了根据本发明的教导使用的一个示例红外照明系统的一个实施方案。
图2的红外照明系统200被示为包括一个红外光源阵列202,该红外光源阵列202具有多个红外光源,每个红外光源都以各自的峰值波长(示为λ1,...,λn)发射窄带红外辐射。光源阵列202包括发光二极管(LED)阵列。每个二极管被选择为发射在某一特定波段的红外辐射,且在该阵列中为那个波段定义一个源。控制器208被联接到红外光源阵列202,且控制到每个照明器的输入电流,且从而控制每个照明器的输出强度。感测光学器件204具有一个或多个光学器件203,所述一个或多个光学器件203合并了所述波长以产生红外照明光束206。传感器210对从红外光源阵列发射出的辐射采样,并提供到控制器208的反馈。聚焦光学器件212接收光束206并且将输出光束214聚焦到目标车辆216上。光学器件212包括放置在光束路径之内的具有不同的焦距的多个透镜,以聚焦所述光束。控制器208还被联接到光学器件212,以实现由于目标大小、目标距离、目标速度等一些约束而改变输出光束214。控制器208还进一步和存储装置209通信,以存储/取得校准信息、强度等级等等,包括数据和机器可读的程序指令。控制器208可包括诸如台式机、服务器、大型机等类似的计算机系统。控制器208可被设置为通过网络与这样的计算设备进行有线或无线通信。这样一个网络可以是局域网(LAN)或互联网。应理解,为了进一步促进本发明旨在的目的,照明系统200的任何组件均可被设置为与这样的计算系统通信。
上面关于图2描述的任何光学器件,均可替换为具有光功率的光学系统,且还可包括镜子。这样的光学系统可包括多个组件,每个组件具有光功率,例如,它可以是双重或三重透镜。就限定了一个唯一的焦距F的这样的光学系统而言,所述光源阵列和光栅将被定位在光学器件的前焦平面和后焦平面中。因此,所述光学系统将在相对于所述光源阵列的每个元件的无限远处对所述光栅成像,从而每个光源元件看到光栅的相同区域。来自每个元件的光在那个区域上将是在空间上共同扩张的(co-extensive)。然后光栅可以产生输出辐射,通过对与不同波段的源的横向位置有关的频散的补偿,输出辐射的谱内容在其横向轮廓上基本是均一的。这使得输出光束214的谱内容在其横向轮廓上基本均一。在实践中,由于像差(aberrations)(例如,场曲、轴向色差、横向色差、失真、彗形,等等),可能难于为光学系统精确地定义理想焦距,所述像差会导致光学器件根据它们的波长或横向位置而将光线聚焦到略微不同的位置。
此外,光学系统、光源阵列和光栅的相对位置是根据更为一般的条件来选择的,也即光学系统在相对于所述光源阵列的每个光源元件的无限远处对光栅成像,至少对于来自每个光源的部分光线来说。对于以与光轴成θ度角传播的光线,近轴的光线具有sin(θ)≈θ。这个无穷大条件可以通过将在所述光学系统的一个标称的后焦平面处的每个光源元件放置在所述光学系统的景深之内、以及将在所述光学系统的标称的前焦平面处的所述光栅放置在所述光学系统的景深之内来达到。景深(DOV)根据DOV=λ/NA2与光学系统的数值孔径(NA)相关,其中λ为来自光源元件的光的波长。光学器件可被设计为具有提供多个自由度的组件,以弥补各种光学像差。虽然在光学系统中的附加的组件提供额外的自由度以减少像差,但每个增加的组件也为光学系统增加了成本和复杂度。
示例红外探测系统
现在参考图3,该图示出了根据本教导的一个供使用的示例红外探测系统300的一个实施方案。在图3中,目标车辆216反射了由图2的光学器件212所发射的红外光束214。所反射的红外光的一部分被具有一个或多个透镜303的光学器件302接收,该光学器件将所接收的光聚焦到传感器304上,该传感器空间解析所接收的光,以获得红外图像308。光学器件302可能还包括只允许在一个窄波段内的光通过的一个或多个带通滤波器。滤波器也可依次改变,以在308得到多个强度。传感器304将红外图像信息发送到计算机306以便处理和存储。图像探测器308是一个多光谱图像探测装置,其谱内容可通过一个控制器(未显示)选择。用于光源光学器件302和探测器304的合适光学器件包括在本领域中常见的那些器件。探测器304独立地记录沿着二维网格的多个像素位置的光强度。适合的传感器包括电荷耦合器件(CCD)探测器、互补金属氧化物半导体(CMOS)探测器、电荷注入器件(CID)的探测器、光导摄像管探测器、雷地康管探测器(reticondetector)、图像增强管探测器、像素化的光电倍增管(PMT)探测器、铟镓砷化物(InGaAs)、碲镉汞(MCT)和微测辐射热计。将注意到的是,硅基探测器被限制在低于1100纳米。具有混合探测器(即硅基和非硅基的组合)的系统也在范围之内。计算机306与光学器件302通信以控制其透镜,且与探测器304通信以控制其灵敏度。计算机306接收与红外图像308的每个像素有关的灵敏度值。计算机306还包括如实现对系统300的控制所需的键盘、监控器、打印机等(未显示)。示例红外成像系统
现在参见图4,示出了一个示例车辆乘用探测系统,它包括图2的红外照明系统和图3的红外探测系统。
在图4中,目标车辆400包括一个人类乘员402正以速度v在方向矢量403所示的运动方向上沿着HOV车道404行进。在车道404上方的预期距离d以内布置有一个支撑臂405,该支撑臂405包括一个类似于用于交通灯的管状构造。固定在臂405之上的是红外探测系统407,其具有用于和远程装置通信的传输元件408,以及红外照明系统409。系统409和407旨在分别表现图2和图3的系统的实施方案。探测装置407可包括:配备长焦镜头的摄影机、带通滤波器,减少眩光效果的偏光镜片。在白天工作中,太阳照明可能就足够了。红外照明器409以一个或多个波长发射红外辐射,所述红外辐射从目标车辆及其内容物反射回探测器207。红外探测系统407将所述红外图像和/或与红外图像中的每个像素相关联的强度值传输给计算装置,以便以下文所述的方式作进一步处理。
示例流程图
现在参见图5的流程图,其示出了用于确定在机动车辆内的对象的数量的本方法的一个示例实施方案。应理解,虽然此实施方案是在运输管理系统的背景中讨论的,但本文的教导旨在应用于其中想要确定在使用红外成像系统获得的红外图像中的对象的数量的各式各样的系统。这样的实施方案都旨在落入所附权利要求的范围内。流程处理始自500,随即继续到步骤502。
在步骤502中,对于一个红外图像中的每个像素收集总共N个强度值。每个像素的强度值是使用图2-4的示例红外成像系统从反射的红外光源收集的。所述红外图像和/或每个像素的强度值可被提供给计算机工作站或者专用目的的计算机系统,以便根据本发明的各个不同实施方案作进一步处理。在下文中,假定在空气中的红外衰减和积分时间(integration time)对于所有波段都是相等的。若否,则应对这些参数作相应调整。
如果红外探测装置是单个红外探测装置,红外照明器是带有一个固定滤波器的按顺序照明的N波段照明器(N≥3),则所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s i ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L ( λ ) D ( λ ) dλ + I b , - - - ( 1 )
其中i=1,...,N,使得i是来自顺序照明的所述照明器的第i个红外波段,α是一个取决于自照明源算起的角度和距离、空气中红外波的衰减、以及探测装置的积分时间的常数,是光源的第i个波段的强度,Ib是来自背景光源的强度例如来自太阳光的红外分量的强度,Ro(λ)是车辆内的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,常数η是对来自照明器的被车辆玻璃反射且由探测器接收到的光的百分比的度量,TL(λ)是固定滤波器的透射比,D(λ)是探测装置的响应率。
如果红外探测装置是具有N个带通滤波器(N≥3)的N探测装置,红外照明器具有覆盖所述滤波器的波长范围的一个照明器,则所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L i ( λ ) D ( λ ) dλ + I b , - - - ( 2 )
其中i=1,...,N,使得i是第i个红外带通滤波器,α是一个取决于自照明源算起的角度和距离、空气中红外波的衰减、以及探测装置的积分时间的常数,IS(λ)是光源的强度,Ib是背景强度,Ro(λ)是车辆内的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,常数η是对来自照明器的被车辆玻璃反射且由探测器接收到的光的百分比的度量,Ti L(λ)是第i个滤波器的透射比,D(λ)是探测装置的响应率。像素强度值中的任意个强度值可被组合,从而为该像素生成一个或多个新强度值且被相应处理。
在步骤504,取得所述红外图像的第一像素以便处理。所述第一像素可以是由处理器自动选择的,或是由用户使用图形用户界面(例如键盘、鼠标和监控器)识别的,所述处理器或图形用户界面与一个旨在执行本方法的各个不同方面的计算机工作站相连。所述用户可以选择所接收的红外图像的第一区域,在图像的所选区域内的一些或全部像素在所述红外图像的其他部分之前被处理。可以捕获所述移动车辆的一个或多个红外图像,以便根据本发明处理。
在步骤506,根据最优拟合反射比或相关方法,对所识别的像素分类。在相关方法中,为多种已知材料估计的强度值是从存储装置或经网络连接从远程装置取得的。相关系数是在该像素的强度值和所取得的强度值之间计算得出。然后基于在一个像素的强度值和这些已知材料的强度值之间计算的相关性,对该像素分类。在一个实施方案中,所述相关系数是通过下式给出的:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 , - - - ( 3 )
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)-Is是计算的强度差,而Is是Im的计算的对应(correspondence),从而,如果使用某一具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高(接近于1),否则相关性将较低(接近于0或负数)。
在最优拟合反射比方法中,从存储装置或经网络从远程装置取得已经为多种已知材料估计的反射比值。使用取得的反射比,为这些已知材料计算强度值。然后将当前像素的强度值与为所述已知材料计算的强度值作比较,然后基于所述反射比的最优拟合对所述像素分类。
在步骤508,一旦当前像素已经被分类,则确定是否还有任何其他待要被处理的像素。若如此,则所述处理关于步骤504重复,其中接下来的一个像素被取得、选择、或是被识别以便处理。处理重复直到红外图像中所有想要的像素都被处理为止。
在步骤510,然后基于像素分类,确定机动车辆中的对象的总数。此后,在此实施方案中,对红外图像的进一步处理,结束。
一旦可以将图像中的像素从周围的非人对象分离开,则可采用神经网络或模糊逻辑来帮助确定在所述车辆中的对象(有生命的或无生命的)的数量。在一个实施方案中,这是通过对由目标车辆的成像系统获得的一个或多个红外图像中的每一个中的已识别的人进行空间分隔,并且计算对象的数量而完成的。如果采用了三个红外摄影机,例如,一个红外摄影机面对着移动的车辆的前部以捕获前乘员厢的图像,两个红外摄影机各面对着车辆的一侧以捕获该车辆的乘员和驾驶员侧的图像,所述图像的每一个都能够被分析以确定存在的对象。在一个示例实施方式中,如果在白天,此时在HOV车道的行进受限,机动车辆中的人类乘员的数量超过一个预定数量,则可使用车辆标记识别技术自动捕获该车辆的车牌,并且给交通执法部门发送一个信号,指示具有所识别的车牌号码的车辆正在使用HOV车道但乘员数量却不符规定。
应理解,本文中的流程图是说明性的。在任一流程图中所示的一个或多个操作步骤可以按不同的顺序执行。其他操作可被,例如补充、修改、增强、浓缩、整合、或合并其步骤。这样的变化旨在落入所附权利要求的范围内。流程图的全部或部分可以用硬件结合机器可执行指令来部分地或完全地实现。
使用了一个4波段照明器系统。所使用的LED具有940nm、1070nm、1200nm和1550nm的峰值波长。图6-12示出了这些LED的功率谱。近红外(NIR)LED已有市售。这些LED是用各种半导体诸如GaAs或InGaAsP制成的,且具有从接近可见(>730nm)到短波长红外(>2000nm)的峰值波长。图6-12示出了用InGaAsP制成的几种红外LED的谱,具有介于810nm到1600nm之间的峰值波长。这些LED具有良好的辐射功率,介于数mW到用于高功率LED的大约45mW之间。可以将具有相同峰值波长的许多LED集束成一批或一组。本研究假定每个LED照明器是均等功率的(若否,则可调整下面表格中的比例)。各种材料的反射比,包括人类皮肤的反射比,以及车窗的透射比,在许多出版文献中均可找到。红外探测摄影机是市售的,其捕获900nm到1700nm的图像。在图13和图14的表格中展示了使用公式(3)的相关系数的结果。术语“C123”意味着只具有波段1(峰值波长940nm)、波段2(1070nm)和波段3(1200nm)的顺序照明器的相关系数。对于其他3波段相关系数有类似的符号。术语“C4”意味着使用了所有4个波段的相关系数。图13的表格示出了相关系数,其中η=0。从图13的表格中,可见大多数3波段组合和4波段系统都成立(负的相关系数,或小的正相关系数),但3波段组合1、2和3除外。图14的表格示出了相关系数,其中η=0.05。如可见,对于η=0的情况,将皮肤和其他材料区分开的质量下降。然而,除了脏玻璃和深色皮肤之外,C234组合以及4波段系统在将皮肤与其他材料区分开方面仍然相当好。为了进一步测试其鲁棒性,我们向“测量的”强度加入了20%的白噪声,然后再次测试上述相关性。结果示出在图15的表格中。很清楚,对于C234三波段摄影机系统和四波段摄影机系统,所述分类方法关于此噪声水平是鲁棒的。
示例框图
现在参见图16,其示出了一个示例处理系统的方框图,该系统能够实现关于图5的流程图所示和描述的本方法的多个方面。
图16的实施方案被示为包括一个工作站1604,其与IR图像接收机1602通信,用于接收来自图4的红外探测装置407的天线408的像素强度值,且用于实现在计算机1604和探测装置407之间的双向通信。计算机1604具有监控器1603和用户接口1605,用于允许给用户显示信息,且用于实现用户输入或选择。计算机1604还通过网络通信接口(未示出)与网络1601通信。所捕获的红外图像和/或像素强度值的各个部分可被存储到工作站1604内部的存储器或存储装置,且可经由网络1601与远程装置通信以便存储或进一步处理。用户可以使用图形用户界面,例如键盘和监控器,以识别或选择该红外图像的像素和/或区域,以便处理或提供实施该处理所需要的其他用户输入。在所接收的红外图像数据中识别的或探测的感兴趣的像素和/或区域,可通过网络1601从远程装置例如从图像处理系统取得。台式计算机1604和接收机1602均与图像处理器1606通信。
图像处理器1606被示出包括缓冲器1607,用于将与所接收的红外图像相关联的信息排队,所述信息例如图像内感兴趣区域,等等,所述区域已经被选择或被识别用于像素处理。缓冲器1607可进一步存储接收的数据以及数学公式和表达式,以用上述方式处理页面和成组的页面。强度计算器1608从工作站1604接收关于执行要求的计算所必需的变量的数据和信息。像素识别器模块1609识别待要处理的当前像素,如上面关于步骤504所述。模块1609与监控器1603通信,以在其上给出显示,用于使用户选择接下来要处理所显示的红外图像中的哪个像素。用户可以选择所显示的红外图像的一些或全部用于处理。在其他实施方案中,该图像被自动地处理,且应理解,这样的实施方案意在落入所附权利要求的范围内。像素分类模块1610是一个带有存储器的处理器,处理器与强度模块1608通信,以获得当前像素的像素强度值,并且根据所实施的方法,从中生成一个相关系数及阈值,或者反射比的值以及一个最优拟合反射比,并且将结果保存到存储装置1611。基于所采用的方法,将该像素分类。模块1608还将值存储到存储装置1611或从存储装置1611取得值,以便模块1610取得。对象识别模块1612从模块1610接收分类的像素,并且基于所述分类识别该像素。对此像素的分类被存储到存储装置1611。
应理解,图16中的任何模块和处理单元均经由所示出的和未示出的路径与存储装置1611通信,且可存储/取得数据、参数值、函数、页面、记录、数据、以及执行它们想要功能的机器可读/可执行的程序指令。这些模块中的每一个都经由(未示出的)路径与工作站1604相通信,且还可通过网络1601与所述一个或多个远程装置相通信。应理解,所述这些模块中任一个的某些或全部功能,可以整体地或部分地由工作站1604内部的组件或由如图17中所示的专用计算机系统执行。还应理解,各个不同模块可以指定一个或多个部件,所述部件本身可包括被设计为执行想要的功能的软件和/或硬件。多个模块可以共同执行单个功能。每个模块可以具有一个能够执行机器可读程序指令的专用的处理器。一个模块可包括单块硬件诸如ASIC、电子电路、或专用处理器。多个模块可由单个专用计算机系统执行或由多个专用计算机系统并行地执行。在模块之间的连接包括物理的和逻辑的连接。模块还可包括一个或多个软件/硬件模块,所述软件/硬件模块可进一步包括操作系统、驱动器、设备控制器以及其他设备,其中一些或全部可经由网络连接。还预料到,本方法的一个或多个方面可在专用计算机系统上实现,且还可在分布式计算环境中实现,在分布式计算环境中任务是通过经由网络链接的远程装置执行的。
示例专用计算机
现在参见图17,示出了一个示例专用计算机的方框图,其用于实现关于图5的示例流程图所描述的本发明的方法的一个或多个方面,以及关于图16的方框图所描述的各个不同模块和处理单元。这样的专用处理器能够执行机器可执行程序指令,并可包括微处理器、微控制器、专用集成电路、电子电路等中的任一、或其任何组合。这样的专用计算机可以全部地或部分地与放置在文件复制设备的图像路径中的静电印刷系统或色彩管理或图像处理系统集成。
专用计算机系统1700包括处理器1706,以执行用于实现本方法的全部的或部分的机器可执行程序指令。该处理器与总线1702通信。该系统包括主存储器1704,用于存储机器可读的指令。主存储器可包括随机存取存储器(RAM),以支持重新编程和灵活的数据存储。缓冲器1766存储可由处理器寻址的数据。程序存储器1764存储用于执行本方法的机器可读指令。一个显示器接口1708将来自总线1702的数据转送给显示器1710。辅助存储器1712包括硬盘1714和存储设备1716,它能够读取/写入可移动存储单元1718,如软盘、磁带、光盘等。辅助存储器1712可进一步包括其他机制,以允许程序和/或机器可执行的指令被装载到处理器。这种机制可包括,例如,一个适于通过接口1720交换数据的存储单元1722,这使得能够传送软件和数据。该系统包括一个既用作输入又用作输出的通信接口1724,以允许数据在该系统和外部设备如彩色扫描仪(未显示)之间传送。示例的接口包括调制解调器、网卡诸如以太网卡、一个通信端口、PCMCIA插槽和卡等。通过通信接口传送的软件和数据是信号的形式。这种信号可以是电子信号、电磁信号、光学信号、或能够被通信接口接收的其他形式的信号。这样的信号通过信道1726提供给通信接口,信道1726运载这样的信号,且可使用电线、电缆、光纤、电话线、蜂窝链路、射频、存储器、或本领域已知的其他手段实现。本领域技术人员在阅读本文提供的功能性说明之后,使用相关领域的一般常识,可以用硬件或软件实现本发明的教导,使用任何已知的或以后开发的系统、结构、设备、和/或软件,而无需过度的试验。
本文描述的方法的一个或多个方面意在被包括在制造产品(article of manufacture)中,包括一个或多个计算机程序产品,具有计算机可用的或机器可读的介质。为此,计算机可用的或机器可读的介质是,例如,软盘、硬盘驱动器、存储器、CD-ROM、DVD、磁带、录像带、或其他数字或模拟介质等,它能够具有其上具体化的实施和实现本文所述的功能、能力和方法的计算机可读程序、一个或多个逻辑指令、或其他机器可执行代码或命令。此外,所述制造产品可被包括在至少一个存储装置上,所述存储装置可被机器体系架构或其它静电印刷系统或图像处理系统读取,具体实现能够执行在流程图中所描述的方法的可执行程序指令。另外,所述制造产品可被包括为静电印刷系统、操作系统、插件的一部分,或者可以单独地或作为附加件、更新、升级或产品套装的一部分而被运输、出售、租赁或提供。
应理解,上面公开的和其他的各种特征与功能、或其替代,均可理想地纳入到许多其他不同的系统或应用中。本文中的各种目前未预见或未预料的替代、修改、变化或改进,都会变得对于本领域技术人员是明了的和/或随后由本领域技术人员做出,这些也旨在被所附权利要求涵盖。
从而,上面提出的实施方案均应被认为是说明性而不是限制性的。在不背离本发明的原理和范围的前提下,可对上述实施方案做出许多修改。任何印刷出版物包括专利和专利申请文件的教导,均以引用方式分别整体纳入本文。

Claims (20)

1.用于确定由红外成像系统所获得的红外图像中对象的数量的方法,所述方法包括:
为红外图像中的每个像素收集总共N个强度值,所述强度值是用一个红外成像系统收集的,所述红外成像系统包括一个单个红外探测装置和一个带有一个固定滤波器的顺序照明的N波段红外照明器(N≥3),所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s i ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L ( λ ) D ( λ ) dλ + I b ,
其中i=1,…,N,使得i是来自顺序照明的所述照明器的第i个红外波段,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,λ1和λ2限定第i个红外波段的波长范围,是所述照明器的第i个波段的强度,Ib是背景强度,Ro(λ)是由所述探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是被玻璃反射且由所述探测器接收到的光的百分比,在其他情况下η=0,TL(λ)是所述固定滤波器的透射比,且D(λ)是所述探测装置的响应率;
使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及
基于像素的所述分类,确定在所述红外图像中的对象的总数。
2.根据权利要求1所述的方法,其中所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)–Is是计算的强度差,而Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且
基于所述相关性的量,对所述像素分类。
3.用于确定由红外成像系统所获得的红外图像中对象的数量的方法,所述方法包括:
为红外图像中的每个像素收集总共N个强度值,所述强度值是用一个红外成像系统收集的,所述红外成像系统包括具有N个带通滤波器的N个红外探测装置(N≥3),以及一个单个具有一个覆盖所述滤波器的波长范围的红外照明器,所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L i ( λ ) D ( λ ) dλ + I b ,
其中i=1,…,N,使得i是第i个红外带通滤波器,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,λ1和λ2限定第i个红外波段的波长范围,Is(λ)是所述照明器的强度,Ib是背景强度,Ro(λ)是被所述探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是被玻璃反射且由所述探测器接收到的光的百分比,在其他情况下η为0,是第i个滤波器的透射比,且D(λ)是所述探测装置的响应率;
使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及
基于像素的所述分类,确定在所述红外图像中的对象的总数。
4.根据权利要求1所述的方法,其中所述最优拟合反射比方法包括:
使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且
基于最优拟合反射比,将所述像素分类。
5.根据权利要求1所述的方法,还包括结合所述像素强度值中的任一个,为所述像素生成至少一个新的强度值。
6.用于确定在一个红外图像中的对象的数量的系统,所述系统包括:
存储器和存储介质;以及
处理器,与所述存储介质和所述存储器通信,所述处理器执行机器可读指令以执行下列方法:
为红外图像中的每个像素收集总共N个强度值,所述强度值是用一个红外成像系统收集的,所述红外成像系统包括一个单个红外探测装置和一个带有一个固定滤波器的顺序照明的N波段红外照明器(N≥3),所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s i ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L ( λ ) D ( λ ) dλ + I b ,
其中i=1,…,N,使得i是来自顺序照明的所述照明器的第i个红外波段,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,λ1和λ2限定第i个红外波段的波长范围,是所述照明器的第i个波段的强度,Ib是背景强度,Ro(λ)是由所述探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是被玻璃反射且由所述探测器接收到的光的百分比,在其他情况下η=0,TL(λ)是所述固定滤波器的透射比,且D(λ)是所述探测装置的响应率;
使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及
基于像素的所述分类,确定在所述红外图像中的对象的总数。
7.根据权利要求6所述的系统,其中所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)–Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且
基于所述相关性的量,对所述像素分类。
8.根据权利要求6所述的系统,其中所述最优拟合反射比方法包括:
使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且
基于最优拟合反射比,将所述像素分类。
9.根据权利要求6所述的系统,还包括结合所述像素强度值中的任一个,为所述像素生成至少一个新的强度值。
10.根据权利要求6所述的系统,其中所述对象是机动车辆中的人类乘员。
11.根据权利要求3所述的方法,其中所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)–Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且
基于所述相关性的量,对所述像素分类。
12.根据权利要求1所述的方法,其中所述对象是机动车辆中的人类乘员。
13.根据权利要求11所述的方法,其中所述最优拟合反射比方法包括:
使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且
基于最优拟合反射比,将所述像素分类。
14.根据权利要求11所述的方法,还包括结合所述像素强度值中的任一个,为所述像素生成至少一个新的强度值。
15.根据权利要求3所述的方法,其中所述对象是机动车辆中的人类乘员。
16.用于确定在一个红外图像中的对象的数量的系统,所述系统包括:
存储器和存储介质;以及
处理器,与所述存储介质和所述存储器通信,所述处理器执行机器可读指令以执行下列方法:
为红外图像中的每个像素收集总共N个强度值,所述强度值是用一个红外成像系统收集的,所述红外成像系统包括具有N个带通滤波器的N个红外探测装置(N≥3),以及一个单个具有一个覆盖所述滤波器的波长范围的红外照明器,所述强度值包括:
I c ( i ) = α ∫ λ 1 λ 2 I s ( λ ) [ T G 2 ( λ ) R o ( λ ) + η R G ( λ ) ] T L i ( λ ) D ( λ ) dλ + I b ,
其中i=1,…,N,使得i是第i个红外带通滤波器,α是一个取决于自所述照明源算起的角度和距离、空气中的红外波的衰减、以及所述探测装置的积分时间的常数,λ1和λ2限定第i个红外波段的波长范围,Is(λ)是所述照明器的强度,Ib是背景强度,Ro(λ)是被所述探测装置探测到的一个对象的反射比,RG(λ)和TG(λ)是玻璃的反射比和透射比,在其他情况下RG(λ)=0且TG(λ)=1,常数η是被玻璃反射且由所述探测器接收到的光的百分比,在其他情况下η为0,是第i个滤波器的透射比,且D(λ)是所述探测装置的响应率;
使用下列方法之一为所述红外图像中的每个像素确定一个分类:反射比的最优拟合方法,以及相关方法;以及
基于像素的所述分类,确定在所述红外图像中的对象的总数。
17.根据权利要求16所述的系统,其中所述相关方法包括:
c = Σ i = 1 i = N [ Δ I cm ( i ) ] [ Δ I cs ( i ) ] Σ i = 1 i = N [ Δ I cm ( i ) ] 2 Σ i = 1 i = N [ Δ I cs ( i ) ] 2 ,
其中ΔIcm(i)=Icm(i)-Im是测量的强度差,ΔIcs(i)=Ics(i)–Is是计算的强度差,Is是Im的计算的对应,从而,如果使用一个具体反射比计算的强度与所述对象在测量的强度上相符,则相关性将较高,即接近于1,否则相关性将较小,即接近于0或负数;且
基于所述相关性的量,对所述像素分类。
18.根据权利要求16所述的系统,其中所述最优拟合反射比方法包括:
使用从数据库取得的一个已知反射比,将与所述像素相关联的强度值与至少一个计算的强度值相互对照;并且
基于最优拟合反射比,将所述像素分类。
19.根据权利要求16所述的系统,还包括结合所述像素强度值中的任一个,为所述像素生成至少一个新的强度值。
20.根据权利要求16所述的系统,其中所述对象是机动车辆中的人类乘员。
CN201210106979.1A 2011-04-13 2012-04-12 确定红外图像中的对象的数量 Expired - Fee Related CN102842063B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/086,006 2011-04-13
US13/086,006 US8587657B2 (en) 2011-04-13 2011-04-13 Determining a number of objects in an IR image

Publications (2)

Publication Number Publication Date
CN102842063A CN102842063A (zh) 2012-12-26
CN102842063B true CN102842063B (zh) 2015-04-08

Family

ID=46935793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210106979.1A Expired - Fee Related CN102842063B (zh) 2011-04-13 2012-04-12 确定红外图像中的对象的数量

Country Status (7)

Country Link
US (1) US8587657B2 (zh)
JP (1) JP2012220491A (zh)
KR (1) KR101924647B1 (zh)
CN (1) CN102842063B (zh)
BR (1) BR102012008481A2 (zh)
DE (1) DE102012206078A1 (zh)
MX (1) MX2012004179A (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8818030B2 (en) * 2011-12-13 2014-08-26 Xerox Corporation Post-processing a multi-spectral image for enhanced object identification
US9351649B2 (en) 2012-02-21 2016-05-31 Xerox Corporation System and method for determining video-based pulse transit time with time-series signals
US9007438B2 (en) * 2012-05-21 2015-04-14 Xerox Corporation 3D imaging using structured light for accurate vehicle occupancy detection
JP6281492B2 (ja) * 2012-10-26 2018-02-21 日本電気株式会社 乗車人数計測装置、方法およびプログラム
US9523608B2 (en) * 2012-12-14 2016-12-20 Xerox Corporation Material identification from a spectral filtered patterned image without demosaicing
US20140240511A1 (en) * 2013-02-25 2014-08-28 Xerox Corporation Automatically focusing a spectral imaging system onto an object in a scene
US9547797B2 (en) 2013-04-17 2017-01-17 Hovtag Llc Managing vehicular traffic on a roadway
US9377294B2 (en) 2013-06-18 2016-06-28 Xerox Corporation Handheld cellular apparatus for volume estimation
TWI532620B (zh) * 2013-06-24 2016-05-11 Utechzone Co Ltd Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media
US9336594B2 (en) 2014-03-07 2016-05-10 Xerox Corporation Cardiac pulse rate estimation from source video data
US9320440B2 (en) 2014-04-01 2016-04-26 Xerox Corporation Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video
US9521335B2 (en) 2014-06-17 2016-12-13 Xerox Corporation Detecting febrile seizure with a thermal video camera
US10192134B2 (en) * 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
DE102014223741A1 (de) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Erfassen von Terahertz-Strahlung zum Unterstützen eines Fahrers eines Fahrzeugs
US9836849B2 (en) * 2015-01-28 2017-12-05 University Of Florida Research Foundation, Inc. Method for the autonomous image segmentation of flow systems
CN104834932A (zh) * 2015-04-29 2015-08-12 河南城建学院 一种汽车车牌识别的matlab算法
US10452935B2 (en) 2015-10-30 2019-10-22 Microsoft Technology Licensing, Llc Spoofed face detection
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
US10175030B2 (en) * 2017-03-13 2019-01-08 Sensors Unlimited, Inc. Threat detection
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
US10949679B2 (en) * 2017-09-28 2021-03-16 Apple Inc. Nighttime sensing
US11538257B2 (en) * 2017-12-08 2022-12-27 Gatekeeper Inc. Detection, counting and identification of occupants in vehicles
CN109186772B (zh) * 2018-08-22 2020-03-10 珠海格力电器股份有限公司 一种基于红外探测器的人体判断方法及电器
CN109286848B (zh) * 2018-10-08 2020-08-04 腾讯科技(深圳)有限公司 一种终端视频信息的交互方法、装置及存储介质
US10867193B1 (en) 2019-07-10 2020-12-15 Gatekeeper Security, Inc. Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection
US11196965B2 (en) 2019-10-25 2021-12-07 Gatekeeper Security, Inc. Image artifact mitigation in scanners for entry control systems
JP7468885B2 (ja) * 2020-01-20 2024-04-16 i-PRO株式会社 カメラ装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749191B2 (ja) * 1990-11-06 1998-05-13 新川電機株式会社 身長別通過人数の計数方法
US8078263B2 (en) 2000-01-19 2011-12-13 Christie Medical Holdings, Inc. Projection of subsurface structure onto an object's surface
DE10034976B4 (de) * 2000-07-13 2011-07-07 iris-GmbH infrared & intelligent sensors, 12459 Erfassungsvorrichtung zum Erfassen von Personen
US7460696B2 (en) 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US20060020212A1 (en) 2004-07-26 2006-01-26 Tianning Xu Portable vein locating device
US7469060B2 (en) * 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
JP2007213182A (ja) * 2006-02-08 2007-08-23 Fujifilm Corp 対象物状態認識方法および装置並びにプログラム
CN101506826A (zh) 2006-07-19 2009-08-12 光谱辨识公司 多重生物测定多谱成像器
WO2008136644A2 (en) 2007-05-07 2008-11-13 Innozest Inc. Apparatus and method for recognizing subcutaneous vein pattern
US7869732B2 (en) 2008-07-03 2011-01-11 Xerox Corporation Amplitude modulation of illuminators in sensing applications in printing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527039A (zh) * 2008-03-06 2009-09-09 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法

Also Published As

Publication number Publication date
MX2012004179A (es) 2012-10-25
KR101924647B1 (ko) 2018-12-03
US20120262577A1 (en) 2012-10-18
US8587657B2 (en) 2013-11-19
CN102842063A (zh) 2012-12-26
BR102012008481A2 (pt) 2018-09-18
KR20120116882A (ko) 2012-10-23
DE102012206078A1 (de) 2012-10-18
JP2012220491A (ja) 2012-11-12

Similar Documents

Publication Publication Date Title
CN102842063B (zh) 确定红外图像中的对象的数量
CN102592335B (zh) 确定由红外成像系统获得的红外图像中的总人数
CN103164708B (zh) 确定车辆承载检测的像素分类阈值
US6829370B1 (en) Near-IR human detector
US7076088B2 (en) Near-infrared disguise detection
US9171196B2 (en) Multi-band infrared camera system optimized for skin detection
CN102147853A (zh) 用于生成场景的输出图像的方法
JPWO2020080045A1 (ja) 物体認識方法、車両制御方法、情報表示方法、および物体認識装置
Švorc et al. An infrared video detection and categorization system based on machine learning
CN114127797A (zh) 用于在自然光和/或人造光下进行对象识别的系统和方法
Hao et al. A near-infrared imaging method for capturing the interior of a vehicle through windshield
JP2021050945A (ja) 物体認識装置及び物体認識プログラム
Daley et al. Detection of vehicle occupants in HOV lanes: exploration of image sensing for detection of vehicle occupants
Daley et al. Sensing system development for HOV/HOT (high occupancy vehicle) lane monitoring.
Yawale et al. Pedestrian detection by video processing using thermal and night vision system
Miron et al. SWIR images evaluation for pedestrian detection in clear visibility conditions
Zhou et al. Pixel-level fusion for infrared and visible acquisitions
WO2022102775A1 (ja) センシング装置、車両用灯具、車両
Pavlidis et al. Automatic passenger counting in the HOV lane
Brown Hybrid Lidar and Passive Polarimetric Infrared Imaging
Zang et al. Object classification through heterogeneous fog with a fast data-driven algorithm using a low-cost single-photon avalanche diode array
Hayashi et al. Object Detection in Poor-visibility Scenarios Using a Night-vision System
Holec et al. Monitoring the Use of HOV and HOT Lanes
CN115762178A (zh) 智能电子警察违章检测系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210225

Address after: New Jersey, USA

Patentee after: Comdount business services Co.,Ltd.

Address before: American New York

Patentee before: Xerox Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150408