CN103164708B - 确定车辆承载检测的像素分类阈值 - Google Patents
确定车辆承载检测的像素分类阈值 Download PDFInfo
- Publication number
- CN103164708B CN103164708B CN201210533977.0A CN201210533977A CN103164708B CN 103164708 B CN103164708 B CN 103164708B CN 201210533977 A CN201210533977 A CN 201210533977A CN 103164708 B CN103164708 B CN 103164708B
- Authority
- CN
- China
- Prior art keywords
- mrow
- pixel
- vehicle
- threshold value
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Abstract
本发明的发明名称为确定车辆承载检测的像素分类阈值。根据本发明的一个方面，提供了一种用于确定车辆承载检测系统中的像素分类的阈值的方法，所述方法包括：接收预计要分析车辆中的乘客承载的运动车辆的IR图像，所述图像已使用包括IR检测器和IR照明器的多带IR成像系统来捕获，所述成像系统已经收集所述图像中的各像素的强度值；检测所述IR图像中的所述车辆的驾驶员的人体组织的像素；使用所述所检测人体组织像素的多谱信息来确定像素分类阈值；以及使用所述阈值来分类所述图像的其余部分中的人体组织像素。
Description
通过执法来人工执行HOV/HOT车道会是困难的，并且可能是危险的。使违规车辆驾车者开到路边以发出违章通知单易于使交通混乱，并且对警官和车辆乘客而言可能成为安全隐患。因此，自动化承载检测(即，自动检测车辆的人类乘客的能力)，优选地与自动化车辆识别和违章通知单邮寄结合，是合乎需要的。对于用于确定机动车辆中的人类乘客数量的自动化解决方案需要这个领域的进一步发展。虽然普通可见光能够在理想条件下通过前风挡用于车辆承载检测，但是存在缺点。例如，可见光的车厢穿透能够易于受到诸如带色彩的风挡之类的因素以及诸如下雨、下雪、污垢等的环境条件损害。此外，夜间的可见照明会使驾驶员分散注意力。近红外照明具有优于可见光照明的优点，包括驾驶员难以察觉。这个领域的发展正在进行中，因为需要方法来分析所捕获的运动机动车辆的IR图像并且处理那个图像以确定那个车辆中的人类乘客的总数。车辆承载检测方法常常依靠皮肤的反射谱的先验知识来确定IR图像中的人类乘客。虽然使用多带摄影系统中的皮肤谱信息的这类承载检测方法能够给出准确承载检测，但是这类方法要求在环境条件发生变化时重新设置比较阈值的值。
附图说明
图1示出示例IR照明系统100的一个实施例；
图2示出示例IR检测系统200的一个实施例；
图3示出结合图1的IR照明系统和图2的IR检测系统的示例车辆承载检测系统；
图4示出从分别使用图1和图2的IR照明器和IR检测器所得到的图3的机动车辆的图像中剪辑出的前风挡区域；
图5是示出用于确定图3的车辆承载检测系统中的像素分类的阈值的本方法的一个示例实施例的流程图；
图6是图5的流程图的延续，其中流程处理相对结点A和B继续进行；
图7是能够实现针对图5和图6的流程图所示和所述的本方法的各个方面的一个示例系统的框图。
具体实施方式
所公开的是用于像素分类的系统和方法，像素分类利用已知属于驾驶员的人体组织的像素的多谱信息来得出阈值，阈值又用于对图像的剩余部分的像素进行分类，使得能够确定车辆中的人类乘客的数量。
应当理解，在许多国家，汽车设计成使得从站在车辆前面并且看着前风挡的角度来看时，驾驶员坐在前乘客舱的右手边，而乘客坐在前乘客舱的左手边。在其它国家，汽车设计成使得从相同角度来看时，驾驶员位于前乘客舱的左手边而乘客位于右手边。因此，本文中表示乘客舱的左边和右边的任何论述预计涵盖两种设计，而决不应当被看作进行限制。
“机动车辆的图像”表示使用IR成像系统所得到的机动车辆的静止图像或视频图像。完全填充IR图像的单帧由像素阵列组成，其中各像素具有在感兴趣预期谱波带所测量的相应强度值。
“多带IR成像系统”是一种设备，其中包括设计成捕获从目标对象所反射的IR光线、将它分离为其分量波长并且输出该目标的IR图像的IR照明器和IR检测器。对多个感兴趣波带捕获IR图像。IR成像系统能够是单个IR检测装置和具有一个固定滤波器的依次照明的N带照明器(N≥3)，或者包括各具有相应带通滤波器的总共N个检测器(N≥3)和单个照明器。图1中示出示例IR照明系统。图2中示出示例IR检测系统。
“像素分类阈值”是识别能够分类为人体组织的像素与分类为诸如座椅织物、皮革、金属和塑料等的其它材料的像素的分离线的值。
“相关性方法”表示像素分类的方法，其中IR图像的像素基于那个像素的所捕获强度与从模型所计算的(缩放)强度之间的相关量来分类为人体组织，包括：
其中，I=1,2…N表示使用第i个滤波器Fi(λ)的第i 个IR带，IS(λ)是IR照明器的功率谱，Ro(λ)是车辆内部的对象的反射比，TG(λ)是车辆玻璃窗的透射比，D(λ)是IR检测器的响应度，λ1和λ2指定照相装置检测器对光线积分的波长范围，以及常数α取决于与IR照明器的角度和距离、像素大小和照相装置的积分时间。
相关性方法使用包含已知材料、例如人体皮肤和头发以及其它感兴趣材料的预先测量反射比的材料谱数据库。数据库包括挡风玻璃的透射比、IR照明器的功率谱、滤波器透射比以及IR检测器的响应度曲线。能够计算图像中的各对象的理论像素强度，并且各像素的测量强度能够与理论强度进行比较，以便确定它们之间的相关量。在一个实施例中，(各像素的)相关系数表示为：
其中，Icm(i)是来自第i波带的像素的捕获强度，ICS(i)是驾驶员的人体组织的像素的强度，以及N是多带IR成像系统的波带的总数。如果驾驶员脸部像素(具有特定反射比)的强度与对象的像素的测量强度相符，则相关性将是高(接近1)。否则，相关性将是低(接近0或负值)。像素基于与下式给出的阈值的比较来分类：
其中，Cm是驾驶员脸部的像素的相关系数值的平均数，Vc是相关性的方差，以及β是平衡在过多非皮肤像素也被包含之前将要包含的人体组织像素的百分比的预定常数。
“比率方法”是一种像素分类方法，它在(等式5的)比率大于或小于预定阈值时将像素分类为人体组织与其它材料。在一个实施例中，这个比率包括：
其中，i、j是彼此不同的任意N带指标(参见等式1)。像素基于与下式给出的像素分类阈值的比较来分类：
其中，Sm是驾驶员脸部的像素的强度比率值的平均数，VS是比率的方差，以及γ是平衡在过多非人体组织像素也被包含之前将要包含的人体组织像素的百分比的预定常数。
示例IR照明器
现在参照图1，图1示出按照本文教导来使用的示例IR照明系统100的一个实施例。图1的IR照明系统示为包括各以相应峰值波长(λ1,…,λn)发射IR辐射的窄带的多个IR光源102。光源102是发光二极管(LED)的阵列。各二极管预先选择成以特定感兴趣波带来发射辐射，并且定义那个波带的阵列中的源。控制器108耦合到源阵列102，并且控制对每个照明器的输入电流以及由此控制每个的输出强度。感测光学器件104具有组合波长以产生IR照明束106的光学器件103。传感器110对从IR光源阵列所发射的辐射进行取样，并且向控制器108提供反馈。聚焦光学器件112接收射束106，并且将输出射束114聚焦到车辆116。光学器件112包括定位在射束通路中以根据需要来聚焦射束的可变焦距的多个透镜。控制器108还耦合到光学器件112，以便实现因目标大小、目标距离、目标速度 – 这里列举几种限制 -引起的输出射束114的变化。控制器108与存储装置109进行通信，以便存储/检索校准信息、强度等级等，其中包括数据和机器可读程序指令。控制器108可包括诸如台式机、膝上型电脑、服务器、大型机等的计算机系统或者诸如ASIC之类的专用计算机系统。控制器108可设置成通过网络与计算工作站进行有线或无线通信。这种网络可以是局域网(LAN)或因特网。应当理解，IR照明系统100的组件的任一个可设置成与这种计算系统进行通信，以有助于本文预计目的。
针对图1的IR照明系统100所述的光学器件的任一个能够采用具有光功率的光学系统替代，并且还可包括镜子。这种光学系统可包括各具有光功率的多个组件，例如，它可以是偶对透镜或三合透镜。在这类光学系统定义唯一焦距F的极限情况下，源阵列和光栅定位在光学器件的前和后焦平面。因此，光学系统相对光源阵列的各元件在无穷远对光栅进行成像，并且因而各源元件看到光栅的相同区域。来自各元件的光线在那个区域上将是同延的。通过补偿与不同波带源的横向位置关联的扩散，光栅则能够产生谱内容跨其横断面是基本上均匀的输出辐射。这又允许输出射束114的谱内容跨其横断面是基本上均匀的。实际上，因像差(例如，场曲率、轴向色度、横向色度、失真、彗差等)而可能难以准确定义光学系统的预期焦距，这可使光学器件将射线按照其波长或者其横向定位来聚焦到略微不同位置。
另外，光学系统、源阵列和光栅的相对位置按照更一般条件来选择：光学系统至少对于从各源出现的近轴射线，相对光源阵列的各源元件在无穷远对光栅进行成像。对于以角度θ传播到光轴的射线，近轴射线具有：Sin(θ)≈θ。这个无穷远条件能够通过将光学系统的标称后焦平面处的各源元件定位到光学系统的景深中来实现，并且将光学系统的标称前焦平面处的光栅定位到光学系统的景深中。景深(DOV)按照下式与光学系统的数值孔径(NA)相关：DOV=λ/NA2，其中λ是来自源元件的光的波长。光学器件可采用提供多个自由度的组件来设计，以便补偿各种光学像差。虽然光学系统中的附加组件提供用于降低像差的附加自由度，但是每个附加组件也对光学系统增加成本和复杂度。
示例IR检测器
现在参照图2，图2示出按照本文教导来使用的示例IR检测系统200的一个实施例。
目标车辆116反射由图1的IR照明系统的聚焦光学器件112所发射的IR输出射束114。反射IR光的一部分由具有透镜203的光学器件202来接收，其中透镜203将接收光聚焦到传感器204上，传感器204空间解析接收光以得到IR图像208。光学器件202还可包括仅允许窄波带中的光线经过滤波器的一个或多个带通滤波器。滤波器还可依次改变，以便在208得到N个强度。传感器204向计算机206发送IR图像信息供处理和存储。检测器208是多谱图像检测装置，其谱内容可以是通过控制器(未示出)可选择的。检测器204记录沿二维栅的多个像素位置的光强度。光学器件202和检测器204包括各种商业流中常见的组件。适当传感器包括电荷耦合器件(CCD)检测器、互补金属氧化物半导体(CMOS)检测器、电荷注入器件(CID)检测器、光导摄像管检测器、雷迪康检测器、图像增强管检测器、像素化光电倍增管(PMT)检测器、InGaAs(砷化铟镓)、碲镉汞(MCT)和微辐射计。计算机206与光学器件202进行通信以控制其透镜，并且与检测器204进行通信以控制其灵敏度。计算机206接收与IR图像208的各像素关联的灵敏度值。计算机206包括实现IR检测系统200的各种元件的控制所需的键盘、监视器、打印机等(未示出)。
现在参照图3，图3示出结合图1的IR照明系统和图2的IR检测系统的示例车辆承载检测系统，其中本文教导的各个方面得到其预计应用。
图3中，车辆300包含驾驶员302。车辆300在沿HOV车道304的向量303所指示的运动方向以速度v行驶，并且预计在本文中经过处理以供车辆承载检测。定位在车道304上方的距离d的是支承臂305，支承臂305在各个实施例中包括与用于支承交通灯和街灯相似的管状构造。固定到支承臂305上的是IR检测系统307和IR照明系统306。预计系统306和307分别表示针对图1和图2所述的实施例。IR照明器306以预期感兴趣波长发射IR光。IR检测器307示为具有Tx/Rx元件308，Tx/Rx元件308用于向远程装置、例如图7的系统传递所捕获IR图像和/或像素强度值，供按照本文教导进行处理。图3的系统优选地配置成使得IR检测器的视野(FOV)覆盖单个车道。在操作上，车辆进入检测区，并且IR照相装置经由例如地下传感器、激光束等的触发机制来激活。捕获机动车辆的图像供处理。应当理解，图3的各种元件是说明性的，并且为了便于说明而示出。
图4示出通过前风挡402取自车辆前面的机动车辆400的示例前乘客舱。前乘客舱405空着，而驾驶座406包含驾驶员407。从由图3的IR成像系统在机动车辆300沿HOV/HOT车道304行驶时对那个车辆所捕获的IR图像中剪辑了风挡区域402。风挡402示为通过分界线401分为车辆前乘客舱的驾驶员侧和乘客侧。驾驶员的头部(区域403中所示)在图像中使用脸部检测算法来隔离。按照本文的教导，驾驶员脸部区域中的像素的强度值用于实现像素分类阈值的确定，像素分类阈值又用于分类IR图像的其余部分中的像素，使得能够确定车辆中的人类乘客的总数。
现在参照图5的流程图，图5示出用于确定像素分类的阈值的本方法的一个示例实施例。流程处理开始于500，并且直接进入步骤502。
在步骤502，预计将要分析以供人类承载检测的运动车辆的IR图像使用包括IR检测器和IR照明器的多带IR成像系统来捕获。针对图1示出和论述示例IR照明系统。针对图2示出和论述示例IR检测系统。针对图3示出和论述用于捕获沿HOV/HOT车道行驶的机动车辆的IR图像的示例车辆承载检测系统。IR图像可从图3的发射器308或者通过网络从远程装置接收。针对图7示出和论述一个示例联网计算机工作站。所捕获图像可自动处理或存储到存储器或存储装置，以用于按照本文的教导进行处理。这类实施例预计落入所附权利要求书的范围之内。前风挡区域可从图像中剪辑以供处理，例如图4所示。用于识别、隔离和剪辑图像的一部分的技术是图像处理领域中沿用已久的。因此，本文中省略了关于具体方法的论述。风挡区域可使用例如计算机工作站的图像操控软件工具和图形用户界面来人工剪辑。
在步骤504，车辆的驾驶员的脸部区域在前乘客舱的驾驶员部分来识别。驾驶员脸部能够在图像中使用脸部识别软件算法来识别。这类算法提供高识别能力，特别是在其中可能发现脸部的图像的候选区已经通过例如将车辆的前风挡区域分为乘客侧和驾驶员侧区域来识别时，并且一旦划分，则隔离其中可能发现驾驶员头部的候选区。能够使用例如方向盘、后视镜或侧视镜、驾驶座的头靠等的一个或多个汽车部件的已知位置在前乘客舱的驾驶员半身来识别候选区。
在步骤506，在IR图像中在通过脸部识别算法所识别的位置来检测驾驶员头部的人体组织的像素。应当理解，人体组织像素不仅需要是驾驶员脸部的，而且还可以是定位在方向盘上的驾驶员的手或者在图像中已经检测出或者另外识别出的驾驶员手臂的一部分。
在步骤508，(步骤506的)驾驶员的人体组织的像素的多谱信息用于按照前面所述方式来确定像素分类阈值。
在步骤510，像素分类阈值用于分类图像的其余部分中的人体组织像素。
在步骤512，车辆中的人类乘客数量基于所分类像素来确定。
在步骤514，确定车辆是否包含至少两个人类乘客。如果确定车辆没有包含至少两个人类乘客，则处理相对图6的结点A继续进行，其中在步骤516，确定交通违规已经发生。能够易于通过比较对于这个车辆所确定的人类乘客总数与在HOV/HOT车道中检测该车辆时要求在车辆中的乘客数量进行比较，来实现这个确定。
在步骤518，通知执法或交通管理机构关于图像中的车辆在没有所要求数量的人类乘客的情况下在指定时刻沿HOV/HOT行驶。执法则能够隔离这个车辆的牌照号，并且向车辆的登记车主发出交通罚单。此后，流程处理相对结点C继续进行，其中在步骤502，预计将要进行处理以供车辆承载检测的机动车辆的另一个IR图像被捕获或者另外被接收，并且处理对于这下一个图像按照相似方式重复进行。如果在步骤514确定这个车辆包含至少两个人类乘客，则处理相对结点B继续进行，其中在步骤520，确定没有发生交通违章。这个特定图像可在存储装置中存储预定时间量或者立刻丢弃。流程处理相对图5的结点C继续进行，其中在步骤502，接收机动车辆的另一个IR图像供处理。处理按照相似方式重复进行，直到没有更多图像或者直到使系统离线供维护或维修。在另一个实施例中，进一步处理在已经处理预定数量的图像之后停止。
应当理解，图5-6的流程图的实施例的各个方面预计用于HOV/HOT检测系统，其中在机动车辆没有包含至少两个乘客时发生违章。一些交通管理机构在特定时刻期间对于授权在其相应HOV/HOT车道中行驶的给定车辆要求多于两个乘客。预计本文的方法也适用于那些情况。
应当理解，本文所示的流程图是说明性的。流程图所示的操作的一个或多个可按照不同顺序执行。可添加、修改、增强或合并其它操作。预计其变更落入所附权利要求书的范围之内。流程图的全部或部分可部分或完全通过与车辆承载检测系统的各种组件进行通信的硬件结合机器可执行指令来实现。
现在参照图7，图7示出能够实现针对图5和图6的流程图所示和所述的本方法的各个方面的一个示例系统的框图。
图7中，工作站700示为设置成与接收器702进行通信，以用于从图3的天线308接收IR图像，并且用于实现计算机700与图3的IR检测系统之间的双向通信。计算机系统700示为包括：显示器703，用于实现用户输入的信息的显示；以及键盘705，用于进行用户选择，例如用户识别所接收IR图像的风挡区域或者在承载检测出故障的情况下让用户目测检查图像。用户可使用图形用户界面来识别或选择IR图像的一个或多个部分、例如候选区403，其中驾驶员脸部区域可能通过脸部检测算法来发现，或者让用户人工识别驾驶员的脸部区域。在所接收图像中识别或另外检测的像素可通过网络701从远程装置来检索。预计按照本文教导来处理的机动车辆的捕获图像的各个部分可存储在设置成与工作站700或远程装置进行通信的存储器或存储装置中供通过网络701经由通信接口(未示出)存储或进一步处理。计算机700和Tx/Rx元件702与图像处理单元706进行通信，图像处理单元706按照本文教导来处理所接收图像。
图像处理单元706示为包括用于将所接收图像排队以供后续处理的缓冲器707。这种缓冲器还可配置成存储便于按照本文所公开方法对所接收IR图像的处理所需的数据、公式、像素分类方法以及其它变量和表示。风挡剪辑模块708从缓冲器707接收下一个IR图像，并且从图像中隔离和剪辑机动车辆的风挡区域供后续处理(如图4所示)。脸部识别处理器709对图像执行脸部识别，以便识别图像中的驾驶员头部和脸部区域。处理器709可配置成接收可能包含驾驶员头部和脸部区域的IR图像的前风挡部分的候选区(例如图4的区域403)，并且处理那个区域。将所识别驾驶员脸部区域的位置提供给像素检测器模块710，像素检测器模块710检测那些位置的人体组织的像素。将与人体组织像素关联的多谱信息提供给存储装置711。本文各个实施例涉及交叉引用像素强度值与使用从存储装置所得到的已知反射比的所计算强度值。在这种实施例中，装置711还包含例如IR照明器的功率谱、滤波器的透射比和IR检测器的响应度曲线等的信息以及所采用的像素分类方法的任一个所需的其它信息，如针对等式(1)-(6)所述。
模块710向阈值处理器712传递驾驶员脸部区域的人体组织像素的多谱信息，阈值处理器712按照本文所公开的各个实施例根据像素分类方法是相关性方法还是比率方法来计算像素分类阈值。像素分类模块从处理器712接收像素分类阈值，并且继续进行分类IR图像的其余部分或者所剪辑风挡区域的其余部分的像素。乘客确定器714从像素分类模块接收分类像素，并且继续进行通过将人体组织像素集中在一起并且计算确定为车辆中的单独人类乘客的像素编组(或块)的数量来确定车辆中的人类乘客数量。将人类乘客的数量提供给违章处理器715，违章处理器715继续进行确定在给定所确定数量的乘客和捕获图像的时刻的情况下是否已经发生交通违章。如果交通违章已经发生，则处理器715经由Tx/Rx元件716向执法或交通管理机构发出关于已经检测到车辆在没有必要数量的人类乘客的情况下在HOV/HOT车道中行驶的信号。该信号可包括原始图像以及经处理的图像的一个或多个方面。执法则能够相应地采取行动。
应当理解，图7的模块和/或处理器的任一个经由通信通路与工作站700并且与存储装置711进行通信(示出和未示出)，并且可存储/检索执行其各种功能所需的数据、参数值、函数、页面、记录、数据和机器可读/可执行程序指令。每个还可通过网络701与一个或多个远程装置进行通信。预计模块和处理单元之间的连接包括物理和逻辑连接。应当理解，图7的模块或处理单元的任一个的功能性的部分或全部可整体或部分由工作站700内部的组件或者由专用计算机系统来执行。
Claims (6)
1.一种用于确定车辆承载检测系统中的像素分类的阈值的方法，所述方法包括：
接收预计要分析车辆中的乘客承载的运动车辆的IR图像，所述图像已使用包括IR检测器和IR照明器的多带IR成像系统来捕获，所述成像系统已经收集所述图像中的各像素的强度值；
检测所述IR图像中的所述车辆的驾驶员的人体组织的像素；
使用所述所检测人体组织像素的多谱信息来确定像素分类阈值Cth；以及
使用所述阈值来分类所述图像的其余部分中的人体组织像素，
其中，所述像素分类阈值Cth包括：
Cth＝Cm-βVc
其中，Cm是所述驾驶员的所检测脸部的像素的相关系数值的平均数，Vc是所述相关系数的方差，其中β包括通过平衡在过多非人类组织像素也被包含之前将要包含的人体组织像素的百分比所确定的常数。
2.如权利要求1所述的方法，其中，像素按照相关性方法来分类，所述相关性方法包括：
<mrow>
<mi>c</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>N</mi>
</mrow>
</msubsup>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>N</mi>
</mrow>
</msubsup>
</msqrt>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>m</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
<msqrt>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mi>N</mi>
</mrow>
</msubsup>
</msqrt>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>c</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>&rsqb;</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
</mrow>
其中，Icm(i)是所述乘客的像素的测量强度，ICS(i)是所述驾驶员的脸部强度，以及N是所述多带IR成像系统的波带的总数，所述像素分类基于所述相关性大于还是小于阈值Cth。
3.如权利要求2所述的方法，其中，像素按照比率方法来分类，所述比率方法包括：
其中，i、j是相互不同的任何N带指标，所述像素分类基于所述比率是大于还是小于像素分类阈值Sth。
4.如权利要求3所述的方法，其中，所述像素分类阈值Sth包括：
Sth＝Sm-γVs
其中，Sm是所述驾驶员的所检测脸部的像素的强度比率值的平均数，Vs是所述比率的方差，其中γ包括通过平衡在过多非人类组织像素也被包含之前将要包含的人体组织像素的百分比所确定的常数。
5.如权利要求1所述的方法，还包括：
将所述图像剪辑到所述车辆的风挡区域；以及
分析所述风挡区域，以便确定所述车辆前乘客舱的驾驶员侧和乘客侧的大概位置。
6.如权利要求1所述的方法，还包括在确定前乘客座位没有被人类乘客乘坐并且所述车辆在HOV/HOT车道中行驶的情况下向管理机构告警。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/324,308 | 2011-12-13 | ||
| US13/324308 | 2011-12-13 | ||
| US13/324,308 US9202118B2 (en) | 2011-12-13 | 2011-12-13 | Determining a pixel classification threshold for vehicle occupancy detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103164708A CN103164708A (zh) | 2013-06-19 |
| CN103164708B true CN103164708B (zh) | 2017-12-05 |
Family
ID=48464939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210533977.0A Expired - Fee Related CN103164708B (zh) | 2011-12-13 | 2012-12-12 | 确定车辆承载检测的像素分类阈值 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9202118B2 (zh) |
| KR (1) | KR101924649B1 (zh) |
| CN (1) | CN103164708B (zh) |
| BR (1) | BR102012031758B1 (zh) |
| DE (1) | DE102012221648B4 (zh) |
| MX (1) | MX2012014267A (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2843130A1 (en) * | 2011-09-20 | 2013-03-28 | Halliburton Energy Services, Inc. | Systems and tools for detecting restricted or hazardous substances |
| US9007438B2 (en) * | 2012-05-21 | 2015-04-14 | Xerox Corporation | 3D imaging using structured light for accurate vehicle occupancy detection |
| US9195908B2 (en) * | 2013-05-22 | 2015-11-24 | Xerox Corporation | Snow classifier context window reduction using class t-scores and mean differences |
| TWI532620B (zh) * | 2013-06-24 | 2016-05-11 | Utechzone Co Ltd | Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media |
| US9336594B2 (en) | 2014-03-07 | 2016-05-10 | Xerox Corporation | Cardiac pulse rate estimation from source video data |
| US9652851B2 (en) | 2014-04-01 | 2017-05-16 | Conduent Business Services, Llc | Side window detection in near-infrared images utilizing machine learning |
| US9320440B2 (en) | 2014-04-01 | 2016-04-26 | Xerox Corporation | Discriminating between atrial fibrillation and sinus rhythm in physiological signals obtained from video |
| US9633267B2 (en) * | 2014-04-04 | 2017-04-25 | Conduent Business Services, Llc | Robust windshield detection via landmark localization |
| US9177214B1 (en) * | 2014-04-10 | 2015-11-03 | Xerox Corporation | Method and apparatus for an adaptive threshold based object detection |
| US9521335B2 (en) | 2014-06-17 | 2016-12-13 | Xerox Corporation | Detecting febrile seizure with a thermal video camera |
| US9552524B2 (en) * | 2014-09-15 | 2017-01-24 | Xerox Corporation | System and method for detecting seat belt violations from front view vehicle images |
| US9928424B2 (en) | 2016-02-22 | 2018-03-27 | Conduent Business Services, Llc | Side window detection through use of spatial probability maps |
| US10318830B2 (en) | 2016-03-17 | 2019-06-11 | Nec Corporation | Passenger counting device, system, method and program |
| US9864931B2 (en) | 2016-04-13 | 2018-01-09 | Conduent Business Services, Llc | Target domain characterization for data augmentation |
| US10530972B2 (en) * | 2016-09-21 | 2020-01-07 | Htc Corporation | Control method for optical tracking system |
| US10290158B2 (en) * | 2017-02-03 | 2019-05-14 | Ford Global Technologies, Llc | System and method for assessing the interior of an autonomous vehicle |
| US11169661B2 (en) | 2017-05-31 | 2021-11-09 | International Business Machines Corporation | Thumbnail generation for digital images |
| US10202048B2 (en) * | 2017-06-28 | 2019-02-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for adjusting operation of a vehicle according to HOV lane detection in traffic |
| US11538257B2 (en) | 2017-12-08 | 2022-12-27 | Gatekeeper Inc. | Detection, counting and identification of occupants in vehicles |
| KR20200067053A (ko) * | 2018-12-03 | 2020-06-11 | 현대자동차주식회사 | 주차공간 정보 제공 시스템 및 방법 |
| US10867193B1 (en) | 2019-07-10 | 2020-12-15 | Gatekeeper Security, Inc. | Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection |
| US11196965B2 (en) | 2019-10-25 | 2021-12-07 | Gatekeeper Security, Inc. | Image artifact mitigation in scanners for entry control systems |
| US11436885B2 (en) | 2021-01-28 | 2022-09-06 | Saudi Arabian Oil Company | In-vehicle intelligent access control system and method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6370260B1 (en) * | 1999-09-03 | 2002-04-09 | Honeywell International Inc. | Near-IR human detector |
| CN101770642A (zh) * | 2008-12-26 | 2010-07-07 | 深圳先进技术研究院 | 一种车内人数计数方法和系统 |
| CN101795397A (zh) * | 2010-01-27 | 2010-08-04 | 北京交通大学 | 一种检测车辆内部乘客的红外成像方法 |
| US7786897B2 (en) * | 2007-01-23 | 2010-08-31 | Jai Pulnix, Inc. | High occupancy vehicle (HOV) lane enforcement |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7469060B2 (en) | 2004-11-12 | 2008-12-23 | Honeywell International Inc. | Infrared face detection and recognition system |
| GB0703031D0 (en) * | 2007-02-15 | 2007-03-28 | Laser Optical Engineering Ltd | Method and apparatus for counting vehicle occupants |
| US9964643B2 (en) * | 2011-12-08 | 2018-05-08 | Conduent Business Services, Llc | Vehicle occupancy detection using time-of-flight sensor |
-
2011
- 2011-12-13 US US13/324,308 patent/US9202118B2/en active Active
-
2012
- 2012-11-27 DE DE102012221648.0A patent/DE102012221648B4/de active Active
- 2012-12-06 MX MX2012014267A patent/MX2012014267A/es active IP Right Grant
- 2012-12-12 KR KR1020120144433A patent/KR101924649B1/ko active IP Right Grant
- 2012-12-12 CN CN201210533977.0A patent/CN103164708B/zh not_active Expired - Fee Related
- 2012-12-13 BR BR102012031758-3A patent/BR102012031758B1/pt not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6370260B1 (en) * | 1999-09-03 | 2002-04-09 | Honeywell International Inc. | Near-IR human detector |
| US7786897B2 (en) * | 2007-01-23 | 2010-08-31 | Jai Pulnix, Inc. | High occupancy vehicle (HOV) lane enforcement |
| CN101770642A (zh) * | 2008-12-26 | 2010-07-07 | 深圳先进技术研究院 | 一种车内人数计数方法和系统 |
| CN101795397A (zh) * | 2010-01-27 | 2010-08-04 | 北京交通大学 | 一种检测车辆内部乘客的红外成像方法 |
Non-Patent Citations (1)
| Title |
|---|
| Automatic Passenger Counting In The HOV Lane;Ioannis Pavlidis等;《Department of Computer Science University of Minnesota Final Report 2000-06》;19990630;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| BR102012031758A2 (pt) | 2015-04-14 |
| DE102012221648A1 (de) | 2013-06-13 |
| US20130147959A1 (en) | 2013-06-13 |
| BR102012031758B1 (pt) | 2021-06-01 |
| DE102012221648B4 (de) | 2024-04-25 |
| MX2012014267A (es) | 2013-06-17 |
| KR101924649B1 (ko) | 2018-12-03 |
| US9202118B2 (en) | 2015-12-01 |
| KR20130067235A (ko) | 2013-06-21 |
| CN103164708A (zh) | 2013-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103164708B (zh) | 确定车辆承载检测的像素分类阈值 | |
| US11917281B2 (en) | Camera system, method and instructions using images captured by a first mage sensor and a second image sensor to generate a third image corresponding to a simulated lens having an intermediate focal length | |
| CN102842063B (zh) | 确定红外图像中的对象的数量 | |
| US8811664B2 (en) | Vehicle occupancy detection via single band infrared imaging | |
| US20120081544A1 (en) | Image Acquisition Unit, Acquisition Method, and Associated Control Unit | |
| US9552524B2 (en) | System and method for detecting seat belt violations from front view vehicle images | |
| EP2602640B1 (en) | Vehicle occupancy detection using time-of-flight sensor | |
| US8520074B2 (en) | Determining a total number of people in an IR image obtained via an IR imaging system | |
| CA2885019C (en) | Robust windshield detection via landmark localization | |
| US20230194719A1 (en) | Method for Measuring a Distance Between an Object and an Optical Sensor, Control Device for Carrying Out Such a Method, Distance Measuring Apparatus Comprising Such a Control Device, and Motor Vehicle Comprising Such a Distance Measuring Apparatus | |
| US20060222207A1 (en) | Device for a motor vehicle used for the three-dimensional detection of a scene inside or outside said motor vehicle | |
| CN108139484A (zh) | 测距装置和测距装置的控制方法 | |
| CN107527006B (zh) | 用于检查机动车的介质损失的方法以及用于执行这样的方法的机动车和系统 | |
| US20200380284A1 (en) | Method and Apparatus For License Plate Recognition Using Multiple Fields of View | |
| WO2005119571A1 (en) | Imaging apparatus and method for vehicle occupant determination | |
| Daley et al. | Detection of vehicle occupants in HOV lanes: exploration of image sensing for detection of vehicle occupants | |
| Miethig | Convolutional neural network detection and classification system using an infrared camera and image detection uncertainty estimation | |
| US20230302987A1 (en) | Method for Object Tracking at Least One Object, Control Device for Carrying Out a Method of This Kind, Object Tracking Device Having a Control Device of This Kind and Motor Vehicle Having an Object Tracking Device of This Kind | |
| EP3306590A1 (en) | Driver assistance system and method for a motor vehicle | |
| Król | Real-Time Vehicle Type Recognition for a Traffic Monitoring System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210301 Address after: New Jersey, USA Patentee after: Comdount business services Co.,Ltd. Address before: Connecticut, USA Patentee before: Xerox Corp. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171205 Termination date: 20211212 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |