CN105431864A - 区域中的操作监视 - Google Patents

区域中的操作监视 Download PDF

Info

Publication number
CN105431864A
CN105431864A CN201480029128.9A CN201480029128A CN105431864A CN 105431864 A CN105431864 A CN 105431864A CN 201480029128 A CN201480029128 A CN 201480029128A CN 105431864 A CN105431864 A CN 105431864A
Authority
CN
China
Prior art keywords
computer system
region
group
camera
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480029128.9A
Other languages
English (en)
Inventor
Z·F·米安
R·W·加马彻
R·E·斯普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Electronic Machines Corp
Original Assignee
International Electronic Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Electronic Machines Corp filed Critical International Electronic Machines Corp
Publication of CN105431864A publication Critical patent/CN105431864A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L29/00—Safety means for rail/road crossing traffic
    • B61L29/24—Means for warning road traffic that a gate is closed or closing, or that rail traffic is approaching, e.g. for visible or audible warning
    • B61L29/28—Means for warning road traffic that a gate is closed or closing, or that rail traffic is approaching, e.g. for visible or audible warning electrically operated
    • B61L29/30—Supervision, e.g. monitoring arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/14—Mechanical actuation by lifting or attempted removal of hand-portable articles
    • G08B13/1436—Mechanical actuation by lifting or attempted removal of hand-portable articles with motion detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

提供用于监视一区域的组件。组件可包括对相异的波长范围的辐射敏感的两个或更多个照相机。照相机的视场可基本上共同对准要被监视的区域。组件可包括可处理图像数据以监视所述区域的计算机系统。计算机系统可被配置为识别存在于区域中的相关物体、更新相关物体的跟踪信息和通过使用跟踪信息评估是否存在警报情况。

Description

区域中的操作监视
(对相关申请的引用)
本申请要求在2013年5月17日提交的发明名称为“Self-containedsmartareaoperationsmonitor”的共同在审的美国临时申请No.61/855517的权益，在此通过引用并入其全部内容。
技术领域
本公开一般涉及区域中的监视操作，更特别地，涉及监视包含限制区域的区域。
背景技术
当前的用于在诸如不同类型的车辆会操作的平交铁路交叉口的区域中监视安全操作并提供不安全情形的警告的方案一般分为两类。第一类试图在列车正在或很快会穿过交叉口时从平交交叉口清除车辆和人。这些包括警告行人和驾驶者他们正接近平交铁路交叉口的简单的“交叉口警告”标牌、警告灯和铃铛、以及在列车接近时降低且仅在列车通过之后升高的大门。
这些方法充其量只是部分成功。一个问题是机械和/或电气系统偶尔失效，这导致系统不给出警告或者对任何人激活太晚以至于不能使其及时做出适当的反应。因此，任意地由于注意力不集中、着急、误判列车速度和多久会与轨道相交等，操作员往往有意和系统地回避或忽视警告系统。存在汽车或卡车在完全下降的门附近被有意驾驶并且在在其试图穿过轨道时被列车撞击的大量案例。
其它方法寻求检测向交叉口区域中的不希望和危险的侵入和向适当的群体或个人发送警告。除了侵入车辆/人本身，其他可能的通知对象是铁路调度办公室、当地的第一负责人和通过列车头通知系统的列车运营商。这些方案一般包括侵入性和非侵入式传感器系统。侵入式传感器需要嵌入交叉口内的路面内。这种装置一般由于移动路面、冻结/解冻周期和车辆负载效应(例如，重型卡车)而引起周期性失效。这类传感器包括感应线圈检测器和磁性传感器，并且依赖于大的金属物体之间的相互作用和由传感器或周围磁场扰动产生的电场。因此，这类装置不能检测人或任何非金属物体，并且一般不能检测小的金属物体，诸如自行车或轮椅。
非侵入式传感器从依赖于传感器技术的距离以非接触的方式操作，该距离一般为英尺或几十英尺的量级。非侵入式传感器可进一步分为成像装置和非成像装置。成像装置，诸如照相机，产生在铁路交叉口中检测的物体的表现，该表现可被人使用以进一步评估物体的性质并决定行动的方针。非成像装置仅是给出存在某事物的指示的存在传感器，并且可能给出其尺寸。非侵入式传感器的例子包括：雷达(成像和非成像，多普勒和存在感测)；主动和被动声波和超声波传感器；激光成像检测和测距(LIDAR)；成像和非成像长波红外(LWIR)；和可见光谱视频成像。
非成像系统趋于承受高的错误报警率和差的空间分辨率。可见光谱成像系统可能由于物体影响(移动阴影、风影响、反射、闪光、眩光、显色效果)而具有高的错误报警率，并且，由于非常小的粒子对光的散射，不在雾/烟/细雨中运转。雷达成像系统分辨率差，难以从背景中分离物体。LWIR依靠温度差，并且，一般具有比可见光系统低的分辨率。这些系统在黑暗和烟雾中运作良好，但是，与可见光谱系统同样，受制于眩光、闪光和背景混淆。LIDAR(有效光基雷达)主动地用激光束扫描某个地区，这构成各种安全问题，并且，与雷达同样，需要可能失灵的主动扫描系统。
终极方案是在物理上分开交叉口，要么建造用于使得列车在道路上横穿的桥梁，要么建造用于使得道路在轨道上/下横穿的桥梁或隧道。但是，这种方案是非常昂贵和耗时的过程，这在绝大多数情况下是不实际的。例如，当以这种方式将平交交叉口分开时，每个交叉口耗费几百万美元，并且，在美国有超过260000个平交交叉口。
发明内容
本发明的发明人认识到用于监视诸如平交铁路交叉口的区域的先前方法的几个限制，其中，侵入到监视区域中的限制区域会导致严重的后果。因而，本发明的发明人提供克服这些先前方法的限制中的一个或更多个和/或在这里没有描述的一个或更多个限制的方案。
本发明的多个方面提供用于监视区域的组件。组件可包括对相异的波长范围的辐射敏感的两个或更多个照相机。照相机的视场可基本上共同对准要被监视的区域。组件可包括可处理图像数据以监视所述区域的计算机系统。计算机系统可被配置为识别存在于区域中的相关物体、更新相关物体的跟踪信息和通过使用跟踪信息评估是否存在警报情况。
本发明的第一方面提供一种系统，该系统包括：被部署为监视区域的监视组件，其中，监视组件包含：包含对相异的波长范围的辐射敏感的至少两个照相机的多个照相机，其中，至少两个照相机的视场基本上共同对准所述区域；和被配置为通过执行包括以下步骤的方法监视所述区域的计算机系统：操作多个照相机以基本上同时获取区域的图像数据；通过使用通过多个照相机获取的图像数据识别区域中的一组相关物体；更新一组相关物体中的各物体的跟踪信息；和响应一组相关物体中的每一个的跟踪信息评估警报情况。
本发明的第二方面提供一种方法，该方法包括：在包括包含对相异的波长范围的辐射敏感的至少两个照相机的多个照相机的监视组件的计算机系统上获取区域的多谱图像数据；计算机系统通过使用多谱图像数据识别区域中的一组相关物体；计算机系统更新一组相关物体中的各物体的跟踪信息；计算机系统响应一组相关物体中的每一个的跟踪信息评估警报情况；和计算机系统对评估警报情况的存在执行行动响应。
本发明的第三方面提供一种平交铁路交叉口，该平交铁路交叉口包括：与铁路轨道相交的道路；和被部署为监视铁路交叉口的监视组件，其中，监视组件包含：对近红外和可见辐射敏感的第一照相机；对红外辐射敏感的第二照相机，其中，第一照相机的视场和第二照相机的视场基本上共同对准道路与铁路轨道的交点；和被配置为通过执行包括以下步骤的方法监视铁路交叉口的计算机系统：通过使用基本上同时由第一和第二照相机获取的图像数据识别区域中的一组相关物体；更新一组相关物体中的各物体的位置和跟踪信息；和通过使用一组相关物体中的每一个的位置和跟踪信息以及直到列车下一次使用铁路交叉口为止的时间量评估警报情况。
本发明的其它方面提供方法、系统、程序产品以及使用和产生每一个的方法，它们包括和/或实现在这里描述的行动中的一些或全部。本发明的示出的方面被设计为解决在这里描述的问题中的一个或更多个和/或没有讨论的一个或更多个其它问题。
附图说明
结合示出本发明的各种方面的附图阅读本发明的各种方面的以下详细描述，将更加容易理解本公开的这些和其它特征。
图1示出根据实施例的解释性的平交铁路交叉口的假想图像。
图2示出根据实施例的用于监视区域中的操作的示意性系统。
图3示出根据实施例的用于监视区域中的操作的另一解释性的组件。
图4A～4D示出可在实施例中利用的多谱图像数据的解释性的例子。
图5示出根据实施例的用于通过使用多谱图像数据监视区域的解释性的过程。
图6示出根据实施例的解释性的平交铁路交叉口的模拟图像。
图7示出根据实施例的解释性的对安全区域的进入检查点的假想图像。
应当注意，附图可能没有按比例。附图仅是要示出本发明的典型方面，并因此不应被视为限制本发明的范围。在附图中，类似的附图标记在附图之间代表类似的要素。
具体实施方式
本发明的实施例可提供针对用于监视区域的现有方法的一个或更多个改进。例如，解释性的改进包括：多谱目标识别和跟踪；多谱数据融合；来自环境目标的校准和图像对准；和/或基于多图像历史的情况分析等。在实施例中，监视区域包含受限区域。受限区域可包含不允许物体(例如，人、车辆等)进入的区域，或者，受限区域可以是存在于区域中的各种物体在某些时间和/或在某些情况下进入或占据的区域。
如上所述，本发明的多个方面提供用于监视区域的组件。组件可包括对相异的波长范围的辐射敏感的两个或更多个照相机。照相机的视场可基本上共同对准要被监视的区域。组件可包括可处理图像数据以监视区域的计算机系统。计算机系统可被配置为识别存在于区域中的相关物体、更新相关物体的跟踪信息和通过使用跟踪信息评估是否存在警报情况。这里，除非另外注明，否则，术语“组”意味着一个或更多个(即，至少一个)，并且，短语“任何方案”意味着任何现在已知或以后开发的方案。
这里，通过使用作为监视条件的解释性的区域的平交铁路交叉口，描述本发明的其它方面。就此而言，图1示出根据实施例的解释性的平交铁路交叉口10的假想图像。铁路交叉口10包括铁路轨道或轨道2在同一水平面上与道路4相交(即，不在桥梁上高于它或者在隧道中低于它)的位置。解释性的铁路交叉口10包含针对道路4上的行人和车辆的视觉和可听警告。它们可包括门12、灯和铃14、和/或交叉口警告标志16等。一些铁路交叉口10可仅包含这些项目的子集，诸如仅包含交叉口警告标志16和灯14、或者甚至仅包含交叉口警告标志16。
在任何情况下，各种物体可能存在于铁路交叉口10中和/或穿过它。解释性的物体包括列车6A、车辆6B、摩托车6C、人6D、动物6E和垃圾6F。当列车6A穿过交叉口10时，存在于交叉口中的任何其它物体6B～6F可能被列车6A撞击。就此而言，当列车6A接近交叉口时，由轨道2限定的交叉口10的区域(以及其两侧的一些距离)变为受限区域。为了确保位于交叉口附近的个人和宠物的安全以及列车6A的安全通过，非常希望受限区域没有任何物体6B～6F。但是，由于使列车6A停止的成本即使可能也可能极高(五千美元或更高)，因此，在物体6B～6F中只有特定类型被视为重要到足以在其进入铁路交叉口10之前使列车6A停止。一般地，这种物体包括：人6D，原因是人如果被列车6A撞击则几乎必死，因此，希望在任何可能的撞击之前使列车6A停止；机动车辆6B、6C，原因是人可能存在于这种车辆6B、6C中，并且，这种车辆6B、6C中的许多具有足以在撞击时可能导致脱轨的尺寸；和可疑或危险的物体。可疑或危险的物体可包括：有意放在轨道2上的物体，这些物体一般被假定为被恶意放置；和偶然放置的物体，这些物体看起来具有足够的尺寸和质量，以在与列车6A碰撞时会产生脱轨危险。就此而言，诸如空的纸板箱6F、纸等的物体一般被忽略，但是从卡车货物掉落的大钢件或明显有意放在轨道2上的内容不明的箱子可以是在列车6A使用交叉口10之前使列车6A停止或者进行检查和去除的理由。
如图所示，铁路交叉口10包含用于监视铁路交叉口10和最接近的周边的系统20。系统20可以是自含系统，该自含系统包含一个或更多个照相机和能够处理图像数据以例如完成以下过程的计算机系统：自动区分可能存在于区域中的各种类型的物体6A～6F；跟踪区域内的物体6A～6F的移动历史；基于历史、物体6A～6F的识别、和/或正驶来的列车6A的接近度等确定潜在的危险。响应确定在铁路交叉口10中存在潜在危险条件，系统20可执行包括例如以下操作的一个或更多个操作：向远程位置8(例如，第一应答器和/或列车操作组等)传送情况的警告和/或概要；向列车6A的工程师传送警报和/或指令；激活可添加到铁路交叉口10的局部警报装置，诸如门12、灯和铃14和/或其它警告装置；等等。
图2示出根据实施例的用于监视诸如铁路交叉口10(图1)的区域中的操作的示意性系统20。就此而言，系统20包括可为了监视区域中的操作执行上述的处理的计算机系统40。特别地，计算机系统40被示为包含监视程序50，该监视程序50使得计算机系统40可操作为通过执行这里描述的处理监视区域。
计算机系统40被示为包含处理部件42(例如，一个或更多个处理器)、存储部件44(例如，存储层次)、输入/输出(I/O)部件46(例如，一个或更多个I/O接口和/或装置)和通信路径48。一般地，处理部件42执行至少部分地固定于存储部件44中的诸如监视程序50的程序代码。当执行程序代码时，处理部件42可处理数据，这可导致从/向存储部件44和/或I/O部件46读取和/或写入变换的数据，以供进一步的处理。路径48提供计算机系统40中的部件中的每一个之间的通信链路。I/O部件46可包含一个或更多个人I/O装置，所述的一个或更多个人I/O装置使得人用户32能够与计算机系统40和/或一个或更多个通信装置交互作用以使得诸如远程系统34的系统用户能够通过使用任意类型的通信链路与计算机系统40通信。就此而言，监视程序50可管理使得人用户32和/或系统用户34能够与监视程序50交互作用的一组界面(图形用户界面和/或应用程序界面等)。并且，监视程序50可通过使用任何方案管理(例如，存储、检索、创建、操作、组织、呈现等)诸如监视数据54的数据。
在任何情况下，计算机系统40可包含安装于其上面的能够执行诸如监视程序50的程序代码的一个或更多个通用计算制品(例如，计算装置)。这里，应当理解，“程序代码”意味着导致具有信息处理能力的计算装置任意地直接或者在以下过程的任意组合之后执行特定的操作的任何语言、代码或注释的指令的任意集合：(a)转换成另一语言、代码或注释；(b)以不同的材料形式再现；和/或(c)解压缩。就此而言，监视程序50可体现为系统软件和/或应用软件的任意组合。
并且，可通过使用一组模块52实现监视程序50。在这种情况下，模块52可使得计算机系统40能够执行监视程序50使用的一组任务，并且，可与监视程序50的其它部分分开地被单独地开发和/或实现。这里，术语“部件”意味着通过使用任何方案实现结合其描述的功能的具有或没有软件的硬件的任意配置，而术语“模块”意味着使得计算机系统40能够通过使用任何方案实现结合其描述的操作的程序代码。当固定于包含于处理部件42的计算机系统40的存储部件44中时，模块是实现操作的部件的实质部分。不管怎样，应当理解，两个或更多个部件、模块和/或系统可共享它们的各自的硬件和/或软件中的一些或全部。并且，应当理解，可以不实现在这里讨论的功能中的一些，或者，可包含附加的功能作为计算机系统40的一部分。
当计算机系统40包含多个计算装置时，各计算装置可仅具有固定于其上面的监视程序50的一部分(例如，一个或更多个模块52)。但是，应当理解，计算机系统40和监视程序50仅是可执行在这里描述的处理的各种可能的等同计算机系统的代表。就此而言，在其它的实施例中，可通过包含具有或没有程序代码的通用和/或特定用途硬件的任意组合的一个或更多个计算装置，至少部分地实现由计算机系统40和监视程序50提供的功能。在各实施例中，硬件和程序代码，如果被包含的话，可分别通过使用标准工程和编程技术被创建。
不管怎样，当计算机系统40包含多个计算装置时，计算装置可在任意类型的通信链路上通信。并且，当执行这里描述的处理时，计算机系统40可通过使用任意类型的通信链路与诸如远程系统34的一个或更多个其它计算机系统通信。在任意的情况下，通信链路可以包含各种类型的光纤、有线和/或无线链路的任意组合、包含一种或更多种类型的网络的任意组合、和/或利用各种类型的传送技术和协议的任意组合。
在示出的实施例中，计算机系统40从一个或更多个照相机46A接收监视数据54。照相机46A可以是适于在意图的操作环境(例如，铁路交叉口)中操作的任意类型，并且，具有足够的分辨率和敏感度，以使得计算机系统40能够执行这里描述的希望的图像处理。在实施例中，照相机46A可包含一个或更多个感测模式，诸如可见光、近红外或红外(例如，也被称为热红外的中波红外、长波红外或两者)等。计算机系统40可执行多谱融合操作，以帮助确定区域中的正常和异常事件。不管怎样，计算机系统40可从照相机46A接收监视数据54并且处理数据以监视区域中的操作。就此而言，计算机系统40可实现任意数量的智能视频分析方法，包括例如在美国专利No.7355508、8188430和8335606中描述的那些，在这里通过引用并入它们中的每一个。在实施例中，计算机系统40被配置为执行基于时间的区分和事件理解、观察一系列的图像并且从视图随时间的变化导出理解，等等。
在一些操作环境中，可能同时在照相机46A的视场内存在太少或太多的光。例如，在铁路交叉口10(图1)处的夜晚操作中，列车头的强前灯、正驶来的车辆或其它强光源会将明显的强光引入到图像中，这可冲掉图像的多个部分，而夜晚的总照明可能非常低。在实施例中，计算机系统40可操作一个或更多个照明器46B，以向被监视的区域提供足够的光。例如，计算机系统40可确定被监视的区域缺少足够的光(例如，通过使用先前获取的图像数据和/或光感测装置等)，并且，可作为响应激活一个或更多个照明器46B。类似地，计算机系统40可确定被监视的区域什么时候具有足够的环境光并且可关掉一个或更多个照明器46B。照明器46B可将可见光或其它光发射到照相机46A的视场中以为照相机46A提供足够的照明，以获取适于通过计算机系统40处理的图像数据。在更特定的实施例中，照明器46B包含近红外发射照明器(例如，基于发光二极管的照明器)，该近红外发射照明器可为近红外敏感照相机46A发射最高约450英尺(约137米)的可接受水平的近红外辐射。并且，当一起使用两个或更多个照明器46B时，距离可很容易地超过600英尺(183米)。
为了应对例如来自列车头等的太多的光，可以使用几种方法中的任一种。例如，如果光源被固定于不与分析相关的图像的一部分中(例如，远距灯)，那么照相机46A的视场的一部分可能在物理上被黑掉。为了应对光源太接近视场的相关部分的情况，照相机46A可包含可被选择为减少或去除由干涉光源辐射的峰值波长光的滤波器。使用这种滤波器可急剧减少强光并且允许计算机系统40清楚地识别由照相机46A获取的图像数据中的目标，否则这些目标会被混淆。
在示出的实施例中，计算机系统40、照相机46A和照明器46B被配置为一起部署为单个监视组件22。例如，组件22可包含容纳所有的部件40、46A、46B的单个外壳或上面可固定一个或更多个外壳的安装系统。组件22的位置可被选择，以使得照相机46A能够具有被监视的区域的希望的视场。
图3示出根据实施例的用于监视区域中的操作的另一解释性的组件22A。组件22A可包含保持一对照相机46A1、46A2的外壳以及计算机系统40和其它电子支撑部件。例如，计算机系统40可包含低电力视频处理系统。在实施例中，计算机系统40是模块上计算机(COM)，诸如由Gumstix,Inc提供的OveroCOM。组件22A还被示为包括照明器46B，该照明器46B可由计算机系统40操作，以在必要时为照相机46A1、46A2提供足够的必要谱带的光以使得其在至少直到需要的距离获取能够由计算机系统40处理的图像数据。虽然没有示出，但应理解，外壳可包括可由计算机系统40操作的各种其它的部件。例如，外壳可包括用于照相机46A1、46A2获取图像数据的窗口的环境控制，诸如加热和冷却。
在实施例中，照相机46A1、46A2对相异的辐射类敏感。例如，诸如照相机46A1的第一照相机可对可见辐射/近红外辐射敏感，而另一照相机46A2对热红外辐射敏感。两个照相机46A1、46A2可被安装并且具有光学器件，使得它们的视场基本上共同对准(例如，大于95％)关注区域(例如，铁路交叉口)的范围。在实施例中，照明器46B包括近红外照明器(例如，基于发射近红外光的二极管的照明器)，该近红外照明器可由计算机系统40操作，以将近红外照明提供到关注区域中，以使得能够实现可见/近红外照相机46A1的全照明操作。
组件22A被示为包括各种其它的部件。例如，组件22A被示为包括可使得能够实现组件22A与远程系统34(图2)和/或列车6A(图2)的列车头之间的无线通信的收发器60和天线62。这种通信可包括接收来自远程系统34的软件更新(例如，修改目标关注区域和/或用于警报检测的新参数等)和/或接收关于监视区域或将在监视区域中出现的一个或更多个将来事件的数据(例如，列车将使用交叉口之前的时间量)等。并且，当计算机系统40确定一个或更多个警报情况的存在时，计算机系统40可执行一个或更多个行动，诸如向远程系统34、正驶来的列车6A传送关于警报情况的数据、和/或激活本地警报(例如，灯和/或喇叭等)以警告可能处于危险中的任何人等。虽然被示为与计算机系统40和照相机46A1和46A2分开地被安装，但应理解，收发器60能够与计算机系统40和/或照相机46A1、46A2被安装于同一外壳中。应当理解，利用无线通信方案仅是解释性的，并且，可以利用包括有线方案的任何通信方案。
组件22A可被安装于足够高(例如，约四十英尺(约十二米)或更高)的柱子64上，以使得照相机46A1、46A2能够充分地观察目标区域(例如，铁路交叉口和周围区域)。组件22A可通过允许装置(例如，照相机46A1、46A2和/或照明器46B)旋转和倾斜到适于适当地使照相机46A1、46A2的视场以目标区域为中心的角度的方式被安装。这种安装可使用任何方案，并且，可以是永久的或暂时的。并且，各种部件可通过与电网的有线连接接收电力。在实施例中，组件22A包含可被配置为提供足够的电力以使得在不与电网连接的情况下启用组件22A的各种电子器件的操作的本地电源，诸如太阳能面板66。在这种情况下，组件22A也可包括足够的电力存储器(例如，电池)，以使得能够在本地电源不产生足够的电力(例如，没有太阳光)时启用操作。
应当理解，各种应用可能希望使安装于柱子64的顶部的设备和外壳的尺寸和/或重量最小化。就此而言，组件22A的实施例可仅在高的有利点处包含照相机46A1、46A2和照明器46B，使得剩余的部件在一个或更多个单独的外壳中位于下面。在这种情况下，位置更接近地面的各种部件可更容易得到维护和/或升级，而不需要接近柱子64的顶部。
如这里描述的那样，组件22A可包含提供诸如图1所示的铁路交叉口10的被监视区域的多谱图像数据的多个照相机46A1、46A2。图4A～4D示出可在实施例中利用的多谱图像数据的解释性的例子。在这种情况下，图像数据包含热红外图像54A、54C和可见/NIR图像54B、54D。图像54A、54B是在基本上相同的时间(例如，在半秒或更短的时间内)对同一区域获取的，而图像54C、54D类似地是在基本上相同的时间对同一区域获取的。
计算机系统40(图2)可接收图像54A～54D，并且，作为监视区域的一部分，处理图像54A～54D。计算机系统40可执行各种类型的图像处理的任意组合。例如，计算机系统40可执行在图像54A～54D中的每一个上背景处理和扣减。与各图像54A～54D结合地示出在这种用于图像54A～54D的处理之后产生的解释性的监视数据56A～56D。可以看出，各图像54A～54D包含存在于成像区域中的至少一个车辆和人，这些车辆和人是可在铁路交叉口10处成像的典型目标。
由计算机系统40执行的更多的背景扣减处理中的重要挑战是，确定背景和前景在哪里相交。一般地，由计算机系统40实现的许多算法可基于对比度进行这种确定。虽然人视觉处理可很容易地识别可见/NIR图像54B中的汽车，但是，在不扩展极大量的可用处理的情况下，用执行自动图像处理的计算机系统40进行这种识别是困难的。特别地，相似颜色和低对比度共同使得汽车的上部在可用于在各种类型的计算机系统40实现的大多数分析算法的示图中有效地消失，该计算机系统40可位于远程和/或在低功率下操作等。
由于由计算机系统40实现的大多数算法通过识别处理的图像数据56A～56D中的形状将目标分类，因此，与在处理之后剩余的形状更多地破坏和脱节的处理的图像数据56B相对，计算机系统40可通过使用处理的图像数据56A更容易地识别被成像的汽车。并且，图像数据中的人可在处理的图像数据56A中被很容易地识别，但是，从处理的图像数据56B看，是完全不存在的。鉴于以上的情况，红外图像54A提供更适于识别存在于区域中的目标的图像数据。但是，当考虑与同一区域对应但不在同一天的图像54C、54D时，与可见/NIR图像54D对应的处理的图像数据56D使得计算机系统40能够识别存在于图像54C、54D中的车辆，而从红外图像54C的经处理的图像数据56C看，车辆的迹象是完全不存在的。
这些结果示出通过使用多谱图像数据提供的功能的差异。在第一组的图像54A、54B中，车辆的颜色接近路面的颜色，从而使得对于可见/NIR图像54B来说，从背景觉察车辆更困难。但是，车辆的车体一般处于比路面低的温度，并因此可容易地在红外图像54A的处理图像数据56A中被识别。相反，存在于红外图像54C中的热路面和热车辆顶部导致车辆的迹象几乎在处理图像数据56C中消失，而车辆在可见/NIR图像54D的处理图像数据56D中仍然容易被识别。
计算机系统40可利用对不同光谱获取的图像54A～54D之间的其它差异。例如，特别是在可见光谱中，计算机系统40可能难以将阴影与物体分开。但是，阴影常常较小或者不存在于红外光谱中(例如，参见图像54C、54D)。在阴影出现于红外图像数据的情况下，它们可能是由于车辆停泊了大量的时间，然后，阴影可在遮蔽路面上导致明显的冷却效果。温差也可允许计算机系统40使用可见/NIR和红外的组合，以识别活着的或机动化的物体对非活动、不活泼物体。例如，特别是考虑各种材料的发射性，关注尺寸范围的所有活着的事物将具有通常明显比当前环境高并且几乎总是明显不同的体温。车辆也产生大量的热，并且，这些热将趋于将它们与红外图像数据中的背景分开。
图5示出可通过实施例中的计算机系统40(图2)实现的用于通过使用多谱图像数据监视区域的解释性的过程。首先，计算机系统40可获得通过对唯一光谱(例如，光谱A和光谱B)敏感的照相机获取的区域的图像数据54A、54B。例如，光谱可包括可见/NIR光谱和热红外(例如，长波长的红外)光谱。虽然光谱可以是非重叠的，但应理解，图像数据54A、54B可以是部分重叠的光谱。并且，虽然在这里示出和描述两个光谱，但应理解，可利用与两个或更多个光谱的任意数量对应的图像数据。并且，虽然在这里描述红外和可见/NIR光谱，但是，可以利用任何光谱中的两个或更多个的组合。附加的光谱可包括例如可见、紫外、近红外、中红外、热红外、和/或它们的子集或组合等。
在实施例中，图像数据54A、54B基本上同时由照相机获取。首先，计算机系统40能够单独地处理可并行地由计算机系统40执行的图像数据54A、54B。虽然对图像数据54A、54B的各光谱示出和描述的处理行动相同，但应理解，对于不同光谱的图像数据54A、54B，计算机系统40实现各处理行动的细节可明显不同。例如，如在前面通过引用并入的专利中描述的那样，在这里描述的处理行动中的每一个的这种实现在现有技术中是已知的。并且，应当理解，计算机系统40可实现替代性和/或附加行动，以识别光谱的图像数据54A、54B内的目标物体。在这里示出和描述的处理仅是解释性的。
不管怎样，在行动70A、70B中，计算机系统40可通过使用任何方案在图像数据54A、54B上执行初始背景建模。初始背景建模可在图像数据54A、54B内确定什么是和不是背景。在行动72A、72B中，计算机系统40可在图像数据54A、54B上执行背景扣减，以从图像数据54A、54B去除与背景对应的所有要素。在行动74A、74B中，计算机系统40可通过使用团块(blob)检测方案将前景的剩余部分集合成团块(物体)。团块检测方案可被配置为拒绝背景中的小于最小尺寸的物体，原因是这些物体可能是图像数据中的假信号。在行动76A、76B中，计算机系统40可比较识别的团块与先前限定和跟踪的物体并因此更新关于匹配团块的被跟踪物体的信息。并且，计算机系统40可通过使用移动检查的一致性接受或拒绝物体。在这种情况下，计算机系统40可检测和消除任何假物体(例如，由于简单的阴影或反射识别的那些)。类似地，计算机系统40可将多个“物体”(例如，由于难以识别物体边界)组装成单个物体，原因是这些物体在足够的时间段和/或距离上共同移动。
随后，计算机系统40可确认独立地在图像数据54A、54B中的一个或更多个中识别的物体。例如，在行动80中，计算机系统40可将在图像数据54A、54B两者中发现的物体融合(组合)成单个物体，由此提供已知物体的高置信度、精确跟踪。计算机系统40可实现用于确定物体充分相似以与同一物体对应的任何方案。例如，如这里讨论的那样，当图像数据54A、54B的视场基本上共同对准时，计算机系统40可将占据基本上相同位置的物体识别为同一物体。并且，在行动78A、78B中，计算机系统40可验证仅仅一个光谱特有的任何物体。例如，计算机系统40可执行概要或图案匹配、和/或评估物体是否在相应的光谱图像数据中表现一致的移动等，以验证：虽然物体在另一光谱的图像数据中是不可见的，但它事实上代表实际的物体且不是物体的错觉。
在行动82中，计算机系统40可将所有验证物体添加和/或补充到跟踪物体列表中。并且，在行动84中，计算机系统40可更详细地分析跟踪物体的列表，以识别和/或归类目标。例如，计算机系统40可考虑诸如物体的总尺寸、尺寸比和/或物体移动的速度和矢量等的一个或更多个相关参数的任意组合。一旦计算机系统40将跟踪物体归类，计算机系统40就可在行动86中评估监视区域中的总体情况。例如，通过使用物体的跟踪数据，计算机系统40可确定是否在受限区域内存在任何关注物体(例如，在铁路轨道的紧邻处)、物体在受限区域中存在多长时间、和/或物体是否正在穿过或离开受限区域等。并且，计算机系统40可考虑其它因素，诸如是否很快将出现关键事件(例如，列车正在接近交叉口)、天气和/或流量模式等。根据评估结果，计算机系统40可确定是否在监视区域中存在警报情况，并且响应确定存在警报情况执行一个或更多个行动。
在包括在这里描述的铁路交叉口应用的各种监视应用中，确定目标是否是关注目标包括确定目标的尺寸是否落在相关目标的总体尺寸范围内。例如，诸如兔子和/或猫等的小动物可能存在于受限区域中，但不是铁路交叉口应用的相关目标。在实施例中，计算机系统40可忽略这些小动物，而任何人目标被识别为相关。通过使用二维图像数据，确定物体的实际尺寸可依赖于获知到物体的精确距离。特别地，当到物体的精确距离已知时，计算机系统40可从目标在图像数据54A、54B中占据的像素的数量导出物体的尺寸。在不知道距离的情况下，像素的数量提供很少的关于物体尺寸的信息，该物体可能非常近或者非常远。
在实施例中，计算机系统40包括用于测量存在于监视区域中的物体的基线。例如，计算机系统40可通过使用跨着视场分开的定制目标被校准，每个定制目标具有公知的尺寸。计算机系统40可处理通过存在的目标获取的图像数据，以执行跨着视场的所有像素的三维对准。
在另一实施例中，计算机系统40可通过使用存在于监视区域中的可用线索(例如，环境特征)自校准和对准图像数据中的像素。就此而言，图6示出根据实施例的解释性的平交铁路交叉口的模拟图像54。例如，图像54可与由作为图1所示的铁路交叉口10处的监视区域20的一部分部署的照相机获取的图像对应。图像54不包括任何目标，但确实包含各种静止特征，诸如轨道2、道路4、门12、灯14、和/或交叉口警告标志16等。
当存在并且处于使用中时，铁路轨道2具有高度标准化的尺寸，为了实现列车的安全行进，该尺寸被保持为相当精确。一般地，轨道2包含至少两个钢轨2A、2B，这两个钢轨2A、2B由一系列的枕木2C支撑并且被紧固，使得它们以固定的距离3分开。在美国，该距离3A一般为4英尺8.5英寸(约1.44米)，并且被保持为小于约0.5英寸(约1.3厘米)的公差。假如钢轨2A、2B具有更高的公差，那么由于钢轨尺度和列车上的轮间尺寸不匹配导致列车脱轨的危险增加。类似地，枕木2C一般具有标准化的尺寸并且相互以固定的距离分开。例如，在美国，典型的枕木2C具有约8.5英尺长×9英寸宽(约2.6米×22.9厘米)的尺寸、具有约7英寸(约17.8厘米)的厚度，并且与相邻的枕木分开约21英寸(约53.3厘米)。轨道2的各种部件2A～2C的典型的几何尺寸意味着枕木2C与钢轨2A、2B呈直角。
在图像54中可见的钢轨部件2A、2B向计算机系统40提供多个几何参照，通过这些几何参照，产生成像视场的精确对准地图(例如，三维模型的二维投影)。例如，计算机系统40可使用图像54中的钢轨2A、2B的可见顶部之间的距离和钢轨2A、2B的已知的分开程度以创建对准地图。并且，计算机系统40可使用枕木2C作为产生相互分开枕木2C的中心间间距3B的平行线58A、58B的网格的导引。并且，计算机系统40可使用可具有已知的尺寸的其它的非钢轨特征，诸如交叉口警告标志16、道路4、门12、和/或灯14等，以创建对准地图。在实施例中，当被部署时，监视系统20的照相机46A(图2)的安装高度被测量，并且，从照相机46A到诸如选择枕木2C的区域10中的可见位置的水平距离被测量。并且，可以获得存在于图像54中的一个或更多个静止特征的测量数据(例如，两个或更多个枕木2C之间的实际间隔和/或道路4上的标记等)。通过使用这些测量和由轨道部件2A～2C提供的已知的几何参照，计算机系统40可导出在整个视场上到关键位置的距离以及这些关键位置的可见性的详细和精确评定。但是，在校准之后，这些界标不再需要在图像数据内可见(例如，可被去除、被雪覆盖等)，原因是它们的位置已在对准地图中被虚拟化。通过这种知识，计算机系统40可在具有或没有在图像数据中可见的各种界标的情况下容易地确定二维图像数据中的各种位置的三维等价。
并且，当监视区域10和存在于区域10中的一个或更多个物体时，计算机系统40可匹配物体的位置(例如，物体触摸地面的位置)与关键位置，并且可通过使用对准地图确定物体的精确坐标。通过使用坐标和图像54中的像素广度，计算机系统40可确定物体的尺寸和取向。并且，计算机系统40可使用附加信息以验证物体的位置和取向。就此而言，计算机系统40可分析所述物体与存在于视场内的一个或更多个静止物体的关系。例如，图1所示的车辆6B部分地阻挡轨道2的钢轨中的至少一个的视图。结果，计算机系统40可确定车辆6B还没有穿过轨道2的两个钢轨。类似地，计算机系统40可使用监视区域10的视场内的其它永久物体或特征，以提供附加的校准和位置参照。
如这里描述的那样，可通过地面(例如，道路4和/或轨道2等)上的物体触摸的点并且通过向上投影到事先由计算机系统40计算的对准地图的校准三维空间中，确定任何目标物体的距离。应当理解，诸如吹动的垃圾和/或鸟等的各种物体可能存在于图像54内，但不位于地面上。在实施例中，例如，由于物体的特征移动和/或物体与视场内的其它物体的关系等，计算机系统40可在处理图像数据时不考虑这种物体。
在诸如这里描述的铁路交叉口应用的监视应用中，监视系统20的基本功能是，识别什么时候在监视区域10内存在警报情况(例如，潜在危险环境)。但是，对于许多应用，计算机系统40精确地确定什么时候不存在警报情况使得不响应于不值得响应的环境采取不必要行动是同样重要的。如这里描述的那样，计算机系统40可精确地确定物体是否存在于受限区域内(例如，在平交交叉口区域内)或者在区域外面并因此确定警报情况。
另外，如这里描述的那样，计算机系统40可被配置为区分存在于受限区域内的与警报情况和作为其响应采取的许可行动对应的物体(例如，车辆和/或人等)以及不与警报情况对应且不需要任何行动的物体(例如，小野生动物)。在实施例中，计算机系统40可使用物体的尺寸和形状以及物体的跟踪行为(例如，行走)，以将物体归类为与警报情况有关或者不与警报情况有关。
并且，计算机系统40可使用通过使用多谱图像数据提供的信息以进一步帮助归类物体。例如，近红外图像数据可在非常低光条件下被获得，并且可通过使用一个或更多个近红外照明器被增强。近红外照明的使用对人眼不可见，并因此不向驾驶员提供眩光或耀眼光源。并且，近红外意象(imagery)可明显比可见光图像好地贯穿一些形式的昏暗。另外，热红外图像不需要照明，并且，可贯穿烟、雾和/或降雨等。热红外图像数据还提供关于图像数据中的不同物体之间的温差的信息。计算机系统40可使用温度数据，以区分产生明显的热量的操作车辆和活物与一般不发热的其它自然物体。使用来自不同光谱的图像数据的组合，计算机系统40可精确地区分可能类型的目标物体，同时确保不管一天中的时间和/或当前的天气条件等都能监视整个区域10和所有潜在目标物体的能力。
并且，计算机系统40可使用物体的跟踪数据，以区分具有类似的外观但具有不同的危险水平的物体。例如，作为例子，通过使用图1所示的箱子6F，通过使用箱子6F的跟踪数据，计算机系统40可确定箱子6F在风中吹动并因此不是正驶来的列车6A(图1)的威胁。另外，计算机系统40可确定箱子6F是打开和空的并因此不是威胁。但是，当箱子6F关闭且跟踪数据指示箱子6F位于轨道2上而不移动时，计算机系统40不能确定箱子6F是否构成真实的威胁。例如，箱子6F可能仍然是空的，但箱子6F也可能装有金属和/或爆炸品等，这将对列车6A和区域10中的其它物体6B～6E造成威胁。
为了解决后一种情况和/或其它类似的情况，计算机系统40可使用物体6F的跟踪数据，以通过使用实现起来可能简单或复杂的任何方法关于物体6F进行判断。例如，计算机系统40可跟踪移入和移出受限区域(例如，轨道2跨着道路4)的物体并且确定物体是否保持在受限区域中比预期的时间长。通过使用车辆6B(图1)作为解释性的物体，计算机系统40可在车辆6B接近交叉口、减慢并开始穿过时从它进入视场时起跟踪其移动。车辆6B的速度可由车辆的帧间移动并且通过使用这里描述的对准地图被确定。在车辆6B的速度下降到零且车辆6B保持在交叉口区域比一短时间段长的时间的情况下，计算机系统40可确定车辆6B遇到一些问题(例如，机械和/或撞击等)。根据到关键事件的时间量(例如，最近的列车6A的位置和它使用铁路交叉口之前的时间)和车辆6B保持在受限区域中的时间长度，计算机系统40可确定存在警报情况并且作为其响应启动行动。
在箱子6F的情况下，计算机系统40可使用跟踪数据以确定箱子6F在没有另一物体的行动的情况下进入视场和/或已翻滚移动(例如，周期性地离开地面并且/或者在风中迅速翻滚)等。为了有利于判断箱子6F是否在风的推动下移动，计算机系统40可使用从可作为监视组件22(图2)的一部分部署的诸如风速传感器(风速计)的其它部件获取的数据。
对于容纳较重材料的箱子6F，这种箱子6F不会在风中移动，并且会任意地偶然(例如，从车辆落下)或者有意地被另一物体放置在受限区域中。就此而言，计算机系统40可使用其它物体的跟踪数据和关于形状一致性和物体的知识，以确定箱子6F如何到达位置。例如，如果车辆6B进入和离开受限区域且箱子6F在这种时间之后第一次被识别为位于受限区域内，那么计算机系统40可确定箱子6F是通过车辆6B留在受限区域中的。
并且，计算机系统40可确定箱子6F位于受限区域中的方式。例如，由于空/轻箱子趋于以与装有重材料的相同尺寸的箱子不同的方式落下，因此，如果箱子6F从车辆6B落下并且这种落下在图像数据中被捕获，那么计算机系统40可分析所述落下以确定箱子6F的密度的估计。计算机系统40可从车辆6B的跟踪移动推断意图。例如，如果看到车辆6B暂时停在受限区域中或者高速颠簸，那么计算机系统40可推断箱子6F有意或无意地被放在受限区域中。类似地，如果计算机系统40跟踪箱子6F到有意在受限区域中放置箱子6F的一个或更多个人6D(图1)，那么计算机系统40可推断恶意意图和对接近的列车6A的潜在危险。应当理解，这些情况仅是计算机系统40可通过使用任何已知的分析或处理方案识别的各种类似的情况的解释。
在一些应用中，整个受限区域对监视系统20的照相机不可见。例如，铁路有关受限区域沿整个铁路轨道2延伸，不仅仅处于铁路交叉口10和周围区域上。就此而言，当关注物体处于受限区域内时，当它移出照相机的视场时，计算机系统40可确定警报情况。在这种情况下，监视系统20可执行一个或更多个行动，诸如通知一些相关的人员和/或向另一监视系统20提供信息等，该另一监视系统20可开始跟踪物体，等等。
虽然结合用于监视平交铁路交叉口的方案示出和描述了本发明的多个方面，但应理解，出于各种原因中的任一个，本发明的实施例可实现为监视各种类型的区域中的任一个。
例如，实施例可被利用，以监视出于安全目的的区域，诸如安全区域的一部分。就此而言，包括私人和军事装置的各种装置的安全性常常依赖于存在于入口或处于远程观察区域中的观察员。在任意的情况下，人在提供安全时可能注意力不集中或者不注意。并且，在检查点或观察区域中保持大量的人员值守也是明显的费用。并且，人难以在包括下雨、阴暗和/或下雪等的各种环境条件下值守。
图7示出根据实施例的到安全区域110的解释性的进入检查点的假想图像。如图所示，监视系统20可紧挨着位于安全区域的外面并且被安装，使得系统20的照相机的视场包括进入检查点的围墙106A、门区域106B和检查点建筑物106C。并且，道路104在视场中是可见的，在该道路104上，各种车辆108可接近以寻求进入安全区域110。如图所示，监视系统20可位于道路104的与警卫一般处于的检查建筑物106C相对的一侧。
如这里描述的那样，监视系统20可被配置为构建进入检查点区域的三维表现。就此而言，围墙106A(例如，具有已知高度的均匀分开的柱子和/或均匀分开的布线)、门区域106B(例如，具有已知的宽度)、检查点建筑物106C(例如，具有已知或容易测量的尺寸)和道路104(例如，包含标记和/或已知的尺寸)提供参照，这些参照可使得监视系统20的计算机系统40(图2)能够通过使用与结合铁路交叉口描述的方法类似的方法自校准和在图像数据中对准像素。在操作中，当诸如车辆108的目标接近门区域106B时，计算机系统40可针对警报情况监视其行为。例如，在所有车辆108在被允许穿过门区域106B之前需要停止的情况下，计算机系统40可识别警报情况，并且，假如车辆108不停止，那么作为其响应立即启动行动。
在实施例中，监视系统20的照相机的视场覆盖明显比道路104和门区域106B大的区域。在这种情况下，即使警卫对检查点建筑物106C的关注分散，监视系统20也可检查个人攀爬围墙106B的企图。就此而言，附加的监视系统20可被部署以提供安全区域的周边的全覆盖。并且，企图通过利用车辆108相对于警卫的远侧作为掩护溜过门区域106B的人可被监视系统20检测，该监视系统20可在响应中启动适当行动。并且，监视系统20可识别车辆108的特定的异常特性，诸如例如照相机包括热红外照相机时的异常热源。使用多谱成像可使得进入安全区域110时的躲避检测变得极其困难。
在另一应用中，监视系统20可被用作即时监视器，诸如流量监视器。当前的流量监视器方法具有有限的处理能力，并且在中心位置上执行其大部分的计算。相反，在这里描述的监视系统20可现场执行所有的分析和决定，并且提供比其它方法明显更多的性能。例如，监视系统20的实施例可被配置为执行复杂的分析，诸如用于计划和其它的公共工作目的，这种复杂分析可从车辆和行走交通的行为和量提供重要的细节。例如，这种分析可包括：行人以及车辆大部分共用的特定的行进路径、一天中的量一般达到峰值或者处于最小的时间、穿过区域的交通的瓶颈位置和/或通过各种交叉点的交通的一般流动(例如，由于误时的交通信号导致的停止/开始的量)等。并且，监视系统20可被安装于眺望诸如交叉点的关注区域的任何方便的柱子上，并可容易地通过使用诸如道路的环境特征执行这里描述的自校准，并且，可在安装后的几分钟内准备好使用。由于不存在特定的一般几何要求，因此，监视系统20可被使用和重新部署于几乎任何交叉点、道路、桥梁或希望监视的基础结构的其它区域处。
可以利用另一实施例以出于安全的目的监视敏感区域。例如，铁路有兴趣防止非法侵入到铁路隧道附近和内部的区域和其它安全或保安敏感区域。不仅是任何侵入者一旦处于隧道内则受伤或被杀死的可能性非常高，而且，导致隧道内的事故的任何事情具有高得多的严重损伤的可能性，并且，与轨道的开放段相比，清理隧道明显更困难。在本实施例中，监视系统可被定位，使得接近敏感区域(例如，隧道、进入隧道的轨道和附近的其它物体)的整个区域处于视场内。计算机系统40(图2)可被配置为使用诸如隧道和轨道的视场内的物体，并且，可能使用附近的其它物体，作为用于导出三维成像空间的参照。计算机系统40可为了检查不希望的侵入、识别可疑的物体和/或警报适当的人员或组织等执行类似的行为和物体的分析，这些分析可针对应用的特定要求被定制。
虽然在这里被示出和描述为用于监视区域的方法和系统，但应理解，本发明的多个方面还提供各种替代性实施例。例如，在一个实施例中，本发明提供固定于至少一个计算机可读介质中的计算机程序，该计算机程序当被执行时使得计算机系统能够监视区域。就此而言，计算机可读介质包括诸如监视程序50(图2)的程序代码，该程序代码使得计算机系统能够实现这里描述的处理中的一些或全部。应当理解，术语“计算机可读介质”包括现在已知或以后开发的任何类型的可触知表现介质中的一个或更多个，从这些介质，可觉察、再现或另外通过计算装置传送程序代码的拷贝。例如，计算机可读介质可包括：一个或更多个便携制造存储物品；计算装置的一个或更多个存储器/存储部件；和/或纸等。
在另一实施例中，本发明提供提供诸如监视程序50(图2)的程序代码的拷贝的方法，该程序代码使得计算机系统能够实现在这里描述的处理中的一些或全部。在这种情况下，计算机系统可处理程序代码的拷贝，以产生和传送用于在第二相异的位置上接收的一组数据信号，该组数据信号的特性中的一个或更多个以将一组数据信号中的程序代码的拷贝编码的方式被设定和/或改变。类似地，本发明的实施例提供获取程序代码的拷贝的方法，该方法包括计算机系统接收在这里描述的一组数据信号和将一组数据信号翻译成固定于至少一个计算机可读介质中的计算机程序的拷贝。在任意的情况下，可通过使用任意类型的通信链路传送/接收一组数据信号。
在又一实施例中，本发明提供产生用于监视区域的系统的方法。在这种情况下，产生可包括配置诸如计算机系统40(图2)的计算机系统，以实现监视区域的方法。配置可包括获得(例如，创建、保持、购买、修改、使用、使得可用等)具有或没有一个或更多个软件模块的一个或更多个硬件部件和设置部件和/或模块以实现在这里描述的处理。就此而言，配置可包括将一个或更多个部件部署到计算机系统，这可包括以下方面中的一个或更多个：(1)在计算装置上安装程序代码；(2)向计算机系统添加一个或更多个计算和/或I/O装置；和/或(3)加入和/或修改计算机系统以使得其能够执行在这里描述的处理等。
以上已出于解释和描述的目的给出本发明的各种方面的描述。其意图不是详尽的或者将本发明限于公开的确切形式，并且，很显然，许多修改和变更是可能的。对本领域技术人员来说很明显的这种修改和变更包含于由所附的权利要求限定的本发明的范围内。

Claims (20)

1.一种系统，包括：
被部署为监视一区域的监视组件，其中，监视组件包括：
多个照相机，所述多个照相机包含对相异的波长范围的辐射敏感的至少两个照相机，其中，所述至少两个照相机的视场基本上共同对准所述区域；和
被配置为通过执行包括以下步骤的方法监视所述区域的计算机系统：
操作所述多个照相机以基本上同时获取所述区域的图像数据；
通过使用所述多个照相机所获取的图像数据识别所述区域中的一组相关物体；
更新所述一组相关物体中的各物体的跟踪信息；和
响应于所述一组相关物体中的每一个的跟踪信息评估警报情况。
2.根据权利要求1所述的系统，其中，所述识别包含：
独立地处理通过所述多个照相机中的每一个获取的图像数据，以识别存在于所述区域中的物体；
融合在所述多个照相机中的每一个所获取的图像数据中识别的类似的物体；和
验证在仅通过所述多个照相机中的一部分获取的图像数据中识别的物体。
3.根据权利要求1所述的系统，其中，识别一组相关物体包含基于物体的物理尺寸将在所述区域中识别的物体归类为相关或不相关。
4.根据权利要求1所述的系统，其中，识别一组相关物体包含基于物体的移动将在所述区域中识别的物体归类为相关或不相关。
5.根据权利要求1所述的系统，其中，计算机系统进一步被配置为通过使用所述区域中的一组静止特征来自校准。
6.根据权利要求5所述的系统，其中，所述一组静止特征包含轨道或铁路轨道的枕木中的至少一种。
7.根据权利要求1所述的系统，其中，评估警报情况包含评估限制区域中一物体的有无，评估限制区域中一物体的有无使用所述物体的跟踪数据或另一物体的跟踪数据中的至少一种。
8.根据权利要求7所述的系统，其中，所述评估进一步使用到关键事件的时间量。
9.根据权利要求8所述的系统，其中，限制区域包含平交铁路交叉口，并且，关键事件包含列车使用平交铁路交叉口。
10.根据权利要求1所述的系统，其中，多个相异波长范围包含：近红外以及可见辐射和红外辐射，监视组件还包含近红外照明器，其中，所述方法还包括操作近红外照明器，以为第一照相机对所述区域的成像提供足够的光。
11.一种方法，包括：
在监视组件的计算机系统上获取一区域的多谱图像数据，监视组件包括多个照相机，所述多个照相机包含对相异的波长的辐射敏感的至少两个照相机；
计算机系统通过使用多谱图像数据识别所述区域中的一组相关物体；
计算机系统更新所述一组相关物体中的各物体的跟踪信息；
计算机系统响应于所述一组相关物体中的每一个的跟踪信息评估警报情况；和
计算机系统对评估警报情况的存在执行行动响应。
12.根据权利要求11所述的方法，还包括计算机系统通过使用所述区域中的多个静止特征将所述区域的二维像素数据自校准和对准到所述区域的三维模型中。
13.根据权利要求12所述的方法，其中，所述多个静止特征包含所述区域中的轨道或铁路轨道的枕木中的至少一种。
14.根据权利要求11所述的方法，其中，识别一组相关物体包含基于物体的物理尺寸将在所述区域中识别的物体归类为相关或不相关。
15.根据权利要求11所述的方法，其中，识别一组相关物体包含基于物体的移动将在区域中识别的物体归类为相关或不相关。
16.根据权利要求11所述的方法，其中，评估警报情况包含评估限制区域中一物体的有无，评估限制区域中一物体的有无使用所述物体的跟踪数据或另一物体的跟踪数据中的至少一种。
17.一种平交铁路交叉口，包括：
与铁路轨道相交的道路；和
被部署为监视铁路交叉口的监视组件，其中，监视组件包含：
对近红外和可见辐射敏感的第一照相机；
对红外辐射敏感的第二照相机，其中，第一照相机的视场和第二照相机的视场基本上共同对准道路与铁路轨道的交点；和
被配置为通过执行包括以下步骤的方法监视铁路交叉口的计算机系统：
通过使用基本上同时由第一和第二照相机获取的图像数据识别所述区域中的一组相关物体；
更新所述一组相关物体中的各物体的位置和跟踪信息；和
通过使用所述一组相关物体中的每一个的位置和跟踪信息以及直到列车下一次使用铁路交叉口为止的时间量来评估警报情况。
18.根据权利要求17所述的交叉口，其中，所述更新使用将图像数据映射到铁路交叉口的三维模型的对齐地图。
19.根据权利要求17所述的交叉口，其中，识别一组相关物体包含：
识别图像数据中的所有可见物体；
确定图像数据中的各可见物体的尺寸和取向；和
基于物体的尺寸和取向、或者与物体的移动对应的跟踪信息中的至少一个将物体归类为不相关。
20.根据权利要求17所述的交叉口，其中，监视组件还包含近红外照明器，其中，所述方法还包括操作近红外照明器，以为第一照相机对所述铁路交叉口的成像提供足够的光。
CN201480029128.9A 2013-05-17 2014-05-16 区域中的操作监视 Pending CN105431864A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361855517P 2013-05-17 2013-05-17
US61/855,517 2013-05-17
PCT/US2014/038298 WO2014186642A2 (en) 2013-05-17 2014-05-16 Operations monitoring in an area

Publications (1)

Publication Number Publication Date
CN105431864A true CN105431864A (zh) 2016-03-23

Family

ID=51895018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480029128.9A Pending CN105431864A (zh) 2013-05-17 2014-05-16 区域中的操作监视

Country Status (6)

Country Link
US (2) US10202135B2 (zh)
EP (1) EP2997520A4 (zh)
CN (1) CN105431864A (zh)
AU (2) AU2014265298B2 (zh)
CA (1) CA2910492C (zh)
WO (1) WO2014186642A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN108701363A (zh) * 2017-07-07 2018-10-23 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和系统
CN109416863A (zh) * 2016-06-17 2019-03-01 伊瑞斯缇公司（公共） 用于安全技术的监视系统
US20210046959A1 (en) * 2018-02-08 2021-02-18 Mitsubishi Electric Corporation Obstacle detection device and obstacle detection method
CN114929549A (zh) * 2019-11-27 2022-08-19 塔莱斯公司 用于自主监测平交道口的设备和方法

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201842B2 (en) 2006-03-16 2015-12-01 Smartdrive Systems, Inc. Vehicle event recorder systems and networks having integrated cellular wireless communications systems
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
US10049542B2 (en) * 2012-11-04 2018-08-14 Magal Security Systems Ltd. Self-propelled security system on an adjacent to a fence track
AU2014265298B2 (en) 2013-05-17 2016-11-17 International Electronic Machines Corporation Operations monitoring in an area
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
US10318828B2 (en) * 2013-12-19 2019-06-11 Harman International Industries, Incorporated Vehicle behavior analysis
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9082018B1 (en) 2014-09-30 2015-07-14 Google Inc. Method and system for retroactively changing a display characteristic of event indicators on an event timeline
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
EP4063976A1 (en) * 2014-09-03 2022-09-28 Electrolux Appliances Aktiebolag Method for data communication with a smart domestic appliance by a mobile computer device
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9663127B2 (en) 2014-10-28 2017-05-30 Smartdrive Systems, Inc. Rail vehicle event detection and recording system
SE538405C2 (en) 2015-01-07 2016-06-14 Viscando Ab Method and system for categorization of a scene
US9902410B2 (en) 2015-01-08 2018-02-27 Smartdrive Systems, Inc. System and method for synthesizing rail vehicle event information
US9487222B2 (en) 2015-01-08 2016-11-08 Smartdrive Systems, Inc. System and method for aggregation display and analysis of rail vehicle event information
US10899374B2 (en) * 2015-01-12 2021-01-26 The Island Radar Company Video analytic sensor system and methods for detecting railroad crossing gate position and railroad occupancy
US9296401B1 (en) * 2015-01-12 2016-03-29 Smartdrive Systems, Inc. Rail vehicle event triggering system and method
US10349491B2 (en) 2015-01-19 2019-07-09 Tetra Tech, Inc. Light emission power control apparatus and method
CA2893007C (en) 2015-01-19 2020-04-28 Tetra Tech, Inc. Sensor synchronization apparatus and method
CA2892952C (en) 2015-01-19 2019-10-15 Tetra Tech, Inc. Protective shroud
US10380486B2 (en) * 2015-01-20 2019-08-13 International Business Machines Corporation Classifying entities by behavior
US10362293B2 (en) 2015-02-20 2019-07-23 Tetra Tech, Inc. 3D track assessment system and method
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US20180222506A1 (en) * 2015-07-31 2018-08-09 Vladimir Kranz System for securing of safety of railroad crossing against vehicle entry during warning signaling
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10026193B2 (en) * 2016-05-24 2018-07-17 Qualcomm Incorporated Methods and systems of determining costs for object tracking in video analytics
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
EP3275764B1 (de) * 2016-07-28 2020-10-14 Max Räz Zugleitsystem
US10094657B2 (en) * 2016-09-30 2018-10-09 Alstom Transport Technologies Stationary automated signaling equipment inspection system using lidar
FR3058556B1 (fr) * 2016-11-04 2021-07-23 Alstom Transp Tech Dispositif de prevention de collision pour un vehicule de transport public urbain
WO2018123053A1 (ja) * 2016-12-28 2018-07-05 株式会社オプティム 事故防止システム、方法及びプログラム
US10836412B2 (en) * 2016-12-28 2020-11-17 Optim Corporation System, method, and program for preventing accidents
WO2018156703A1 (en) 2017-02-22 2018-08-30 Tetra Tech, Inc. Broken wheel detection system
JP6852534B2 (ja) * 2017-04-12 2021-03-31 アイシン精機株式会社 障害物検知報知装置、方法及びプログラム
US20180297621A1 (en) * 2017-04-14 2018-10-18 Bayer Cropscience Lp Vegetation detection and alert system for a railway vehicle
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10650545B2 (en) * 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10562552B2 (en) * 2017-09-12 2020-02-18 Current Lighting Solutions, Llc System for railway monitoring
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
JP6799168B2 (ja) * 2017-10-06 2020-12-09 本田技研工業株式会社 車両制御装置
CN111373099A (zh) * 2017-10-26 2020-07-03 市政停车服务公司 用于探测禁止泊车区域中的泊车的装置、方法及系统
DE102018200466A1 (de) * 2018-01-12 2019-07-18 Siemens Aktiengesellschaft Verfahren sowie Vorrichtung zur Überwachung eines Gefahrenraumes eines Bahnübergangs
EP3727990A1 (en) * 2018-01-24 2020-10-28 Siemens Mobility, Inc. System and method for monitoring a railroad grade crossing
JP7212455B2 (ja) * 2018-03-23 2023-01-25 株式会社Ihi 監視装置及び監視方法
US11377130B2 (en) 2018-06-01 2022-07-05 Tetra Tech, Inc. Autonomous track assessment system
US10625760B2 (en) 2018-06-01 2020-04-21 Tetra Tech, Inc. Apparatus and method for calculating wooden crosstie plate cut measurements and rail seat abrasion measurements based on rail head height
US10730538B2 (en) 2018-06-01 2020-08-04 Tetra Tech, Inc. Apparatus and method for calculating plate cut and rail seat abrasion based on measurements only of rail head elevation and crosstie surface elevation
US10807623B2 (en) 2018-06-01 2020-10-20 Tetra Tech, Inc. Apparatus and method for gathering data from sensors oriented at an oblique angle relative to a railway track
US10988151B2 (en) * 2018-08-06 2021-04-27 Alstom Transport Technologies System and method for controlling a level crossing of a railway track
US10946883B2 (en) * 2018-08-09 2021-03-16 Alstom Transport Technologies Train detection system for a railway track, a method for detecting a train on a railway track, and a controller for a train detection system for detecting a train on a railway track
CN110874924A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元及其调控方法
WO2020092413A1 (en) * 2018-10-29 2020-05-07 Metrom Rail, Llc Methods and systems for ultra-wideband (uwb) based platform intrusion detection
DE102019129663A1 (de) * 2018-11-30 2020-06-04 Bayerische Motoren Werke Aktiengesellschaft Feststellung der Bewegung eines Schienenfahrzeugs
KR20200090403A (ko) * 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN111462503B (zh) * 2019-01-22 2021-06-08 杭州海康威视数字技术股份有限公司 车辆测速方法、装置及计算机可读存储介质
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11755965B2 (en) 2019-04-30 2023-09-12 Transportation Ip Holdings, Llc Asset identification and tracking system
EP3969939A4 (en) 2019-05-16 2023-06-07 Tetra Tech, Inc. SYSTEM AND METHOD FOR GENERATION AND INTERPRETATION OF POINT CLOUDS OF A RAILWAY CORRIDOR ALONG A STUDY ROUTE
CN111210604B (zh) * 2019-10-22 2021-06-15 高新兴创联科技有限公司 基于轨道车运行事件关联模型的异常事件预警方法
ES2835106A1 (es) * 2019-12-19 2021-06-21 Alvarez Francesc Xavier Gastaminza Equipo y procedimiento de seguridad
US11052929B1 (en) * 2020-01-03 2021-07-06 Westinghouse Air Brake Technologies Corporation Obstruction detection system
US12027006B1 (en) * 2020-03-23 2024-07-02 Intelligent Entry Machines LLC LIDAR-assisted access control systems and methods
CN111583257B (zh) * 2020-05-28 2023-07-14 中国铁道科学研究院集团有限公司 铁路限界异物侵入检测方法、装置及系统
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US10946878B1 (en) 2020-07-14 2021-03-16 Bnsf Railway Company Wireless slide fence system and method
US11961232B2 (en) * 2020-07-15 2024-04-16 International Electronic Machines Corp. Automated sensing system for health detection
US11727684B2 (en) * 2020-08-21 2023-08-15 Ubicquia Iq Llc Automated virtual tripwire placement
WO2022076245A1 (en) * 2020-10-05 2022-04-14 Tascent, Inc. Visible and far infrared camera imaging scheme for detecting elevated body temperature
WO2022170025A2 (en) 2021-02-04 2022-08-11 International Electronic Machines Corp. Intrusion detection
CN112706805B (zh) * 2021-03-26 2021-09-10 交控科技股份有限公司 轨旁设备、轨道星链系统及列车运行控制系统
US20220410951A1 (en) * 2021-06-25 2022-12-29 International Electronic Machines Corp. Image-Based Vehicle Evaluation for Non-compliant Elements
CN115891947B (zh) * 2023-02-22 2023-05-09 北京全路通信信号研究设计院集团有限公司 一种中低速磁悬浮列车电液混合制动协同控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008331431A1 (en) * 2007-12-04 2009-06-11 Sti-Global Ltd Improved railroad crossing
US20100007736A1 (en) * 2007-02-14 2010-01-14 Panasonic Corporation Monitoring camera and monitoring camera control method
US20100182433A1 (en) * 2007-10-17 2010-07-22 Hitachi Kokusai Electric, Inc. Object detection system
CN101844659A (zh) * 2010-05-06 2010-09-29 杜景钦 一种集装箱的保安设备和系统
CN102098494A (zh) * 2010-11-15 2011-06-15 北京佳讯飞鸿电气股份有限公司 一种高清视频技术在铁路安防应用的方法及系统
CN102625039A (zh) * 2012-03-23 2012-08-01 田锦林 分体组合式双显摄像装置
CN102750515A (zh) * 2011-04-19 2012-10-24 国际商业机器公司 用于提高检测铁轨横穿事件的可靠性的方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2889082B2 (ja) 1993-06-23 1999-05-10 東京電力株式会社 禁止区域への侵入予測方法及び装置
JPH0729015A (ja) * 1993-07-14 1995-01-31 Toshiba Corp 画像認識装置
US7295111B2 (en) * 2002-08-23 2007-11-13 General Electric Company Microwave detection system and method for detecting intrusion to an off-limits zone
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
US9094615B2 (en) * 2004-04-16 2015-07-28 Intheplay, Inc. Automatic event videoing, tracking and content generation
US20050231387A1 (en) * 2004-04-20 2005-10-20 Markelz Paul H Railroad crossing monitoring and citation system
US7355508B2 (en) 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
JP4924607B2 (ja) * 2006-05-31 2012-04-25 日本電気株式会社 不審行動検知装置および方法、プログラムおよび記録媒体
US8601494B2 (en) 2008-01-14 2013-12-03 International Business Machines Corporation Multi-event type monitoring and searching
US8390685B2 (en) 2008-02-06 2013-03-05 International Business Machines Corporation Virtual fence
JP2009278249A (ja) 2008-05-13 2009-11-26 Hitachi Kokusai Electric Inc 監視システム
US8188430B2 (en) * 2008-05-22 2012-05-29 International Electronic Machines Corporation Omnidirectional monitoring using near-infrared electromagnetic radiation
US8614744B2 (en) 2008-07-21 2013-12-24 International Business Machines Corporation Area monitoring using prototypical tracks
EP2347238B1 (en) 2008-10-22 2018-05-16 International Electronic Machines Corp. Thermal imaging-based vehicle analysis
US9697418B2 (en) * 2012-07-09 2017-07-04 Qualcomm Incorporated Unsupervised movement detection and gesture recognition
US9070020B2 (en) * 2012-08-21 2015-06-30 International Business Machines Corporation Determination of train presence and motion state in railway environments
AU2014265298B2 (en) 2013-05-17 2016-11-17 International Electronic Machines Corporation Operations monitoring in an area

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007736A1 (en) * 2007-02-14 2010-01-14 Panasonic Corporation Monitoring camera and monitoring camera control method
US20100182433A1 (en) * 2007-10-17 2010-07-22 Hitachi Kokusai Electric, Inc. Object detection system
AU2008331431A1 (en) * 2007-12-04 2009-06-11 Sti-Global Ltd Improved railroad crossing
WO2009070839A1 (en) * 2007-12-04 2009-06-11 Sti-Global Ltd Improved railroad crossing
CN101844659A (zh) * 2010-05-06 2010-09-29 杜景钦 一种集装箱的保安设备和系统
CN102098494A (zh) * 2010-11-15 2011-06-15 北京佳讯飞鸿电气股份有限公司 一种高清视频技术在铁路安防应用的方法及系统
CN102750515A (zh) * 2011-04-19 2012-10-24 国际商业机器公司 用于提高检测铁轨横穿事件的可靠性的方法和系统
CN102625039A (zh) * 2012-03-23 2012-08-01 田锦林 分体组合式双显摄像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416863A (zh) * 2016-06-17 2019-03-01 伊瑞斯缇公司（公共） 用于安全技术的监视系统
CN108121764A (zh) * 2016-11-26 2018-06-05 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN108121764B (zh) * 2016-11-26 2022-03-11 星克跃尔株式会社 图像处理装置、图像处理方法、电脑程序及电脑可读取记录介质
CN108701363A (zh) * 2017-07-07 2018-10-23 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和系统
WO2019006735A1 (en) * 2017-07-07 2019-01-10 Guangdong Virtual Reality Technology Co., Ltd. METHODS, DEVICES AND SYSTEMS FOR IDENTIFYING AND FOLLOWING AN OBJECT USING MULTIPLE CAMERAS
CN108701363B (zh) * 2017-07-07 2021-06-29 广东虚拟现实科技有限公司 使用多相机识别和追踪对象的方法、设备和系统
US20210046959A1 (en) * 2018-02-08 2021-02-18 Mitsubishi Electric Corporation Obstacle detection device and obstacle detection method
US11845482B2 (en) * 2018-02-08 2023-12-19 Mitsubishi Electric Corporation Obstacle detection device and obstacle detection method
CN114929549A (zh) * 2019-11-27 2022-08-19 塔莱斯公司 用于自主监测平交道口的设备和方法

Also Published As

Publication number Publication date
AU2017201095A1 (en) 2017-03-09
AU2014265298B2 (en) 2016-11-17
US20140339374A1 (en) 2014-11-20
AU2017201095B2 (en) 2018-06-14
US10202135B2 (en) 2019-02-12
US10970851B2 (en) 2021-04-06
AU2014265298A1 (en) 2016-01-21
EP2997520A4 (en) 2017-01-25
CA2910492C (en) 2021-03-30
US20190185036A1 (en) 2019-06-20
WO2014186642A2 (en) 2014-11-20
EP2997520A2 (en) 2016-03-23
CA2910492A1 (en) 2014-11-20
WO2014186642A3 (en) 2015-12-10

Similar Documents

Publication Publication Date Title
CN105431864A (zh) 区域中的操作监视
US10055979B2 (en) Roadway sensing systems
CN105398471B (zh) 光学路线检查系统和方法
US7250849B2 (en) Detection of undesired objects on surfaces
Chen et al. Deer crossing road detection with roadside LiDAR sensor
CN107380163A (zh) 基于磁导航的汽车智能报警预测系统及其方法
CN106061793A (zh) 成像系统及方法
KR102279754B1 (ko) 충돌 사고 방지 방법, 장치, 서버, 및 컴퓨터 프로그램
Lozano Domínguez et al. Design, modelling, and implementation of a fuzzy controller for an intelligent road signaling system
Shin et al. Enhancing Railway Maintenance Safety Using Open‐Source Computer Vision
CN114495014A (zh) 智慧社区管理系统和智慧社区管理系统控制方法
Nizzad et al. Internet of things based automatic system for the traffic violation
Jawad Siddique et al. Deep learning technologies to mitigate deer-vehicle collisions
Kawthankar et al. A survey on smart automobiles using Internet of Things for digital India
GB2585863A (en) Object detecting and monitoring
Barad Roadside Lidar Helping to Build Smart and Safe Transportation Infrastructure
US20220410951A1 (en) Image-Based Vehicle Evaluation for Non-compliant Elements
Guo et al. Human intrusion detection for high-speed railway perimeter under all-weather condition
Vivek et al. TOWARDS THE DEVELOPMENT OF OBSTACLE DETECTION IN RAILWAY TRACKS USING THERMAL IMAGING.
US20220242465A1 (en) Intrusion Detection
Omer An Automatic Image Recognition System for Winter Road Surface Condition Monitoring
KR200361170Y1 (ko) 철도 건널목 돌발상황 자동감지 영상처리경보장치
US20240142609A1 (en) Radar object classification method and system
Mi et al. Smart Port and Machine Vision
WO2022170025A2 (en) Intrusion detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323