CN109476329A - 用于运输系统的视频内容分析系统及方法 - Google Patents

用于运输系统的视频内容分析系统及方法 Download PDF

Info

Publication number
CN109476329A
CN109476329A CN201780039755.4A CN201780039755A CN109476329A CN 109476329 A CN109476329 A CN 109476329A CN 201780039755 A CN201780039755 A CN 201780039755A CN 109476329 A CN109476329 A CN 109476329A
Authority
CN
China
Prior art keywords
data
information
component
mobile asset
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780039755.4A
Other languages
English (en)
Other versions
CN109476329B (zh
Inventor
L·B·乔丹
S·V·帕特尔
J·A·米勒
J·拉蒂纳韦尔
R·马特里内兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wi Tronix LLC
Original Assignee
Wi Tronix LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/595,650 external-priority patent/US9934623B2/en
Priority claimed from US15/595,689 external-priority patent/US10410441B2/en
Application filed by Wi Tronix LLC filed Critical Wi Tronix LLC
Publication of CN109476329A publication Critical patent/CN109476329A/zh
Application granted granted Critical
Publication of CN109476329B publication Critical patent/CN109476329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0018—Communication with or on the vehicle or vehicle train
    • B61L15/0027—Radio-based, e.g. using GSM-R
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0072—On-board train data handling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00—Indicators provided on the vehicle or vehicle train for signalling purposes ; On-board control or communication systems
    • B61L15/0081—On-board diagnosis or maintenance
    • B61L15/0094—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning, or like safety means along the route or between vehicles or vehicle trains
    • B61L23/04—Control, warning, or like safety means along the route or between vehicles or vehicle trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/047—Track or rail movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/40—Handling position reports or trackside vehicle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/50—Trackside diagnosis or maintenance, e.g. software upgrades
    • B61L27/57—Trackside diagnosis or maintenance, e.g. software upgrades for vehicles or vehicle trains, e.g. trackside supervision of train conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本发明涉及一种用于移动资产的视频内容分析系统，其包含轨道检测及基础设施监视组件。所述轨道检测及基础设施监视包含用以分析视频数据、音频数据、交通工具数据、天气数据及路线/清单数据以确定与所述资产有关的内部及/或外部状况的强化学习组件、物体检测及位置组件以及障碍物检测组件。数据获取与记录系统将所述数据、内部及/或外部状况信息、物体检测信息、物体位置信息及障碍物检测信息上传到远程存储器模块且向远程定位的用户实时地提供流式传输视频数据。远程定位的用户可通过网络浏览器或虚拟现实装置而以各种视图模式查看所述数据，此提供较快紧急响应、验证修理及重新路线规划的有效性，且监视组员表现及安全。

Description

用于运输系统的视频内容分析系统及方法
相关申请案交叉参考
本申请案主张2016年5月16日提出申请的美国临时申请案第62/337,225号的优先权、主张2016年5月16日提出申请的美国临时申请案第62/337,227号的优先权、主张2016年5月16日提出申请的美国临时申请案第62/337,228号的优先权、主张2017年5月15日提出申请的美国非临时申请案第15/595,712号的优先权、主张2017年5月15日提出申请的美国非临时申请案第15/595,650号的优先权并为所述美国非临时申请案的部分接续申请案，且主张2017年5月15日提出申请的美国非临时申请案第15/595,689号的优先权并为所述美国非临时申请案的部分接续申请案达到法律允许的程度，且所述申请案的内容以其全文引用的方式并入本文中。
技术领域
本发明涉及用于高价值资产中的设备且特定来说，涉及用于高价值移动资产中的实时数据获取与记录系统。
背景技术
例如机车、航空器、大运量客运系统、采矿设备、可运输医疗设备、货物、海运船舶及军用船舶等高价值移动资产通常采用机载数据获取与记录“黑匣子(black box)”系统及/或“事件记录器”系统。这些数据获取与记录系统(例如事件数据记录器或飞行数据记录器)记录用于事故调查、组员表现评估、燃料效率分析、维修计划及预测性诊断的多种系统参数。典型数据获取与记录系统包括数字及模拟输入，以及压力开关及压力传感器，其记录来自各种机载传感器装置的数据。所记录数据可包含例如速度、所行进距离、位置、燃料水平、每分钟发动机转数(RPM)、流体水平、操作者控制、压力及周围状况等参数。除了基本事件及操作数据之外，还对这些相同移动资产中的许多移动资产部署视频及音频事件/数据记录能力。通常，在已发生关于资产且需要进行调查的事故之后，一旦已恢复数据记录器，便从数据记录器提取数据。可出现其中无法恢复数据记录器或数据以其它方式不可用的特定情境。在这些情境中，立即需要由数据获取与记录系统获取的数据(例如事件及操作数据、视频数据以及音频数据)，而不管对数据获取与记录系统或数据的物理存取是否不可用。
发明内容
本发明一般来说涉及用于高价值移动资产中的实时数据获取与记录系统。本文中的教示可提供对与高价值移动资产有关的视频数据及视频内容分析的实时或近实时存取。本文中所描述的一种用于处理来自移动资产的数据的方法的一个实施方案包含：使用位于所述移动资产上的视频分析组件从以下各项中的至少一者接收基于至少一个数据信号的数据：位于所述移动资产上的至少一个数据源；及远离所述移动资产的至少一个数据源；使用所述视频分析组件的强化学习组件来将所述数据处理成经处理数据；使用所述视频分析组件将所述数据及所述经处理数据中的至少一者发送到位于所述移动资产上的数据记录器；使用所述数据记录器的数据编码器而基于所述经处理数据来编码包括位流的记录；及使用所述数据记录器的机载数据管理器将所述数据、所述经处理数据及所述记录中的至少一者以可配置第一预定速率存储于所述数据记录器的至少一个本地存储器组件中。
本文中所描述的一种用于分析视频内容的系统的一个实施方案包含：至少一个360度相机、至少一个固定相机及至少一个麦克风中的至少一者；位于移动资产上的视频分析组件，所述视频分析组件包括强化学习组件、物体检测及位置组件以及障碍物检测组件，所述视频分析组件经配置以从所述至少一个360度相机、所述至少一个固定相机及所述至少一个麦克风中的所述至少一者接收基于至少一个数据信号的数据；所述强化学习组件，其经配置以将所述数据处理成经处理数据；所述物体检测及位置组件，其经配置以基于所述经处理数据而确定第一物体的物体检测数据及物体位置数据；及所述障碍物检测组件，其经配置以基于所述经处理数据、所述物体检测信息及所述物体位置信息中的至少一者而确定障碍物检测信息。
下文将以额外细节描述本发明的这些及其它方面中的变化。
附图说明
本文中的描述参考附图，其中在所有数个视图中相似参考编号指代相似部件，且其中：
图1图解说明根据本发明的实施方案的示范性实时数据获取与记录系统的现场实施方案；
图2A是图解说明根据本发明的实施方案的示范性轨道检测的图式；
图2B是图解说明根据本发明的实施方案的示范性轨道检测及道岔(switch)检测的图式；
图2C是图解说明根据本发明的实施方案的示范性轨道检测、对轨道数目进行计数及信号检测的图式；
图3是根据本发明的实施方案的用于确定移动资产的内部状态的过程的流程图；且
图4是根据本发明的实施方案的用于确定在移动资产外部发生的物体检测及障碍物检测的过程的流程图。
具体实施方式
本文中所描述的实时数据获取与记录系统及视频分析系统向远程定位的用户提供对高价值资产的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。数据获取与记录系统记录与资产有关的数据，且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少在截至事故或紧急情境时为可用的，由此通过将信息实时地流式传输到远程数据存储库且使信息至少在截至灾难性事件时为可用的而实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要。DARS对移动资产的所记录视频数据执行视频分析以确定(举例来说)车厢占用率及轨道检测。远程定位的用户可使用共同网络浏览器来导览到并查看与所选择资产有关的所要数据且不需要和资产上的数据获取与记录系统进行交互以请求下载特定数据、定位或传送文件以及使用定制应用程序来查看数据。
DARS通过在事故之前、期间及之后将视频数据流式传输到远程数据存储库及远程定位的用户而为远程定位的用户提供对所述数据及由视频分析系统执行的视频分析的存取，由此消除使用户手动地下载、提取及回放视频以回顾视频数据来确定车厢占用率、确定在事故、轨道检测、调查或在所关注的任何其它时间期间是否存在组员成员或未经授权人员的需要。另外，视频分析系统通过实时地处理图像及视频数据而提供车厢占用率状态确定、轨道检测、引导及尾随单元确定，由此确保正确数据总是对于用户为可用的。举例来说，实时图像处理确保被指定为尾随机车的机车并非处于引导服务中以增强铁路安全。现有系统通过使用调度系统中的列车编组功能性来在列车内提供机车位置。有时，调度系统信息可为陈旧的，这是因为并未实时地更新所述信息且组员人员在认为必要的情况下可改变机车。
在本发明的系统之前，检验组员及/或资产人员必须手动地检验轨道状况、手动地检查交通工具是处于引导还是尾随位置中、手动地勘察每一个别所关注物体的位置、手动地创建所有所关注物体的地理位置的数据库、周期性地执行对每一所关注物体的手动现场勘察以验证其位置且识别不同于原始勘察的地理位置的任何改变、在从创建原始数据库的时间以来所关注物体由于修理或额外基础设施开发而改变位置时手动地更新数据库、从数字视频记录器及/或数据记录器选择并下载所要数据且离线检验所下载数据及/或视频并针对任何障碍物而检查轨道，并且交通工具操作者必须物理检查任何障碍物及/或道岔改变。本发明的系统已消除使用户执行这些步骤的需要，从而仅需要用户使用共同网络浏览器来导览到所要数据。资产所有者及操作者可使移动资产的效率及安全实时地自动化及改进且可主动监视轨道状况并可实时地获得警示信息。本发明的系统消除使资产所有者及操作者从数据记录器下载数据以便监视轨道状况及调查事故的需要。作为主动安全系统，DARS可帮助操作者检查任何障碍物、实时地发送警报及/或离线保存信息，且发送警报信息以用于远程监视及存储。可将当前及过去轨道检测信息两者实时地存储于远程数据存储库中以帮助用户在需要时查看信息。远程定位的用户可存取共同网络浏览器来导览到与所选择资产有关的所要数据以实时或近实时地查看并分析资产的操作效率及安全。
本发明的系统可用于连续地监视所关注物体且实时地识别所述所关注物体何时已被移动或损坏、被树叶遮挡及/或处于失修中且需要维修。DARS利用视频、图像及/或音频信息来在视频中检测及识别各种基础设施物体(例如铁轨轨道)，具有用以在移动资产前进时沿循轨道的能力，且具有用以创建、审核及周期性地更新所关注物体的关于地理位置的数据库。DARS可自动地检验轨道状况(例如对所存在的轨道数目进行计数)、识别移动资产正在其上行进的当前轨道且检测所存在的任何障碍物或缺陷，例如被冲刷出的道砟(ballast)、破损的轨道、轨道超限、不对准的道岔、道岔超轨(run-over)、轨道中浸水、积雪等，并且计划进行任何预防性维修以便避免任何灾难性事件。DARS还可检测铁轨轨道道岔且注意轨道改变。DARS可进一步检测数据位置的改变，包含检测物体是否缺失、被遮挡及/或不存在于预期位置处。可通过使用任何标准网络客户端(例如网络浏览器)而将轨道检测、基础设施诊断信息及/或基础设施监视信息显示给用户，由此消除对于如现有系统所需要的从数据记录器下载文件及使用专有应用软件或其它外部应用程序来查看信息的需要。此过程可扩展到自动地创建、审核及/或更新关于所关注物体的地理位置的数据库且确保符合联邦法规。对于本发明的系统，利用先前所安装以符合联邦法规的相机来执行先前需要人类交互、专门交通工具及/或交替设备的各种任务。DARS允许随着移动资产行进遍及整个领地而自动地执行这些任务作为正常收益服务及日常操作的一部分。DARS可用于通过利用交通工具及先前所安装的相机的正常操作来完成先前需要手动努力的任务而节省手动工作的无数个人时间。DARS还可执行先前已使用专门交通工具执行的任务，从而防止关闭轨道路段来检验并定位轨道及所关注物体(此通常导致收益服务损失及购买并维修昂贵设备)。DARS进一步减少使人类在铁轨轨道附近定位所需的时间量，从而导致较少总体交通事故及潜在生命损失。
数据可包含但不限于：源自移动资产及/或附近移动资产的所测量模拟及频率参数，例如速度、压力、温度、电流、电压及加速度；所测量布尔(Boolean)数据，例如开关位置、致动器位置、警示灯照明及致动器命令；来自全球定位系统(GPS)的位置、速度及海拔高度信息，以及来自地理信息系统(GIS)的额外数据，例如各种所关注物体的维度及经度；内部产生的信息，例如在给定移动资产的当前位置时所述移动资产的管制速度限制；由例如主动列车控制(positive train control)(PTC)等系统产生的列车控制状态及操作数据；交通工具及惯性参数，例如速度、加速度及位置，例如从GPS接收的速度、加速度及位置；GIS数据，例如各种所关注物体的维度及经度；来自位于移动资产中、其上或附近的各种位置处的至少一个相机的视频及图像信息；来自位于移动资产中、其上或附近的各种位置处的至少一个麦克风的音频信息；从数据中心被发送到移动资产的关于移动资产的操作计划的信息，例如路线、时间表及货物清单信息；关于移动资产当前正操作或计划操作的区域的环境状况的信息，例如当前及所预报天气；及从以上源中的任何者的组合导出的数据，包含额外数据、视频及音频分析以及分析法。
“轨道”可包含但不限于用于机车及/或列车运输的铁路的铁轨及轨枕(tie)。“所关注物体”可包含但不限于安装及维持在铁路轨道附近的各种基础设施物体，可借助使用资产相机图像及视频的强化学习来识别所述各种基础设施物体。强化学习利用被定义为“训练”数据的先前所标记数据集以允许远程及自主识别在移动资产中、其上或附近的相机视野内的物体。DARS在实施方案的任何阶段可或可不需要人类交互，包含但不限于标记强化学习所需的训练数据集。所关注物体包含但不限于：轨道、轨道中心线点、里程碑标志、信号、交叉口栅门、道岔、交叉口及基于文字的标志。“视频分析”是指通过分析从在移动资产中、其上或附近的至少一个相机记录的视频及/或图像而收集的任何可理解信息，例如但不限于所关注物体、物体的地理位置、步行道(trach)障碍物、所关注物体与移动资产之间的距离、轨道不对准等。视频分析系统还可用于容纳监控摄像机以增强视频监控的任何移动资产、居住区域、空间或房间中。在移动资产中，视频分析系统向远程定位的用户经济且高效地提供自主车厢占用事件检测。
图1图解说明其中可实施本发明的方面的示范性实时数据获取与记录系统(DARS)100的第一实施例的现场实施方案。DARS100为经由数据中心166而将实时信息、视频信息及音频信息从移动资产164上的数据记录器102递送到远程定位的终端用户168的系统。数据记录器102安装于交通工具或移动资产164上且通过有线及/或无线数据链路142(例如无线网关/路由器(未展示))的任何组合而与任何数目个各种信息源进行通信。数据记录器102通过机载数据链路142而从各种各样的源收集视频数据、音频数据及其它数据或信息，所述源可基于资产的配置而变化。数据记录器102包括位于资产164中的本地存储器组件(例如碰撞硬化存储器模块104)、机载数据管理器106及数据编码器108。在第二实施例中，数据记录器102还可包含非碰撞硬化可装卸式存储装置(未展示)。示范性硬化存储器模块104可为(举例来说)符合美国联邦法规(Code of Federal Regulations)及联邦铁路管理局法规(Federal Railroad Administration regulations)的防撞事件记录器存储器模块、符合美国联邦法规及联邦航空管理局法规(Federal Aviation Administration regulations)的碰撞可保全存储器单元、符合任何可适用美国联邦法规的碰撞硬化存储器模块或如此项技术中已知的任何其它适合硬化存储器装置。有线及/或无线数据链路可包含离散信号输入、标准或专有以太网、串列连接及无线连接中的任一者或组合。
DARS100进一步包括视频分析系统110，所述视频分析系统包含轨道检测及基础设施监视组件114。轨道检测及基础设施监视组件114包括强化学习组件124或者其它神经网络或人工智能组件、物体检测及位置组件126以及障碍物检测组件128。在此实施方案中，由安装于资产164的车厢中、资产164上或资产164附近的至少一个相机140捕获实况视频数据。相机140以适当高度及角度来放置以捕获资产164中及其周围的视频数据且获得足够量的视图以供进一步处理。实况视频数据及图像数据由相机140在资产164前面及/或其周围捕获且被馈送到轨道检测及基础设施监视组件114以供分析。视频分析系统110的轨道检测及基础设施监视组件114逐帧处理实况视频及图像数据以检测铁轨轨道及任何所关注物体的存在。可将例如高度、角度、移位、焦距及视野等相机位置参数馈送到轨道检测及基础设施监视组件114或相机140可经配置以允许视频分析系统110检测及确定相机位置及参数。
为进行状态确定(例如车厢占用率检测)，视频分析系统110使用强化学习组件124及/或其它人工智能及学习算法来评估(举例来说)来自相机140的视频数据、资产数据134(例如速度、GPS数据及惯性传感器数据)、天气组件136数据以及路线/组员、清单及GIS组件数据138。车厢占用率检测固有地易受环境噪声源(例如在资产移动的同时从云反射的光及穿过建筑物及树木的日光)影响。为处置环境噪声，将强化学习组件124、物体检测及位置组件126、障碍物检测组件、资产组件134数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件136数据以及其它学习算法组合在一起以形成涉及移动资产164的内部及/或外部状态确定。轨道检测及基础设施监视组件114还可包含适于允许授权对机车进行存取的面部辨识系统作为机车安全系统、适于监视组员警觉性的疲劳检测组件及用以检测未经授权活动(例如吸烟)的活动检测组件。
通过利用从连续视频及/或图像帧获得的各种信息且还使用从数据中心166及交通工具数据组件134(其包含惯性传感器数据及GPS数据)接收的额外信息而使用强化学习组件124执行轨道的强化学习以确定所学习数据。物体检测及位置组件126利用从强化学习组件124接收的所学习数据以及关于移动资产164及铁轨的特定信息(例如轨道宽度及曲率、轨枕定位及交通工具速度)来将铁轨轨道、标志、信号等与其它物体区分开以确定物体检测数据。障碍物检测组件128利用从物体检测及位置组件126接收的物体检测数据及来自天气组件136、路线/组员清单数据及GIS数据组件138以及交通工具数据组件134(其包含惯性传感器数据及GPS数据)的额外信息以增强准确性且确定障碍物检测数据。来自交通工具数据组件134的移动资产数据包含但不限于速度、位置、加速度、侧倾/纵倾率及铁轨交叉口。从数据中心166接收并利用的任何额外信息包含但不限于移动资产164的昼夜细节及地理位置。
经由机载数据链路142而将所关注基础设施物体、由轨道检测及基础设施监视组件114处理的信息以及诊断及监视信息发送到数据记录器102的数据编码器108以对数据进行编码。数据记录器102将经编码数据存储于碰撞硬化存储器模块104中，且任选地存储于任选非碰撞硬化可装卸式存储装置中，并经由无线数据链路144而将经编码信息发送到数据中心166中的远程数据管理器146。远程数据管理器146将经编码数据存储于数据中心166中的远程数据存储库148中。
为确定障碍物检测128或物体检测126(例如在资产164前面的轨道的存在)，交通工具分析系统110使用强化学习组件124或其它人工智能、物体检测及位置组件126以及障碍物检测组件128及其它图像处理算法来实时地处理及评估来自相机140的相机图像及视频数据。轨道检测及基础设施监视组件114使用经处理视频数据连同资产组件134数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件136数据以及路线/组员、清单及GIS组件138数据，以实时地确定外部状态确定，例如引导及尾随移动资产。举例来说，当处理图像及视频数据以进行轨道检测时，视频分析系统110自动地配置轨道检测所需要的相机140参数、贯穿道岔进行检测、对轨道数目进行计数、检测沿着资产164的侧的任何额外轨道、确定资产164当前正运行的轨道、检测轨道几何缺陷、检测轨道冲刷情景(例如在轨道的所界定限制内检测轨道附近的水)，且检测缺失斜坡或轨道情景。物体检测准确性取决于资产164中及其周围的现有照明状况。DARS100将借助从资产164及数据中心166上收集的额外数据的帮助而处置不同照明状况。DARS100经增强以在各种照明状况中工作、在各种天气状况中工作、检测较多所关注物体、与现有数据库系统集成在一起以自动地创建、审核及更新数据、检测多个轨道、与弯曲轨道一致地工作、检测任何障碍物、检测可能引起安全问题的任何轨道缺陷，且在低成本嵌入式系统中工作。
经由机载数据链路142而将来自视频分析系统110的内部及/或外部状态确定(例如车厢占用率、物体检测及位置，例如轨道检测及障碍物检测)连同来自交通工具管理系统(VMS)或数字视频记录器组件132的任何数据一起提供到数据记录器102。数据记录器102将内部及/或外部状态确定、物体检测及位置组件126数据以及障碍物检测组件128数据存储于碰撞硬化存储器模块104中，且任选地存储于第二实施例的非碰撞硬化可装卸式存储装置中并经由位于数据中心166中的远程数据管理器146而存储于远程数据存储库148中。在请求后，网络服务器158即刻经由网络客户端162而将内部及/或外部状态确定、物体检测及位置组件126信息以及障碍物检测组件128信息提供给远程定位的用户168。
数据编码器108至少对通常由管制机构定义的最小数据集进行编码。数据编码器108从相机140、视频分析系统110及视频管理系统132中的任一者接收视频、图像及音频数据且对所述数据进行压缩或编码及时间同步以便促进向远程数据存储库148的高效实时发射及复制。数据编码器108将经编码数据发射到机载数据管理器106，所述机载数据管理器接着响应于用户168的随选请求或响应于在资产164上所观察到的特定操作状况而经由位于数据中心166中的远程数据管理器146将经编码视频、图像及音频数据发送到远程数据存储库148。机载数据管理器106与远程数据管理器146一致地工作以管理数据复制过程。数据中心166中的远程数据管理器146可管理来自多个资产164的数据的复制。
机载数据管理器108基于所检测事件的优先级而确定是应将所检测事件、内部及/或外部状态确定、物体检测及位置及/或障碍物检测排队还是立即发出。举例来说，在正常操作情境中，检测轨道上的障碍物比检测是否有人在资产164的车厢中紧急得多。机载数据管理器108还将数据发送到排队存储库(未展示)。在近实时模式中，机载数据管理器将从数据编码器108接收的经编码数据以及任何事件信息存储于碰撞硬化存储器模块104中及排队存储库中。在经编码数据已在排队存储库中积累五分钟之后，机载数据管理器106通过无线数据链路144、经由数据中心166中的远程数据管理器146而将五分钟的经编码数据存储到远程数据存储库148。在实时模式中，机载数据管理器108将从数据编码器108接收的经编码数据以及任何事件信息存储到碰撞硬化存储器模块104且通过无线数据链路144、经由数据中心166中的远程数据管理器146而存储到远程数据存储库148。
在此实施方案中，机载数据管理器106通过无线数据链路144、经由数据中心166中的远程数据管理器146而将视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息以及任何其它数据或事件信息发送到远程数据存储库148。无线数据链路144可为(举例来说)无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、无线虚拟专用网(WVPN)、蜂窝式电话网或将来自数据记录器102的数据传送到(在此实例中)远程数据管理器146的任何其它构件。检索远离资产164的数据的过程需要资产164与数据中心166之间的无线连接。当无线数据连接为不可用时，将数据存储及排队直到恢复无线连接性为止。
与数据记录并行地，数据记录器102连续且自主地将数据复制到远程数据存储库148。复制过程具有两种模式：实时模式及近实时模式。在实时模式中，每秒将数据复制到远程数据存储库10。在近实时模式中，每五分钟将数据复制到远程数据存储库15。用于近实时模式的速率为可配置的，且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据存储库15而支持高分辨率数据。在正常操作期间、在大多数状况下使用近实时模式，以便改进数据复制过程的效率。
可基于正发生于资产164上的事件或通过从数据中心166起始的请求而起始实时模式。当远程定位的用户168已从网络客户端162请求实时信息时，起始使典型数据中心166起始对实时模式的请求。实时模式起源于资产164上的典型原因是检测到涉及资产164的事件或事故，例如操作者起始紧急停止请求、紧急制动活动、在任何轴上的迅速加速或减速或者去往数据记录器102的输入电力的损失。当从近实时模式转变到实时模式时，将尚未被复制到远程数据存储库148的所有数据复制并存储于远程数据存储库148中且接着起始实况复制。近实时模式与实时模式之间的转变通常发生在少于五秒内。在从事件或事故以来已经过预定时间量(预定不活动时间量)之后，或当用户168不再期望来自资产164的实时信息时，数据记录器102回复到近实时模式。起始转变所需的预定时间量为可配置的且通常被设定到十分钟。
当数据记录器102处于实时模式中时，机载数据管理器106尝试连续地将其队列清空到远程数据管理器146，从而将数据存储到碰撞硬化存储器模块140，且任选地存储到第二实施例的任选非碰撞硬化可装卸式存储装置，并且同时将数据发送到远程数据管理器146。
在接收到视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息及将从数据记录器102被复制的任何其它数据或信息后，远程数据管理器146即刻将其从机载数据管理器106接收的数据(例如经编码数据及经检测事件数据)存储到数据中心166中的远程数据存储库148。远程数据存储库148可为(举例来说)基于云的数据存储装置或任何其它适合远程数据存储装置。当接收到数据时，起始过程，所述过程致使数据解码器154将来自远程数据存储库148的最近复制的数据解码且将经解码数据发送到轨道/物体检测/位置信息组件150，所述轨道/物体检测/位置信息组件查看所存储数据以寻找额外‘后处理’事件。在此实施方案中，轨道/物体检测/位置信息组件150包含用于确定内部及/或外部状态确定、物体检测及位置信息以及障碍物检测信息的物体/障碍物检测组件。在检测内部及/或外部信息、物体检测及位置信息及/或障碍物检测信息后，轨道/物体检测/位置信息组件150即刻将所述信息存储于远程数据存储库148中。
远程定位的用户168可使用标准网络客户端162(例如网络浏览器)或在此实施方案中可显示所选择相机的缩略图像的虚拟现实装置(未展示)来存取与特定资产164或多个资产有关的视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息以及存储于远程数据存储库148中的任何其它信息(包含轨道信息、资产信息及车厢占用率信息)。网络客户端162使用共同网络标准、协议及技术来通过网络160将用户168对信息的请求传递到网络服务器158。网络160可为(举例来说)因特网。网络160还可为局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝式电话网或将来自网络服务器158的数据传送到(在此实例中)网络客户端162的任何其它构件。网络服务器158从远程数据存储库148请求所要数据且在来自网络服务器158的请求后，数据解码器154即刻从远程数据存储库148获得与特定资产164有关的所请求数据。数据解码器154将所请求数据解码且将经解码数据发送到定位器156。定位器156通过存取网络客户端162而识别由用户168设定的简档设置且使用所述简档设置来准备将被发送到网络客户端162以用于呈现给用户168的信息，这是因为使用协调通用时间(UTC)及国际单位系统(SI单位)将原始经编码数据及所检测轨道/物体检测/位置信息保存到远程数据存储库148。定位器156将经解码数据转换成用户168所期望的格式，例如用户168的优选测量单位及语言。如所请求，定位器156将呈用户168的优选格式的经定位数据发送到网络服务器158。网络服务器158接着将经定位数据发送到网络客户端162以用于查看及分析，从而提供标准视频及360度视频的回放及实时显示，连同内部及/或外部状态确定、物体检测及位置信息以及障碍物检测信息，例如图2A、2B及2C中所展示的轨道图像及信息。
网络客户端162利用以多种不同模式提供360度视频的回放的软件应用程序来增强。用户168可选出软件应用程序呈现视频回放的模式，例如，鱼眼视图、鱼眼矫正(dewarped)视图、全景视图、双全景视图及四视图。
图3是展示根据本发明的实施方案的用于确定资产164的内部状态的过程300的流程图。视频分析系统110从各种输入组件(例如位于资产164上、其中或附近的相机140、交通工具数据组件134、天气组件136以及路线/清单及GIS组件138)接收数据信号302。视频分析系统110使用强化学习组件来处理数据信号304且确定内部状态(例如车厢占用率)306。
图4是展示根据本发明的实施方案的用于确定在资产164外部发生的物体检测/位置及障碍物检测的过程400的流程图。视频分析系统110从各种输入组件(例如位于资产164上、其中或附近的相机140、交通工具数据组件134、天气组件136以及路线/清单及GIS组件138)接收数据信号402。视频分析系统110使用强化学习组件124、物体检测/位置组件126及障碍物检测组件128来处理数据信号404且确定障碍物检测406以及物体检测及位置(例如轨道存在)408。
为解释简单起见，将过程300及过程400作为一系列步骤来描绘及描述。然而，根据本发明的步骤可以各种次序及/或同时地发生。另外，根据本发明的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，并非可需要所有所图解说明步骤来实施根据所揭示标的物的方法。
尽管已结合特定实施例描述了本发明，但应理解，本发明并不限于所揭示的实施例，而是相反地，打算涵盖包含于所附权利要求书的范围内的各种修改形式及等效布置，所述范围将在法律准许的情况下被赋予最宽广解释以便囊括所有此类修改形式及等效结构。

Claims (21)

1.一种用于处理来自移动资产的数据的方法，其包括：
使用位于所述移动资产上的视频分析组件从以下各项中的至少一者接收基于至少一个数据信号的数据：
位于所述移动资产上的至少一个数据源；及
远离所述移动资产的至少一个数据源；
使用所述视频分析组件的强化学习组件来将所述数据处理成经处理数据；
使用所述视频分析组件将所述数据及所述经处理数据中的至少一者发送到位于所述移动资产上的数据记录器；
使用所述数据记录器的数据编码器而基于所述经处理数据来编码包括位流的记录；及
使用所述数据记录器的机载数据管理器将所述数据、所述经处理数据及所述记录中的至少一者以可配置第一预定速率存储于所述数据记录器的至少一个本地存储器组件中。
2.根据权利要求1所述的方法，其中位于所述移动资产上的所述至少一个数据源包含以下各项中的至少一者：移动资产数据组件、至少一个麦克风、至少一个固定相机及至少一个360度相机。
3.根据权利要求2所述的方法，其中从所述移动资产数据组件接收的所述数据包含全球定位系统数据及惯性传感器数据。
4.根据权利要求2所述的方法，其中所述数据包括以下各项中的至少一者：从所述至少一个固定相机及所述至少一个360度相机中的至少一者接收的视频信息，以及从所述至少一个麦克风接收的音频信息。
5.根据权利要求1所述的方法，其中远离所述移动资产的所述至少一个数据源包含以下各项中的至少一者：天气组件、路线、清单及地理信息系统组件以及远程数据存储库。
6.根据权利要求1所述的方法，其进一步包括：
使用所述视频分析组件的物体检测及位置组件基于所述经处理数据而确定第一物体的第一物体检测数据及第一物体位置数据中的至少一者；及
使用所述物体检测及位置组件基于所述第一物体检测数据及所述第一物体位置数据中的至少一者而识别涉及所述移动资产的内部状况。
7.根据权利要求6所述的方法，其进一步包括：
使用所述视频分析组件的障碍物检测组件基于所述经处理数据、所述第一物体检测数据及第一所述物体位置数据中的至少一者而确定障碍物检测数据；及
使用所述障碍物检测组件基于所述障碍物检测数据而识别与所述移动资产有关的外部状况。
8.根据权利要求7所述的方法，其中所述障碍物检测数据是基于以下条件：所述第一物体位置数据及所述第一物体检测数据中的至少一者与第二物体的第二物体位置数据及第二物体检测数据类似。
9.根据权利要求6所述的方法，其中所述内部状况中的至少一者包括所述移动资产的车厢占用率且外部状况包括轨道检测。
10.根据权利要求1所述的方法，其进一步包括：
使用位于所述移动资产上的数字视频记录器从以下各项中的至少一者接收基于至少一个数据信号的多媒体数据：
至少一个360度相机；
至少一个固定相机；及
至少一个麦克风；
使用所述数据记录器来接收所述多媒体数据；
使用所述数据记录器的所述数据编码器而基于所述多媒体数据来编码包括位流的第二记录；及
使用所述数据记录器的所述机载数据管理器将所述多媒体数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。
11.根据权利要求6所述的方法，其进一步包括：
使用所述数据记录器来接收所述内部状况、所述第一物体检测数据及所述第一物体位置数据中的至少一者；
使用所述数据记录器的所述数据编码器而基于所述内部状况、所述第一物体检测数据及所述第一物体位置数据中的所述至少一者来编码包括位流的第二记录；及
使用所述数据记录器的所述机载数据管理器将所述内部状况、所述第一物体检测数据、所述第一物体位置数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。
12.根据权利要求7所述的方法，其进一步包括：
使用所述数据记录器来接收所述外部状况及所述障碍物检测数据中的至少一者；
使用所述数据记录器的所述数据编码器而基于所述外部状况及所述障碍物检测数据中的所述至少一者来编码包括位流的第二记录；及
使用所述数据记录器的所述机载数据管理器将所述外部状况、所述障碍物检测数据及所述第二记录中的至少一者以所述可配置第一预定速率存储于所述数据记录器的所述至少一个本地存储器组件中。
13.根据权利要求1所述的方法，其中所述第一预定速率可配置于零与五分钟之间。
14.根据权利要求1所述的方法，其进一步包括：
使用所述机载数据管理器经由无线数据链路而将所述记录以可配置第二预定速率发送到远程数据管理器，其中所述第二预定速率可配置于零秒与五分钟之间；及
使用所述远程数据管理器将所述记录存储于远程数据存储库中。
15.一种用于分析视频内容的系统，其包括：
至少一个360度相机、至少一个固定相机及至少一个麦克风中的至少一者；
位于移动资产上的视频分析组件，所述视频分析组件包括强化学习组件、物体检测及位置组件以及障碍物检测组件，所述视频分析组件经配置以从所述至少一个360度相机、所述至少一个固定相机及所述至少一个麦克风中的所述至少一者接收基于至少一个数据信号的数据；
所述强化学习组件，其经配置以将所述数据处理成经处理数据；
所述物体检测及位置组件，其经配置以基于所述经处理数据而确定第一物体的物体检测数据及物体位置数据；及
所述障碍物检测组件，其经配置以基于所述经处理数据、所述物体检测信息及所述物体位置信息中的至少一者而确定障碍物检测信息。
16.根据权利要求15所述的系统，其进一步包括：
位于所述移动资产上的数字视频记录器，其经配置以从所述至少一个360度相机、所述至少一个固定相机及所述至少一个麦克风中的所述至少一者接收基于至少一个数据信号的数据；及
位于所述移动资产上的数据记录器，其包括数据解码器、机载数据管理器及至少一个本地存储器组件，所述数据记录器经配置以将所述数据以可配置第一预定速率存储于所述至少一个本地存储器组件中。
17.根据权利要求15所述的系统，其进一步包括：
位于所述移动资产上的交通工具数据组件，其经配置以将全球定位系统数据及惯性传感器数据中的至少一者发送到所述视频分析组件；
天气组件，其经配置以将当前天气信息及所预报天气信息中的至少一者发送到所述视频分析系统；
路线清单及地理信息系统GIS组件，其经配置以将路线信息、组员信息、清单信息及GIS信息中的至少一者发送到所述视频分析组件。
其中所述强化学习组件经配置以使用所述全球定位系统数据、所述惯性传感器数据、所述当前天气信息、所述所预报天气信息、所述路线信息、所述组员信息、所述清单信息及所述GIS信息中的至少一者来将所述数据处理成经处理数据。
18.根据权利要求15所述的系统，其进一步包括：
位于所述移动资产上的数据记录器，其包括至少一个本地存储器组件、机载数据管理器及数据编码器，所述数据记录器经配置以从所述视频分析组件接收所述经处理数据、所述物体检测信息、所述物体位置信息及所述障碍物信息中的至少一者；
所述数据编码器，其经配置以基于所述经处理数据、所述物体检测信息、所述物体位置信息及所述障碍物信息中的至少一者而编码包括位流的记录；及
所述机载数据管理器，其经配置以将所述记录、所述经处理数据、所述物体检测信息、所述物体位置信息及所述障碍物信息中的至少一者以可配置第一预定速率存储于所述至少一个本地存储器组件中。
19.根据权利要求18所述的系统，其进一步包括：
远离所述移动资产的远程数据管理器，所述远程数据管理器经配置以经由无线数据链路而以可配置第二预定速率从所述机载数据管理器接收所述记录，其中所述第二预定速率可配置于零秒与五分钟之间；及
远离所述移动资产的远程数据存储库，所述远程数据存储库经配置以存储从所述远程数据管理器接收的所述记录。
20.根据权利要求19所述的系统，其进一步包括：
远离所述移动资产的数据解码器，所述数据解码器经配置以从所述远程数据存储库接收所述记录且将所述记录解码；及
远离所述移动资产的外部监视组件，所述外部监视组件经配置以识别所述物体检测信息、所述物体位置信息及所述障碍物信息中的至少一者。
21.根据权利要求19所述的系统，其进一步包括：
网络客户端，其包括显示装置；
网络服务器，其与所述网络客户端进行无线通信，所述网络服务器经配置以接收请求，所述请求包括与所述移动资产有关的经指定数据以及经指定视图模式；
定位组件，其与所述网络服务器进行无线通信，所述定位组件经配置以从所述数据解码器接收所述经指定数据且基于由远程用户指定的时间设置及测量单位设置而修改所述经指定数据，所述经指定数据基于所述记录、所述经处理数据、所述物体检测信息、所述物体位置信息及所述障碍物信息中的至少一者；
所述网络服务器，其经配置以接收所述经指定数据；及
所述显示装置，其经配置而以经指定视图来显示所述经指定数据。
CN201780039755.4A 2016-05-16 2017-05-16 用于运输系统的视频内容分析系统及方法 Active CN109476329B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201662337225P 2016-05-16 2016-05-16
US201662337228P 2016-05-16 2016-05-16
US201662337227P 2016-05-16 2016-05-16
US62/337,228 2016-05-16
US62/337,225 2016-05-16
US62/337,227 2016-05-16
US15/595,650 US9934623B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system
US15/595,689 2017-05-15
US15/595,689 US10410441B2 (en) 2016-05-16 2017-05-15 Real-time data acquisition and recording system viewer
US15/595,650 2017-05-15
US15/595,712 US10392038B2 (en) 2016-05-16 2017-05-15 Video content analysis system and method for transportation system
US15/595,712 2017-05-15
PCT/US2017/032971 WO2017201095A1 (en) 2016-05-16 2017-05-16 Video content analysis system and method for transportation system

Publications (2)

Publication Number Publication Date
CN109476329A true CN109476329A (zh) 2019-03-15
CN109476329B CN109476329B (zh) 2021-10-29

Family

ID=60297449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039755.4A Active CN109476329B (zh) 2016-05-16 2017-05-16 用于运输系统的视频内容分析系统及方法

Country Status (12)

Country Link
US (1) US10392038B2 (zh)
EP (1) EP3458991A4 (zh)
JP (2) JP2019527390A (zh)
KR (1) KR102437322B1 (zh)
CN (1) CN109476329B (zh)
AU (2) AU2017268276A1 (zh)
BR (1) BR112018073638A8 (zh)
CA (1) CA3024354C (zh)
CL (1) CL2018003237A1 (zh)
MX (1) MX2018014071A (zh)
WO (1) WO2017201095A1 (zh)
ZA (1) ZA201807686B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170313332A1 (en) * 2002-06-04 2017-11-02 General Electric Company Autonomous vehicle system and method
US10410441B2 (en) * 2016-05-16 2019-09-10 Wi-Tronix, Llc Real-time data acquisition and recording system viewer
US10606767B2 (en) * 2017-05-19 2020-03-31 Samsung Electronics Co., Ltd. Ethernet-attached SSD for automotive applications
CN107886461A (zh) 2017-08-11 2018-04-06 比亚迪股份有限公司 区域限速值的获得方法、装置和终端设备
US11688077B2 (en) * 2017-12-15 2023-06-27 Google Llc Adaptive object tracking policy
CN108214554B (zh) * 2018-02-05 2020-11-24 刘春梅 一种用于轨道交通智能巡检机器人的自检系统
US11106211B2 (en) * 2018-04-02 2021-08-31 Sony Group Corporation Vision-based sample-efficient reinforcement learning framework for autonomous driving
DE102018205917A1 (de) * 2018-04-18 2019-10-24 Siemens Mobility GmbH Vorrichtung zur Vervielfältigung und Sicherung von Daten eines Fahrtenregistriersystems im Schienenverkehr
KR102169211B1 (ko) * 2018-11-15 2020-10-22 한국철도공사 전차 선로의 조류 둥지 자동 검출 장치 및 방법
CN109802964B (zh) * 2019-01-23 2021-09-28 西北大学 一种基于dqn的http自适应流控制能耗优化方法
US11731672B2 (en) * 2019-03-29 2023-08-22 Wi-Tronix, Llc Automated signal compliance monitoring and alerting system
CN110450823B (zh) * 2019-07-22 2021-07-30 北京交大微联科技有限公司 调整列车计划占用的股道的方法、装置及电子设备
CN110609474B (zh) * 2019-09-09 2020-10-02 创新奇智(南京)科技有限公司 一种基于强化学习的数据中心能效优化方法
US11834082B2 (en) * 2019-09-18 2023-12-05 Progress Rail Services Corporation Rail buckle detection and risk prediction
CN113256924A (zh) * 2020-02-12 2021-08-13 中车唐山机车车辆有限公司 一种轨道列车的监控系统，监控方法及监控装置
US20220044183A1 (en) * 2020-08-05 2022-02-10 Wi-Tronix, Llc Engineer recertification assistant
CN115841650B (zh) * 2022-12-05 2023-08-01 北京数原数字化城市研究中心 视觉定位方法、视觉定位装置、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455684A (en) * 1992-09-22 1995-10-03 Sony Corporation Apparatus and method for processing a variable-rate coded signal for recording to provide a high-speed search capability, apparatus and method for reproducing such processed signal, and recording including such processed signal
US5627508A (en) * 1996-05-10 1997-05-06 The United States Of America As Represented By The Secretary Of The Navy Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks
US20030152145A1 (en) * 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
CN101602371A (zh) * 2008-06-12 2009-12-16 阿尔斯通运输公司 用于控制列车的计算机化车载系统
CN204231421U (zh) * 2014-12-01 2015-03-25 徐绍衡 一种船舶、海洋设备、飞行器的离岸工作一体实时数据库信息平台
CN104742936A (zh) * 2015-04-16 2015-07-01 济南轨道交通装备有限责任公司 一种智能化铁路货车
KR20150096203A (ko) * 2014-02-14 2015-08-24 주식회사 시스토 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법
US9285295B2 (en) * 2012-04-13 2016-03-15 Wi-Tronix, Llc Mobile asset data recorder and transmitter

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065321A (en) 1989-06-15 1991-11-12 Pulse Electronics, Inc. Solid state event recorder
US5440336A (en) 1993-07-23 1995-08-08 Electronic Data Systems Corporation System and method for storing and forwarding audio and/or visual information on demand
US5377497A (en) 1993-12-17 1995-01-03 Lennox Industries Inc. Timed-off control apparatus and method
US5638299A (en) 1995-06-22 1997-06-10 Miller; Keith Light weight, self-contained programmable data-acquisition system
US6109532A (en) 1997-04-17 2000-08-29 Dayton-Phoenix Group, Inc. Locomotive cab heating system
US6263268B1 (en) 1997-08-26 2001-07-17 Transcontech Corporation System and method for providing mobile automotive telemetry
JP3327255B2 (ja) * 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US7131136B2 (en) 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US6392692B1 (en) * 1999-02-25 2002-05-21 David A. Monroe Network communication techniques for security surveillance and safety system
US20020026321A1 (en) 1999-02-26 2002-02-28 Sadeg M. Faris Internet-based system and method for fairly and securely enabling timed-constrained competition using globally time-sychronized client subsystems and information servers having microsecond client-event resolution
US6154636A (en) 1999-05-14 2000-11-28 Harris Corporation System and method of providing OOOI times of an aircraft
US6611755B1 (en) 1999-12-19 2003-08-26 Trimble Navigation Ltd. Vehicle tracking, communication and fleet management system
AU2001239823A1 (en) 2000-02-23 2001-09-03 Steve C. Lampe Synchronized global positioning system solution
US6892167B2 (en) 2001-11-28 2005-05-10 Sypris Data Systems, Inc. Real-time data acquisition and storage network
US20040027255A1 (en) 2002-03-01 2004-02-12 Greenbaum Myron H. Wideband avionics data retrieval system
US7761544B2 (en) 2002-03-07 2010-07-20 Nice Systems, Ltd. Method and apparatus for internal and external monitoring of a transportation vehicle
US7359821B1 (en) 2002-06-11 2008-04-15 Injury Sciences Llc Methods and apparatus for using black box data to analyze vehicular accidents
MXPA05002132A (es) 2002-08-26 2005-05-05 Joseph J Mazzilli Sistema de camara de video de uso automotriz.
ITBO20020724A1 (it) 2002-11-15 2004-05-16 L E A T S R L Metodo e sistema per l'acquisizione e la registrazione di dati relativi allo spostamento di un veicolo
US7781172B2 (en) 2003-11-21 2010-08-24 Kimberly-Clark Worldwide, Inc. Method for extending the dynamic detection range of assay devices
US7012520B2 (en) 2003-06-17 2006-03-14 Infraegis, Inc. Global intelligent remote detection system
CA2848016C (en) 2004-01-09 2019-02-19 United Parcel Service Of America, Inc. System, method and apparatus for collecting telematics and sensor information in a delivery vehicle
US9576404B2 (en) 2004-09-16 2017-02-21 Harris Corporation System and method of transmitting data from an aircraft
US7620374B2 (en) 2004-09-16 2009-11-17 Harris Corporation System and method of transmitting data from an aircraft
US8081214B2 (en) 2004-10-12 2011-12-20 Enforcement Video, Llc Method of and system for mobile surveillance and event recording
US8369264B2 (en) 2005-10-28 2013-02-05 Skyhook Wireless, Inc. Method and system for selecting and providing a relevant subset of Wi-Fi location information to a mobile client device so the client device may estimate its position with efficient utilization of resources
WO2006128124A2 (en) 2005-05-27 2006-11-30 Panoptic Systems, Inc. Total awareness surveillance system
US7302323B2 (en) 2005-06-01 2007-11-27 Polar Industries, Inc. Transportation data recording system
US20060276943A1 (en) 2005-06-01 2006-12-07 Polar Industries, Inc. Systems and methods for data processing and control in a transportation system
EP3364626B1 (en) 2005-08-11 2021-07-07 WI-Tronix, LLC Universal event/data recorder system
US8942426B2 (en) 2006-03-02 2015-01-27 Michael Bar-Am On-train rail track monitoring system
US7440848B2 (en) 2006-05-30 2008-10-21 Horizon Marine Methods and systems for integrating environmental data with mobile asset tracking
US7843335B2 (en) 2007-03-13 2010-11-30 Blackbird Technologies, Inc. Mobile asset tracking unit, system and method
US8798148B2 (en) 2007-06-15 2014-08-05 Physical Optics Corporation Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation
WO2009088946A1 (en) 2008-01-03 2009-07-16 Iwapi, Inc. Integrated rail efficiency and safety support system
CA2714362A1 (en) * 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
CA2728105C (en) 2008-06-17 2013-06-18 Weir-Jones Engineering Consultants Ltd. System and method for detecting rock fall
US20100023201A1 (en) 2008-07-24 2010-01-28 David Scott Kinney Method and apparatus for obtaining vehicle data
JP5530146B2 (ja) 2009-09-30 2014-06-25 富士通テン株式会社 データ管理装置、データ読取方法及びプログラム
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
CN102123274B (zh) 2011-03-11 2013-03-13 广州国联通信有限公司 一种具有分散存储功能的车载视频监控系统
US8625878B2 (en) 2011-04-15 2014-01-07 International Business Machines Corporation Method and system of rail component detection using vision technology
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
US9049433B1 (en) 2012-01-06 2015-06-02 John H. Prince High-speed railroad inspection using coordinated 3D cameras
US20150009331A1 (en) * 2012-02-17 2015-01-08 Balaji Venkatraman Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics
IN2012DE00720A (zh) 2012-03-13 2015-08-21 Ge Aviat Systems Llc
US9050984B2 (en) 2012-04-20 2015-06-09 International Business Machines Corporation Anomalous railway component detection
US20130307693A1 (en) 2012-05-20 2013-11-21 Transportation Security Enterprises, Inc. (Tse) System and method for real time data analysis
US9260122B2 (en) 2012-06-06 2016-02-16 International Business Machines Corporation Multisensor evidence integration and optimization in object inspection
US9003052B2 (en) 2012-07-09 2015-04-07 The Boeing Company System and method for air-to-ground data streaming
US20140052315A1 (en) 2012-08-17 2014-02-20 Siemens Industry, Inc. Railway train data recorder with parallel remote online incident data storage
JP2014106685A (ja) * 2012-11-27 2014-06-09 Osaka Univ 車両周辺監視装置
US20140285337A1 (en) 2013-03-21 2014-09-25 Mark Anthony Gebhardt Automobile Alert System for Recording and Communicating Incidents to Remote Monitoring Devices
US9346476B2 (en) 2013-09-27 2016-05-24 Herzog Technologies, Inc. Track-data verification
US20150221141A1 (en) 2014-02-05 2015-08-06 Alfredo Oscar NEGRITTO Flight data recorder with web access in real time
US9260199B2 (en) 2014-02-25 2016-02-16 Honeywell International Inc. Aircraft data processing and transmission system
FR3019414B1 (fr) 2014-03-31 2017-09-08 Sagem Defense Securite Procede de transmission en vol de donnees de type boite noire
US9460566B2 (en) 2014-05-20 2016-10-04 Wabtec Holding Corp. Data recorder system and unit for a vehicle
US9434397B2 (en) 2014-08-05 2016-09-06 Panasec Corporation Positive train control system and apparatus therefor
US9872250B2 (en) 2014-09-04 2018-01-16 The Boeing Company Data acquisition node and method of operating same
US10553120B2 (en) 2014-09-15 2020-02-04 L3 Technologies, Inc. Fail safe aircraft monitoring and tracking
US20150225002A1 (en) 2015-04-22 2015-08-13 Electro-Motive Diesel, Inc. Railway inspection system
US10370102B2 (en) * 2016-05-09 2019-08-06 Coban Technologies, Inc. Systems, apparatuses and methods for unmanned aerial vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455684A (en) * 1992-09-22 1995-10-03 Sony Corporation Apparatus and method for processing a variable-rate coded signal for recording to provide a high-speed search capability, apparatus and method for reproducing such processed signal, and recording including such processed signal
US5627508A (en) * 1996-05-10 1997-05-06 The United States Of America As Represented By The Secretary Of The Navy Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks
US20030152145A1 (en) * 2001-11-15 2003-08-14 Kevin Kawakita Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets
CN101602371A (zh) * 2008-06-12 2009-12-16 阿尔斯通运输公司 用于控制列车的计算机化车载系统
US9285295B2 (en) * 2012-04-13 2016-03-15 Wi-Tronix, Llc Mobile asset data recorder and transmitter
KR20150096203A (ko) * 2014-02-14 2015-08-24 주식회사 시스토 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법
CN204231421U (zh) * 2014-12-01 2015-03-25 徐绍衡 一种船舶、海洋设备、飞行器的离岸工作一体实时数据库信息平台
CN104742936A (zh) * 2015-04-16 2015-07-01 济南轨道交通装备有限责任公司 一种智能化铁路货车

Also Published As

Publication number Publication date
MX2018014071A (es) 2019-09-16
RU2018144311A (ru) 2020-06-17
ZA201807686B (en) 2019-08-28
WO2017201095A1 (en) 2017-11-23
CL2018003237A1 (es) 2019-03-29
BR112018073638A2 (pt) 2019-02-26
CN109476329B (zh) 2021-10-29
JP2019527390A (ja) 2019-09-26
CA3024354A1 (en) 2017-11-23
RU2018144311A3 (zh) 2021-05-21
US10392038B2 (en) 2019-08-27
KR102437322B1 (ko) 2022-08-29
BR112018073638A8 (pt) 2023-01-24
JP2022033946A (ja) 2022-03-02
CA3024354C (en) 2023-09-12
EP3458991A1 (en) 2019-03-27
KR20190013843A (ko) 2019-02-11
AU2017268276A1 (en) 2018-12-06
EP3458991A4 (en) 2020-01-22
AU2022228123A1 (en) 2022-09-29
US20170327138A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
CN109476329A (zh) 用于运输系统的视频内容分析系统及方法
CN113874921B (zh) 自动信号符合监测与警报系统
CN109414991A (zh) 实时数据获取与记录系统
CN109328345A (zh) 实时数据获取与记录系统查看器
CN116547651A (zh) 连接诊断系统及方法
US20220044183A1 (en) Engineer recertification assistant
JP7419266B2 (ja) 実時間データ取得・記録・データ共有システム
RU2786372C2 (ru) Система совместного использования данных для получения и записи данных в реальном времени
RU2812263C2 (ru) Система автоматизированного мониторинга соответствия сигналов и аварийного оповещения
RU2784892C2 (ru) Способ и система анализа видеоконтента для транспортной системы
EP3803607A1 (en) Real-time data acquisition and recording data sharing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40004401

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant