CN116171427A - 工程师再认证助理 - Google Patents

Abstract

一种工程师再认证助理，其利用实时数据获取及记录系统(DARS)、DARS查看器及移动资产的视频分析学系统。DARS包含数据记录器、板载数据管理器及至少一个本地存储器模块。所述视频分析学系统针对关键事件及法规要求基于移动资产的操作者的操作表现处理来自至少一个相机的视频数据及来自所述数据记录器的操作数据。所述经处理视频数据及操作数据与场景、异常及用户评论一起在以网络门户为特征的显示器装置上显示。所述工程师再认证助理可进一步确定基于分数的自动化建议以用于所述移动资产操作者的认证或取消认证，或可因所述移动资产操作者严重不合规而直接认证或取消认证。

Description

工程师再认证助理

相关申请案的交叉参考

本申请案要求2020年8月5日申请的第63/061,548号美国临时申请案的优先权且要求2021年8月4日申请的第17/394,135号美国非临时申请案的优先权，在法律允许的程度上且所述申请案的内容以全文引用方式并入本文中。

如下文展示及描述的本申请案的公开内容可与以下案结合使用：申请人在2012年4月13日申请的第61/624,142号美国临时申请案；申请人在2013年4月12日申请的第13/861,826号美国非临时申请案，现在是在2016年3月15日颁予的第9,285,294号美国专利；申请人在2015年1月29日申请的第14/608,423号美国非临时申请案，现在是在2016年3月15日颁予的第9,285,295号美国专利；申请人在2016年1月15日申请的第14/996,925号美国非临时申请案，现在是在2018年3月13日颁予的第9,915,535号美国专利；申请人在2016年5月16日申请的第62/337,227号美国临时申请案；申请人在2017年5月15日申请的第15/595,650号美国非临时申请案，现在是在2018年4月3日颁予的第9,934,623号美国专利；申请人在2018年2月28日申请的第15/907,486号美国非临时申请案，现在是在2019年10月15日颁予的第10,445,951号美国专利；申请人在2016年5月16日申请的第62/337,225号美国临时申请案；申请人在2017年5月15日申请的第15/595,689号美国非临时申请案，现在是在2019年9月10日颁予的第10,410,441号美国专利；申请人在2019年4月16日申请的共同待决的第16/385,745号美国非临时申请案；申请人在2016年5月16日申请的第62/337,228号美国临时申请案；申请人在2017年5月15日申请的第15/595,712号美国非临时申请案，现在是在2019年8月27日颁予的第10,392,038号美国专利；申请人在2019年3月29日申请的第62/825,943号美国临时申请案；申请人在2019年4月5日申请的第62/829,730号美国临时申请案；及申请人在2020年3月28日申请的共同待决的第16/833,590号美国非临时申请案，所述申请案的内容以其全文引用方式并入本文中。上述申请案中的每一者的全部公开内容以引用方式并入本文中。本文中引述的所有专利申请案、专利及印刷出版物以其全文引用方式并入本文中，除了任何定义、主题免责声明或否认外，且除了在经合并材料与本文中的明确公开内容不一致的程度上，在此情况中，以本公开中的语言为准。

技术领域

本公开涉及用于评定负责高价值移动铁路资产的安全移动的铁路列车操作者或工程师的技能表现的过程的自动化。

背景技术

高价值移动资产(例如机车、飞机、公共交通系统、采矿装备、可运输医疗装备、货物、船舶及军舰)通常利用板载数据获取及记录“黑盒”系统及/或“事件记录器”系统。这些数据获取及记录系统(例如事件数据记录器或飞行数据记录器)记录用于事故调查、机组表现评估、燃油效率分析、维修计划及预测诊断的各种系统参数。典型的数据获取及记录系统包括数字及模拟输入以及压力开关及压力换能器，其记录来自各种板载传感器装置的数据。经记录数据可包含例如速度、行进距离、位置、燃油液面、每分钟引擎转数(RPM)、液位、操作者控制、压力、当前及经预报天气条件及环境条件的参数。除了基本事件及操作数据外，视频及音频事件/数据记录能力也经部署于这些相同移动资产中的许多者上。通常，在发生了涉及资产的事故且需要进行调查之后，一旦恢复了数据记录器，数据就从数据记录器提取。可出现其中数据记录器无法恢复或数据以其它方式不可用的某些情况。在这些情况中，无论是否对数据获取及记录系统进行物理存取或数据是否可用，都需立即需要由数据获取及记录系统获取的数据，例如事件及操作数据、视频数据及音频数据。

发明内容

本公开大体上涉及一种用于高价值移动资产中工程师或操作者的认证或取消认证的工程师再认证助理。本文中的教示可对由实时数据获取及记录系统记录的关于高价值移动资产的数据(例如事件及操作数据、视频数据以及音频数据)提供实时或近实时存取。用于使指定移动资产操作者的表现技能的评定自动化的方法的一个实施方案包含：使用网络门户从用户接收包括所述指定移动资产操作者及指定时间范围的请求；使用数据获取及记录系统接收与所述移动资产操作者及所述指定时间范围相关的数据，所述数据基于来自以下中的至少一者的至少一个信号：移动资产板载的至少一个数据源，所述移动资产板载的所述至少一个数据源包括所述数据获取及记录系统的至少一个相机及至少一个数据记录器中的至少一者；及所述移动资产远端的至少一个数据源；使用视频分析学系统的人工智能组件将所述数据处理成经处理数据；及使用所述网络门户在显示器装置上显示包含至少一个视频的所述经处理数据。

用于使指定移动资产操作者的表现技能的评定自动化的系统的一个实施方案包含：网络门户，其经调适以从用户接收包括移动资产的所述指定移动资产操作者及指定时间范围的请求；所述移动资产板载的数据获取及记录系统，其经调适以接收与所述指定移动资产操作者及所述指定时间范围相关的数据，所述数据基于来自以下中的至少一者的至少一个信号：所述移动资产板载的至少一个数据源，其包括所述数据获取及记录系统的至少一个相机及至少一个数据记录器中的至少一者；及所述移动资产远端的至少一个数据源；视频分析学系统的人工智能组件，其经调适以将所述数据处理成经处理数据；及所述网络门户，其经调适以在显示器装置上显示包含至少一个视频的所述经处理数据。

本公开的这些及其它方面的变化将在此后更详细描述。

附图说明

本文中的描述参考附图，其中相似参考元件符号是指贯穿若干视图的相似部件，且其中：

图1说明根据本公开的实施方案的示范性实时数据获取及记录系统的第一实施例的现场实施方案；

图2说明根据本公开的实施方案的示范性实时数据获取及记录系统的第二实施例的现场实施方案；

图3是根据本公开的实施方案的用于记录来自移动资产的数据及/或信息的过程的流程图；

图4是根据本公开的实施方案的用于在电力中断之后附加来自移动资产的数据及/或信息的过程的流程图；

图5是说明根据本公开的实施方案的经保存到崩溃硬化存储器模块的示范性临时记录块及完整记录块的图；

图6是说明根据本公开的实施方案的在电力中断之前且在电力恢复之后崩溃硬化存储器模块中的示范性临时记录块的图；

图7是说明根据本公开的实施方案的在电力已经恢复之后崩溃硬化存储器模块中的示范性记录片段的图；

图8说明根据本公开的实施方案的实时数据获取及记录系统查看器的第一实施例的现场实施方案；

图9是根据本公开的实施方案的用于记录来自移动资产的视频数据、音频数据及/或信息的过程的流程图；

图10是根据本公开的实施方案的用于记录来自移动资产的视频数据、音频数据及/或信息的过程的流程图；

图11是说明根据本公开的实施方案的实时数据获取及记录系统查看器的360度相机的示范性鱼眼视图的流程图；

图12是说明根据本公开的实施方案的实时数据获取及记录系统查看器的360度相机的示范性全景视图的图；

图13是说明根据本公开的实施方案的实时数据获取及记录系统查看器的360度相机的示范性四视图的图；

图14是说明根据本公开的实施方案的实时数据获取及记录系统查看器的360度相机的示范性去畸变视图的图；

图15说明根据本公开的实施方案的数据获取及记录系统视频内容分析系统的第一实施例的现场实施方案；

图16A是说明根据本公开的实施方案的示范性轨道检测的图；

图16B是说明根据本公开的实施方案的示范性轨道检测及道岔检测的图；

图16C是说明根据本公开的实施方案的示范性轨道检测、对轨道数目进行计数及信号检测的图；

图16D是说明根据本公开的实施方案的示范性交叉及轨道检测的图；

图16E是说明根据本公开的实施方案的示范性双重额外耗用信号检测的图；

图16F是说明根据本公开的实施方案的示范性多轨道检测的图；

图16G是说明根据本公开的实施方案的示范性道岔及轨道检测的图；

图16H是说明根据本公开的实施方案的示范性道岔检测的图；

图17是根据本公开的实施方案的用于确定移动资产的内部状态的过程的流程图；

图18是根据本公开的实施方案的用于确定在移动资产外部发生的对象检测及障碍物检测的过程的流程图；

图19说明根据本公开的实施方案的示范性实时数据获取及记录系统的第七实施例的现场实施方案；

图20是说明根据本公开的实施方案的自动化信号合规监测及警示系统的示范性信号检测的图；

图21是根据本公开的实施方案的用于确定信号合规的过程的第一实施例的流程图；

图22是展示根据本公开的实施方案的数字视频记录器(DVR)视频短片屏幕截图的工程师再认证助理的第一实施例的图；

图23是展示根据本公开的实施方案的用工程师再认证预定义事件(例如信号交叉)增强的现存网页的工程师再认证助理的第一实施例的图；

图24是展示根据本公开的实施方案的屏幕截图及效率的工程师再认证助理的第一实施例的图；

图25是展示根据本公开的实施方案的目标过程的用于评定技能表现的过程的第一实施例的流程图；

图26是展示根据本公开的实施方案的用户选择工程师监测行程的工程师再认证助理的第一实施例的屏幕截图；

图27是展示根据本公开的实施方案的所关注事件的视频的自动下载的工程师再认证助理的第一实施例的屏幕截图；

图28是展示根据本公开的实施方案的描绘用户的工程师评估报告规则部分的多个屏幕截图的工程师再认证助理的第一实施例的图；

图29是展示根据本公开的实施方案的报告产生的工程师再认证助理的第一实施例的屏幕截图；

图30是展示根据本公开的实施方案的工程师评估报告及操作者记分卡的工程师再认证助理的第一实施例的图；

图31是展示根据本公开的实施方案的列车通过路旁信号的经下载视频、缩略图及图标的现场演示的工程师再认证助理的第一实施例的屏幕截图；

图32是展示根据本公开的实施方案的道路工程师领班(RFE)用户决定用户想要在DVR视频下载网页上评估工程师的资产及时间范围的工程师再认证助理的第一实施例的屏幕截图；

图33是根据本公开的实施方案的用于评定技能表现的过程的第一实施例的流程图；

图34是展示根据本公开的实施方案的具有冲击检测系统的紧急制动器的操作的流程图；

图35是展示使用本发明的基于加速度计的俯仰及滚转进行燃油补偿的操作的流程图；

图36是展示使用本发明的加速度计进行潜在粗略操作条件检测的操作的流程图；

图37是展示使用本发明的加速度计进行引擎运行检测系统的操作的流程图；

图38是展示本发明的惯性导航及航位推测系统的操作的流程图；及

图39是展示根据本公开的实施方案的展示组件的移动资产数据记录器及传输器系统的第一实施例的图。

具体实施方式

本文中描述的实时数据获取及记录系统的第一实施例向远程定位用户(例如资产所有者、操作者及调查员)提供对与高价值资产相关的广泛范围的数据(例如事件及操作数据、视频数据及音频数据)的实时或近实时存取。数据获取及记录系统经由数据记录器记录与资产相关的数据，且在发生事故之前、期间及之后将所述数据流式传输到远程数据储存库及远程定位用户。数据被实时或近实时地流式传输到远程数据储存库，从而使信息可用至少一直到事故或紧急情况之时，借此在实际上消除对定位及下载“黑盒”以便调查涉及资产的事故的需要，且消除关于资产与数据记录器交互以请求下载特定数据、定位及传送文件及使用自定义应用查看数据的需要。本公开的系统保留典型记录能力且添加在事故之前、期间及之后将数据流式传输到远程数据储存库及远程终端用户的能力。在绝大多数情况中，由于数据已被获取且存储于远程数据储存库中，因此记录于数据记录器中的信息是冗余的且是不需要的。

在本公开的系统之前，数据在事故已经发生且需要进行调查之后从“黑盒”或“事件记录器”提取。含有由“黑盒”记录的时间片段的数据文件必须从“黑盒”下载及检索，及接着，由用户用专用软件进行查看。用户将必须获得对资产的物理或远程存取、选择要从“黑盒”下载的所期望数据、将含有所期望信息的文件下载到计算装置及使用在计算装置上操作的自定义应用定位具有所期望数据的适当文件。本公开的系统消除了对用户执行这些步骤的需要，从而要求用户使用常见网络浏览器来导航到所期望数据。远程定位用户可存取常见网络浏览器以导航到与所选择的资产相关的所期望数据以实时或近实时地查看及分析资产的操作效率及安全性。

远程定位用户(例如资产所有者、操作者及/或调查员)可存取常见网络浏览器以导航到与所选择的资产相关的实时及/或历史所期望数据以实时或近实时地查看及分析资产的操作效率及安全性。实时或近实时地查看操作的能力实现对行为的迅速评估及调整。在事故期间，例如，实时信息及/或数据可促进对情况进行分类及向第一响应者提供有价值信息。在正常操作期间，例如，近实时信息及/或数据可用于审计机组表现及帮助全网络态势感知。

数据可包含(但不限于)：模拟及频率参数，例如源自资产及/或附近资产的速度、压力、温度、电流、电压及加速度；布尔数据，例如道岔位置、致动器位置、警告灯照明及致动器命令；全球定位系统(GPS)数据及/或地理信息系统(GIS)数据，例如位置、速度及海拔；内部产生的信息，例如给定其当前位置的资产的监管速度限制；来自定位于资产中、上或附近的各个位置处的相机的视频及图像信息；来自定位于资产中、上或附近的各个位置处的麦克风的音频信息；从数据中心发送到资产的关于资产的操作计划的信息，例如路线、调度及货物清单信息；关于资产当前正在其中操作或计划要在其中操作的区域的环境条件的信息，包含当前及经预报天气条件；由系统(例如机车中的主动列车控制(PTC))产生的资产控制状态及操作数据；及从来自包含(但不限于)额外数据、视频及音频分析及分析学的上述内容中的任何者的组合导出的数据。

图1及2分别说明本公开的方面可在其中实施的示范性实时数据获取及记录系统(DARS)100、200的第一实施例及第二实施例的现场实施方案。DARS 100、200是将实时信息从数据记录装置递送到远程定位终端用户的系统。DARS 100、200包含数据记录器154、254，其安装于车辆或移动资产148、248上且经由DARS 100、200的数据中心150、250经由数据链路(例如无线数据链路146)通过板载有线及/或无线数据链路170、270(例如无线网关/路由器)或板外信息源的任何组合与任何数目个各种信息源通信。数据记录器154、254包括板载数据管理器120、220、数据编码器122、222、车辆事件检测器156、256、排队储存库158、258及无线网关/路由器172、272。另外，在此实施方案中，数据记录器154、254可包含崩溃硬化存储器模块118、218及/或具有或不具有以太网供电(POE)的以太网交换机162、262。示范性硬化存储器模块118、218可为：(例如)防撞事件记录器存储器模块，其符合联邦法规及/或联邦铁路管理局法规；崩溃可生存存储器单元，其符合联邦法规及/或联邦航空管理局法规；崩溃硬化存储器模块，其符合任何可适用联邦法规；或如所属领域中已知的任何其它合适硬化存储器装置。在图2中展示的第二实施例中，数据记录器254可进一步包含任选非崩溃硬化可装卸存储装置219。

有线及/或无线数据链路170、270可包含离散信号输入、标准或专用以太网、串行连接及无线连接中的任一者或组合。以太网连接装置可利用数据记录器154、254的以太网交换机162、262且可利用POE。以太网交换机162、262可在内部或外部且可支持POE。另外，来自远程数据源(例如图1及2的实施方案中的地图组件164、264、路线/机组清单组件124、224及天气组件126、226)的数据从数据中心150、250通过无线数据链路146、246及无线网关/路由器172、272可用于板载数据管理器120、220及车辆事件检测器156、256。

数据记录器154、254通过板载数据链路170、270从各种各样的源(其可基于资产的配置而有很大差异)搜集数据或信息。数据编码器122、222编码通常由监管机构定义的至少最少一组数据。在此实施方案中，数据编码器122、222从各种各样的资产148、248源及数据中心150、250源接收数据。信息源可包含资产148、248中的任何数目个组件，例如以下中的任何者：模拟输入102、202、数字输入104、204、I/O模块106、206、车辆控制器108、208、引擎控制器110、210、惯性传感器112、212、全球定位系统(GPS)114、214、相机116、216、主动列车控制(PTC)/信号数据166、266、燃油数据168、268、蜂窝传输检测器(未展示)、内部驱动数据及任何额外数据信号以及数据中心150、250中的任何数目个组件，例如路线/机组清单组件124、224、天气组件126、226、地图组件164、264及任何额外数据信号中的任何者。数据编码器122、222压缩或编码数据且使所述数据时间同步以便促进到远程数据储存库130、230的有效实时传输及复制。数据编码器122、222将经编码数据传输到板载数据管理器120、220，接着，板载数据管理器120、220将经编码数据保存于崩溃硬化存储器模块118、218及排队储存库158、258中，以用于经由定位于数据中心150、250中的远程数据管理器132、232复制到远程数据储存库130、230。任选地，板载数据管理器120、220可将经编码数据的第三副本保存于图2中展示的第二实施例的非崩溃硬化可装卸存储装置219中。板载数据管理器120、220及远程数据管理器132、232齐心协力地工作以管理数据复制过程。数据中心150、250中的单个远程数据管理器132、232可管理来自多个资产148、248的数据的复制。

来自各种输入组件的数据及来自驾驶室内音频/图形用户接口(GUI)160、260的数据发送到车辆事件检测器156、256。车辆事件检测器156、256处理数据以确定是否发生了涉及资产148、248的事件、事故或其它预定义情况。当车辆事件检测器156、256检测到指示所发生的预定义事件的信号时，车辆事件检测器156、256将预定义事件发生的经处理数据与围绕预定义事件的支持数据一起发送到板载数据管理器120、220。车辆事件检测器156、256基于来自各种各样的源(例如模拟输入102、202、数字输入104、204、I/O模块106、206、车辆控制器108、208、引擎控制器110、210、惯性传感器112、212、GPS 114、214、相机116、216、路线/机组清单组件124、224、天气组件126、226、地图组件164、264、PTC/信号数据166、266及燃油数据168、268，其可基于资产的配置而异)的数据检测事件。当车辆事件检测器156、256检测到事件时，检测到的资产事件信息经存储于排队储存库158、258中且可任选地经由驾驶室内音频/图形用户接口(GUI)160、260被呈现给资产148、248的机组。

板载数据管理器120、220还将数据发送到排队储存库158。在近实时模式中，板载数据管理器120、220将从数据编码器122、222接收的经编码数据及任何事件信息存储于崩溃硬化存储器模块118、218中及排队储存库158、258中。在图2的第二实施例中，板载数据管理器220可任选地将经编码数据存储于非崩溃硬化可装卸存储装置219中。在五分钟的经编码数据已积累于排队储存库158、258中之后，板载数据管理器120、220经由通过无线网关/路由器172、272接入的无线数据链路146、246经由数据中心150、250中的远程数据管理器132、232将五分钟的经编码数据存储到远程数据储存库130、230。在实时模式中，板载数据管理器120、220将从数据编码器122、222接收的经编码数据及任何事件信息存储到崩溃硬化存储器模块118、218，且任选地存储于图2的非崩溃硬化可装卸存储装置219中，且经由通过无线网关/路由器172、272接入的无线数据链路146、246经由数据中心150、250中的远程数据管理器132、232存储到远程数据储存库130、230。板载数据管理器120、220及远程数据管理器132、232可经由各种无线通信链路(例如利用无线网关/路由器172、272的Wi-Fi、蜂窝、卫星及私有无线系统)通信。无线数据链路146、246可为例如将数据从DARS 100、200的数据记录器154、254传送到(在此实例中)DARS 100、200的远程数据管理器130、230的无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、私有无线系统、蜂窝电话网络或任何其它构件。当无线数据连接不可用时，数据被存储于存储器中且排队于排队储存库158、258中直到无线连接性恢复且数据复制过程可继续。

数据记录器154、254与数据记录并行地连续且自主地将数据复制到远程数据储存库130、230。复制过程具有两种模式-实时模式及近实时模式。在实时模式中，数据每秒被复制到远程数据储存库130、230。在近实时模式中，数据每五分钟被复制到远程数据储存库130、230。用于近实时模式及实时模式的速率是可配置的，且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据储存库130、230来支持高分辨率数据。当DARS 100、200处于近实时模式中时，板载数据管理器120、220在将数据复制到远程数据管理器132、232之前将数据排队于排队储存库158、258中。板载数据管理器120、220还将排队于排队储存库158、258中的车辆事件检测器信息复制到远程数据管理器132、232。近实时模式在多数条件下在正常操作期间使用，以便改进数据复制过程的效率。

实时模式可基于发生的且由资产148、248板载的车辆事件检测器156、256检测到的事件或通过从数据中心150、250启动的请求启动。典型数据中心150、250启动的对实时模式的请求是在远程定位用户152、252已从网络客户端142、242请求实时信息时启动。资产148、248板载的实时模式起源的典型原因是由车辆事件检测器156、256检测到事件或事故，例如操作者启动紧急停止请求、紧急制动活动、在任何轴上迅速加速或减速或输入到数据记录器154、254的功率的损耗。当从近实时模式转变到实时模式时，尚未复制到远程数据储存库130、230的所有数据都被复制且存储于远程数据储存库130、230中，及接着，启动现场复制。近实时模式与实时模式之间的转变通常在少于五秒内发生。在自事件或事故、预定不活动时间量以来经过了预定时间量之后，或当用户152、252不再期望来自资产148、248的实时信息时，数据记录器154、254恢复到近实时模式。启动转变所需的预定时间量是可配置的且通常被设置为十分钟。

当数据记录器154、254处于实时模式中时，板载数据管理器120、220尝试连续将其队列清空到远程数据管理器132、232，从而将数据存储到崩溃硬化存储器模块118、218且任选地到图2的非崩溃硬化可装卸存储装置219，且同时将数据发送到远程数据管理器132、232。板载数据管理器120、220还将排队于排队储存库158、258中的检测到的车辆信息发送到远程数据管理器132、232。

在接收到要从数据记录器154、254复制的数据以及来自地图组件164、264、路线/机组清单组件124、224及天气组件126、226的数据之后，远程数据管理器132、232将经压缩数据存储到DARS 100、200的数据中心150、250中的远程数据储存库130、230。远程数据储存库130、230可为例如基于云的数据存储装置或任何其它合适远程数据存储装置。当接收到数据时，启动过程，其致使数据解码器136、236解码用于/来自远程数据储存库130、230的最近复制的数据及将经解码数据发送到远程事件检测器134、234。远程数据管理器132、232将车辆事件信息存储于远程数据储存库130、230中。当远程事件检测器134、234接收到经解码数据时，其处理经解码数据以确定在经解码数据中是否找到所关注事件。接着，经解码信息由远程事件检测器134、234用于检测数据中资产148、248发生的事件、事故或其它预定义情况。在从经解码数据检测到所关注事件之后，远程事件检测器134、234将事件信息及支持数据存储于远程数据储存库130、230中。当远程数据管理器132、232接收到远程事件检测器134、234信息时，远程数据管理器132、232将信息存储于远程数据储存库130、230中。

远程定位用户152、252可使用标准网络客户端142、242(例如网络浏览器)或虚拟现实装置(未展示)存取与特定资产148、248或多个资产相关的信息，包含车辆事件检测器信息，在此实施方案中，所述虚拟现实装置可显示来自所选择的相机的缩略图图像。网络客户端142、242使用常见网络标准、协议及技术通过网络144、244将用户152、252对信息的请求传递到网络服务器140、240。网络144、244可为例如因特网。网络144、244还可为将数据从网络服务器140、240传送到(在此实例中)网络客户端142、242的局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟私有网络(VPN)、蜂窝电话网络或任何其它构件。网络服务器140、240从数据解码器136、236请求所期望数据。数据解码器136、236在来自网络服务器140、240的请求之后从远程数据储存库130、230获得与特定资产148、248或多个资产相关的所请求数据。数据解码器136、236解码所请求数据及将经解码数据发送到定位器138、238。本地化是将数据转换成由终端用户期望的格式的过程，例如将数据转换成用户偏好的语言及测量单位。定位器138、238通过存取网络客户端142、242来识别由用户152、252设置的配置文件设置，及使用配置文件设置来准备发送到网络客户端142、242的信息以用于呈现给用户152、252，这是因为原始经编码数据及检测到的事件信息是使用协调的通用时间(UTC)及国际单位制(SI单位)保存到远程数据储存库130、230。定位器138、238将经解码数据转换成由用户152、252期望的格式，例如用户152、252偏好的语言及测量单位。定位器138、238如请求般将呈用户152、252偏好的格式的本地化数据发送到网络服务器140、240。接着，网络服务器140、240将资产或多个资产的本地化数据发送到网络客户端142、242以供查看及分析、提供标准视频及360度视频的播放及实时显示。网络客户端142、242可显示且用户152、252可查看单个资产的数据、视频及音频或同时查看多个资产的数据、视频及音频。网络客户端142、242还可提供数据以及来自资产、附近资产及/或远程定位位点上、中或附近的标准及360度视频源两者的多个视频及音频数据的同步播放及实时显示。

图3是展示根据本公开的实施方案的用于记录来自资产148、248的数据及/或信息的过程300的流程图。数据记录器154、254从包含来自资产148、248及数据中心150、250的物理或计算得到的数据元素(例如速度、纬度坐标、经度坐标、喇叭检测、油门位置、天气数据、地图数据及/或路线及/或机组数据)的各种输入组件接收数据信号302。数据编码器122、222创建包含用于配置及记录数据信号信息的一系列结构化位的记录304。接着，经编码记录发送到板载数据管理器120、220，板载数据管理器120、220按时间顺序将一系列记录循序地组合成包含高达五分钟的数据的记录块306。临时记录块包含少于五分钟的数据，而完整记录块包含完整五分钟的数据。每一记录块包含完全解码所包含信号所需的所有数据，包含数据完整性检查。记录块至少必须以开始记录开始且以结束记录结束。

为了确保所有经编码信号数据都保存到崩溃硬化存储器模块118且任选地到图2的非崩溃硬化可装卸存储装置219，如果数据记录器154、254损耗电力或由于碰撞或其它灾难性事件而经受极限温度或机械应力，那么板载数据管理器120、220以预定速率将临时记录块存储于崩溃硬化存储器模块118中308，及任选地存储于图2的非崩溃硬化可装卸存储装置219中，其中预定速率是可配置及/或可变的，如图5中以示范性表示展示。临时记录块每秒被保存至少一次，但还可如每十分之一秒一次那么频繁地保存。临时记录块被保存的速率取决于每一信号的取样速率。每个临时记录块包含自最后完整记录块以来的一组完整记录。当记录每一临时记录块以防止多于一秒的数据在数据记录器154、254在将数据存储到崩溃硬化存储器模块118、218或图2的数据记录器254的任选非崩溃硬化可装卸存储装置219时失去电力时损坏或丢失时，数据记录器154、254可在崩溃硬化存储器模块118、218中及任选地图2的非崩溃硬化可装卸存储装置219中的两个临时存储位置之间交替。每当新临时记录块被保存到临时崩溃硬化存储器位置时，其都将盖写那个位置中的现存先前存储的临时记录块。

在此实施方案中，每隔五分钟，当数据记录器154、254处于近实时模式中时，板载数据管理器120、220将包含最后五分钟的经编码信号数据的完整记录块存储到图7中展示的崩溃硬化存储器模块118、218中的记录片段中，及将完整记录块的副本发送到远程数据管理器132、232以存储于远程数据储存库130、230中达预定保留周期，例如两年310。图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219存储最近记录块的记录片段达规定的存储持续时间，在此实施方案中，其是联邦规定的数据记录器154、254必须将操作及/或视频数据存储于具有额外24小时缓冲器的崩溃硬化存储器模块118、218中及接着被盖写的持续时间。

图4是根据本公开的实施方案的用于在电力中断之后附加来自资产148、248的数据及/或信息的过程400的流程图。一旦电力恢复，数据记录器154、254识别存储于两个临时崩溃硬化存储器位置中的一者中的最后临时记录块402，及使用32位循环冗余校验确认包含于每个记录块的末尾记录中的最后临时记录块404。接着，经确认临时记录块被附加到崩溃硬化存储器记录片段，且可在功率损耗之前包含高达五分钟的数据的那个记录片段被发送到远程数据管理器132、232以被存储达保留周期406。经编码信号数据经存储到图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219，处于规定存储持续时间的环形缓冲器中。由于崩溃硬化存储器记录片段被拆分成多个记录块，因此数据记录器154、254在必要时移除较旧记录块以每当完整记录块被保存到图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219时释放存储器空间。

图6是说明功率损耗之前且在到数据记录器154、254的功率恢复之后的示范性临时记录块的图。当在(2/1/2016 10:10:08AM)602时存储于临时位置2中的临时记录块有效时，那个临时记录块被附加到图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219中的记录片段702(图7)，如图7中展示。当在(2/1/201610:10:08AM)时存储于临时位置2中的临时记录块无效时，在(2/1/201610:10:07AM)时临时位置1中的临时记录块被确认且如果有效那么被附加到图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219中的记录片段。

每当任何记录块需要被保存于图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219中时，记录片段被立即刷新到磁盘。由于数据记录器154、254在保存临时记录块时在两个不同临时存储位置之间交替，因此总是有不会被修改或刷新到崩溃硬化存储器或非崩溃硬化可装卸存储装置的一个临时存储位置，借此确保存储于临时存储位置中的两个临时记录块中的至少一者有效且每当数据记录器154、254失去电力时数据记录器154、254最多不会丢失超过一秒的数据。类似地，当数据记录器154、254正将数据写入到图2的数据记录器254的崩溃硬化存储器模块118、218及/或任选非崩溃硬化可装卸存储装置219时，每十分之一秒，每当数据记录器154、254失去电力时，数据记录器154、254最多不会丢失超过十分之一秒的数据。

为了简单地解释，将过程300及过程400描绘及描述为一系列步骤。然而，根据本公开的步骤可按各种顺序及/或并行发生。另外，根据本公开的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，可能并不需要所说明的所有步骤来实施根据所公开主题的方法。

本文中描述的实时数据获取及记录系统及查看器的第三实施例向远程定位用户(例如资产所有者、操作者及调查员)提供对高价值资产的广泛范围的数据(例如事件及操作数据、视频数据及音频数据)的实时或近实时存取。数据获取及记录系统经由数据记录器记录与资产相关的数据，及在发生事故之前、期间及之后将所述数据流式传输到远程数据储存库及远程定位用户。数据被实时或近实时地流式传输到远程数据储存库，从而使信息可用至少一直到事故或紧急情况之时，借此在实际上消除对定位及下载“黑盒”以便调查涉及资产的事故的需要，且消除关于资产与数据记录器交互以请求下载特定数据、定位及传送文件及使用自定义应用查看数据的需要。本公开的系统保留典型记录能力且添加在事故之前、期间及之后将数据流式传输到远程数据储存库及远程终端用户的能力。在绝大多数情况中，由于数据已被获取且存储于远程数据储存库中，因此记录于数据记录器中的信息是冗余的且是不需要的。

在本公开的系统之前，数据在事故已经发生且需要进行调查之后从“黑盒”或“事件记录器”提取。含有由“黑盒”记录的时间片段的数据文件必须从“黑盒”下载及检索，及接着，由用户用专用软件进行查看。用户将必须获得对资产的物理或远程存取、选择要从“黑盒”下载的所期望数据、将含有所期望信息的文件下载到计算装置及使用在计算装置上操作的自定义应用定位具有所期望数据的适当文件。本公开的系统消除了对用户执行这些步骤的需要，从而要求用户使用常见网络浏览器来导航到所期望数据。远程定位用户可存取常见网络浏览器以导航到与所选择的资产相关的所期望数据以实时或近实时地查看及分析资产的操作效率及安全性。

远程定位用户(例如资产所有者、操作者及/或调查员)可存取常见网络浏览器以导航到与所选择的资产相关的实时及/或历史所期望数据以实时或近实时地查看及分析资产的操作效率及安全性。实时或近实时地查看操作的能力实现对行为的迅速评估及调整。在事故期间，例如，实时信息及/或数据可促进对情况进行分类及向第一响应者提供有价值信息。在正常操作期间，例如，近实时信息及/或数据可用于审计机组表现及帮助全网络态势感知。

第三实施例的实时数据获取及记录系统使用移动资产中、上或附近的图像测量装置、视频测量装置及范围测量装置中的至少一者或任何组合作为数据获取及记录系统的部分。图像测量装置及/或视频测量装置包含(但不限于)360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机及/或其它相机。范围测量装置包含(但不限于)雷达及光检测及测距(“LIDAR”)。LIDAR是一种通过用脉冲激光照明目标及用传感器测量经反射脉冲来测量与目标相距的距离的调查方法。在本公开的系统之前，“黑盒”及/或“事件记录器”不包含移动资产中、上或附近的360度相机或其它相机。本公开的系统使用360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机作为数据获取及记录系统的部分添加使用及记录视频的能力，从而在涉及移动资产的事故发生之前、期间及之后将移动资产中、上或附近的360度视图、窄视图、广视图、鱼眼视图及/或其它视图提供到远程数据储存库及远程用户及调查员。实时或近实时地查看操作、360度视频及/或其它视频的能力实现对机组行为的迅速评估及调整。所有者、操作者及调查员可查看及分析人、车辆及基础设施的操作效率、安全性且可调查或检验事故。查看来自移动资产的360度视频及/或其它视频的能力实现对机组行为的迅速评估及调整。在事故期间，例如，360度视频及/或其它视频可促进对情况进行分类及向第一响应者及调查员提供有价值信息。在正常操作期间，例如，360度视频及/或其它视频可用于审计机组表现及帮助全网络态势感知。360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机提供情况的完整图片以为执法及/或铁路警察提供监控视频、检验关键基础设施、监测铁路交叉口、查看轨道工作进度、驾驶室及货场两者内的机组审核及实时远程监控。

先前系统要求用户下载含有时间片段的视频文件以便使用专用软件应用程序或其它外部视频播放应用程序查看视频文件。本公开的数据获取及记录系统提供可通过使用虚拟现实装置及/或通过标准网络客户端显示给远程用户的360度视频、其它视频、图像信息及音频信息及范围测量信息，借此消除对下载及使用外部应用程序来观看视频的需要。另外，远程定位用户可在各种模式中通过使用虚拟现实装置或通过标准网络客户端(例如网络浏览器)查看360度视频及/或其它视频，借此消除对下载及使用外部应用程序来观看视频的需要。先前视频系统要求用户下载含有仅可使用用户必须单独购买的专用应用软件或其它外部视频播放应用程序查看的数据的时间片段的视频文件。

数据可包含(但不限于)来自定位于资产中、上或附近的各个位置处的相机的视频及图像信息及来自定位于资产中、上或附近的各个位置处的麦克风的音频信息。360度相机是提供360度球形视野、360度半球形视野及/或360度鱼眼视野的相机。使用资产中、上或附近的360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机及/或其它相机提供使用360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机及/或其它相机作为DARS的部分来使用及记录视频的能力，借此使资产中、上或附近的360度视图及/或其它视图在事故之前、期间及之后可用于远程数据储存库、远程定位用户及调查员。

图8说明本公开的方面可在其中实施的示范性实时数据获取及记录系统(DARS)800的第三实施例的现场实施方案。DARS 800是经由数据中心832将实时信息、视频信息及音频信息从移动资产830上的数据记录器808递送到远程定位终端用户的系统。数据记录器808安装于车辆或移动资产830上且通过有线及/或无线数据链路(例如无线网关/路由器(未展示))的任何组合与任何数目个各种信息源通信。数据记录器808包括崩溃硬化存储器模块810、板载数据管理器812及数据编码器814。在第四实施例中，数据记录器808还可包含非崩溃硬化可装卸存储装置(未展示)。示范性硬化存储器模块810可为：(例如)防撞事件记录器存储器模块，其符合联邦法规及/或联邦铁路管理局法规；崩溃可生存存储器单元，其符合联邦法规及/或联邦航空管理局法规；崩溃硬化存储器模块，其符合任何可适用联邦法规；或如所属领域中已知的任何其它合适硬化存储器装置。有线及/或无线数据链路可包含离散信号输入、标准或专用以太网、串行连接及无线连接中的任一者或组合。

数据记录器808通过板载数据链路从各种各样的源(其可基于资产的配置而异)搜集视频数据、音频数据及其它数据及/或信息。在此实施方案中，数据记录器808从连续记录来自经放置于资产830中、上或附近的360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机802及固定相机806的视频数据及音频数据的视频管理系统804接收数据，且视频管理系统804将视频及音频数据存储到崩溃硬化存储器模块810，且还可将视频及音频数据存储于第四实施例的非崩溃硬化可装卸存储装置中。视频数据的不同版本使用不同位率或空间分辨率创建，且这些版本经分离成可变长度的片段，例如缩略图、五分钟低分辨率片段及五分钟高分辨率片段。

数据编码器814编码通常由监管机构定义的至少最少一组数据。数据编码器814从视频管理系统804接收视频及音频数据，且压缩或编码数据且使所述数据时间同步以便促进到远程数据储存库820的有效实时传输及复制。数据编码器814将经编码数据传输到板载数据管理器812，接着，板载数据管理器812响应于由远程定位用户834作出的按需请求或响应于观察到资产830板载的某些操作条件经由定位于数据中心830中的远程数据管理器818将经编码视频及音频数据发送到远程数据储存库820。板载数据管理器812及远程数据管理器818齐心协力地工作以管理数据复制过程。数据中心832中的远程数据管理器818可管理来自多个资产的数据的复制。存储于远程数据储存库820中的视频及音频数据可用于网络服务器822以供远程定位用户834存取。

板载数据管理器812还将数据发送到排队储存库(未展示)。板载数据管理器812通过视频管理系统804监测存储于崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中的视频及音频数据且确定其是处于近实时模式还是实时模式。在近实时模式中，板载数据管理器812将从数据编码器814接收的经编码数据(包含视频数据、音频数据及任何其它数据或信息)及任何事件信息存储于崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中及排队储存库中。在五分钟的经编码数据已积累于排队储存库中之后，板载数据管理器812通过无线数据链路816经由数据中心832中的远程数据管理器818将五分钟的经编码数据存储到远程数据储存库820。在实时模式中，板载数据管理器812每可配置预定时间段(例如每秒或每0.10秒)通过无线数据链路816经由数据中心832中的远程数据管理器818将从数据编码器814接收的经编码数据(包含视频数据、音频数据及任何其它数据或信息)及任何事件信息存储到远程数据储存库820。板载数据管理器812及远程数据管理器818可经由各种无线通信链路通信。无线数据链路816可为例如将数据从数据记录器808传送到(在此实例中)远程数据管理器818的无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、私有无线系统、蜂窝电话网络或任何其它构件。从资产830远程发送及检索视频数据及音频数据的过程要求资产830与数据中心832之间有无线数据连接。当无线数据连接不可用时，数据被存储且排队于崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中，直到无线连接性恢复。无线连接性一恢复，视频、音频及任何其它额外数据检索过程就继续。

数据记录器808与数据记录并行地连续且自主地将数据复制到远程数据储存库820。复制过程具有两种模式-实时模式及近实时模式。在实时模式中，数据每秒被复制到远程数据储存库820。在近实时模式中，数据每五分钟被复制到远程数据储存库820。用于近实时模式及实时模式的速率是可配置的，且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据储存库820来支持高分辨率数据。近实时模式在多数条件下在正常操作期间使用，以便改进数据复制过程的效率。

实时模式可基于资产830板载的事件发生或通过从数据中心832启动的请求启动。典型数据中心832启动的对实时模式的请求在远程定位用户834已从网络客户端826请求实时信息时启动。资产830板载的实时模式起源的典型原因是检测到事件或事故，例如操作者启动紧急停止请求、紧急制动活动、在任何轴上迅速加速或减速或输入到数据记录器808的功率的损耗。当从近实时模式转变到实时模式时，尚未复制到远程数据储存库820的所有数据都被复制且存储于远程数据储存库820中，及接着，启动现场复制。近实时模式与实时模式之间的转变通常在少于五秒内发生。在自事件或事故、预定不活动时间量以来经过了预定时间量之后，或当用户834不再期望来自资产830的实时信息时，数据记录器808恢复到近实时模式。启动转变所需的预定时间量是可配置的且通常被设置为十分钟。

当数据记录器808处于实时模式中时，板载数据管理器812尝试连续将其队列清空到远程数据管理器818，从而将数据存储到崩溃硬化存储器模块810及第四实施例的任选非崩溃硬化可装卸存储装置，且同时将数据发送到远程数据管理器818。

在接收要从数据记录器808复制的视频数据、音频数据及任何其它数据或信息之后，远程数据管理器818将数据存储到数据中心830中的远程数据储存库820。远程数据储存库820可为例如基于云的数据存储装置或任何其它合适远程数据存储装置。当接收到数据时，启动过程，其致使数据解码器(未展示)解码来自远程数据储存库820的最近复制的数据及将经解码数据发送到远程事件检测器(未展示)。远程数据管理器818将车辆事件信息存储于远程数据储存库820中。当远程事件检测器接收到经解码数据时，其处理经解码数据以确定在经解码数据中是否找到所关注事件。接着，经解码信息由远程事件检测器用于检测数据中资产830发生的事件、事故或其它预定义情况。在从先前存储于远程数据储存库820中的经解码数据检测到所关注事件之后，远程事件检测器将事件信息及支持数据存储于远程数据储存库820中。

视频数据、音频数据及任何其它数据或信息响应于由用户834作出的按需请求可用于用户834及/或响应于观察到资产830板载的某些操作条件由板载数据管理器812发送到远程数据储存库820。存储于远程数据储存库820中的视频数据、音频数据及任何其它数据或信息可用于网络服务器822上以供用户834存取。远程定位用户834可使用标准网络客户端826(例如网络浏览器)或虚拟现实装置828(在此实施方案中，其可显示所选择的相机的缩略图图像)存取与特定资产830或多个资产相关的存储于远程数据储存库820中的视频数据、音频数据及任何其它数据或信息。网络客户端826使用常见网络标准协议及技术通过网络824将用户834对视频、音频及/或其它信息的请求传递到网络服务器822。网络824可为例如因特网。网络824还可为将数据从网络服务器822传送到(在此实例中)网络客户端826的局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟私有网络(VPN)、蜂窝电话网络或任何其它构件。网络服务器822从远程数据储存库820请求所期望数据。接着，网络服务器822将所请求数据发送到提供标准视频、360度视频及/或其它视频的播放及实时显示的网络客户端826。网络客户端826为可与360度视频数据及/或其它视频数据及/或静止图像数据交互的用户834播放视频数据、音频数据及任何其它数据或信息以供查看及分析。用户834还可使用网络客户端826下载视频数据、音频数据及任何其它数据或信息，及接着，可使用虚拟现实装置828与360度视频数据交互以供查看及分析。

网络客户端826可用提供360度视频及/或其它视频在各种不同模式中的播放的软件应用程序增强。用户834可选择其中软件应用程序呈现视频播放(例如(举例来说)如图11中展示的鱼眼视图、如图12中展示的全景视图、双全景视图(未展示)、如图13中展示的四视图及如图14中展示的去畸变视图)的模式。

图9是根据本公开的实施方案的用于记录来自资产830的视频数据、音频数据及/或信息的过程840的流程图。视频管理系统804从各种输入组件(例如资产830上、中或附近的360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机802及固定相机806)接收数据信号842。接着，视频管理系统804使用行业标准格式(例如(举例来说)静止图像、缩略图、静止图像序列或经压缩视频格式)的任何组合将视频数据、音频数据及/或信息存储于崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中844。数据编码器814创建包含用于配置及记录数据信号信息的一系列结构化位的记录846。在近实时模式中，视频管理系统804将视频数据存储到崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中，同时仅将有限视频数据(例如缩略图或很短的低分辨率视频片段)板外发送到远程数据储存库820 848。

在另一实施方案中，接着，经编码记录发送到板载数据管理器812，板载数据管理器812按时间顺序将一系列记录循序地组合成包含高达五分钟的数据的记录块。临时记录块包含少于五分钟的数据，而完整记录块包含完整五分钟的数据。每一记录块包含完全解码所包含信号所需的所有数据，包含数据完整性检查。记录块至少必须以开始记录开始且以结束记录结束。

为了确保所有经编码信号数据都被保存到崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置，如果数据记录器808失去电力，那么板载数据管理器812以预定速率将临时记录块存储于崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中，其中预定速率是可配置及/或可变的。临时记录块每秒被保存至少一次，但还可如每十分之一秒一次那么频繁地保存。临时记录块被保存的速率取决于每一信号的取样速率。每个临时记录块包含自最后完整记录块以来的一组完整记录。数据记录器808可在记录每一临时记录块时在崩溃硬化存储器模块810中的两个临时存储位置之间交替，以防止多于一秒的数据在数据记录器808在将数据存储到崩溃硬化存储器模块810时失去电力时损坏或丢失。每当新临时记录块被保存到临时崩溃硬化存储器位置时，其都将盖写那个位置中的现存先前存储的临时记录块。

在此实施方案中，每隔五分钟，当数据记录器808处于近实时模式中时，板载数据管理器812将包含最后五分钟的经编码信号数据的完整记录块存储到崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置中的记录片段中，及将完整记录块的副本(包括五分钟的视频数据、音频数据及/或信息)发送到远程数据管理器818以存储于远程数据储存库820中达预定保留周期，例如两年。崩溃硬化存储器模块810及/或第四实施例的任选非崩溃硬化可装卸存储装置存储最近记录块的记录片段达规定的存储持续时间，在此实施方案中，其是联邦规定的数据记录器808必须将操作或视频数据存储于具有额外24小时缓冲器的崩溃硬化存储器模块810中及接着被盖写的持续时间。

图10是展示用于通过网络浏览器826或虚拟现实装置828查看来自资产830的数据及/或信息的过程850的流程图。当事件发生时或当远程定位授权用户834经由网络客户端826请求存储于崩溃硬化存储器模块810中的视频数据片段时，考虑到无线数据链路816的带宽，板载数据管理器812取决于事件将开始以可用的最佳分辨率板外实时发送视频数据。远程定位用户834在特定视图模式中通过网络客户端826启动对特定视频及/或音频数据的请求852，网络客户端826通过网络824将请求传递到网络服务器822。网络服务器822从远程数据储存库820请求特定视频及/或音频数据及通过网络824将所请求视频及/或音频数据发送到网络客户端826 854。网络客户端826在由用户834指定的视图模式中显示视频及/或音频数据856。接着，用户834可将特定视频及/或音频数据下载到虚拟现实装置828上的视图。在另一实施方案中，在实时模式中，缩略图首先以一秒间隔发送，接着是较低分辨率视频的短片段，及接着是更高分辨率视频的短片段。

为了简单地解释，将过程840及过程850描绘及描述为一系列步骤。然而，根据本公开的步骤可按各种顺序及/或并行发生。另外，根据本公开的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，可能并不需要所说明的所有步骤来实施根据所公开主题的方法。

本文中描述的实时数据获取及记录系统及视频分析学系统的第五实施例向远程定位用户提供对高价值资产的广泛范围的数据(例如事件及操作数据、视频数据及音频数据)的实时或近实时存取。数据获取及记录系统记录与资产相关的数据及在发生事故之前、期间及之后将所述数据流式传输到远程数据储存库及远程定位用户。数据被实时或近实时地流式传输到远程数据储存库，从而使信息可用至少一直到事故或紧急情况之时，借此在实际上消除对通过将信息实时或近实时地流式传输到远程数据储存库来定位及下载“黑盒”以便调查涉及资产的事故的需要，且使信息可用至少一直到灾难性事件之时。DARS执行所记录的移动资产的视频数据的视频分析以确定例如驾驶室占用、轨道检测及轨道附近的对象检测。远程定位用户可使用常见网络浏览器导航到及查看与所选择的资产相关的所期望数据，且无需关于资产与数据获取及记录系统交互以请求下载特定数据、定位或传送文件及使用自定义应用查看数据。

DARS通过在事故之前、期间及之后将视频数据流式传输到远程数据储存库及远程定位用户来向远程定位用户提供对数据及由视频分析学系统执行的视频分析的存取，借此消除对用户手动下载、提取及播放视频以检视视频数据来确定驾驶室占用、在事故、轨道检测、轨道附近对象检测、调查期间或在所关注任何其它时间是否存在机组成员或未授权人员的需要。另外，视频分析学系统通过实时处理图像及视频数据来提供驾驶室占用状态确定、轨道检测、轨道附近对象检测、前导及尾随单元确定，借此确保正确数据总是可用于用户。举例来说，实时图像处理确保指定为尾随机车的机车不处于前导服务中以增强铁路安全性。先前系统通过使用调度系统中的列车编组功能性来提供列车内的机车位置。有时，调度系统信息可为过时的，这是因为信息未实时更新且如有必要机组人员可改变机车。

在本公开的系统之前，检验机组及/或资产人员必须手动检验轨道条件、手动检查车辆是否处于前导或尾随位置中、手动调查所关注每一个别对象的位置、手动创建所关注所有对象的地理位置的数据库、周期性地对所关注每一对象执行手动现场调查以验证其位置及识别与原始调查不同的地理位置的任何变化、自当原始数据库被创建之时以来当所关注对象由于修复或额外基础设施开发而改变位置时手动更新数据库、从数字视频记录器及/或数据记录器选择及下载所期望数据及离线检验经下载数据及/或视频及检查轨道是否有任何障碍物，及车辆操作者必须物理检查任何障碍物及/或道岔变化。本公开的系统消除了对用户执行这些步骤的需要，仅要求用户使用常见网络浏览器来导航到所期望数据。资产所有者及操作者可实时使移动资产的效率及安全性自动化且改进，且可积极监测轨道条件且可实时获得警告信息。本公开的系统消除对资产所有者及操作者从数据记录器下载数据以便监测轨道条件及调查事故的需要。作为有效安全系统，DARS可帮助操作者检查任何障碍物、实时发送警报及/或离线保存信息及发送警报信息以供远程监测及存储。当前及过去轨道检测信息及/或与轨道附近对象检测相关的信息两者可实时存储于远程数据储存库中以在需要时帮助用户查看信息。远程定位用户可存取常见网络浏览器以导航到与所选择的资产相关的所期望数据以实时或近实时地查看及分析资产的操作效率及安全性。

第五实施例的实时数据获取及记录系统可用于连续监测所关注对象及实时识别它们何时被移动或损坏、变成被植物遮住及/或处于失修且需要进行维护。DARS利用视频、图像及/或音频信息检测及识别视频中的各种基础设施对象(例如轨条轨道)、具有随着移动资产前进跟随轨道的能力，且具有创建具有地理位置的所关注对象的数据库、对照所述数据库进行审计及周期性地更新所述数据库的能力。第五实施例的实时数据获取及记录系统使用移动资产中、上或附近的图像测量装置、视频测量装置及范围测量装置中的至少一者或任何组合作为数据获取及记录系统的部分。图像测量装置及/或视频测量装置包含(但不限于)360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机及/或其它相机。范围测量装置包含(但不限于)雷达及光检测及测距(“LIDAR”)。LIDAR是一种通过用脉冲激光照明目标及用传感器测量经反射脉冲来测量与目标相距的距离的调查方法。

DARS可自动检验轨道条件，例如对存在的轨道的数目进行计数、识别移动资产正行进的当前轨道及检测存在的任何障碍物或缺陷，例如道砟冲刷、轨道断裂、轨道超限、未对准道岔、道岔分岔、轨道进水、积雪等以及为了避免任何灾难性事件进行的任何预防性维护计划。DARS还可检测轨条轨道道岔且遵循轨道变化。DARS可进一步检测数据位置的变化，包含预期位置处的对象是否被错过、遮住及/或不存在。轨道检测、基础设施诊断信息及/或基础设施监测信息可通过使用任何标准网络客户端(例如网络浏览器)显示给用户，借此消除如先前系统要求般对从数据记录器下载文件及使用专用应用软件或其它外部应用程序查看信息的需要。此过程可扩展到自动创建、审计及/或更新具有所关注对象的地理位置的数据库及确保符合联邦法规。关于本公开的系统，先前经安装以符合联邦法规的相机用于执行先前要求人类交互、专门车辆及/或替代装备的各种任务。DARS允许这些任务随着移动资产作为正常纳税服务及日常操作的部分在整块领地内行进而自动执行。DARS可用于通过利用车辆的正常操作及先前安装的相机完成先前需要手动工作的任务来节省无数工时的手动工作。DARS还可执行先前使用专门车辆执行的任务，从而防止轨道片段关闭以检查及定位通常导致纳税服务损失及购买及维护起来很贵的装备有损耗的轨道及所关注对象。DARS进一步减少要求人类处在附近的轨条轨道附近内的时间量，从而导致减少整体事故及潜在生命损失。

数据可包含(但不限于)：经测量模拟及频率参数，例如源自移动资产及/或附近移动资产的速度、压力、温度、电流、电压及加速度；经测量布尔数据，例如道岔位置、致动器位置、警告灯照明及致动器命令；来自全球定位系统(GPS)的位置、速度及海拔信息及来自地理信息系统(GIS)的额外数据，例如所关注各个对象的纬度及经度；内部产生的信息，例如给定其当前位置的移动资产的监管速度限制；由系统(例如主动列车控制(PTC))产生的列车控制状态及操作数据；车辆及惯性参数，例如速度、加速度及位置(例如从GPS接收的位置)；GIS数据，例如所关注各个对象的纬度及经度；来自定位于移动资产中、上或附近的各个位置处的至少一个相机的视频及图像信息；来自定位于移动资产中、上或附近的各个位置处的至少一个麦克风的音频信息；从数据中心发送到移动资产的关于移动资产的操作计划的信息，例如路线、调度及货物清单信息；关于移动资产当前正在其中操作或计划要在其中操作的区域的环境条件的信息，例如当前及经预报天气；及从包含额外数据、视频及音频分析及分析学的上述源中的任何者的组合导出的数据。

“轨道”可包含(但不限于)用于机车及/或列车运输的铁路的轨条及枕木。“所关注对象”可包含(但不限于)安装及维持于可使用资产相机图像及视频的人工智能(例如监督学习或强化学习)识别的附近的铁路轨道附近内的基础设施的各个对象。监督学习及/或强化学习利用先前标记的定义为“训练”数据的数据集以允许进行移动资产中、上或附近的相机的视图内的对象的远程及自主识别。监督学习及/或强化学习训练神经网络模型以识别在从相机获得的视觉影像内出现的型式。这些型式(例如人、过路口、汽车、树、信号、道岔等)可仅在单个图像中找到。还可分析视频内的型式(例如闪烁信号、移动中汽车、睡着的人等)的连续帧。DARS在任何实施阶段处可能要求或可能不要求人类交互，包含(但不限于)标记监督学习及/或强化学习所需的训练数据集。所关注对象包含(但不限于)轨道、轨道中线点、里程碑标志、信号、过路口、道岔、交叉口及基于文字的标志。“视频分析学”是指通过分析从图像测量装置、视频测量装置及/或范围测量装置(例如移动资产中、上或附近的至少一个相机，例如360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机)记录的视频及/或图像搜集的任何智能信息，例如(但不限于)所关注对象、对象的地理位置、轨道障碍物、所关注对象与移动资产之间的距离、轨道未对准等。视频分析学系统还可用于含有监控相机的任何移动资产、住宅区域、空间或房间中以增强视频监控。在移动资产中，视频分析学系统在经济上且有效地向远程定位用户提供自主驾驶室占用事件检测。

图15说明本公开的方面可在其中实施的示范性实时数据获取及记录系统(DARS)900的第五实施例的现场实施方案。DARS 900是经由数据中心966将实时信息、视频信息及音频信息从移动资产964上的数据记录器902递送到远程定位终端用户968的系统。数据记录器902安装于车辆或移动资产964上且通过有线及/或无线数据链路942(例如无线网关/路由器(未展示))的任何组合与任何数目个各种信息源通信。数据记录器902通过板载数据链路942从各种各样的源(其可基于资产的配置而异)搜集视频数据、音频数据及其它数据或信息。数据记录器902包括本地存储器组件，例如资产964中的崩溃硬化存储器模块904、板载数据管理器906及数据编码器908。在第六实施例中，数据记录器902还可包含非崩溃硬化可装卸存储装置(未展示)。示范性硬化存储器模块904可为：(例如)防撞事件记录器存储器模块，其符合联邦法规及/或联邦铁路管理局法规；崩溃可生存存储器单元，其符合联邦法规及/或联邦航空协会法规；崩溃硬化存储器模块，其符合任何可适用联邦法规；或如所属领域中已知的任何其它合适硬化存储器装置。有线及/或无线数据链路可包含离散信号输入、标准或专用以太网、串行连接及无线连接中的任一者或组合。

DARS 900进一步包括视频分析学系统910，其包含轨道及/或对象检测及基础设施监测组件914。轨道检测及基础设施监测组件914包括人工智能组件924(例如监督学习及/或强化学习组件或其它神经网络或人工智能组件)、对象检测及定位组件926及检测轨道上或附近存在的障碍物及/或相机障碍物(例如挡住相机视图的人员)的障碍物检测组件928。在此实施方案中，实时视频数据由安装于资产964的驾驶室中、资产964上或资产964附近的至少一个相机940捕获。相机940以适当高度及角度放置以捕获资产964中及周围的视频数据及获得视图的足够量以供进一步处理。资产964前部及/或周围的实时视频数据及图像数据由相机940捕获且被馈送到轨道及/或对象检测及基础设施监测组件914以供分析。视频分析学系统910的轨道检测及基础设施监测组件914逐帧处理实时视频及图像数据帧以检测轨条轨道及所关注任何对象的存在。相机位置参数(例如高度、角度、移位、焦距及视野)可被馈送到轨道及/或对象检测及基础设施监测组件914，或相机940可经配置以允许视频分析学系统910检测及确定相机位置及参数。

为了作出状态确定，例如驾驶室占用检测，视频分析学系统910使用监督学习及/或强化学习组件924及/或其它人工智能及学习算法来评估例如来自相机940的视频数据、资产数据934(例如速度、GPS数据及惯性传感器数据)、天气组件936数据及路线/机组清单以及GIS组件数据938。驾驶室占用检测固有地易受环境噪声源的影响，例如当资产正移动时云反射的光及穿过建筑物及树的太阳光。为了处理环境噪声，监督学习及/或强化学习组件924、对象检测及定位组件926、障碍物检测组件、资产组件934数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件936数据及其它学习算法被组在一起以形成涉及移动资产964的内部及/或外部状态确定。轨道及/或对象检测及基础设施监测组件914还可包含：面部辨识系统，其经调适以允许授权对机车的存取作为机车安全系统的部分；疲劳检测组件，其经调适以监测机组警觉性；及活动检测组件，其用于检测未授权活动，例如抽烟。

另外，视频分析学系统910可从资产所有者接收信号(例如轨道附近的停止信号、交通信号、速度限制信号及/或对象信号)的位置信息，包含纬度及经度坐标。接着，视频分析学系统910确定从资产所有者接收的位置信息是否正确。如果位置信息正确，那么视频分析学系统910存储信息且将在预定时间量内不会再次重新检查位置信息，例如每月检查位置信息。如果位置信息不正确，那么视频分析学系统910确定正确位置信息及向资产所有者报告正确位置信息、存储位置信息且将在预定时间量内不会再次重新检查位置信息，例如每月检查位置信息。存储位置信息提供信号(例如轨道附近的停止信号、交通信号、速度限制信号及/或对象信号)的更容易检测。

使用人工智能组件924的轨道的人工智能(例如监督学习及/或强化学习)通过使用从连续视频帧及/或图像获得的各种信息且还使用从数据中心966及车辆数据组件934接收的额外信息(其包含用于确定学习过的数据的惯性传感器数据及GPS数据)来执行。对象检测及定位组件926利用从监督学习及/或强化学习组件924接收的学习过的数据及来自其它对象的关于移动资产964及铁路的特定信息(例如用于区分轨条轨道、标志、信号等的轨道宽度及曲率、枕木定位及车辆速度)来确定对象检测数据。障碍物检测组件928利用从对象检测及定位组件926接收的对象检测数据(例如关于轨道上或附近存在的障碍物及/或相机障碍物(例如挡住相机视图的人员)的信息及来自天气组件936、路线/机组清单数据及GIS数据组件938及车辆数据组件934的额外信息(其包含惯性传感器数据及GPS数据))以增强准确度及确定障碍物检测数据。来自车辆数据组件934的移动资产数据包含(但不限于)速度、位置、加速度、偏航/俯仰速率及轨条交叉口。从数据中心966接收及利用的任何额外信息包含(但不限于)移动资产964的日间及夜间细节及地理位置。

所关注基础设施对象、由轨道及/或对象检测及基础设施监测组件914处理的信息及诊断及监测信息经由板载数据链路942发送到数据记录器902的数据编码器908以编码数据。数据记录器902将经编码数据存储于崩溃硬化存储器模块904中及任选地第六实施例的任选非崩溃硬化可装卸存储装置中，且经由无线数据链路944将经编码信息发送到数据中心966中的远程数据管理器946。远程数据管理器946将经编码数据存储于数据中心966中的远程数据储存库948中。

为了确定障碍物检测928或对象检测926，例如资产前方的轨道、轨道上及/或附近的对象、轨道上或附近的障碍物及/或挡住相机视图的障碍物的存在964，车辆分析学系统910使用监督学习及/或强化学习组件924或其它人工智能、对象检测及定位组件926及障碍物检测组件928及其它图像处理算法实时处理及评估来自相机940的相机图像及视频数据。轨道及/或对象检测及基础设施监测组件914使用经处理视频数据以及资产组件934数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件936数据及路线/机组清单及GIS组件938数据实时确定外部状态确定，例如前导及尾随移动资产。当处理图像及视频数据用于轨道及/或对象检测时，例如，视频分析学系统910自动配置轨道检测所需的相机940参数、检测通过道岔的行驶、对轨道的数目进行计数、检测沿着资产964的侧的任何额外轨道、确定资产964当前正在其上行驶的轨道、检测轨道几何缺陷、检测轨道冲刷案例(例如检测轨道的经定义限制内的轨道附近的水)及检测错过的斜坡或轨道案例。对象检测准确度取决于资产964中及周围的现存照明条件。DARS 900将在从资产964板载及数据中心966收集的额外数据的帮助下处理不同照明条件。DARS900经增强以在各种照明条件中工作、在各种天气状况中工作、检测更多所关注对象、与现存数据库系统集成以自动创建、审计及更新数据、检测多个轨道、与弯曲轨道一致地工作、检测任何障碍物、检测有可能造成安全问题的任何轨道缺陷及在低成本嵌入式系统中工作。

从视频分析学系统910进行的内部及/或外部状态确定，例如驾驶室占用；对象检测及定位，例如轨道检测及轨道附近对象检测；及障碍物检测，例如轨道上或附近的障碍物及挡住相机的障碍物，与来自车辆管理系统(VMS)或数字视频记录器组件932的任何数据一起经由板载数据链路942被提供到数据记录器902。数据记录器902将内部及/或外部状态确定、对象检测及定位组件926数据及障碍物检测组件928数据存储于崩溃硬化存储器模块904中及任选地第六实施例的非崩溃硬化可装卸存储装置中，且经由定位于数据中心966中的远程数据管理器946存储于远程数据储存库948中。网络服务器958在请求之后经由网络客户端962将内部及/或外部状态确定、对象检测及定位组件926信息及障碍物检测组件928信息提供到远程定位用户968。

数据编码器908编码通常由监管机构定义的至少最少一组数据。数据编码器908从相机940、视频分析学系统910及视频管理系统932中的任何者接收视频、图像及音频数据，且压缩或编码且使所述数据时间同步以便促进到远程数据储存库948的有效实时传输及复制。数据编码器908将经编码数据传输到板载数据管理器906，接着，板载数据管理器906响应于由用户968作出的按需请求或响应于观察到资产964板载的某些操作条件经由定位于数据中心966中的远程数据管理器946将经编码视频、图像及音频数据发送到远程数据储存库948。板载数据管理器906及远程数据管理器946齐心协力地工作以管理数据复制过程。数据中心966中的远程数据管理器946可管理来自多个资产964的数据的复制。

板载数据管理器908基于检测到的事件的优先化确定检测到的事件、内部及/或外部状态确定、对象检测及定位及/或障碍物检测是应排队还是被立即发送出去。举例来说，在正常操作情况中，检测轨道上的障碍物比检测某人是否在资产964的驾驶室中紧急得多。板载数据管理器908还将数据发送到排队储存库(未展示)。在近实时模式中，板载数据管理器988将从数据编码器908接收的经编码数据及任何事件信息存储于崩溃硬化存储器模块904中及排队储存库中。在五分钟的经编码数据已积累于排队储存库中之后，板载数据管理器906经由无线数据链路944经由数据中心966中的远程数据管理器946将五分钟的经编码数据存储到远程数据储存库948。在实时模式中，板载数据管理器908每可配置预定时间段(例如每秒或每0.10秒)经由无线数据链路944经由数据中心966中的远程数据管理器946将从数据编码器908接收的经编码数据及任何事件信息存储到崩溃硬化存储器模块904且到远程数据储存库948。

在此实施方案中，板载数据管理器906通过无线数据链路944经由数据中心966中的远程数据管理器946将视频数据、音频数据、内部及/或外部状态确定、对象检测及定位信息、障碍物检测信息及任何其它数据或事件信息发送到远程数据储存库948。无线数据链路944可为例如将数据从数据记录器902传送到(在此实例中)远程数据管理器946的无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、无线虚拟私有网络(WVPN)、蜂窝电话网络或任何其它构件。从资产964远程检索数据的过程要求资产964与数据中心966之间有无线连接。当无线数据连接不可用时，数据被存储及排队直到无线连接性恢复。

数据记录器902与数据记录并行地连续且自主地将数据复制到远程数据储存库948。复制过程具有两种模式-实时模式及近实时模式。在实时模式中，数据每秒被复制到远程数据储存库10。在近实时模式中，数据每五分钟被复制到远程数据储存库15。用于近实时模式及实时模式的速率是可配置的，且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据储存库15来支持高分辨率数据。近实时模式在多数条件下在正常操作期间使用，以便改进数据复制过程的效率。

实时模式可基于资产964板载的事件发生或通过从数据中心966启动的请求启动。典型数据中心966启动的对实时模式的请求在远程定位用户968已从网络客户端962请求实时信息时启动。资产964板载的实时模式起源的典型原因是检测到涉及资产964的事件或事故，例如操作者启动紧急停止请求、紧急制动活动、在任何轴上迅速加速或减速或输入到数据记录器902的功率的损耗。当从近实时模式转变到实时模式时，尚未复制到远程数据储存库948的所有数据都被复制且存储于远程数据储存库948中，及接着，启动现场复制。近实时模式与实时模式之间的转变通常在少于五秒内发生。在自事件或事故、预定不活动时间量以来经过了预定时间量之后，或当用户968不再期望来自资产964的实时信息时，数据记录器902恢复到近实时模式。启动转变所需的预定时间量是可配置的且通常被设置为十分钟。

当数据记录器902处于实时模式中时，板载数据管理器906尝试连续将其队列清空到远程数据管理器946，从而将数据存储到崩溃硬化存储器模块940及任选地第六实施例的任选非崩溃硬化可装卸存储装置，且同时将数据发送到远程数据管理器946。

在接收到要从数据记录器902复制的视频数据、音频数据、内部及/或外部状态确定、对象检测及定位信息、障碍物检测信息及任何其它数据或信息之后，远程数据管理器946将其从板载数据管理器906接收的数据(例如经编码数据及检测到的事件数据)存储到数据中心966中的远程数据储存库948。远程数据储存库948可为例如基于云的数据存储装置或任何其它合适远程数据存储装置。当接收到数据时，启动过程，其致使数据解码器954解码来自远程数据储存库948的最近复制的数据及将经解码数据发送到查看经存储数据以查找额外‘后处理’事件的轨道/对象检测/定位信息组件950。在此实施方案中，轨道/对象检测/定位信息组件950包含对象/障碍物检测组件以用于确定内部及/或外部状态确定、对象检测及定位信息及障碍物检测信息。在检测到内部及/或外部信息、对象检测及定位信息及/或障碍物检测信息之后，轨道/对象检测/定位信息组件950将信息存储于远程数据储存库948中。

远程定位用户968可使用标准网络客户端962(例如网络浏览器)或虚拟现实装置(未展示)(例如图8的虚拟现实装置828，在此实施方案中，其可显示所选择的相机的缩略图图像)存取存储于远程数据储存库948中的与特定资产964或多个资产相关的视频数据、音频数据、内部及/或外部状态确定、对象检测及定位信息、障碍物检测信息及任何其它信息，包含轨道信息、资产信息及驾驶室占用信息。网络客户端962使用常见网络标准、协议及技术通过网络960将用户968对信息的请求传递到网络服务器958。网络960可为例如因特网。网络960还可为将数据从网络服务器958传送到(在此实例中)网络客户端962的局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟私有网络(VPN)、蜂窝电话网络或任何其它构件。网络服务器958从远程数据储存库948请求所期望数据，且数据解码器954在来自网络服务器958的请求之后从远程数据储存库948获得与特定资产964相关的所请求数据。数据解码器954解码所请求数据及将经解码数据发送到定位器956。定位器956通过存取网络客户端962及使用配置文件设置准备发送到网络客户端962的信息用于呈现给用户968来识别由用户968设置的配置文件设置，这是因为原始经编码数据及检测到的轨道/对象检测/定位信息是使用协调的通用时间(UTC)及国际单位制(SI单位)保存到远程数据储存库948。定位器956将经解码数据转换成由用户968期望的格式，例如用户968偏好的测量单位及语言。定位器956如请求般将呈用户968偏好的格式的本地化数据发送到网络服务器958。接着，网络服务器958将本地化数据发送到网络客户端962以供查看及分析，从而提供标准视频及360度视频以及内部及/或外部状态确定、对象检测及定位信息及障碍物检测信息(例如轨道及/或对象检测(图16A)、轨道及道岔检测(图16B)、轨道及/或对象检测、对轨道的数目进行计数及信号检测(图16C)、交叉口及轨道及/或对象检测(图16D)、双额外耗用信号检测(图16E)、多轨道及/或多对象检测(图16F)、道岔及轨道及/或对象检测(图16G)及道岔检测(图16H))的播放及实时显示。

网络客户端962用提供360度视频及/或其它视频在各种不同模式中的播放的软件应用程序增强。用户968可选择软件应用程序在其中呈现视频播放的模式，例如(举例来说)鱼眼视图、去畸变视图、全景视图、双全景视图及四视图。

图17是展示根据本公开的实施方案的用于确定资产964的内部状态的过程970的流程图。视频分析学系统910从各种输入组件(例如资产964上、中或附近的相机940(包含(但不限于)360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机)、车辆数据组件934、天气组件936及路线/清单/GIS组件938)接收数据信号972。视频分析学系统910使用监督学习及/或强化学习组件处理数据信号974及确定内部状态976，例如驾驶室占用。

图18是展示根据本公开的实施方案的用于确定在资产964外部及内部发生的对象检测/定位及障碍物检测的过程980的流程图。视频分析学系统910从各种输入组件(例如资产964上、中或附近的相机940(包含(但不限于)360度相机、固定相机、窄视相机、广视相机、360度鱼眼视图相机、雷达、LIDAR及/或其它相机)、车辆数据组件934、天气组件936及路线/清单/GIS组件938)接收数据信号982。视频分析学系统910使用监督学习及/或强化学习组件924、对象检测/定位组件926及障碍物检测组件928处理数据信号984及确定障碍物检测986及对象检测及定位988，例如轨道存在。

为了简单地解释，将过程970及过程980描绘及描述为一系列步骤。然而，根据本公开的步骤可按各种顺序及/或并行发生。另外，根据本公开的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，可能并不需要所说明的所有步骤来实施根据所公开主题的方法。

本文中描述的实时数据获取及记录系统及自动化信号合规监测及警示系统的第七实施例向远程定位用户(例如资产所有者、操作者及调查员)提供对与高价值资产相关的广泛范围的数据(例如事件及操作数据、视频数据及音频数据)的实时或近实时存取。自动化信号合规监测及警示系统经由数据记录器记录与资产相关的数据，且在发生事故之前、期间及之后将所述数据流式传输到远程数据储存库及远程定位用户。数据被实时或近实时地流式传输到远程数据储存库，从而使信息可用至少一直到事故或紧急情况之时，借此在实际上消除对定位及下载“黑盒”以便调查涉及资产的事故的需要，且消除关于资产与数据记录器交互以请求下载特定数据、定位及传送文件及使用自定义应用查看数据的需要。本公开的系统保留典型记录能力且添加在事故之前、期间及之后将数据流式传输到远程数据储存库及远程终端用户的能力。在绝大多数情况中，由于数据已被获取且存储于远程数据储存库中，因此记录于数据记录器中的信息是冗余的且是不需要的。

自动化信号监测及警示系统还自动监测及提供违反信号方面(例如停止灯、交通灯及/或速度限制信号)的移动资产(例如机车、列车、飞机及汽车)的历史及实时警示，或不安全地操作移动资产以尝试维持对信号(例如停止灯、交通灯及/或速度限制信号)的合规性。自动化信号监测及警示系统组合图像分析学、GPS定位、制动力及车辆速度以及自动化电子通知的使用，以在移动资产违反安全操作规则时(例如(举例来说)当停止信号在停止及接收授权之前由移动资产经过时(闯红灯)、当以更大速度行进的移动资产违反指示速度限制减小的限制信号时及当移动资产施加迟到及/或过大制动力以便在通过停止/红信号之前停止时)实时警示移动资产板载及/或板外的人员。

在本公开的自动化信号监测及警示系统之前，操作中心人员依赖于移动资产机组在违反安全操作规则时进行报告。有时会导致移动资产与移动资产发生灾难性相撞，其中后续调查发现了发生了安全操作规则违反。另外，过大制动力可能已致使移动资产的一部分发生机械故障，且在其中移动资产是机车及/或列车的情况中，过大制动力可能已导致脱轨，其中后续调查发现违反安全操作规则是根本原因。本公开的系统使用户能在机械故障、碰撞、脱轨及/或另一事故发生之前监测及/或被警示何时发生安全操作规则违反。

终端用户可订阅被警示发生安全操作规则违反的时间，且将在实际事件发生的数分钟内接收到电子邮件、文字消息及/或浏览器内电子通知。终端用户可利用历史记录分析数据以识别型式，例如(举例来说)问题位置、视线受损、故障装备及表现不佳的机组，其可用于实施新的及更安全的操作规则或机组教育机会以用于连续改进。本公开的系统使终端用户能利用连续电子监测及广泛图像分析学理解移动资产由于安全操作规则违反及/或信号不合规而不安全地操作的任何及所有时间。

自动化信号监测及警示系统由车辆及/或移动资产所有者、操作者及调查员用于实时查看及分析移动资产的操作效率及安全性。实时查看操作的能力实现对行为的迅速评估及调整。在事故期间，实时信息可促进对情况进行分类及向第一响应者提供有价值信息。在正常操作期间，近实时信息可用于审计机组表现及帮助全网络操作安全性及感知。

自动化信号监测及警示系统利用面向外相机及/或其它相机、GPS位置、速度及加速度以及完全集成的时间同步自动化系统中的车辆、列车及/或移动资产制动压力传感器数据识别不安全及潜在灾难性操作实践以将实时反馈提供到移动资产机组及管理。自动化信号监测及警示系统还用各种数据源向用户提供自动化数据及视频下载以便允许在警示时完全了解操作环境。

数据可包含(但不限于)：模拟及数字参数，例如源自资产及/或附近资产的速度、压力、温度、电流、电压及加速度；布尔数据，例如道岔位置、致动器位置、警告灯照明及致动器命令；全球定位系统(GPS)数据及/或地理信息系统(GIS)数据，例如位置、速度及海拔；内部产生的信息，例如给定其当前位置的资产的监管速度限制；来自定位于资产中、上或附近的各个位置处的相机的视频及图像信息；来自定位于资产中、上或附近的各个位置处的麦克风的音频信息；从数据中心发送到资产的关于资产的操作计划的信息，例如路线、调度及货物清单信息；关于资产当前正在其中操作或计划要在其中操作的区域的环境条件的信息，包含当前及经预报天气条件；由系统(例如机车中的主动列车控制(PTC))产生的资产控制状态及操作数据；及从来自包含(但不限于)额外数据、视频及音频分析及分析学的上述内容中的任何者的组合导出的数据。

图19说明本公开的方面可在其中实施的示范性实时数据获取及记录系统(DARS)1000及自动化信号监测及警示系统1080的第七实施例的现场实施方案。DARS 1000是将实时信息从数据记录装置递送到远程定位终端用户的系统。DARS 1000包含数据记录器1054，其安装于车辆或移动资产1048上且经由DARS 1000的数据中心1050经由数据链路(例如无线数据链路1046)通过板载有线及/或无线数据链路1070(例如无线网关/路由器)或板外信息源的任何组合与任何数目个各种信息源通信。数据记录器1054包括板载数据管理器1020、数据编码器1022、车辆事件检测器1056、排队储存库1058及无线网关/路由器1072。另外，在此实施方案中，数据记录器1054可包含崩溃硬化存储器模块1018及/或具有或不具有以太网供电(POE)的以太网交换机1062。示范性硬化存储器模块1018可为：(例如)防撞事件记录器存储器模块，其符合联邦法规及/或联邦铁路管理局法规；崩溃可生存存储器单元，其符合联邦法规及/或联邦航空管理局法规；崩溃硬化存储器模块，其符合任何可适用联邦法规；或如所属领域中已知的任何其它合适硬化存储器装置。在第八实施例中，数据记录器可进一步包含任选非崩溃硬化可装卸存储装置(未展示)。

有线及/或无线数据链路1070可包含离散信号输入、标准或专用以太网、串行连接及无线连接中的任一者或组合。以太网连接装置可利用数据记录器1054的以太网交换机1062且可利用POE。以太网交换机1062可在内部或外部且可支持POE。另外，来自远程数据源(例如图19的实施方案中的地图组件1064、路线/机组清单组件1024及天气组件1026)的数据从数据中心1050通过无线数据链路1046及无线网关/路由器1072可用于板载数据管理器1020及车辆事件检测器1056。

数据记录器1054通过板载数据链路1070从各种各样的源(其可基于资产的配置而有很大差异)搜集数据或信息。数据编码器1022编码通常由监管机构定义的至少最少一组数据。在此实施方案中，数据编码器1022从各种各样的资产1048源及数据中心1050源接收数据。信息源可包含资产1048中的任何数目个组件，例如以下中的任何者：模拟输入1002、数字输入1004、I/O模块1006、车辆控制器1008、引擎控制器1010、惯性传感器1012、全球定位系统(GPS)1014、相机1016、主动列车控制(PTC)/信号数据1066、燃油数据1068、蜂窝传输检测器(未展示)、内部驱动数据及任何额外数据信号以及数据中心1050中的数个组件中的任何者，例如路线/机组清单组件1024、天气组件1026、地图组件1064及任何额外数据信号中的任何者。此外，资产1048信息源可通过有线或无线数据链路1070的任何组合连接到数据记录器1054。数据编码器1022压缩或编码数据且使所述数据时间同步以便促进到远程数据储存库1030的有效实时传输及复制。数据编码器1022将经编码数据传输到板载数据管理器1020，接着，板载数据管理器1020将经编码数据保存于崩溃硬化存储器模块1018及排队储存库1058中用于经由定位于数据中心1050中的远程数据管理器1032复制到远程数据储存库1030。任选地，板载数据管理器1020可将经编码数据的第三副本保存于第八实施例的非崩溃硬化可装卸存储装置中。板载数据管理器1020及远程数据管理器1032齐心协力地工作以管理数据复制过程。数据中心1050中的单个远程数据管理器1032可管理来自多个资产1048的数据的复制。

来自各种输入组件的数据及来自驾驶室内音频/图形用户接口(GUI)1060的数据发送到车辆事件检测器1056。车辆事件检测器1056处理数据以确定是否发生了涉及资产1048的事件、事故或其它预定义情况。当车辆事件检测器1056检测到指示所发生的预定义事件的信号时，车辆事件检测器1056将预定义事件发生的经处理数据与围绕预定义事件的支持数据一起发送到板载数据管理器1020。车辆事件检测器1056基于来自各种各样的源(例如模拟输入1002、数字输入1004、I/O模块1006、车辆控制器1008、引擎控制器1010、惯性传感器1012、GPS 1014、相机1016、路线/机组清单组件1024、天气组件1026、地图组件1064、PTC/信号数据1066及燃油数据1068，其可基于资产的配置而异)的数据检测事件。当车辆事件检测器1056检测到事件时，检测到的资产事件信息经存储于排队储存库1058中且可任选地经由驾驶室内音频/图形用户接口(GUI)1060被呈现给资产1048的机组。

当资产1048的位置指示信号1082已被交叉、过大制动已经发生且资产1048停止在信号1082的接近位置内或所应用速度限制是信号方面的构件时，板载数据管理器1020将启动面向外相机图像分析以确定信号1082的意义或方面，如图20中展示。利用现有技术图像处理技术，面向外相机镜头可由先前训练过的神经网络或人工智能组件分析以解密信号方面及操作规则含义。在此示范性实施方案中，由神经网络或人工智能组件进行的分析及/或处理在后台中完成。在另一实施例中，由神经网络或人工智能组件进行的分析及/或处理在资产1048上完成。信号方面解码的输出与其它传感器数据组合以确定资产1048是否因占用铁路轨道而严重违反信号指示，在此示范性实施方案中，这可导致列车与列车相撞，或以不安全方式操作以实现信号合规。当发现资产1048不合规时，电子警报将存储于后台中，以及在使铁路的业务规则与信号及资产操作相关联之后递送给已订阅要接收此类警报的用户。接着，这些警报可直接经由数据库或通过使用提供给用户的网站图形用户接口或网络客户端1042来挖掘。

另外，可听警报可经添加到资产1048的驾驶室，其将向机组警示即将发生的信号违反、即将发生万一机组分心或以其它方式未注意到轨道障碍物、停止信号及/或如果资产1048在其中信号要求较低速度限制的区中超速那么机组可作出更快响应的不好情况。

自动化信号监测及警示系统1080还经增强以自动执行视频分析学以每当监测到的资产交叉信号时都确定信号意义、自动执行视频分析学以每当资产经历过量制动力且在预定义距离内停止时都确定信号意义及监测资产速度以确定资产是否正以大于如经信号方面确定般授权的速度移动。图像分析学是在资产1048板载地完成以减小实际事件与到用户及/或订户的电子通知之间的延迟。自动化信号监测及警示系统1080的功能性经增强以允许在警示时进行自动化面向内及面向外视频下载以增强用户体验且减少对调查事件必要的工作。自动化信号监测及警示系统1080的功能性还经增强以在不合规资产1048内提供实时可听提示以在关于信号规则及意义未遵循安全操作实践的分心或其它原因的情况中警示机组。

另外，自动化信号监测及警示系统1080及/或视频分析学系统910可从资产所有者接收信号(例如轨道附近的停止信号、交通信号、速度限制信号及/或对象信号)的位置信息，包含纬度及经度坐标。接着，视频分析学系统910确定从资产所有者接收的位置信息是否正确。如果位置信息正确，那么视频分析学系统910存储信息且将在预定时间量内不会再次重新检查位置信息，例如每月检查位置信息。如果位置信息不正确，那么视频分析学系统910确定正确位置信息及向资产所有者报告正确位置信息、存储位置信息且将在预定时间量内不会再次重新检查位置信息，例如每月检查位置信息。存储位置信息提供信号(例如轨道附近的停止信号、交通信号、速度限制信号及/或对象信号)的更容易检测。

板载数据管理器1020还将数据发送到排队储存库1058。在近实时模式中，板载数据管理器1020将从数据编码器1022接收的经编码数据及任何事件信息存储于崩溃硬化存储器模块1018中及排队储存库1058中。在第八实施例中，板载数据管理器1020可任选地将经编码数据存储于非崩溃硬化可装卸存储装置中。在五分钟的经编码数据已积累于排队储存库1058中之后，板载数据管理器1020经由通过无线网关/路由器1072接入的无线数据链路1046经由数据中心1050中的远程数据管理器1032将五分钟的经编码数据存储到远程数据储存库1030。在实时模式中，板载数据管理器1020将从数据编码器1022接收的经编码数据及任何事件信息存储到崩溃硬化存储器模块1018且任选地存储于第八实施例的非崩溃硬化可装卸存储装置中，且经由通过无线网关/路由器1072接入的无线数据链路1046经由数据中心1050中的远程数据管理器1032存储到远程数据储存库1030。将数据复制到远程数据储存库1030的过程要求资产1048与数据中心1050之间有无线数据连接。板载数据管理器1020及远程数据管理器1032可经由各种无线通信链路(例如利用无线网关/路由器1072的Wi-Fi、蜂窝、卫星及私有无线系统)通信。无线数据链路1046可为例如将数据从DARS 1000的数据记录器1054传送到(在此实例中)DARS 1000的远程数据管理器1030的无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、私有无线系统、蜂窝电话网络或任何其它构件。当无线数据连接不可用时，数据被存储于存储器中且排队于排队储存库1058中直到无线连接性恢复且数据复制过程可继续。

数据记录器1054与数据记录并行地连续且自主地将数据复制到远程数据储存库1030。复制过程具有两种模式-实时模式及近实时模式。在实时模式中，数据每秒被复制到远程数据储存库1030。在近实时模式中，数据每五分钟被复制到远程数据储存库1030。用于近实时模式及实时模式的速率是可配置的，且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据储存库1030来支持高分辨率数据。当DARS 1000处于近实时模式中时，板载数据管理器1020在将数据复制到远程数据管理器1032之前将数据排队于排队储存库1058中。板载数据管理器1020还将排队于排队储存库1058中的车辆事件检测器信息复制到远程数据管理器1032。近实时模式在多数条件下在正常操作期间使用，以便改进数据复制过程的效率。

实时模式可基于发生的且由资产1048板载的车辆事件检测器1056检测到的事件或通过从数据中心1050启动的请求启动。典型数据中心1050启动的对实时模式的请求在远程定位用户1052已从网络客户端1042请求实时信息时启动。资产1048板载的实时模式起源的典型原因是由车辆事件检测器1056检测到事件或事故，例如操作者启动紧急停止请求、紧急制动活动、在任何轴上迅速加速或减速或到数据记录器1054的输入功率的损耗。当从近实时模式转变到实时模式时，尚未复制到远程数据储存库1030的所有数据都被复制且存储于远程数据储存库1030中，及接着，启动现场复制。近实时模式与实时模式之间的转变通常在少于五秒内发生。在自事件或事故、预定不活动时间量以来经过了预定时间量之后，或当用户1052不再期望来自资产1048的实时信息时，数据记录器1054恢复到近实时模式。启动转变所需的预定时间量是可配置的且通常被设置为十分钟。

当数据记录器1054处于实时模式中时，板载数据管理器1020尝试连续将其队列清空到远程数据管理器1032，从而将数据存储到崩溃硬化存储器模块1018及任选地第八实施例的非崩溃硬化可装卸存储装置，且同时将数据发送到远程数据管理器1032。板载数据管理器1020还将排队于排队储存库1058中的检测到的车辆信息发送到远程数据管理器1032。

在接收到要从数据记录器1054复制的数据以及来自地图组件1064、路线/机组清单组件1024及天气组件1026的数据之后，远程数据管理器1032将经压缩数据存储到DARS1000的数据中心1050中的远程数据储存库1030。远程数据储存库1030可为例如基于云的数据存储装置或任何其它合适远程数据存储装置。当接收到数据时，启动过程，其致使数据解码器1036解码用于/来自远程数据储存库1030的最近复制的数据及将经解码数据发送到远程事件检测器1034。远程数据管理器1032将车辆事件信息存储于远程数据储存库1030中。当远程事件检测器1034接收到经解码数据时，其处理经解码数据以确定在经解码数据中是否找到所关注事件。接着，经解码信息由远程事件检测器1034用于检测数据中资产1048发生的事件、事故或其它预定义情况。在从经解码数据检测到所关注事件之后，远程事件检测器1034将事件信息及支持数据存储于远程数据储存库1030中。当远程数据管理器1032接收到远程事件检测器1034信息时，远程数据管理器1032将信息存储于远程数据储存库1030中。

远程定位用户1052可使用标准网络客户端1042(例如网络浏览器)或虚拟现实装置(未展示)存取与特定资产1048或多个资产相关的信息，包含车辆事件检测器信息，在此实施方案中，所述虚拟现实装置可显示来自所选择的相机的缩略图图像。网络客户端1042使用常见网络标准、协议及技术通过网络1044将用户1052对信息的请求传递到网络服务器1040。网络1044可为例如因特网。网络1044还可为将数据从网络服务器1040传送到(在此实例中)网络客户端1042的局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟私有网络(VPN)、蜂窝电话网络或任何其它构件。网络服务器1040从数据解码器1036请求所期望数据。数据解码器1036在来自网络服务器1040的请求之后从远程数据储存库1030获得与特定资产1048或多个资产相关的所请求数据。数据解码器1036解码所请求数据及将经解码数据发送到定位器1038。本地化是将数据转换成由终端用户期望的格式的过程，例如将数据转换成用户偏好的语言及测量单位。定位器1038通过存取网络客户端1042来识别由用户1052设置的配置文件设置及使用配置文件设置准备发送到网络客户端1042的信息用于呈现给用户1052，这是因为原始经编码数据及检测到的事件信息是使用协调的通用时间(UTC)及国际单位制(SI单位)保存到远程数据储存库1030。定位器1038将经解码数据转换成由用户1052期望的格式，例如用户1052偏好的语言及测量单位。定位器1038如请求般将呈用户1052偏好的格式的本地化数据发送到网络服务器1040。接着，网络服务器1040将资产或多个资产的本地化数据发送到网络客户端1042以供查看及分析、提供标准视频、360度视频及/或其它视频的播放及实时显示。网络客户端1042可显示且用户1052可查看单个资产的数据、视频及音频或同时查看多个资产的数据、视频及音频。网络客户端1042还可提供数据以及来自资产、附近资产及/或远程定位位点上、中或附近的图像测量源、标准视频源、360度视频源及/或其它视频源极/或范围测量源的多个视频及音频数据的同步播放及实时显示。

图21是展示根据本公开的实施方案的用于确定信号合规的过程1100的第一所说明实施例的流程图。在DARS 1000及相机1016安装且连接到资产1048上的各种传感器(例如模拟输入1002、数字输入1004、I/O模块1006、车辆控制器1008、引擎控制器1010、惯性传感器1012、全球定位系统(GPS)1014、相机1016、主动列车控制(PTC)/信号数据1066、燃油数据1068、蜂窝传输检测器(未展示)、内部驱动数据及任何额外数据信号)之后1102，来自各种传感器的板载数据及/或事件启动视频及/或静止图像每五分钟被发送到后台数据中心1074且相机影像被资产1048板载存储，其中容量超过72小时1104。后台数据中心1074服务同时扫描触发条件的数据1106。如果不满足场景业务逻辑触发条件，那么取消工作流且不记录场景事件1108。如果资产1048行进经过如由存储于后台数据中心1074中的所有信号的纬度及经度坐标指代的轨道信号1082 1110及/或资产1048在信号1082前的特定距离内停止及使用额外制动力准许在横穿过信号1082之前停止1112，那么后台数据中心1074服务扫描数据以在此所说明实施例中确定列车车厢是否正处于列车资产1048中的前导、控制或第一位置中1114。后台数据中心1074使用第一人工智能模型确定列车车厢是否正处于列车资产1048中的前导、控制或第一位置中1116。如果列车车厢未处于列车资产1048中的前导、控制或第一位置中，那么不满足场景业务逻辑触发条件，取消工作流且不记录场景事件1108。如果列车车厢正处于列车资产1048中的前导、控制或第一位置中，那么后台数据中心1074从前导、控制或第一位置机车请求在交叉信号1082之前及/或在资产1048停止时的短时间段拍摄的视频内容1118。所检索的视频内容被传递及/或存储于后台数据中心1074中且一直传递到第二人工智能模型，所述第二人工智能模型扫描视频内容以确定信号1082方面，例如每一信号灯的颜色的组合，以确定信号1082是否指示停止意义1120。后台数据中心1074确定信号1082方面是否指示资产1048必须停止且无法穿过信号1082 1122。如果信号1082方面未指示资产1048必须停止且无法穿过信号1082，那么不满足场景业务逻辑触发条件，取消工作流且不记录场景事件1108。如果信号1082方面确实指示资产1048必须停止且无法穿过信号1082且停止信号存在，那么场景被触发、存储于后台数据中心1074数据库中且向先前已选择在此类条件存在时需被通知的用户发送电子邮件1124。

为了简单地解释，将过程1100描绘及描述为一系列步骤。然而，根据本公开的步骤可按各种顺序及/或并行发生。另外，根据本公开的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，可能并不需要所说明的所有步骤来实施根据所公开主题的方法。

在许多国家，联邦法规要求操作某些类的移动资产的列车工程师接受测试以确认他们的技能及能力，且借助于通过此测试作为工程师在其中操作的地理位置的法规遵从的一部分而变成再认证。在美国，此技能表现评定的一个实例是49C.F.R.§240.127，其规定联邦铁路管理局(FRA)对美国轨道上操作的铁路的测试。法规的所述目的是“为了确保仅合格人员才能操作机车或列车”。此法规还规定适用于其适用的所有机车工程师的资格、培训、测试、认证及监测的最低联邦安全标准。铁路可为列车服务工程师、机车服务工程师及见习工程师颁发证书。

如49C.F.R.§240中描述，需要满足这些标准的铁路必须每年、每三年及定期(审计)对其工程师执行仔细规定的评估及各种列车处理表现监测。通常由铁路用于实施工程师表现评估的方法目前有三种。第一种是让评估员与机组成员一起登上机车进行表现技能评估，且在指定列车路线上执行行程。此方法是劳动密集型的，需要机车工程师的指定监督者在整个被监测的列车移动段中亲自出现在机车驾驶室中。而且，建议接受评估的工程师他或她正在接受积极评估，且可定制移动资产的操作以避免错误。

第二评估方法使用列车模拟器，其用于响应于物理输入及列车特性而再现列车操作者行为的视觉、可听及有时甚至是物理特性。然而，此方法不能提供对实际轨道的给定距离上评估。

用于执行技能表现评估的第三方法是获取一些或全部机车事件记录器数据，包含(但不限于)来自面向内及面向外相机的视频图像数据、外部及内部音频、加速度计及陀螺仪数据、燃油及天气数据、列车组成数据、在特定列车路线内捕获的被监测的行程的路旁信息及移动授权。实时地、在旅途已经发生之后或以两者的组合执行分析。此第三方法已证明需要更少时间及劳动力、改进评估的准确度，且可远程地执行。

基于机车及列车的模拟器创建了在评估工程师的表现时限制物理风险且提高安全性的环境中执行再认证的能力。然而，还没有开发已知的自动化系统或平台来减少以有效及简单方式检索及吸收相关数据片段所花费的时间。本公开的工程师再认证助理只需要事先了解要检索数据的重要地理位置、可经监测以自动指示列车性能不佳、开始/结束时间及所关注机车的重要列车处理信号组合。工程师再认证助理的用户只需按下按钮，数小时的手动工作现在就会自动完成，且以高度易耗格式呈现于基于网络的安全门户及/或平台中。

本文中描述的经改进工程师评估助理是对上述第三方法的经增强改进，其提供更有效且更快方式以在整个所期望列车路线内以统一用户体验执行进行工程师评估所需的活动。本公开的工程师再认证助理是集成在线工具，其通过将进行评估所需的活动精简成统一用户体验来显著改进工程师评估过程，从而提高工程师评估过程的生产力及准确度。工程师再认证助理还通过在铁路工程师评估门户与启用的申请人之间提供双向集成来为工程师评估提供统一体验。本公开的工程师再认证助理将数据搜集改进10％、数据组织改进25％、报告产生改进30％、数据分析改进35％及将数据分析改进超过50％，如图24中展示。

目前描述的工程师评估方法及系统可用于以若干方式改进表现评估及工程师再认证的效率。

首先，在确定要评估机组的正确行程(用机车ID、列车ID、日期时间戳、基于细分或其组合)之后，铁路官员只需在登录到安全门户时按下按钮及利用本方法及系统自动回传来自向内及向外相机的视频数据来得到与机车、列车及路旁资产操作相关的一系列案例。案例实例在下文列出。使围绕列车性能特性、所关注区域的地理位置及所关注特定操作区域的视频及事件记录器捕获过程自动化的能力能够节省通常花费在手动确定请求及检索视频数据的开始及结束时间的大量时间及工作。本公开的额外优势是能够协调时间同步事件记录器及地理位置数据与视频片段，从而允许在关键评估时间段期间全面查看机车驾驶室及周围环境。

分析工程师表现的有用时间段的一些实例包含：

a.在列车经过路旁信号时，尤其是指示不太清晰方面的那些信号(除“全都清晰可以继续”之外的任何信号)；

b.具有临时速度限制的区，未由路旁信号指示以其它方式指示且需要评估安全关键行为。这些区可置于操作中以提高工作位点(例如对邻近轨道执行附近轨道维护的机组)周围的安全性；

c.有行人及车辆交通存在的平面交叉口；

d.通常在车站及货场中发现的可指示不安全行为的耦合及其它过度列车力；

e.制动案例，其既可操作又有安全导向；及

f.导致过度或不安全力的列车处理行为。

其次，在铁路官员评估工程师的表现时，官员将使用相同安全网络门户平台执行与报告工程师的表现相关的各种任务。可执行的功能实例包含：

a.创建在线笔记本以捕获关于工程师的表现的标注及评论；

b.与其他官员分享整个行程，包含评论；及

c.以报告形式概括技能表现行程及结果以用于与工程师进行法规提交或表现讨论。

第三，除数据搜集及报告之外，本公开的方法及系统将创建额外检查以通过比较工程师表现与如定义于法规合规档案中的测试准则来监测其表现的任何异常。铁路合规档案的实例是FRA's 49C.F.R.§240.127。这取代了官员在整个行程中手动扫描信息(数据、视频、音频等)以查找这些异常的需要。代替地，算法用于自动识别呈‘事件’形式的这些异常且通过以下方式经由网络门户来将其呈现出来：

a.利用一系列业务算法及/或规则(从算法及线性启发模型到高级机器学习模型)监测表现且针对这些检查创建实时事件来识别异常。

b.根据需要与额外数据源集成以用于搜集输入来开发这些算法。实例包含列车控制事件日志及/或列车调度管理系统日志。

c.这些操作的结果两者都作为实时警报被发送到电子邮箱收件箱或呈文字形式或以浏览器警报发送。另外，这些异常概括于报告中以提供合并结果以供客户编辑、检视及与其他铁路用户分享。

实时事件被呈现给铁路官员以评估工程师表现。事件的实例将是列车超速事件，其识别工程师何时操作列车超过经授权轨道速度，借此违反了与列车处理相关的准则。铁路官员可检视这些事件及确定工程师的表现是令人满意还是不令人满意。其它指示符及图标例如路旁资产的地理标签，例如信号及交叉口

另外，实时事件的结果使用人工智能(AI)及其它算法技术转换成令人满意或不令人满意的工程师表现分数。系统包含利用算法作出认证或取消认证建议的能力，从而形成一个全自动系统，其中AI实际上对任何检测到的严重不合规进行取消认证。

所公开方法及系统尤其提供以下优势：

a.按下按钮检索数十或数百个预指定持续时间的向内及向外相机视频；

b.容易且有效地对与工程师再认证列车段相关联的关键视频进行分组及可视化；

c.清晰识别沿着列车路线的关键位置、与工程师再认证列车路线相关联的关键列车处理特性；

d.能够通过在时间同步方法中利用机器学习及事件记录器信号分析来捕获关键列车处理事件及操作表现以识别分析及报告工程师表现的重要时间。举例来说，机器学习用于检测何时在驾驶室内使用蜂窝电话，及接着，事件数据记录器用于滤除机器学习模型的结果且仅展示铁路感兴趣的机车，例如正移动的机车及/或当使用蜂窝电话时处于前导位置中的机车。机器学习模型的目标是提供图像分类及对象检测结果。事件数据记录器信号的目标是仅过滤与铁路的安全计划及/或操作规则相关的情况的那些结果；及

e.使用网络门户平台执行与报告工程师的表现相关的各种任务的能力。

图22及23包含示出上述概念中的一些的一些示范性屏幕截图。图22展示工程师再认证按钮被添加到安全网络门户内的现存页面。图23展示用工程师再认证预定义事件(例如信号交叉)增强的现存页面。拍摄的视频也将在此页面上展示以供页面内的容易检索及查看。指示符及图标(例如路旁资产的地理标签，例如信号、交叉口、速度区等)在DARS查看器中展示。

本公开的工程师再认证助理包括一种系统及方法，其目的在于通过减少收集及集合信息以成功管理符合FRA 49C.F.R.§240.127的年度、三年或技能表现审计所花费的管理时间来成功地远程实施工程师评估。如图24中展示，工程师再认证助理通过以下方式来控制成本：将工程师模拟器运行及相关联训练成本降低35％；通过将模拟器运行移动到纳税服务来改进工程师资源可用性；通过使可重复手动过程成功地远程实施若干工程师评估自动化借此允许道路工程师领班(RFE)更好地识别有风险的工程师、向RFE提供更多时间来专注于有风险的工程师及修改行为以及为有风险的工程师提供后期监测及/或亲自乘坐来将机车机组的RFE或管理者的生产力提高50％；及增加满足49C.F.R.§240.127的现场认证数目及驱动更高安全等级。

参考图25，由本公开的工程师再认证助理1320执行的过程的第一所说明实施例的目标过程1300包括由RFE及申请人的特征执行以实现RFE的对应步骤的五个步骤。工程师再认证助理1320是人工智能(AI)实施方案，其利用来自实时数据获取及记录系统(例如DARS100、200、800、900、1000)的视频及操作数据两者、用视频内容分析系统(例如视频分析学系统910)分析视频及操作数据及在基于网络的查看器(例如网络客户端826)上报告视频及操作数据。接着，工程师再认证助理1320组合那些数据与列车及机组数据以使铁路公司能快速评定导致机组被认证或取消认证在给定领地及路线中操作列车的信息。由工程师再认证助理1320收集及合并数据以便人类接着查看沿着路线的AI选择的事件及点以评估潜在不当及/或不安全列车处理及违反操作规则的行为。替代地，AI本身可检视沿着道路的所选择的事件及点以确定潜在不当及/或不安全列车处理及违反操作规则的行为、确定评估分数及建议工程师或机组成员的认证或取消认证，或可因任何检测到的严重不合规而直接认证或取消认证工程师或机组成员。

工程师、RFE通过选择要审计的工程师1302来开始评估过程。作为响应，系统1320向客户提供简单用户接口来搜索由那位工程师在最后12个月中完成的所有列车行程。如图26中展示，RFE可通过选择工程师及时间范围以查看列车行程摘要页面上的所有工程师行程来执行按需审计，或客户可定义认证调度。接着，用户接口826显示那个工程师在最后12个月内的结果，包含工程师操作了哪些列车及哪些细分1304。如图27中展示，系统1320自动下载所关注事件的视频，包含(但不限于)路旁信号、临时速度区、平面交叉口、PTC初始化、货场入口及/或出口、警报及/或列车处理异常(例如硬耦合、油门调制、重制动及蜂窝电话下载)。举例来说，图27的用户接口826展示：1)自动下载的视频，其包括路旁信号之前的120秒视频及路旁信号之后的30秒视频；2)缩略图展示列车经过时的路旁信号；3)DARS视图中的路旁信号图标。

接着，RFE选择列车/子部以进行工程师审计1306。系统1320提供60英里/2小时行程的自动下载能力及六个额外场景以检测客户的工程师评估报告(EER)规则的异常。举例来说，如图28中展示，客户的EER规则包含九个章节，且本公开的工程师再认证助理1320涵盖那些章节中的八章。接着，系统1320向RFE产生视频及/或异常的完成电子邮件1308。RFE及/或客户可检视DARS查看器826及/或操作者记分卡中的审计结果，其还允许RFE将工程师异常的注释直接添加到DARS查看器826中且操作者记分卡记载所有异常1310。如图29中展示，系统1320将集成于工程师评估系统或ERAD内，ERAD是其中客户今天执行工程师评估的网站，其包括一键批准或拒绝成功评估。工程师评估系统1320包含若干特征，包含(但不限于)：1)右键单击紫色栏以添加表现评估行程的评论及添加关于异常的评论的能力，评论例如(举例来说)“在MP 433.42处观察到工程师在列车低于限制速度限制时未遵循无菌驾驶室规则XX.XX”；2)出现展示对工程师及/或RFE检视作出的评论的图标；3)允许用户打开或关闭评论，如用户同样可对场景所做那样；4)用共享链路将那次行程的所有评论都组合到操作者记分卡档案中以使得用户无需截取DARS查看器826的屏幕截图；5)将行程评论及/或异常概括到报告中以向客户提供一站式服务(one stop shop)来编辑、检视及与其他用户共享。如图30中展示，操作者记分卡档案编译EER的所有警报、RFE评论、经编辑分数及支持数据。如果EER呈正确格式及/或结构，那么操作者记分卡档案可能能够取代EER。接着，过程1300根据需要重复。

来自本公开的工程师再认证助理1320的现场演示的DARS查看器826的屏幕截图在图31及32中展示。图31的屏幕截图展示：1)自动下载的路旁信号之前的两分钟及路旁信号之后的三十秒的视频；2)缩略图，其展示列车经过时的路旁信号；及3)路旁信号图标。图32的屏幕截图展示RFE用户在DVR视频下载页面上决定他们想要评估工程师的资产及时间范围。

图22是展示由本公开的工程师再认证助理1320执行的过程1400的第二所说明实施例的流程图。如上文关于过程1300描述，工程师再认证助理1320是人工智能(AI)实施方案，其利用来自实时数据获取及记录系统(例如DARS 100、200、800、900、1000)的视频及操作数据两者、用视频内容分析系统(例如视频分析学系统910)分析视频及操作数据及在基于网络的查看器(例如网络客户端826)上报告视频及操作数据。过程1400包括使用基于计算机的数据及视频认证工程师的三个工作流：数据搜集及组织工作流1402、数据分析工作流1404及概括及总结报告工作流1406。搜集工作流1402用安装及连接到各种传感器(如上文描述，例如GPS、速度、加速度等)的至少一个相机(例如相机116、216、802、940、1016)及至少一个板载数据记录器(例如数据记录器154、254、808、902、1054)识别移动资产1408。搜集工作流1402还可从额外数据源(例如PTC事件日志及/或网络调度系统)获得数据以搜集用于监测表现的输入。从这些移动资产收集的数据可包括DARS数据，包含事件数据记录器数据、加速度计数据、陀螺仪数据、燃油量数据、传输到且存储于后台中的麦克风及向内及/或向外相机数据，以及移动资产板载存储的麦克风及向内及/或向外相机数据，具有至少72小时容量1410。如与列车操作规则、轨道授权限制、天气条件等相比，从外部数据源收集的数据经集成到平台中以允许额外监测机组表现1412。

分析工作流1404连续及/或按请求包括后台服务且扫描DARS数据及相机数据以查找关键事件及基于法规要求的操作表现1414。用户接口安全门户826允许用户按请求启动对工程师再认证要求的分析1416。针对经确定地理片段，关于给定机组的指定日期及时间，分析工作流1404执行如与指定政府法规要求相关的所有操作、表现及行为特性的分析以用于移动资产工程师及/或操作者的认证及/或取消认证1418。

概括及总结工作流1406包括用户接口安全门户826，其在单个视图中显示相关信息及结果，其可包含关键地理操作区、关键操作区域(例如工作区)、基于算法的基于法规的警报及基于人工智能输出的基于法规的警报1420。用户接口安全门户826允许用户将评论添加到特定事件及/或时间段以供其他人检视1422。概括及总结工作流1406提供发布机组的操作表现的概括报告以供检视及记录保持的能力1424。在一些情况中，技能表现评定为操作者认证及/或取消认证提供基于分数的自动化建议1426。

为了简单地解释，将过程1300及1400描绘及描述为一系列步骤。然而，根据本公开的步骤可按各种顺序及/或并行发生。另外，根据本公开的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，可能并不需要所说明的所有步骤来实施根据所公开主题的方法。

用于机车上的本发明的实施例的基于加速的移动资产数据记录器及传输器包括九个组件的操作集成。所述组件是类似于飞机上的黑盒的事件记录器、机车数字视频记录器、燃油液面传感器、无线处理单元、惯性导航传感器板、固件、系统软件及涵盖这些组件的系统。惯性导航传感器板包含3轴数字陀螺仪、3轴数字磁力计、3轴数字加速度计及微控制器。陀螺仪用于测量资产的角加速度及减速度，磁力计用于测量磁场，加速度计用于测量线性加速度及减速度，且微控制器用于处理数据及在传感器与无线处理单元之间通信。

移动资产数据记录器及传输器执行七种功能：自动定向、自动罗盘校准、具有俯仰及滚转的燃油补偿、具有冲击检测的紧急制动、恶劣操作条件检测、引擎运行检测及惯性导航(航位推测)。

自动碰撞检测在紧急制动应用发生时警示适当人员且可立刻确定碰撞是否与制动事件重合。移动资产数据记录器及传输器提供即时碰撞严重性通知，包含机车脱轨或翻车事件的指示。

恶劣操作条件检测减小由于粗糙切换及列车操作引起的损耗。当在切换操作期间检测到高能冲击时，其提供警报及摘要报告。其还检测过度松弛动作，其允许监督者连续评定及改进列车操作。这使得能通过识别不安全趋势及允许用户采取即时校正动作来减小货物及装备损坏。对轨道条件的连续监测及对振动水平的道路上监测警示轨道维护人员可能需要检验及维修的崎岖轨道或道岔的主动位置。

如果引擎运行信号尚无法从其它板载系统存取，那么基于加速度计的引擎运行检测可用作备份源，作为通过消除多余的空闲来降低燃油成本的一种手段。其还通过补偿由于坡度及超高程引起的机车倾斜来改进道路燃油准确度。

用俯仰及滚转进行的燃油补偿改进燃油报告准确度。其提供一种确定当机车停止时引擎是否正在运行的简单、通用及非侵入方法。准确度提高提供增强型实时业务智能来支持战略行动，例如智能加油、燃烧率分析、燃油调节及排放监测。

惯性导航或航位推测增强定位准确度。当处于其中GPS信号不可用的厂房建筑、站、隧道或任何位置内部时，其用复杂的航位推测扩充无线处理单元的高准确度差分GPS。这提供高度准确的到站及出发时间，且厂房区域内的主动定位及机车定向通过改进厂房计划及工作流来提高操作效率。

本发明的移动资产数据记录器及传输器系统及其组件在图39中展示。移动资产数据记录器及传输器系统1200由十个相关组件组成：事件数据记录器1238、机车数字视频记录器(DVR)1252、燃油液面传感器1210、燃油液面传感器软件1212、WPU 1202、惯性导航传感器板1214、全球定位系统(GPS)1206、固件1224、系统软件1226及系统1200本身。将WPU 1202安装到资产(例如机车)上包括安装WPU 1202及将其外部连接到事件数据记录器1238、机车数字视频记录器1252及任何额外可用条件感测装置。

类似于飞机上的黑盒的事件数据记录器1238是用于机车的板载数据记录装置。典型事件数据记录器1238由数字及模拟输入以及记录来自各种板载装置的数据(例如油门位置、车轮速度及紧急制动应用)的压力开关及压力换能器组成。WPU 1202经由外部串行连接每秒接收及处理来自事件数据记录器1238的数据一次。

类似于电视数字视频记录器(DVR)的机车DVR 1252是板载视频记录装置。DVR1252配备有面向前的相机及麦克风。相机以此定向安装使得其看见及记录工程师看见的内容。WPU 1202经由外部以太网连接存取机车的DVR 1252以在事件之前、期间及之后从硬盘下载视频。

燃油液面传感器1210是用于测量燃油箱内部的燃油量的传感器。用于本发明中的燃油液面传感器1210是超声液面传感器，其使用超声声波确定传感器头与燃油液面之间的距离。传感器1210安装于具有已知尺寸及安装位置的燃油箱顶部上。WPU 1202经由外部串行连接存取此数据。

燃油液面传感器软件1212用燃油箱几何形状得到从燃油液面到传感器1210的距离及将此数据转换成稳定燃油量。这通过应用数学滤波以减小来自油箱的晃动及超声行为的噪声来实现。软件1226还使用智能算法确定加油及燃油下降事件。

所说明实施例的WPU 1202是运行专为工业应用嵌入的Windows XP的加固型板载计算机。其具有可经安装以针对特定客户需要定制产品的许多不同特征。WPU 1202具有与各种各样的板载系统通信的能力，包含(但不限于)车辆控制系统、事件数据记录器、DVR、燃油液面传感器及引擎控制器。WPU 1202具有经由各种各样的协议通信的能力，包含(但不限于)RS 232、RS 422、RS 485、CAN总线、LAN、WiFi、蜂窝及卫星。

惯性导航传感器板(板)1214是WPU 1202的硬件升级。其被安装在内部且经由内部串行端口与WPU 1202通信。板1214由四个组件组成：3轴陀螺仪1216、3轴磁力计1215、3轴加速度计1220及微控制器1222。陀螺仪1216用于测量角加速度，磁力计1215用于测量磁场，加速度计1220用于测量线性加速度及减速度，且微控制器1222用于处理数据及在传感器与WPU 1202之间通信。

固件1224在板1214的微控制器1222上运行。固件1224使用3轴加速1220数据不断地计算俯仰及滚转。通过比较3轴加速度数据与编程定义的阈值及持续时间，固件1224可确定是否发生触发事件，且如果发生，那么向WPU 1202发送触发事件消息。固件1224每秒向WPU 1202发送含有一组预定义值的周期性数据消息。此数据用于(但不限于)确定航向、内部环境温度及角加速度。

系统软件1226是在WPU 1202上运行的应用程序。此应用程序直接与GPS 1206及板1214对话以搜集相关数据。除此数据之外，系统软件1226如WPU 1202上的所有其它应用程序般使用标准进程间通信协议搜集来自其它软件应用程序的数据。这些其它软件应用程序在WPU 1202上运行且与物理连接到WPU 1202的其它装置(DVR 1252、事件数据记录器1238等)通信。通过使用所搜集的所有数据，系统软件1226可比较数据与预定义阈值及持续时间以确定特定事件是否发生。

系统1200由具有板1214的WPU 1202、固件1224及所安装的系统软件1226及事件数据记录器1238、DVR 1252以及燃油液面传感器1210组成。系统软件1226在WPU1202上运行，不断地校正燃油液面及检查来自板1214或事件数据记录器1238的事件消息以采取动作。

移动资产数据记录器及传输器系统1200(图39)执行七种功能：自动定向、自动罗盘校准、具有冲击检测的紧急制动、具有俯仰及滚转的燃油补偿、恶劣操作条件检测、引擎运行检测及惯性导航(航位推测)。这七种功能中的每一者将由3轴加速度计1220产生的信号考虑在内。

自动定向用于使WPU 1202的轴与机车的轴相关以使得由传感器测量的值对应于机车的轴。此过程由软件1226及固件1224实现。由于机车上的不同电子环境，罗盘需要根据每机车进行校准。软件使用WPU 1202的GPS 1206(图38及39)确定机车的航向。接着，其得到来自磁力计1215的测量且将其存储于阵列的对应位置中。阵列由360个位置组成，每度航向一个位置。使用这些值，WPU 1202的软件1226可校正机车自身的磁场且仅检测由于地球磁场引起的变化。

图34描绘具有冲击检测的紧急制动的方法应用的流程图。WPU 1202(图39)软件1226(图39)向固件1224(图39)发送在每一轴(Adx、Ady、Adz)1234上建立将用于触发事件的加速持续时间的初始化命令。这些持续时间板载存储于体现系统1200的装置中。WPU 1202软件2226也向固件1224发送在每一轴(Atx、Aty、Atz)1236上建立将用于触发事件的加速阈值的初始化命令。这些持续时间板载存储于体现系统1200的装置(图39)中。微控制器1222(图39)以100Hz的速率从加速度计1220提取原始3轴加速度(Ax、Ay、Az)1240数据。低通滤波器1244经应用到原始加速度值(Ax、Ay、Az)1240，这导致经滤波加速度值(Afx、Afy、Afz)1244。经滤波加速度值(Afx、Afy、Afz)1244的板1214(图39)轴经平移到资产轴(Af'x、Af'y、Af'z)1248。原始值(Ax、Ay、Az)1240的板1214值经平移到资产轴(A'x、A'y、A'z)1246。资产轴(Af'x、Af'y、Af'z)1248的经滤波值经添加到每一轴(Atx、Aty、Atz)1236的经建立阈值，及接着，此经添加阈值(Af'tx、Af'ty、Af'tz)1250连续与资产轴(A'x、A'y、A'z)1246中的原始加速度进行比较1251。当原始值(A'x、A'y、A'z)1246超过一或多个轴中的阈值1250时，激活定时器1253。当原始值1246不再超过特定轴中的阈值1250时1256，原始值1246超过阈值1250的持续时间经评估以确定持续时间是否超过那个轴(Adx、Ady、Adz)1234的指定持续时间。如果事件持续时间长于1254建立(Adx、Ady、Adz)1234的持续时间，那么存储触发事件1255，包含关于哪一轴、事件的持续时间及触发事件的时间的详情。板载软件1226(图39)与此监测并行地从监测各种输入传感器的实时状态的板载事件数据记录器1238接收周期性数据消息1256。板载软件1226监测周期性数据消息1256及检测周期性数据消息1256何时指示紧急制动应用离散信号已出现1257。板载软件1226存储紧急制动应用事件发生的时间1258。如果板载软件1226存储触发事件1255或紧急制动时间1258，那么板载系统软件1226将检查每一事件的时间戳以查看从触发事件1255或紧急制动应用1258记录的最近两个事件是否都在附近1259。如果检测到事件发生在附近1259，那么板载软件1226将用冲击警报触发紧急制动应用1260，且将从板载DVR 1252请求涵盖事件的时间的数字视频记录器下载1261，及将从事件数据记录器1238请求涵盖事件的时间的数据日志文件1262。板载软件1226接收涵盖事件的时间的经下载视频1263及涵盖事件的时间的数据日志文件1264及将两者都发送到后台1265/1266。

用户将接收指示碰撞的实际力量及碰撞是否会导致翻车或脱轨的警报。这与GPS位置、视频及对事件记录器信息的即时存取耦合允许用户在前往事故的途中主动地将事故的严重性及范围中继到第一响应者。

图35描绘使用基于加速度计的俯仰及滚转进行燃油补偿的方法应用的流程图。WPU 1202(图39)软件1226(图39)以100Hz的速率从加速度计1220提取原始3轴加速度数据(Ax、Ay、Az)1240。低通滤波器1244经应用到原始数据(Ax、Ay、Az)1240，这导致经滤波加速度值(Afx、Afy、Afz)1242。经滤波值(Afx、Afy、Afz)1242的板1214(图39)轴经平移到资产轴(Af'x、Af'y、Af'z)1248。资产的俯仰1267是资产的经滤波x轴及资产的经滤波z轴的反正切：

资产的滚转1268是资产的经滤波y轴及资产的经滤波z轴的反正切：

针对其上安装系统的资产的每一模型，捕获燃油传感器安装的特定位置。明确来说，记录传感器安装在燃油箱中心前方的距离1269。另外，还记录燃油传感器安装在燃油箱中心左方的距离1270。

中心前方距离1269与资产的俯仰1267的正切组合以获得第一燃油距离调整。中心左方距离1270与资产的滚转1268的正切组合以获得第二燃油距离调整。第一及第二燃油距离调整经组合以提供单个燃油距离调整1271。板载距离液面传感器记录从油箱顶部到板载燃油箱中存在的燃油液面的距离。来自燃油传感器1273的到燃油的原始距离1272与距离调整1271组合以创建经调整距离1274。经调整距离1274与先前定义的油箱几何油箱轮廓1275组合，其将到燃油的距离值映射成燃油量1276。这导致最终燃油量1277，其随着资产行进通过其中俯仰1267及滚转1268变化的各种地形而调整，从而补偿操作移动资产的油箱内液体的移动。

图36描绘使用加速度计进行潜在恶劣操作条件检测的方法应用的流程图。WPU1202(图39)软件1226(图28)向固件1224(图39)发送在每一轴(Adx、Ady、Adz)1234上建立将用于触发事件的加速持续时间的初始化命令。这些持续时间板载存储于装置中。软件1226也向固件1224发送在每一轴(Atx、Aty、Atz)1236上建立将用于触发事件的加速阈值的初始化命令。这些持续时间板载存储于装置中。微控制器1222(图39)以100Hz的速率从加速度计1220提取原始3轴加速度数据(Ax、Ay、Az)1240。低通滤波器1244经应用到原始加速度值1240，这导致经滤波加速度值(Afx、Afy、Afz)1242。经滤波值1242的板1214(图39)轴经平移到资产轴(Af'x、Af'y、Af'z)1248，且原始值1240的板1214轴经平移到资产轴(A'x、A'y、A'z)1246。资产轴(Af'x、Af'y、Af'z)1248的经滤波值经添加到每一轴(Atx、Aty、Atz)1236的经建立阈值，及接着，此经添加阈值(Af'tx、Af'ty、Af'tz)1250连续与资产轴(A'x、A'y、A'z)1246中的原始加速度进行比较1251。当原始值1246超过一或多个轴中的阈值1250时，激活定时器1253。当原始值1246不再超过特定轴中的阈值1250时，原始值1246超过阈值1250的持续时间经评估以确定其是否超过那个轴(Adx、Ady、Adz)1234的指定持续时间。如果事件持续时间长于为那个轴(Adx、Ady、Adz)1234建立的持续时间，那么存储触发事件1255，包含关于哪一轴、事件的持续时间及触发事件的时间的详情。

板载软件1226(图39)与此监测并行地经由来自板载事件数据日志记录器1238(图34)及/或来自板载GPS装置1206(图38及39)的周期性消息监测资产速度。板载软件1226监测资产速度1278及检测其何时超过指定值1279。如果速度1278超过指定值1279及存储的触发事件1255同时发生1280，那么板载系统软件1226将检查事件在哪一轴中被触发。如果事件在z轴中触发1281，那么系统将记录潜在轨道问题警报1282。如果事件在x或y轴中触发，那么系统将记录操作者不当处理警报1283。如果潜在轨道问题警报1282或操作者不当处理警报1283发生，那么板载软件1226将从板载DVR 1252请求涵盖事件的时间的数字视频记录器下载1261。板载软件1226接收经下载视频1263及将其发送到后台1265。

用户现在可使用其移动资产的正常操作以实时主动地定位及警示其资产遇到恶劣操作环境的区域，例如不良轨道/道岔、波涛汹涌的海面及糟糕的道路。用户将在识别恶劣操作环境之后立即接收警报、静止或视频图像及至关重要的操作黑盒数据。维修队伍可对不良道路或轨道的主动位置作出响应。海上航线可经调整以避免洋流或波涛汹涌的水域。当配备下一移动资产数据记录器及传输器系统的资产横穿任何先前标记的区域时，可确认任何维修或重新路由的有效性。

图37描绘使用加速度计进行引擎运行检测的方法应用的流程图。WPU 1202(图39)软件1226(图39)向固件1224(图28)发送在每一轴(A1dx、A1dy、A1dz)1284上建立将用于触发事件的活动/不活动持续时间的初始化命令。这些持续时间板载存储于装置中。WPU 1202(图39)软件1226(图39)还向固件1224(图39)发送在每一轴(A1tx、A1ty、A1tz)1285上建立将用于触发事件的活动/不活动阈值的初始化命令。这些持续时间板载存储于装置中。微控制器1222(图39)以100Hz的速率从加速度计1242提取原始3轴加速度数据(Ax、Ay、Az)1240。低通滤波器1244经应用到原始加速度值(Ax、Ay、Az)1240，这导致经滤波加速度值(Afx、Afy、Afz)1246。经滤波值1246的板1214(图39)轴经平移到资产轴(Af'z、Af'y、Af'z)1248，且原始值1240的板1214轴经平移到资产轴(A'x、A'y、A'z)1249。资产轴(Af'x、Af'y、Af'z)1248的经滤波值经添加到每一轴(A1tx、A1ty、A1tz)1285的经建立活动/不活动阈值，及接着，此经添加阈值(Af'1tx、Af'1ty、Af'1tz)1286连续与资产轴(A'x、A'y、A'z)1249中的原始加速度进行比较。当原始值1249超过一或多个轴中的阈值1246时，激活定时器1287。如果原始值1249不再超过特定轴中的活动/不活动阈值1246，那么原始值1249超过阈值1286的持续时间经评估以确定其是否超过那个轴(A1dx、A1dy、A1dz)1284的指定持续时间。如果事件持续时间长于为那个轴(A1dx、A1dy、A1dz)1284建立的持续时间，那么存储触发不活动/活动事件1254 1288，包含关于哪一轴、事件的持续时间及事件触发的时间的详情。当活动/不活动事件被触发时，更新引擎运行状态1289。

图38描绘惯性导航(航位推测)的方法应用的流程图。微控制器1222(图39)以100Hz的速率从加速度计1242提取原始3轴加速度数据(Ax、Ay、Az)1240。低通滤波器1244经应用到原始加速度值(Ax、Ay、Az)1240，这导致经滤波加速度值(Afx、Afy、Afz)1246。经滤波值1246的板1214(图39)轴经平移到资产轴(Af'x、Af'y、Af'z)1248、1249。资产的俯仰1267是资产的经滤波x轴及资产的经滤波z轴的反正切：

资产的滚转1268是资产的经滤波y轴及资产的经滤波z轴的反正切：

资产的x轴中的加速度经积分1290以计算资产的速度1291：

∫资产的加速度_{x-轴经平移经滤波加速度值}。

微控制器1222(图39)并行地以1Hz从磁力计1215提取3轴高斯数据(Gx、Gy、Gz)1292。使用磁力计数据1292及资产的俯仰1267及滚转1268，计算倾斜补偿航向1293。板载GPS装置1206还并行地提供以1Hz频率更新的位置数据。板载软件1226确定有效GPS数据是否可用1294。如果GPS信号可用，那么板载软件1226每秒将把数据1295解析成GPS速度1295A、航向1295B、纬度1295C及经度1295D，且将存储1296纬度1295C及经度1295D。如果GPS数据被确定为不可用，那么系统1200(图39)进入航位推测模式1297。在航位推测模式1297中，最后已知纬度1295C及经度1295D是从GPS1206获得并存储1296。使用最后已知1296纬度1295C及最后经度1295D以及资产的速度1291、来自事件记录器数据1126的车轮速度、倾斜补偿航向1293及来自3轴陀螺仪的数据1216，计算新位置1298。新纬度1299A及新经度1299B位置被存储及使用，且过程继续直到有效GPS数据再次可用。

用户将接收主动出发及到达警报且登录其中GPS信号被悬垂物及顶篷阻挡或部分被阻挡的环境中。此系统1200(图39)允许用户定义虚拟‘绊脚线’，即使在其中GPS装置由于RF信号损耗或干扰而呈现为无用的区域中。惯性导航能力通过在GPS信号无法计算准确位置数据时警示及记录资产交叉触发及到达虚拟‘绊脚线’的主动时间来使操作者表现自动化到调度矩阵。

如在本申请案中使用，术语“或”希望意味着包含性“或”而非排他性“或”。即，除非另外或从上下文明确指定，否则“X包含A或B”希望意味着自然包含性排列中的任何者。即，如果X包含A；X包含B；或X包含A及B两者，那么在前述例子中的任何者下满足“X包含A或B”。另外，“X包含A及B中的至少一者”希望意味着自然包含性排列中的任何者。即，如果X包含A；X包含B；或X包含A及B两者，那么在前述离子中的任何者下满足“X包含A及B中的至少一者”。如在本申请案及所附权利要求书中使用，冠词“一(a/an)”大体上应理解为意味着“一或多个”将涉及单数形式，除非另外或从上下文明确指定。此外，贯穿全文的术语“实施方案”或“一个实施方案”的使用不希望意味着同一实施例、方面或实施方案，除非描述为如此。

虽然本公开已结合某些实施例描述，但应理解，本公开不限于所公开实施例，正相反，希望涵盖包含于所附权利要求书的范围内的各种修改及等效布置，所述范围应符合最宽解译以便如在法律允许的情况下涵盖所有此类修改及等效结构。

Claims (32)

1.一种用于使指定移动资产操作者的表现技能的评定自动化的方法，其包括以下步骤：

使用网络门户从用户接收包括所述指定移动资产操作者及指定时间范围的请求；

使用数据获取及记录系统接收与所述移动资产操作者及所述指定时间范围相关的数据，所述数据基于来自以下中的至少一者的至少一个信号：

移动资产板载的至少一个数据源，所述移动资产板载的所述至少一个数据源包括所述数据获取及记录系统的至少一个相机及至少一个数据记录器中的至少一者；及

所述移动资产远端的至少一个数据源；

使用视频分析学系统的人工智能组件将所述数据处理成经处理数据；

使用所述网络门户在显示器装置上显示包含至少一个视频的所述经处理数据。

2.根据权利要求1所述的方法，所述至少一个相机包括以下中的至少一者：至少一个360度相机，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个固定相机，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；及至少一个麦克风，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中，其中所述至少一个360度相机是面向内及面向外中的一者，且所述至少一个固定相机是面向内及面向外中的一者。

3.根据权利要求1所述的方法，所述移动资产板载的所述至少一个数据源包括：至少一个视频记录器，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个声音记录器，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个加速度计；至少一个陀螺仪；及

至少一个磁力计。

4.根据权利要求1所述的方法，所述数据包括事件数据记录器数据、加速度计数据、陀螺仪数据、燃油量数据、麦克风数据、向内相机数据及向外相机数据中的至少一者。

5.根据权利要求1所述的方法，其进一步包括：

使用板载数据管理器将所述数据及所述经处理数据中的至少一者存储于所述数据获取及记录系统的数据记录器的后台及至少一个本地存储器组件中的至少一者中；及

使用远程数据管理器将所述数据及所述经处理数据中的至少一者存储于远程数据储存库中。

6.根据权利要求1所述的方法，所述数据包括主动列车控制事件日志及网络调度系统数据中的至少一者。

7.根据权利要求1所述的方法，其进一步包括：

使用后台基于操作表现针对关键事件及法规要求连续监测所述数据。

8.根据权利要求1所述的方法，其中所述数据获取及记录系统经由无线数据链路及有线数据链路中的至少一者接收所述数据。

9.根据权利要求1所述的方法，其进一步包括：

使时间同步事件记录器数据及地理位置数据与所述指定移动资产的驾驶室的视频及邻近于所述指定移动资产的行进路线的特征的视频协调。

10.根据权利要求1所述的方法，其进一步包括：

通过查看所述经显示数据及比较所述经显示数据与针对移动资产的安全操作的规则来使用所述视频分析学系统分析所述指定移动资产操作者的表现。

11.根据权利要求1所述的方法，其进一步包括：

使用视频分析学组件基于指定政府法规要求分析包含与预定地理片段、所述指定移动资产操作者及所述指定时间范围相关的操作数据、表现数据及行为特性的所述数据以用于所述指定移动资产操作者的认证及取消认证中的一者。

12.根据权利要求1所述的方法，其进一步包括：

使用所述数据获取及记录系统接收与所述移动资产操作者及所述指定时间范围相关的数据，所述数据包括燃油数据、天气数据、列车组成数据及所述移动资产的指定移动路线的移动授权数据、机组数据及时间数据中的至少一者。

13.根据权利要求1所述的方法，其中显示所述经处理数据包含显示关键地理操作区、关键操作区域、工作区、基于算法的基于法规的警报及基于从所述人工智能组件接收的输出的基于法规的警报中的至少一者。

14.根据权利要求1所述的方法，其进一步包括：

使用所述网络门户接收与识别于所述数据中的特定事件及识别于所述数据中的时间段中的至少一者相关的用户评论；及

使用所述网络门户显示所述用户评论。

15.根据权利要求1所述的方法，其进一步包括：

产生所述指定移动资产操作者的表现的概括报告；及

使用所述网络门户显示所述概括报告。

16.根据权利要求1所述的方法，其进一步包括：

确定基于分数的自动化建议以用于所述指定移动资产操作者的认证及取消认证中的一者。

17.一种用于使指定移动资产操作者的表现技能的评定自动化的系统，其包括：

网络门户，其经调适以从用户接收包括移动资产的所述指定移动资产操作者及指定时间范围的请求；

所述移动资产板载的数据获取及记录系统，其经调适以接收与所述指定移动资产操作者及所述指定时间范围相关的数据，所述数据基于来自包括所述数据获取及记录系统的至少一个相机及至少一个数据记录器中的至少一者的所述移动资产板载的至少一个数据源及所述移动资产远端的至少一个数据源中的至少一者的至少一个信号；及

视频分析学系统的人工智能组件，其经调适以将所述数据处理成经处理数据；

所述网络门户，其经调适以在显示器装置上显示包含至少一个视频的所述经处理数据。

18.根据权利要求17所述的系统，所述至少一个相机包括以下中的至少一者：至少一个360度相机，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个固定相机，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；及至少一个麦克风，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中，其中所述至少一个360度相机是面向内及面向外中的一者，且所述至少一个固定相机是面向内及面向外中的一者。

19.根据权利要求17所述的系统，所述移动资产板载的所述至少一个数据源包括：至少一个视频记录器，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个声音记录器，其定位于所述移动资产中、所述移动资产上及所述移动资产附近中的至少一者中；至少一个加速度计；至少一个陀螺仪；

及至少一个磁力计。

20.根据权利要求17所述的系统，所述数据包括事件数据记录器数据、加速度计数据、陀螺仪数据、燃油量数据、麦克风数据、向内相机数据及向外相机数据中的至少一者。

21.根据权利要求17所述的系统，其进一步包括：

所述数据获取及记录系统的板载数据管理器，其经调适以将所述数据及所述经处理数据中的至少一者存储于所述数据获取及记录系统的数据记录器的后台及至少一个本地存储器组件中的至少一者中；及

远程数据管理器，其经调适以将所述数据及所述经处理数据中的至少一者存储于远程数据储存库中。

22.根据权利要求17所述的系统，所述数据包括主动列车控制事件日志及网络调度系统数据中的至少一者。

23.根据权利要求17所述的系统，其进一步包括：

后台，其经调适以基于操作表现针对关键事件及法规要求连续监测所述数据。

24.根据权利要求17所述的系统，所述数据获取及记录系统进一步经调适以经由无线数据链路及有线数据链路中的至少一者接收所述数据。

25.根据权利要求17所述的系统，所述数据获取及记录系统进一步经调适以使时间同步事件记录器数据及地理位置数据与所述指定移动资产的驾驶室的视频及邻近于所述指定移动资产的行进路线的特征的视频协调。

26.根据权利要求17所述的系统，所述视频分析学系统进一步经调适以通过查看所述经显示数据及比较所述经显示数据与针对移动资产的安全操作的规则来分析所述指定移动资产操作者的所述表现。

27.根据权利要求17所述的系统，所述视频分析学系统进一步经调适以基于指定政府法规要求分析包含与预定地理片段、所述指定移动资产操作者及所述指定时间范围相关的操作数据、表现数据及行为特性的所述数据以用于所述指定移动资产操作者的认证及取消认证中的一者。

28.根据权利要求17所述的系统，所述数据获取及记录系统进一步经调适以接收与所述移动资产操作者及所述指定时间范围相关的数据，所述数据包括燃油数据、天气数据、列车组成数据及所述移动资产的指定移动路线的移动授权数据、机组数据及时间数据中的至少一者。

29.根据权利要求17所述的系统，所述网络门户经调适以显示所述经处理数据，其包含显示关键地理操作区、关键操作区域、工作区、基于算法的基于法规的警报及基于从所述人工智能组件接收的输出的基于法规的警报中的至少一者。

30.根据权利要求17所述的系统，所述网络门户进一步经调适以接收与识别于所述数据中的特定事件及识别于所述数据中的时间段中的至少一者相关的用户评论且经调适以显示所述用户评论。

31.根据权利要求17所述的系统，所述数据获取及记录系统进一步经调适以产生所述指定移动资产操作者的表现的概括报告，且所述网络门户进一步经调适以显示所述概括报告。

32.根据权利要求17所述的系统，所述数据获取及记录系统进一步经调适以确定基于分数的自动化建议以用于所述指定移动资产操作者的认证及取消认证中的一者。

Images