CN113874921A - 自动信号符合监测与警报系统 - Google Patents

Abstract

一种用于移动资产的数据获取与记录系统(DARS)，其包含数据记录器及自动信号监测与警报系统。所述数据记录器包含数据编码器、机载数据管理器、交通工具事件检测器、至少一个本地存储器组件及排队存储库。DARS处理来自至少一个输入传感器的数据且至少每秒一次地将所述数据的经压缩记录存储于本地存储器模块中。DARS经设计而以近实时模式运行，从而每五分钟将包括五分钟的数据的完整记录存储到远程存储器模块，并且以实时模式运行，从而通过至少每秒一次且最高达每十分之一秒一次地上传数据的记录而将数据流式传输到所述远程存储器模块。远程定位的用户可：通过网页浏览器查看由DARS获取的视频、音频及数据，这提供较快紧急响应；验证修理及重新路线规划的有效性且监测组员表现及安全；及实时接收信号符合及信号违反。

Description

自动信号符合监测与警报系统

相关申请案的交叉参考

本申请案主张2019年3月29日提出申请的美国临时申请案第62/825,943号的优先权、主张2019年4月5日提出申请的美国临时申请案第62/829,730号的优先权且主张2020年3月28日提出申请的美国非临时申请案第16/833,590号的优先权达到法律允许的程度，且所述美国申请案的内容以其全文引用的方式并入本文中。本申请案还主张2016年5月16日提出申请的美国临时申请案第62/337,227号、2017年5月15日提出申请的美国非临时专利申请案第15/595,650号(现在是2018年4月3日颁发的美国专利第9,934,623号)、2018年2月28日提出申请的美国非临时专利申请案第15/907,486号(现在是2019年10月15日颁发的美国专利第10,445,951号)、2016年5月16日提出申请的美国临时申请案第62/337,225号、2017年5月15日提出申请的美国美国非临时专利申请案第15/595,689号(现在是2019年9月10日颁发的美国专利第10,410,441号)、2019年4月16日提出申请的美国专利申请案第16/385,745号、2016年5月16日提出申请的美国临时申请案第62/337,228号、2017年5月15日提出申请的美国非临时专利申请案第15/595,712号(现在是2019年8月27日颁发的美国专利第10,392,038号)、2018年6月5日提出申请的美国临时申请案第62/680,907号及2019年6月4日提出申请的美国非临时专利申请案第16/431,466号的优先权。上述美国申请案中的每一者的整个揭示内容以引用的方式并入本文中。本文中引用的所有专利申请案、专利及印刷公开案以其全文引用的方式并入本文中，除了任何定义、标的物免责声明或否认，并且除非达到并入的材料与本文中明确的揭示内容不一致的程度，在这种情形中，本发明中的语言占控制地位。

技术领域

本发明涉及用于高价值资产中的设备且特定来说，涉及用于高价值移动资产中的自动信号符合监测与警报系统。

背景技术

例如机车、飞机、大运量客运系统、采矿设备、可运输医疗设备、货物、海运船舶及军用船舶等高价值移动资产通常采用机载数据获取与记录“黑匣子(black box)”系统及/或“事件记录器”系统。例如事件数据记录器或飞行数据记录器等的这些数据获取与记录系统记录用于事故调查、组员表现评估、燃料效率分析、维修计划及预测性诊断的多种系统参数。典型数据获取与记录系统包括数字及模拟输入，以及压力开关及压力换能器，其记录来自各种机载传感器装置的数据。所记录数据可包含例如速度、所行进距离、位置、燃料液面高度、发动机每分钟转数(RPM)、液面高度、操作者控制、压力、当前及预测天气状况以及周围状况等参数。除了基本事件及操作数据之外，还对这些相同移动资产中的许多移动资产部署视频及音频事件/数据记录能力。通常，在已发生涉及资产且需要进行调查的事故之后，一旦已恢复数据记录器，便从数据记录器提取数据。可出现其中无法恢复数据记录器或数据以其它方式不可用的特定情况。在这些情况中，立即需要由数据获取与记录系统获取的数据(例如事件及操作数据、视频数据以及音频数据)，而不管对数据获取与记录系统或数据的物理访问是否可用。

发明内容

本发明一般来说涉及用于高价值移动资产中的实时数据获取与记录系统及自动信号监测与警报系统。本文中的教示可提供对由实时数据获取与记录系统记录的关于高价值移动资产的数据(例如事件及操作数据、视频数据及音频数据)的实时或近实时存取。一个实施方案，一种用于处理来自至少一个移动资产的数据的方法包含以下步骤：使用远离所述至少一个移动资产的数据中心及位于所述至少一个移动资产上的数据中心中的一者，接收基于来自以下各项中的至少一者的至少一个数据信号的数据：位于所述至少一个移动资产上的至少一个数据源；及远离所述至少一个移动资产的至少一个数据源；在使用所述数据中心基于所述数据检测到至少一个触发条件的条件下，使用所述数据中心的第一人工智能模型确定所述至少一个移动资产是引导移动资产及控制移动资产中的至少一者；使用所述数据中心从所述引导移动资产及所述控制移动资产中的至少一者获得视频内容，所述视频内容包括在所述至少一个触发条件之前的可配置预定时间量收集的可配置预定量的所述数据；使用所述数据中心的数据库，存储所述视频内容；使用所述数据中心的第二人工智能模型，确定基于所述视频内容的情节；使用所述数据中心的所述数据库，存储所述情节；及使用所述数据中心，将电子消息发送到预定量的用户。

一种用于处理来自至少一个移动资产的数据的系统的一个实施方案包含：至少一个图像测量装置、至少一个视频测量装置、至少一个范围测量装置及至少一个麦克风中的至少一者；位于所述至少一个移动资产上的数据记录器，其适于从以下各项中的至少一者接收至少一个数据信号：至少一个图像测量装置、所述至少一个视频测量装置、所述至少一个范围测量装置、所述至少一个麦克风中的至少一者、位于所述至少一个移动资产上的至少一个数据源及远离所述至少一个移动资产的至少一个数据源；数据中心，其适于接收基于所述至少一个数据信号的数据；所述数据中心的第一人工智能模型，所述第一人工智能模型适于在由所述数据中心基于所述数据检测到至少一个触发条件的条件下，确定所述至少一个移动资产是引导移动资产及控制移动资产中的至少一者；所述数据中心的数据库，所述数据库适于存储从以下各项中的至少一者获得的视频内容：所述至少一个图像测量装置、所述至少一个视频测量装置、所述至少一个范围测量装置、所述至少一个麦克风、位于所述至少一个移动资产上的所述至少一个数据源及远离所述至少一个移动资产的所述至少一个数据源；及所述数据中心的第二人工智能模型，所述第二人工智能模型适于确定基于所述视频内容的情节。

下文将以额外细节描述本发明的这些及其它方面中的变化。

附图说明

本文中的描述参考附图，其中在所有数个视图中相似参考编号指代相似部件，且其中：

图1图解说明根据本发明的实施方案的示范性实时数据获取与记录系统的第一实施例的现场实施方案；

图2图解说明根据本发明的实施方案的示范性实时数据获取与记录系统的第二实施例的现场实施方案；

图3是根据本发明的实施方案的用于记录来自移动资产的数据及/或信息的过程的流程图；

图4是根据本发明的实施方案的用于在电力中断之后附加来自移动资产的数据及/或信息的过程的流程图；

图5是图解说明根据本发明的实施方案的被保存到碰撞硬化存储器模块的示范性临时记录块及完整记录块的图式；

图6是图解说明根据本发明的实施方案的在电力中断之前及在电力恢复之后的碰撞硬化存储器模块中的示范性临时记录块的图式；

图7是图解说明根据本发明的实施方案的在已恢复电力之后的碰撞硬化存储器模块中的示范性记录分段的图式；

图8图解说明根据本发明的实施方案的实时数据获取与记录系统查看器的第一实施例的现场实施方案；

图9是根据本发明的实施方案的用于记录来自移动资产的视频数据、音频数据及/或信息的过程的流程图；

图10是根据本发明的实施方案的用于记录来自移动资产的视频数据、音频数据及/或信息的过程的流程图；

图11是图解说明根据本发明的实施方案的实时数据获取与记录系统查看器的360度相机的示范性鱼眼视图的流程图；

图12是图解说明根据本发明的实施方案的实时数据获取与记录系统查看器的360度相机的示范性全景视图的图式；

图13是图解说明根据本发明的实施方案的实时数据获取与记录系统查看器的360度相机的示范性四视图的图式；

图14是图解说明根据本发明的实施方案的实时数据获取与记录系统查看器的360度相机的示范性鱼眼矫正(dewarped)视图的图式；

图15图解说明根据本发明的实施方案的数据获取与记录系统视频内容分析系统的第一实施例的现场实施方案；

图16A是图解说明根据本发明的实施方案的示范性轨道检测的图式；

图16B是图解说明根据本发明的实施方案的示范性轨道检测及道岔(switch)检测的图式；

图16C是图解说明根据本发明的实施方案的示范性轨道检测、对轨道数目进行计数及信号检测的图式；

图16D是图解说明根据本发明的实施方案的示范性交叉口及轨道检测的图式；

图16E是图解说明根据本发明的实施方案的示范性双架空信号检测的图式；

图16F是图解说明根据本发明的实施方案的示范性多轨道检测的图式；

图16G是图解说明根据本发明的实施方案的示范性道岔及轨道检测的图式；

图16H是图解说明根据本发明的实施方案的示范性道岔检测的图式；

图17是根据本发明的实施方案的用于确定移动资产的内部状态的过程的流程图；

图18是根据本发明的实施方案的用于确定在移动资产外部发生的物体检测及障碍物检测的过程的流程图；

图19图解说明根据本发明的实施方案的示范性实时数据获取与记录系统的第七实施例的现场实施方案；

图20是图解说明根据本发明的实施方案的自动信号符合监测与警报系统的示范性信号检测的图式；及

图21是根据本发明的实施方案的用于确定信号符合的过程的第一实施例的流程图。

具体实施方式

本文中所描述的实时数据获取与记录系统的第一实施例向远程定位的用户(例如资产所有者、操作者及调查者)提供对与高价值资产有关的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。数据获取与记录系统经由数据记录器而记录与资产有关的数据且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少截至事故或紧急情况之前为可用的，借此实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要且消除对与资产上的数据记录器进行交互以请求下载特定数据、定位及传送文件以及使用定制应用程序来查看数据的需要。本发明的系统保持典型记录能力且增加用以在事故之前、期间及之后将数据流式传输到远程数据存储库及远程终端用户的能力。在绝大多数情况中，在数据记录器中记录的信息为冗余的且不需要的，这是因为数据已被获取并存储于远程数据存储库中。

在本发明的系统之前，在事故已发生且需要进行调查之后从“黑匣子”或“事件记录器”提取数据。含有由“黑匣子”记录的时间分段的数据文件必须从“黑匣子”下载及检索，且接着由用户利用专有软件来查看。用户将必须获得对资产的物理或远程访问、选择将要从“黑匣子”下载的所要数据、将含有所要信息的文件下载到计算装置、且使用在计算装置上操作的定制应用程序定位具有所要数据的适当文件。本发明的系统已消除使用户执行这些步骤的需要，仅需要用户使用共同网页浏览器来导航到所要数据。远程定位的用户可访问共同网页浏览器来导航到与所选择资产有关的所要数据以实时或近实时地查看并分析资产的操作效率及安全。

远程定位的用户(例如资产所有者、操作者及/或调查者)可访问共同网页浏览器以导航到与所选择资产有关的实况及/或历史所要数据来实时或近实时地查看并分析资产的操作效率及安全。用以实时或近实时地查看操作的能力实现迅速的行为评估及调整。举例来说，在事故期间，实时信息及/或数据可促进对情境进行检伤分类且向第一响应者提供有价值信息。举例来说，在正常操作期间，实时信息及/或数据可用于审核组员表现且帮助进行全网络情境感知。

数据可包含但不限于：源自资产及/或资产附近的模拟及频率参数，例如速度、压力、温度、电流、电压及加速度；布尔(Boolean)数据，例如开关位置、致动器位置、警示灯照明及致动器命令；全球定位系统(GPS)数据及/或地理信息系统(GIS)数据，例如位置、速度及海拔高度；内部产生的信息，例如在给定资产的当前位置时所述资产的管制速度限制，来自位于资产中、其上或附近的各种位置处的相机的视频及图像信息，来自位于资产中、其上或附近的各种位置处的麦克风的音频信息；从数据中心被发送到资产的关于资产的操作计划的信息，例如路线、调度及货物清单信息；关于资产当前正操作或计划操作的区域的环境状况的信息，包含当前及预测天气状况；由机车中的例如主动列车控制(positive traincontrol)(PTC)等系统产生的资产控制状态及操作数据；及从以上各项中的任何者的组合导出的数据，包含但不限于额外数据、视频及音频分析以及分析法。

图1及2分别图解说明其中可实施本发明的各方面的示范性实时数据获取与记录系统(DARS)100、200的第一实施例及第二实施例的现场实施方案。DARS 100、200为将实时信息从数据记录装置递送到远程定位的终端用户的系统。DARS 100、200包含数据记录器154、254，所述数据记录器安装于交通工具或移动资产148、248上且通过机载有线及/或无线数据链路170、270(例如无线网关/路由器)的任何组合而与任何数目个各种信息源进行通信或者经由DARS 100、200的数据中心150、250、经由数据链路(例如无线数据链路146)而与非机载信息源进行通信。数据记录器154、254包括：机载数据管理器120、220，数据编码器122、222，交通工具事件检测器156、256，排队存储库158、258，及无线网关/路由器172、272。另外，在此实施方案中，数据记录器154、254可包含碰撞硬化存储器模块118、218及/或具有或不具有以太网供电(POE)的以太网交换机162、262。示范性硬化存储器模块118、218可为例如符合美国联邦法规(Code of Federal Regulations)及/或联邦铁路管理局法规(Federal Railroad Administration regulations)的防撞事件记录器存储器模块、符合美国联邦法规及/或联邦航空管理局法规(Federal Aviation Administrationregulations)的碰撞可保全存储器单元、符合任何可适用美国联邦法规的碰撞硬化存储器模块或如本技术领域中已知的任何其它适合硬化存储器装置。在图2中所展示的第二实施例中，数据记录器254可进一步包含任选非碰撞硬化可装卸式存储装置219。

有线及/或无线数据链路170、270可包含离散信号输入、标准或专有以太网、串行连接及无线连接中的任一者或组合。以太网连接的装置可利用数据记录器154、254的以太网交换机162、262且可利用POE。以太网交换机162、262可为内部或外部的且可支持POE。另外，来自图1及2的实施方案中的例如地图组件164、264、路线/组员清单组件124、224及天气组件126、226等远程数据源的数据可由机载数据管理器120、220及交通工具事件检测器156、256通过无线数据链路146、246及无线网关/路由器172、272从数据中心150、250获得。

数据记录器154、254通过机载数据链路170、270而从各种各样的源收集数据或信息，所述源可基于资产的配置而广泛地变化。数据编码器122、222至少对通常由管制机构定义的最小数据集进行编码。在此实施方案中，数据编码器122、222从各种各样的资产148、248源及数据中心150、250源接收数据。信息源可包含资产148、248中的任何数目个组件，例如以下各项中的任一者：模拟输入102、202，数字输入104、204，I/O模块106、206，交通工具控制器108、208，发动机控制器110、210，惯性传感器112、212，全球定位系统(GPS)114、214，相机116、216，主动列车控制(PTC)/信号数据166、266，燃料数据168、268，蜂窝式传输检测器(未展示)，内部驱动数据及任何额外数据信号，以及数据中心150、250中的任何数目个组件，例如以下各项中的任一者：路线/组员清单组件124、224，天气组件126、226，地图组件164、264及任何额外数据信号。数据编码器122、222对数据进行压缩或编码且将所述数据进行时间同步以便促进向远程数据存储库130、230的高效实时传输及复制。数据编码器122、222将经编码数据传输到机载数据管理器120、220，所述机载数据管理器接着将经编码数据保存于碰撞硬化存储器模块118、218及排队存储库158、258中以用于经由位于数据中心150、250中的远程数据管理器132、232而复制到远程数据存储库130、230。任选地，机载数据管理器120、220可将经编码数据的第三副本保存于图2中所展示的第二实施例的非碰撞硬化可装卸式存储装置219中。机载数据管理器120、220与远程数据管理器132、232一致地工作以管理数据复制过程。数据中心150、250中的单个远程数据管理器132、232可管理来自多个资产148、248的数据的复制。

将来自各种输入组件的数据及来自驾驶室内音频/图形用户接口(GUI)160、260的数据发送到交通工具事件检测器156、256。交通工具事件检测器156、256处理数据以确定事件、事故或涉及资产148、248的其它预定义情况是否已发生。当交通工具事件检测器156、256检测到指示预定义事件发生的信号时，交通工具事件检测器156、256将预定义事件发生的经处理数据连同围绕预定义事件的支持数据一起发送到机载数据管理器120、220。交通工具事件检测器156、256基于来自各种各样的源(例如模拟输入102、202，数字输入104、204，I/O模块106、206，交通工具控制器108、208，发动机控制器110、210，惯性传感器112、212，GPS 114、214，相机116、216，路线/组员清单组件124、224，天气组件126、226，地图组件164、264，PTC/信号数据166、266及燃料数据168、268)的数据而检测事件，所述源可基于资产的配置而变化。当交通工具事件检测器156、256检测到事件时，将所检测资产事件信息存储于排队存储库158、258中且可任选地经由驾驶室内音频/图形用户接口(GUI)160、260而呈现给资产148、248的组员。

机载数据管理器120、220还将数据发送到排队存储库158。在近实时模式中，机载数据管理器120、220将从数据编码器122、222接收的经编码数据及任何事件信息存储于碰撞硬化存储器模块118、218及排队存储库158、258中。在图2的第二实施例中，机载数据管理器220可任选地将经编码数据存储于非碰撞硬化可装卸式存储装置219中。在五分钟的经编码数据已在排队存储库158、258中积累之后，机载数据管理器120、220通过无线数据链路146、246、经由数据中心150、250中的远程数据管理器132、232而将五分钟的经编码数据存储到远程数据存储库130、230，所述无线数据链路是通过无线网关/路由器172、272而访问的。在实时模式中，机载数据管理器120、220将从数据编码器122、222接收的经编码数据及任何事件信息存储到碰撞硬化存储器模块118、218且任选地存储于图2的非碰撞硬化可装卸式存储装置219中，并通过无线数据链路146、246、经由数据中心150、250中的远程数据管理器132、232而将所述经编码数据及任何事件信息存储于远程数据存储库130、230中，所述无线数据链路是通过无线网关/路由器172、272而访问的。机载数据管理器120、220与远程数据管理器132、232可利用无线网关/路由器172、272经由多种无线通信链路(例如Wi-Fi、蜂窝式、卫星及专用无线系统)而进行通信。无线数据链路146、246可为例如无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、专用无线系统、蜂窝式电话网或将来自DARS 100、200的数据记录器154、254的数据传送到(在此实例中)DARS 100、200的远程数据管理器130、230的任何其它构件。当无线数据连接为不可用时，数据被存储于存储器中且在排队存储库158、258中被排队直到无线连接性恢复且数据复制过程可重新开始为止。

与数据记录并行，数据记录器154、254连续且自主地将数据复制到远程数据存储库130、230。复制过程具有两种模式：实时模式及近实时模式。在实时模式中，每秒将数据复制到远程数据存储库130、230。在近实时模式中，每五分钟将数据复制到远程数据存储库130、230。用于近实时模式的速率为可配置的且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据存储库130、230而支持高分辨率数据。当DARS 100、200处于近实时模式中时，机载数据管理器120、220在将数据复制到远程数据管理器132、232之前将数据在排队存储库158、258中排队。机载数据管理器120、220还将在排队存储库158、258中被排队的交通工具事件检测器信息复制到远程数据管理器132、232。在正常操作期间，在大多数状况下使用近实时模式，以便提高数据复制过程的效率。

可基于正发生且由机载于资产148、248上的交通工具事件检测器156、256检测到的事件或者通过从数据中心150、250起始的请求而起始实时模式。当远程定位的用户152、252已向网页客户端142、242请求实时信息时，起始典型的数据中心150、250起始的对实时模式的请求。实时模式起源于资产148、248上的典型原因是交通工具事件检测器156、256检测到事件或事故，例如操作者起始紧急停止请求、紧急制动活动、在任何轴上的迅速加速或减速或者去往数据记录器154、254的输入电力的损失。当从近实时模式转变到实时模式时，将尚未被复制到远程数据存储库130、230的所有数据复制并存储于远程数据存储库130、230中且接着起始实况复制。近实时模式与实时模式之间的转变通常发生在少于五秒内。在从事件或事故以来已经过预定时间量(预定不活动时间量)之后，或当用户152、252不再期望来自资产148、248的实时信息时，数据记录器154、254回复到近实时模式。起始所述转变所需的预定时间量为可配置的且通常被设定为十分钟。

当数据记录器154、254处于实时模式中时，机载数据管理器120、220尝试连续地将其队列清空到远程数据管理器132、232，从而将数据存储到碰撞硬化存储器模块118、218，且任选地存储到图2的非碰撞硬化可装卸式存储装置219，并且同时将数据发送到远程数据管理器132、232。机载数据管理器120、220还将在排队存储库158、258中被排队的所检测交通工具信息发送到远程数据管理器132、232。

在接收到来自数据记录器154、254的待被复制的数据连同来自地图组件164、264、路线/组员清单组件124、224及天气组件126、226的数据后，远程数据管理器132、232即刻将经压缩数据存储到DARS 100、200的数据中心150、250中的远程数据存储库130、230。远程数据存储库130、230可为例如基于云的数据存储装置或任何其它适合远程数据存储装置。当接收到数据时，起始一过程，所述过程致使数据解码器136、236将用于/来自远程数据存储库130、230的最近复制的数据解码且将经解码数据发送到远程事件检测器134、234。远程数据管理器132、232将交通工具事件信息存储于远程数据存储库130、230中。当远程事件检测器134、234接收到经解码数据时，其处理所述经解码数据以确定在经解码数据中是否发现所关注事件。经解码信息接着由远程事件检测器134、234使用以在数据中检测关于资产148、248所发生的事件、事故或其它预定义情况。在从经解码数据检测到所关注事件后，远程事件检测器134、234即刻将事件信息及支持数据存储于远程数据存储库130、230中。当远程数据管理器132、232接收到远程事件检测器134、234信息时，远程数据管理器132、232将所述信息存储于远程数据存储库130、230中。

远程定位的用户152、252可使用标准网页客户端142、242(例如网页浏览器，或在此实施方案中可显示来自所选择相机的缩略图像的虚拟现实装置(未展示))来存取与特定资产148、248或多个资产有关的信息(包含交通工具事件检测器信息)。网页客户端142、242使用共同网页标准、协议及技术来通过网络144、244将用户152、252对信息的请求传递到网页服务器140、240。网络144、244可为例如因特网。网络144、244还可为局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝式电话网或将来自网页服务器140、240的数据传送到(在此实例中)网页客户端142、242的任何其它构件。网页服务器140、240向数据解码器136、236请求所要数据。在来自网页服务器140、240的请求后，数据解码器136、236即刻从远程数据存储库130、230获得与特定资产148、248或多个资产有关的所请求数据。数据解码器136、236将所请求数据解码且将经解码数据发送到本地化器138、238。本地化是将数据转换成终端用户所期望的格式(例如将数据转换成用户的优选语言及测量单位)的过程。本地化器138、238通过访问网页客户端142、242而识别由用户152、252设定的简档设置且使用所述简档设置来准备将被发送到网页客户端142、242以用于呈现给用户152、252的信息，这是因为原始经编码数据及所检测事件信息是使用协调通用时间(UTC)及国际单位系统(SI单位)保存到远程数据存储库130、230。本地化器138、238将经解码数据转换成用户152、252所期望的格式，例如用户152、252的优选语言及测量单位。如所请求，本地化器138、238将呈用户152、252的优选格式的经本地化数据发送到网页服务器140、240。网页服务器140、240接着将所述资产或多个资产的经本地化数据发送到网页客户端142、242以用于查看及分析，从而提供标准视频及360度视频的播放及实时显示。网页客户端142、242可显示且用户152、252可查看单个资产的数据、视频及音频或同时查看多个资产的数据、视频及音频。网页客户端142、242还可提供数据连同来自在资产、附近资产及/或远程定位的位点上、中或附近的标准视频源及360度视频源两者的多个视频及音频数据的同步播放及实时显示。

图3是展示根据本发明的实施方案的用于记录来自资产148、248的数据及/或信息的过程300的流程图。数据记录器154、254从各种输入组件接收数据信号302，所述数据信号包含来自资产148、248及数据中心150、250的物理或所计算数据元素，例如速度、纬度坐标、经度坐标、喇叭检测、节流阀位置、天气数据、地图数据或组员数据。数据编码器122、222创建包含用于配置及记录数据信号信息的一系列结构化位的记录304。接着将经编码记录发送到机载数据管理器120、220，所述机载数据管理器将一系列记录按时间次序依序组合到包含多达五分钟的数据的记录块中306。临时记录块包含少于五分钟的数据，而完整记录块包含完整五分钟的数据。每一记录块包含完全解码所包含信号(包含数据完整性检查)所需的所有数据。最低限度，记录块必须以开始记录开始且以结束记录结束。

为了确保将所有经编码信号数据保存到碰撞硬化存储器模块118且任选地保存到图2的非碰撞硬化可装卸式存储装置219以防数据记录器154、254由于撞击或其它灾难性事件而损失电力或者经受极端温度或机械应力，机载数据管理器120、220将临时记录块以预定速率存储于碰撞硬化存储器模块118中308，且任选地存储于图2的非碰撞硬化可装卸式存储装置219中，其中所述预定速率为可配置的及/或可变的，如图5中以示范性表示所展示。临时记录块至少每秒保存一次，但还可频繁地每十分之一秒保存一次。临时记录块被保存的速率取决于每一信号的取样速率。每个临时记录块包含从最近完整记录块以来的完整记录集。当数据记录器154、254在将数据存储到碰撞硬化存储器模块118、218或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219的同时损失电力时，数据记录器154、254可在记录每一临时记录块时在碰撞硬化存储器模块118、218中且任选地图2的非碰撞硬化可装卸式存储装置219中的两个暂时存储位置之间进行交替以防止多于一秒的数据损坏或丢失。每当将新临时记录块保存到暂时碰撞硬化存储器位置时，所述新临时记录块将覆写那个位置中的现有先前所存储临时记录块。

在此实施方案中，当数据记录器154、254处于近实时模式中时，每五分钟，机载数据管理器120、220将包含最近五分钟的经编码信号数据的完整记录块存储到碰撞硬化存储器模块118、218中的记录分段(图7中所展示)中，且将完整记录块的副本发送到远程数据管理器132、232以存储于远程数据存储库130、230中达预定保持周期(例如两年)310。碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219存储最近记录块的记录分段达强制性存储持续时间，所述强制性存储持续时间在此实施方案中为联邦强制性持续时间，其中数据记录器154、254必须将操作或视频数据存储于碰撞硬化存储器模块118、218中并缓冲达额外的24小时，且接着被覆写。

图4是展示根据本发明的实施方案的用于在电力中断之后附加来自资产148、248的数据及/或信息的过程400的流程图。一旦恢复电力，数据记录器154、254便识别存储于两个暂时碰撞硬化存储器位置中的一者中的最近临时记录块402且使用包含于每个记录块的结束记录中的32位循环冗余校验来验证最近临时记录块404。接着将经验证临时记录块附加到碰撞硬化存储器记录分段且将可含有在电力损失之前多达五分钟的数据的所述记录分段发送到远程数据管理器132、232以存储达所述保持周期406。在强制性存储持续时间的循环缓冲中，将经编码信号数据存储到碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219。由于碰撞硬化存储器记录分段被分解成多个记录块，因此在每当完整记录块被保存到碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219时，数据记录器154、254在必要时移除较旧记录块以释放存储器空间。

图6是图解说明针对数据记录器154、254在电力损失之前及在电力恢复之后的示范性临时记录块的图式。当在(2/1/2016 10:10:08AM)存储于暂时位置2中的临时记录块602为有效时，将所述临时记录块附加到碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219中的记录分段702(图7)，如图7中所展示。当在(2/1/2016 10:10:08AM)存储于暂时位置2中的临时记录块为无效时，验证在(2/1/201610:10:07AM)位于暂时位置1中的临时记录块，且如果有效，那么将所述临时记录块附加到碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219中的记录分段。

无论何时任何记录块需要被保存于碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219中，记录分段均立即被冲洗到磁盘。由于数据记录器154、254在保存临时记录块时在两个不同暂时存储位置之间进行交替，因此总是存在不被修改或冲洗到碰撞硬化存储器或非碰撞硬化可装卸式存储装置的一个暂时存储位置，借此确保存储于暂时存储位置中的两个临时记录块中的至少一者为有效的且无论何时数据记录器154、254损失电力，数据记录器154、254将最多不会丢失多于一秒的数据。类似地，当数据记录器154、254正每十分之一秒将数据写入到碰撞硬化存储器模块118、218及/或图2的数据记录器254的任选非碰撞硬化可装卸式存储装置219时，无论何时数据记录器154、254损失电力，数据记录器154、254将最多不会丢失多于十分之一秒的数据。

为解释简单起见，将过程300及过程400作为一系列步骤来描绘及描述。然而，根据本发明的步骤可以各种次序及/或同时地发生。另外，根据本发明的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，并非可需要所有所图解说明步骤来实施根据所揭示标的物的方法。

本文中所描述的实时数据获取与记录系统及查看器的第三实施例向远程定位的用户(例如资产所有者、操作者及调查者)提供对高价值资产的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。数据获取与记录系统经由数据记录器而记录与资产有关的数据且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少截至事故或紧急情况之前为可用的，借此实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要且消除对与资产上的数据记录器进行交互以请求下载特定数据、定位及传送文件以及使用定制应用程序来查看数据的需要。本发明的系统保持典型记录能力且增加用以在事故之前、期间及之后将数据流式传输到远程数据存储库及远程终端用户的能力。在绝大多数情况中，在数据记录器中记录的信息为冗余的且不需要的，这是因为数据已被获取并存储于远程数据存储库中。

在本发明的系统之前，在事故已发生且需要进行调查之后从“黑匣子”或“事件记录器”提取数据。含有由“黑匣子”记录的时间分段的数据文件必须从“黑匣子”下载及检索，且接着由用户利用专有软件来查看。用户将必须获得对资产的物理或远程访问、选择将要从“黑匣子”下载的所要数据、将含有所要信息的文件下载到计算装置、且使用在计算装置上操作的定制应用程序定位具有所要数据的适当文件。本发明的系统已消除使用户执行这些步骤的需要，仅需要用户使用共同网页浏览器来导航到所要数据。远程定位的用户可访问共同网页浏览器来导航到与所选择资产有关的所要数据以实时或近实时地查看并分析资产的操作效率及安全。

远程定位的用户(例如资产所有者、操作者及/或调查者)可访问共同网页浏览器以导航到与所选择资产有关的实况及/或历史所要数据来实时或近实时地查看并分析资产的操作效率及安全。用以实时或近实时地查看操作的能力实现迅速的行为评估及调整。举例来说，在事故期间，实时信息及/或数据可促进对情境进行检伤分类且向第一响应者提供有价值信息。举例来说，在正常操作期间，实时信息及/或数据可用于审核组员表现且帮助进行全网络情境感知。

第三实施例的实时数据获取与记录系统将以下各项中的至少一者或者任何组合用作数据获取与记录系统的部分：移动资产中、其上或附近的图像测量装置、视频测量装置及范围测量装置。图像测量装置及/或视频测量装置包含但不限于：360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机及/或其它相机。范围测量装置包含但不限于：雷达，及光检测与测距(“LIDAR”)。LIDAR是一种通过用脉冲激光照明目标且用传感器测量反射脉冲来测量到目标的距离的勘测方法。在本发明的系统之前，“黑匣子”及/或“事件记录器”不包含在移动资产中、其上或附近的360度相机或其它相机。本发明的系统增加使用作为数据获取与记录系统的部分的360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机来使用及记录视频的能力，从而在涉及移动资产的事故已发生之前、期间及之后将移动资产中、其上或附近的360度视图、窄视图、宽视图、鱼眼视图及/或其它视图提供到远程数据存储库以及远程用户及调查者。用以实时或近实时地查看操作、360度视频及/或其它视频的能力实现迅速的组员行为评估及调整。所有者、操作者及调查者可查看并分析人员、交通工具及基础设施的操作效率、安全且可调查或检验事故。用以查看来自移动资产的360度视频及/或其它视频的能力实现迅速的组员行为评估及调整。举例来说，在事故期间，360度视频及/或其它视频可促进对情境进行检伤分类且向第一响应者及调查者提供有价值信息。举例来说，在正常操作期间，360度视频及/或其它视频可用于审核组员表现且帮助进行全网络情境感知。360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机提供情境的完整画面以为执法部门及/或铁路警察提供监控视频、提供关键基础设施的检验、铁路交叉口的监测、查看轨道工作进展、驾驶室内及车场中两者的组员审核以及实时远程监控。

现有系统需要用户下载含有时间分段的视频文件以便使用专有软件应用程序或其它外部视频播放应用程序来查看视频文件。本发明的数据获取与记录系统提供360度视频、其它视频、图像信息及音频信息以及范围测量信息，所述视频及信息可通过使用虚拟现实装置及/或通过标准网页客户端而显示给远程用户，借此消除对下载及使用外部应用程序来观看视频的需要。另外，远程定位的用户可通过使用虚拟现实装置或通过标准网页客户端(例如网页浏览器)而以各种模式查看360度视频及/或其它视频，借此消除对下载及使用外部应用程序来观看视频的需要。现有视频系统需要用户下载含有数据的时间分段的视频文件，所述视频文件仅可使用用户必须单独购买的专有应用软件或其它外部视频播放应用程序来查看。

数据可包含但不限于：来自位于资产中、其上或附近的各种位置处的相机的视频及图像信息，以及来自位于资产中、其上或附近的各种位置处的麦克风的音频信息。360度相机是提供360度球面视场、360度半球面视场及/或360度鱼眼视场的相机。使用资产中、其上或附近的360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机及/或其它相机会提供用以使用作为DARS的部分的360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机及/或其它相机来使用及记录视频的能力，借此使资产中、其上或附近的360度视角及/或其它视角在事故之前、期间及之后对于远程数据存储库、远程定位的用户及调查者为可用的。

图8图解说明其中可实施本发明的各方面的示范性实时数据获取与记录系统(DARS)800的第三实施例的现场实施方案。DARS 800为经由数据中心832而将实时信息、视频信息及音频信息从移动资产830上的数据记录器808递送到远程定位的终端用户的系统。数据记录器808安装于交通工具或移动资产830上且通过有线及/或无线数据链路(例如无线网关/路由器(未展示))的任何组合而与任何数目个各种信息源进行通信。数据记录器808包括碰撞硬化存储器模块810、机载数据管理器812及数据编码器814。在第四实施例中，数据记录器808还可包含非碰撞硬化可装卸式存储装置(未展示)。示范性硬化存储器模块810可为例如符合美国联邦法规及/或联邦铁路管理局法规的防撞事件记录器存储器模块、符合美国联邦法规及/或联邦航空管理局法规的碰撞可保全存储器单元、符合任何可适用美国联邦法规的碰撞硬化存储器模块或如本技术领域中已知的任何其它适合硬化存储器装置。有线及/或无线数据链路可包含离散信号输入、标准或专有以太网、串行连接及无线连接中的任一者或组合。

数据记录器808通过机载数据链路而从各种各样的源收集视频数据、音频数据及其它数据及/或信息，所述源可基于资产的配置而变化。在此实施方案中，数据记录器808从视频管理系统804接收数据，所述视频管理系统连续记录来自放置于资产830中、其上或附近的360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机802及固定相机806的视频数据及音频数据，并且视频管理系统804将视频及音频数据存储到碰撞硬化存储器模块810，且还可将视频及音频数据存储于第二实施例的非碰撞硬化可装卸式存储装置中。使用不同位速率或空间分辨率来创建不同版本的视频数据且将这些版本分离成可变长度的分段，例如缩略图、五分钟低分辨率分段及五分钟高分辨率分段。

数据编码器814至少对通常由管制机构定义的最小数据集进行编码。数据编码器814从视频管理系统804接收视频及音频数据且对所述数据进行压缩或编码并将所述数据进行时间同步以便促进向远程数据存储库820的高效实时传输及复制。数据编码器814将经编码数据传输到机载数据管理器812，所述机载数据管理器接着响应于远程定位的用户834的按需请求或响应于在资产830上所观察到的特定操作状况而经由位于数据中心830中的远程数据管理器818将经编码视频及音频数据发送到远程数据存储库820。机载数据管理器812与远程数据管理器818一致地工作以管理数据复制过程。数据中心832中的远程数据管理器818可管理来自多个资产的数据的复制。存储于远程数据存储库820中的视频及音频数据对于网页服务器822为可用的以供远程定位的用户834进行存取。

机载数据管理器812还将数据发送到排队存储库(未展示)。机载数据管理器812通过视频管理系统804而监测存储于碰撞硬化存储器模块810及第二实施例的任选非碰撞硬化可装卸式存储装置中的视频及音频数据，且确定其是处于近实时模式还是实时模式中。在近实时模式中，机载数据管理器812将从数据编码器814接收的经编码数据(包含视频数据、音频数据及任何其它数据或信息)及任何事件信息存储于碰撞硬化存储器模块810及第二实施例的任选非碰撞硬化可装卸式存储装置中且存储于排队存储库中。在五分钟的经编码数据已在排队存储库中积累之后，机载数据管理器812通过无线数据链路816、经由数据中心832中的远程数据管理器818而将五分钟的经编码数据存储到远程数据存储库820。在实时模式中，机载数据管理器812通过无线数据链路816、经由数据中心832中的远程数据管理器818而将从数据编码器814接收的经编码数据(包含视频数据、音频数据及任何其它数据或信息)及任何事件信息存储到远程数据存储库820。机载数据管理器812与远程数据管理器818可经由多种无线通信链路而进行通信。无线数据链路816可为例如无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、专用无线系统、蜂窝式电话网或将来自数据记录器808的数据传送到(在此实例中)远程数据管理器818的任何其它构件。远离资产830而发送及检索视频数据及音频数据的过程需要资产830与数据中心832之间的无线数据连接。当无线数据连接为不可用时，将数据在碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置中存储及排队，直到恢复无线连接性为止。无线连接性一恢复，视频、音频及任何其它额外数据检索过程便重新开始。

与数据记录并行，数据记录器808连续且自主地将数据复制到远程数据存储库820。复制过程具有两种模式：实时模式及近实时模式。在实时模式中，每秒将数据复制到远程数据存储库820。在近实时模式中，每五分钟将数据复制到远程数据存储库820。用于近实时模式的速率为可配置的且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据存储库820而支持高分辨率数据。在正常操作期间，在大多数状况下使用近实时模式，以便提高数据复制过程的效率。

可基于正发生于资产830上的事件或通过从数据中心832起始的请求而起始实时模式。当远程定位的用户834已向网页客户端826请求实时信息时，起始典型的数据中心832起始的对实时模式的请求。实时模式起源于资产830上的典型原因是检测到事件或事故，例如操作者起始紧急停止请求、紧急制动活动、在任何轴上的迅速加速或减速或者去往数据记录器808的输入电力的损失。当从近实时模式转变到实时模式时，将尚未被复制到远程数据存储库820的所有数据复制并存储于远程数据存储库820中且接着起始实况复制。近实时模式与实时模式之间的转变通常发生在少于五秒内。在从事件或事故以来已经过预定时间量(预定不活动时间量)之后，或当用户834不再期望来自资产830的实时信息时，数据记录器808回复到近实时模式。起始所述转变所需的预定时间量为可配置的且通常被设定为十分钟。

当数据记录器808处于实时模式中时，机载数据管理器812尝试连续地将其队列清空到远程数据管理器818，从而将数据存储到碰撞硬化存储器模块810及第二实施例的任选非碰撞硬化可装卸式存储装置，并且同时将数据发送到远程数据管理器818。

在接收到视频数据、音频数据及将从数据记录器808被复制的任何其它数据或信息后，远程数据管理器818即刻将所述数据存储到数据中心830中的远程数据存储库820。远程数据存储库820可为例如基于云的数据存储装置或任何其它适合远程数据存储装置。当接收到数据时，起始一过程，所述过程致使数据解码器(未展示)将来自远程数据存储库820的最近复制的数据解码且将经解码数据发送到远程事件检测器(未展示)。远程数据管理器818将交通工具事件信息存储于远程数据存储库820中。当远程事件检测器接收到经解码数据时，其处理所述经解码数据以确定在经解码数据中是否发现所关注事件。经解码信息接着由远程事件检测器使用以在数据中检测关于资产830所发生的事件、事故或其它预定义情况。在从先前存储于远程数据存储库820中的经解码数据检测到所关注事件后，远程事件检测器即刻将事件信息及支持数据存储于远程数据存储库820中。

视频数据、音频数据及任何其它数据或信息响应于用户834的按需请求而对于用户834为可用的及/或响应于在资产830上所观察到的特定操作状况而由机载数据管理器812发送到远程数据存储库820。存储于远程数据存储库820中的视频数据、音频数据及任何其它数据或信息在网页服务器822上为可用的以供用户834进行存取。远程定位的用户834可使用标准网页客户端826(例如网页浏览器)或在此实施方案中可显示所选择相机的缩略图像的虚拟现实装置828来存取存储于远程数据存储库820中的与特定资产830或多个资产有关的视频数据、音频数据及任何其它数据或信息。网页客户端826使用共同网页标准协议及技术来通过网络824将用户834对视频、音频及/或其它信息的请求传递到网页服务器822。网络824可为例如因特网。网络824还可为局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝式电话网或将来自网页服务器822的数据传送到(在此实例中)网页客户端826的任何其它构件。网页服务器822向远程数据存储库820请求所要数据。网页服务器822接着将所请求数据发送到网页客户端826，所述网页客户端提供标准视频、360度视频及/或其它视频的播放及实时显示。网页客户端826为用户834播放视频数据、音频数据及任何其它数据或信息，所述用户可与360度视频数据及/或其它视频数据及/或静态图像数据交互以进行查看及分析。用户834还可使用网页客户端826来下载视频数据、音频数据及任何其它数据或信息且可接着使用虚拟现实装置828来与360度视频数据交互以进行查看及分析。

网页客户端826可利用以多种不同模式提供360度视频及/或其它视频的播放的软件应用程序来增强。用户834可选出软件应用程序呈现视频播放的模式，例如，如图11中所展示的鱼眼视图、如图12中所展示的全景视图、双全景视图(未展示)、如图13中所展示的四视图及如图14中所展示的鱼眼矫正视图。

图9是展示根据本发明的实施方案的用于记录来自资产830的视频数据、音频数据及/或信息的过程840的流程图。视频管理系统804从各种输入组件(例如位于资产830上、其中或附近的360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机802及固定相机806)接收数据信号842。视频管理系统804接着使用例如静态图像、缩略图、静态图像序列或经压缩视频格式等工业标准格式的任何组合将视频数据、音频数据及/或信息存储于碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置中844。数据编码器814创建包含用于配置及记录数据信号信息的一系列结构化位的记录846。在近实时模式中，视频管理系统804将视频数据存储到碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置中，同时仅将非机载的有限视频数据(例如缩略图或极短低分辨率视频分段)发送到远程数据存储库820 848。

在另一实施方案中，接着将经编码记录发送到机载数据管理器812，所述机载数据管理器将一系列记录按时间次序依序组合到包含多达五分钟的数据的记录块中。临时记录块包含少于五分钟的数据，而完整记录块包含完整五分钟的数据。每一记录块包含完全解码所包含信号(包含数据完整性检查)所需的所有数据。最低限度，记录块必须以开始记录开始且以结束记录结束。

为了确保将所有经编码信号数据保存到碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置以防数据记录器808损失电力，机载数据管理器812将临时记录块以预定速率存储于碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置中，其中所述预定速率为可配置的及/或可变的。临时记录块至少每秒保存一次，但还可频繁地每十分之一秒保存一次。临时记录块被保存的速率取决于每一信号的取样速率。每个临时记录块包含从最近完整记录块以来的完整记录集。当数据记录器808在将数据存储到碰撞硬化存储器模块810的同时损失电力时，数据记录器808可在记录每一临时记录块时在碰撞硬化存储器模块810中的两个暂时存储位置之间进行交替以防止多于一秒的数据损坏或丢失。每当将新临时记录块保存到暂时碰撞硬化存储器位置时，所述新临时记录块将覆写那个位置中的现有先前所存储临时记录块。

在此实施方案中，当数据记录器808处于近实时模式中时，每五分钟，机载数据管理器812将包含最近五分钟的经编码信号数据的完整记录块存储到碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置中的记录分段中，且将包括五分钟的视频数据、音频数据及/或信息的完整记录块的副本发送到远程数据管理器818以存储于远程数据存储库820中达预定保持周期(例如两年)。碰撞硬化存储器模块810及第四实施例的任选非碰撞硬化可装卸式存储装置存储最近记录块的记录分段达强制性存储持续时间，所述强制性存储持续时间在此实施方案中为联邦强制性持续时间，其中数据记录器808必须将操作或视频数据存储于碰撞硬化存储器模块810中并缓冲达额外的24小时，且接着被覆写。

图10是展示用于通过网页浏览器或虚拟现实装置而查看来自资产830的数据及/或信息的过程850的流程图。当事件发生或当远程定位的经授权用户834经由网页客户端826而请求存储于碰撞硬化存储器模块810中的视频数据分段时，取决于事件，机载数据管理器812将开始以在给定无线数据链路816的带宽时可用的最好分辨率来实时地发送非机载的视频数据。远程定位的用户834通过网页客户端826而起始对呈特定视图模式的特定视频及/或音频数据的请求852，所述网页客户端通过网络824而将所述请求传递到网页服务器822。网页服务器822向远程数据存储库820请求特定视频及/或音频数据且通过网络824而将所请求视频及/或音频数据发送到网页客户端826 854。网页客户端826以由用户834指定的视图模式显示视频及/或音频数据856。用户834可接着下载特定视频及/或音频数据以在虚拟现实装置828上进行查看。在另一实施方案中，在实时模式中，首先以一秒间隔发送缩略图、接着发送短的较低分辨率视频分段且接着发送短的较高分辨率视频分段。

为解释简单起见，将过程840及过程850作为一系列步骤来描绘及描述。然而，根据本发明的步骤可以各种次序及/或同时地发生。另外，根据本发明的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，并非可需要所有所图解说明步骤来实施根据所揭示标的物的方法。

本文中所描述的实时数据获取与记录系统及视频分析系统的第五实施例向远程定位的用户提供对高价值资产的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。数据获取与记录系统记录与资产有关的数据且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少截至事故或紧急情况之前为可用的，借此通过将信息实时地或近实时地流式传输到远程数据存储库且使信息至少截至灾难性事件之前为可用的而实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要。DARS对移动资产的所记录视频数据执行视频分析以确定例如驾驶室占用率、轨道检测及轨道附近物体的检测。远程定位的用户可使用共同网页浏览器来导航到并查看与所选择资产有关的所要数据且不需要和资产上的数据获取与记录系统进行交互以请求下载特定数据、定位或传送文件以及使用定制应用程序来查看数据。

DARS通过在事故之前、期间及之后将视频数据流式传输到远程数据存储库及远程定位的用户而为远程定位的用户提供对所述数据及由视频分析系统执行的视频分析的存取，借此消除使用户手动地下载、提取及播放视频以回顾视频数据来确定驾驶室占用率、确定在事故、轨道检测、轨道附近物体的检测、调查或在所关注的任何其它时间期间是否存在组员成员或未经授权人员的需要。另外，视频分析系统通过实时地处理图像及视频数据而提供驾驶室占用率状态确定、轨道检测、轨道附近物体的检测、引导及尾随单元确定，借此确保正确数据总是对于用户为可用的。举例来说，实时图像处理确保被指定为尾随机车的机车并非处于引导服务中以增强铁路安全。现有系统通过使用调度系统中的列车编组功能性来在列车内提供机车位置。有时，调度系统信息可为陈旧的，这是因为并未实时地更新所述信息且组员人员在认为必要的情况下可更换机车。

在本发明的系统之前，检验组员及/或资产人员必须手动地检验轨道状况、手动地检查交通工具是处于引导还是尾随位置中、手动地勘测每一个别所关注物体的位置、手动地创建所有所关注物体的地理位置的数据库、周期性地执行对每一所关注物体的手动现场勘测以验证其位置且识别不同于原始勘测的地理位置的任何改变、在从创建原始数据库的时间以来所关注物体由于修理或额外基础设施开发而改变位置时手动地更新所述数据库、从数字视频记录器及/或数据记录器选择并下载所要数据且离线检验所下载数据及/或视频并针对任何障碍物而检查轨道，并且交通工具操作者必须物理检查任何障碍物及/或道岔改变。本发明的系统已消除使用户执行这些步骤的需要，从而仅需要用户使用共同网页浏览器来导航到所要数据。资产所有者及操作者可使移动资产的效率及安全实时地自动化及改进且可主动监测轨道状况并可实时地获得警示信息。本发明的系统消除使资产所有者及操作者从数据记录器下载数据以便监测轨道状况及调查事故的需要。作为主动安全系统，DARS可帮助操作者检查任何障碍物、实时地发送警报及/或离线保存信息，且发送警报信息以用于远程监测及存储。可将当前及过去轨道检测信息及/或与轨道附近物体的检测有关的信息两者实时地存储于远程数据存储库中以帮助用户在需要时查看信息。远程定位的用户可访问共同网页浏览器来导航到与所选择资产有关的所要数据以实时或近实时地查看并分析资产的操作效率及安全。

第五实施例的实时数据获取与记录系统可用于连续地监测所关注物体且实时地识别所述所关注物体何时已被移动或损坏、被树叶遮挡及/或处于失修中且需要维修。DARS利用视频、图像及/或音频信息来在视频中检测及识别各种基础设施物体(例如铁轨轨道)，具有用以在移动资产前进时沿循轨道的能力，且具有用以创建、审核及周期性地更新所关注物体与地理位置的数据库的能力。第五实施例的实时数据获取与记录系统将以下各项中的至少一者或者任何组合用作数据获取与记录系统的部分：移动资产中、其上或附近的图像测量装置、视频测量装置及范围测量装置。图像测量装置及/或视频测量装置包含但不限于：360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机及/或其它相机。范围测量装置包含但不限于：雷达，及光检测与测距(“LIDAR”)。LIDAR是一种通过用脉冲激光照明目标且用传感器测量反射脉冲来测量到目标的距离的勘测方法。

DARS可自动地检验轨道状况(例如对所存在的轨道数目进行计数)、识别移动资产正在其上行进的当前轨道且检测所存在的任何障碍物或缺陷，例如被冲刷出的道砟(ballast)、破损的轨道、轨道超限、不对准的道岔、道岔超轨(run-over)、轨道中浸水、积雪等，并且计划进行任何预防性维修以便避免任何灾难性事件。DARS还可检测铁轨轨道道岔且注意轨道改变。DARS可进一步检测数据位置的改变，包含检测物体是否缺失、被遮挡及/或不存在于预期位置处。可通过使用任何标准网页客户端(例如网页浏览器)而将轨道检测、基础设施诊断信息及/或基础设施监测信息显示给用户，借此消除对于如现有系统所需要的从数据记录器下载文件及使用专有应用软件或其它外部应用程序来查看信息的需要。此过程可扩展到自动地创建、审核及/或更新关于所关注物体的地理位置的数据库且确保符合联邦法规。对于本发明的系统，利用先前所安装以符合联邦法规的相机来执行先前需要人类交互、专门交通工具及/或替代设备的各种任务。DARS允许随着移动资产行进遍及整个领地而自动地执行这些任务作为正常收益服务及日常操作的部分。DARS可用于通过利用交通工具及先前所安装的相机的正常操作来完成先前需要手动努力的任务而节省手动工作的无数个人时间。DARS还可执行先前已使用专门交通工具执行的任务，从而防止关闭轨道路段来检验并定位轨道及所关注物体(此通常导致收益服务损失及购买并维修昂贵设备)。DARS进一步减少使人类在铁轨轨道附近定位所需的时间量，从而导致较少总体交通事故及潜在生命损失。

数据可包含但不限于：源自移动资产及/或附近移动资产的所测量模拟及频率参数，例如速度、压力、温度、电流、电压及加速度；所测量布尔数据，例如开关位置、致动器位置、警示灯照明及致动器命令；来自全球定位系统(GPS)的位置、速度及海拔高度信息，以及来自地理信息系统(GIS)的额外数据，例如各种所关注物体的维度及经度；内部产生的信息，例如在给定移动资产的当前位置时所述移动资产的管制速度限制；由例如主动列车控制(PTC)等系统产生的列车控制状态及操作数据；交通工具及惯性参数，例如速度、加速度及位置，例如从GPS接收的速度、加速度及位置；GIS数据，例如各种所关注物体的维度及经度；来自位于移动资产中、其上或附近的各种位置处的至少一个相机的视频及图像信息；来自位于移动资产中、其上或附近的各种位置处的至少一个麦克风的音频信息；从数据中心被发送到移动资产的关于移动资产的操作计划的信息，例如路线、调度及货物清单信息；关于移动资产当前正操作或计划操作的区域的环境状况的信息，例如当前及预测天气；及从以上源中的任何者的组合导出的数据，包含额外数据、视频及音频分析以及分析法。

“轨道”可包含但不限于用于机车及/或列车运输的铁路的铁轨及轨枕(tie)。“所关注物体”可包含但不限于安装及维持在铁路轨道附近的各种基础设施物体，所述各种基础设施物体可使用资产相机图像及视频的人工智能(例如监督式学习或强化学习)来识别。监督式学习及/或强化学习利用被定义为“训练”数据的先前所标记数据集以允许远程及自主识别在移动资产中、其上或附近的相机视角内的物体。监督式学习及/或强化学习训练神经网络模型以识别在从相机获得的视觉图像内出现的图案。这些图案(例如人、交叉口栅门、汽车、树、信号、道岔等)可单独存在于单个图像中。还可分析视频内的连续帧以找出例如闪烁的信号、移动的汽车、睡着的人等图案。DARS在实施方案的任何阶段可或可不需要人类交互，包含但不限于标记监督式学习及/或强化学习所需的训练数据集。所关注物体包含但不限于：轨道、轨道中心线点、里程碑标志、信号、交叉口栅门、道岔、交叉口及基于文本的标志。“视频分析”是指通过分析从在移动资产中、其上或附近的图像、视频及/或范围测量装置(例如至少一个相机，例如360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机)记录的视频及/或图像而收集的任何可理解信息，例如但不限于所关注物体、物体的地理位置、轨道障碍物、所关注物体与移动资产之间的距离、轨道不对准等。视频分析系统还可用于容纳监控相机以增强视频监控的任何移动资产、居住区域、空间或房间中。在移动资产中，视频分析系统向远程定位的用户经济且高效地提供自主驾驶室占用事件检测。

图15图解说明其中可实施本发明的各方面的示范性实时数据获取与记录系统(DARS)900的第五实施例的现场实施方案。DARS 900为经由数据中心966而将实时信息、视频信息及音频信息从移动资产964上的数据记录器902递送到远程定位的终端用户968的系统。数据记录器902安装于交通工具或移动资产964上且通过有线及/或无线数据链路942(例如无线网关/路由器(未展示))的任何组合而与任何数目个各种信息源进行通信。数据记录器902通过机载数据链路942而从各种各样的源收集视频数据、音频数据及其它数据或信息，所述源可基于资产的配置而变化。数据记录器902包括位于资产964中的本地存储器组件(例如碰撞硬化存储器模块904)、机载数据管理器906及数据编码器908。在第六实施例中，数据记录器902还可包含非碰撞硬化可装卸式存储装置(未展示)。示范性硬化存储器模块904可为例如符合美国联邦法规及/或联邦铁路管理局法规的防撞事件记录器存储器模块、符合美国联邦法规及/或联邦航空管理局法规的碰撞可保全存储器单元、符合任何可适用美国联邦法规的碰撞硬化存储器模块或如本技术领域中已知的任何其它适合硬化存储器装置。有线及/或无线数据链路可包含离散信号输入、标准或专有以太网、串行连接及无线连接中的任一者或组合。

DARS 900进一步包括包含轨道及/或物体检测与基础设施监测组件914的视频分析系统910。轨道检测与基础设施监测组件914包括监督式学习及/或强化学习组件924或者其它神经网络或人工智能组件、物体检测及位置组件926及障碍物检测组件928，所述障碍物检测组件检测存在于轨道上或附近的障碍物及/或相机障碍物，例如阻挡相机视角的人员。在此实施方案中，安装于资产964的驾驶室中、资产964上或资产964附近的至少一个相机940捕获实况视频数据。相机940放置于适当高度及角度处以捕获资产964中及周围的视频数据且获得充分量的视图以供进一步处理。实况视频数据及图像数据由相机940在资产964前面及/或其周围捕获且被馈送到轨道及/或物体检测与基础设施监测组件914以供分析。视频分析系统910的轨道检测与基础设施监测组件914逐帧处理实况视频及图像数据以检测铁轨轨道及任何所关注物体的存在。可将例如高度、角度、移位、焦距及视场等相机位置参数馈送到轨道及/或物体检测与基础设施监测组件914，或者相机940可经配置以允许视频分析系统910检测及确定相机位置及参数。

为进行状态确定(例如驾驶室占用率检测)，视频分析系统910使用监督式学习及/或强化学习组件924及/或其它人工智能及学习算法来评估例如来自相机940的视频数据、资产数据934(例如速度、GPS数据及惯性传感器数据)、天气组件936数据以及路线/组员、清单及GIS组件数据938。驾驶室占用率检测固有地易受环境噪声源(例如在资产移动的同时从云反射的光及穿过建筑物及树木的日光)影响。为处置环境噪声，将监督式学习及/或强化学习组件924、物体检测及位置组件926、障碍物检测组件、资产组件934数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件936数据以及其它学习算法组合在一起以形成涉及移动资产964的内部及/或外部状态确定。轨道及/或物体检测与基础设施监测组件914还可包含适于允许授权进入机车的面部辨识系统作为机车安全系统的部分、适于监测组员警觉性的疲劳检测组件及用以检测未经授权活动(例如吸烟)的活动检测组件。

另外，视频分析系统910可从资产所有者接收例如停止信号、交通信号、限速信号及/或轨道附近物体的信号等的信号的位置信息，包含纬度与经度坐标。视频分析系统910接着确定从资产所有者接收的位置信息是否正确。如果位置信息是正确的，那么视频分析系统910存储所述信息且在预定时间量内将不会再次重新检查位置信息，例如按月检查位置信息。如果位置信息是不正确的，那么视频分析系统910确定正确位置信息且将正确位置信息报告给资产所有者，存储位置信息且在预定时间量内将不会再次重新检查位置信息，例如按月检查位置信息。存储位置信息会提供例如停止信号、交通信号、限速信号及/或轨道附近物体的信号等的信号的较容易检测。

使用监督式学习及/或强化学习组件924对轨道进行监督式学习及/或强化学习是通过利用从连续视频及/或图像帧获得的各种信息以及使用从数据中心966及交通工具数据组件934接收的额外信息(包含惯性传感器数据及GPS数据)而执行以确定所学习数据。物体检测及位置组件926利用从监督式学习及/或强化学习组件924接收的所学习数据以及关于移动资产964及铁轨的特定信息(例如轨道宽度及曲率、轨枕定位及交通工具速度)来将铁轨轨道、标志、信号等与其它物体区分开以确定物体检测数据。障碍物检测组件928利用从物体检测及位置组件926接收的物体检测数据(例如关于存在于轨道上或附近的障碍物及/或相机障碍物(例如阻挡相机视角的人员)的信息，以及来自天气组件936、路线/组员清单数据及GIS数据组件938及交通工具数据组件934的额外信息，包含惯性传感器数据及GPS数据)来提高准确性且确定障碍物检测数据。来自交通工具数据组件934的移动资产数据包含但不限于速度、位置、加速度、侧倾/纵倾率及铁轨交叉口。从数据中心966接收并利用的任何额外信息包含但不限于移动资产964的昼夜细节及地理位置。

经由机载数据链路942而将所关注基础设施物体、由轨道及/或物体检测与基础设施监测组件914处理的信息以及诊断及监测信息发送到数据记录器902的数据编码器908以对数据进行编码。数据记录器902将经编码数据存储于碰撞硬化存储器模块904中，且任选地存储于任选非碰撞硬化可装卸式存储装置中，并经由无线数据链路944而将经编码信息发送到数据中心966中的远程数据管理器946。远程数据管理器946将经编码数据存储于数据中心966中的远程数据存储库948中。

为确定障碍物检测928或物体检测926(例如资产964前面的轨道、轨道上及/或附近的物体、轨道上或附近的障碍物及/或阻挡相机视角的障碍物的存在)，交通工具分析系统910使用监督式学习及/或强化学习组件924或其它人工智能、物体检测及位置组件926及障碍物检测组件928以及其它图像处理算法来实时地处理及评估来自相机940的相机图像及视频数据。轨道及/或物体检测与基础设施监测组件914使用经处理视频数据连同资产组件934数据(其可包含速度、GPS数据及惯性传感器数据)、天气组件936数据以及路线/组员、清单及GIS组件938数据，以实时地确定外部状态确定，例如引导及尾随移动资产。举例来说，当处理图像及视频数据以进行轨道及/或物体检测时，视频分析系统910自动地配置轨道检测所需要的相机940参数、贯穿道岔进行检测、对轨道数目进行计数、检测沿着资产964的侧的任何额外轨道、确定资产964当前正运行的轨道、检测轨道几何缺陷、检测轨道冲刷情境(例如在轨道的所界定限制内检测轨道附近的水)，且检测缺失斜坡或轨道情境。物体检测准确性取决于资产964中及其周围的现有照明状况。DARS 900将借助从资产964及数据中心966上收集的额外数据的帮助而处置不同照明状况。DARS 900经增强以在各种照明状况中工作、在各种天气状况中工作、检测较多所关注物体、与现有数据库系统集成在一起以自动地创建、审核及更新数据、检测多个轨道、与弯曲轨道一致地工作、检测任何障碍物、检测可能引起安全问题的任何轨道缺陷，且在低成本嵌入式系统中工作。

经由机载数据链路942而将来自视频分析系统910的内部及/或外部状态确定(例如驾驶室占用率、物体检测及位置，例如轨道检测及轨道附近物体的检测以及障碍物检测(例如轨道上或附近的障碍物及阻挡相机的障碍物))连同来自交通工具管理系统(VMS)或数字视频记录器组件932的任何数据一起提供到数据记录器902。数据记录器902将内部及/或外部状态确定、物体检测及位置组件926数据以及障碍物检测组件928数据存储于碰撞硬化存储器模块904中，且任选地存储于第二实施例的非碰撞硬化可装卸式存储装置中并经由位于数据中心966中的远程数据管理器946而存储于远程数据存储库948中。在请求后，网页服务器958即刻经由网页客户端962而将内部及/或外部状态确定、物体检测及位置组件926信息以及障碍物检测组件928信息提供给远程定位的用户968。

数据编码器908至少对通常由管制机构定义的最小数据集进行编码。数据编码器908从相机940、视频分析系统910及视频管理系统932中的任一者接收视频、图像及音频数据且对所述数据进行压缩或编码及时间同步以便促进向远程数据存储库948的高效实时传输及复制。数据编码器908将经编码数据传输到机载数据管理器906，所述机载数据管理器接着响应于用户968的按需请求或响应于在资产964上所观察到的特定操作状况而经由位于数据中心966中的远程数据管理器946将经编码视频、图像及音频数据发送到远程数据存储库948。机载数据管理器906与远程数据管理器946一致地工作以管理数据复制过程。数据中心966中的远程数据管理器946可管理来自多个资产964的数据的复制。

机载数据管理器908基于所检测事件的优先级而确定是应将所检测事件、内部及/或外部状态确定、物体检测及位置及/或障碍物检测排队还是立即发出。举例来说，在正常操作情况中，检测轨道上的障碍物比检测是否有人在资产964的驾驶室中紧急得多。机载数据管理器908还将数据发送到排队存储库(未展示)。在近实时模式中，机载数据管理器将从数据编码器908接收的经编码数据以及任何事件信息存储于碰撞硬化存储器模块904中及排队存储库中。在经编码数据已在排队存储库中积累五分钟之后，机载数据管理器906通过无线数据链路944、经由数据中心966中的远程数据管理器946而将五分钟的经编码数据存储到远程数据存储库948。在实时模式中，机载数据管理器908将从数据编码器908接收的经编码数据以及任何事件信息存储到碰撞硬化存储器模块904且通过无线数据链路944、经由数据中心966中的远程数据管理器946而存储到远程数据存储库948。

在此实施方案中，机载数据管理器906通过无线数据链路944、经由数据中心966中的远程数据管理器946而将视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息以及任何其它数据或事件信息发送到远程数据存储库948。无线数据链路944可为例如无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、无线虚拟专用网(WVPN)、蜂窝式电话网或将来自数据记录器902的数据传送到(在此实例中)远程数据管理器946的任何其它构件。远离资产964检索数据的过程需要资产964与数据中心966之间的无线连接。当无线数据连接为不可用时，将数据存储及排队直到恢复无线连接性为止。

与数据记录并行，数据记录器902连续且自主地将数据复制到远程数据存储库948。复制过程具有两种模式：实时模式及近实时模式。在实时模式中，每秒将数据复制到远程数据存储库10。在近实时模式中，每五分钟将数据复制到远程数据存储库15。用于近实时模式的速率为可配置的且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据存储库15而支持高分辨率数据。在正常操作期间，在大多数状况下使用近实时模式，以便提高数据复制过程的效率。

可基于正发生于资产964上的事件或通过从数据中心966起始的请求而起始实时模式。当远程定位的用户968已向网页客户端962请求实时信息时，起始典型的数据中心966起始的对实时模式的请求。实时模式起源于资产964上的典型原因是检测到涉及资产964的事件或事故，例如操作者起始紧急停止请求、紧急制动活动、在任何轴上的迅速加速或减速或者去往数据记录器902的输入电力的损失。当从近实时模式转变到实时模式时，将尚未被复制到远程数据存储库948的所有数据复制并存储于远程数据存储库948中且接着起始实况复制。近实时模式与实时模式之间的转变通常发生在少于五秒内。在从事件或事故以来已经过预定时间量(预定不活动时间量)之后，或当用户968不再期望来自资产964的实时信息时，数据记录器902回复到近实时模式。起始所述转变所需的预定时间量为可配置的且通常被设定为十分钟。

当数据记录器902处于实时模式中时，机载数据管理器906尝试连续地将其队列清空到远程数据管理器946，从而将数据存储到碰撞硬化存储器模块940，且任选地存储到第六实施例的任选非碰撞硬化可装卸式存储装置，并且同时将数据发送到远程数据管理器946。

在接收到视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息及将从数据记录器902被复制的任何其它数据或信息后，远程数据管理器946即刻将其从机载数据管理器906接收的数据(例如经编码数据及经检测事件数据)存储到数据中心966中的远程数据存储库948。远程数据存储库948可为例如基于云的数据存储装置或任何其它适合远程数据存储装置。当接收到数据时，起始一过程，所述过程致使数据解码器954将来自远程数据存储库948的最近复制的数据解码且将经解码数据发送到轨道/物体检测/位置信息组件950，所述轨道/物体检测/位置信息组件查看所存储数据以寻找额外‘后处理’事件。在此实施方案中，轨道/物体检测/位置信息组件950包含用于确定内部及/或外部状态确定、物体检测及位置信息以及障碍物检测信息的物体/障碍物检测组件。在检测内部及/或外部信息、物体检测及位置信息及/或障碍物检测信息后，轨道/物体检测/位置信息组件950即刻将所述信息存储于远程数据存储库948中。

远程定位的用户968可使用标准网页客户端962(例如网页浏览器)或在此实施方案中可显示所选择相机的缩略图像的虚拟现实装置(未展示)来存取与特定资产964或多个资产有关的视频数据、音频数据、内部及/或外部状态确定、物体检测及位置信息、障碍物检测信息以及存储于远程数据存储库948中的任何其它信息(包含轨道信息、资产信息及驾驶室占用率信息)。网页客户端962使用共同网页标准、协议及技术来通过网络960将用户968对信息的请求传递到网页服务器958。网络960可为例如因特网。网络960还可为局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝式电话网或将来自网页服务器958的数据传送到(在此实例中)网页客户端962的任何其它构件。网页服务器958向远程数据存储库948请求所要数据且在来自网页服务器958的请求后，数据解码器954即刻从远程数据存储库948获得与特定资产964有关的所请求数据。数据解码器954将所请求数据解码且将经解码数据发送到本地化器956。本地化器956通过访问网页客户端962而识别由用户968设定的简档设置且使用所述简档设置来准备将被发送到网页客户端962以用于呈现给用户968的信息，这是因为原始经编码数据及所检测轨道/物体检测/位置信息是使用协调通用时间(UTC)及国际单位系统(SI单位)保存到远程数据存储库948。本地化器956将经解码数据转换成用户968所期望的格式，例如用户968的优选测量单位及语言。如所请求，本地化器956将呈用户968的优选格式的经本地化数据发送到网页服务器958。网页服务器958接着将经本地化数据连同内部及/或外部状态确定、物体检测及位置信息以及障碍物检测信息(例如轨道及/或物体检测(图16A)、轨道及道岔检测(图16B)、轨道及/或物体检测、对轨道数目进行计数及信号检测(图16C)、交叉口及轨道及/或物体检测(图16D)、双架空信号检测(图16E)、多轨道及/或多物体检测(图16F)、道岔及轨道及/或物体检测(图16G)以及道岔检测(图16H))一起发送到网页客户端962以供查看及分析，从而提供标准视频及360度视频的播放及实时显示。

网页客户端962利用以多种不同模式提供360度视频及/或其它视频的播放的软件应用程序来增强。用户968可选出软件应用程序呈现视频播放的模式，例如，鱼眼视图、鱼眼矫正(dewarped)视图、全景视图、双全景视图及四视图。

图17是展示根据本发明的实施方案的用于确定资产964的内部状态的过程970的流程图。视频分析系统910从资产964上、其中或附近的各种输入组件(例如相机940，包含但不限于360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机)、交通工具数据组件934、天气组件936及路线/清单及GIS组件938接收数据信号972。视频分析系统910使用监督式学习及/或强化学习组件处理数据信号974且确定内部状态976，例如驾驶室占用率。

图18是展示根据本发明的实施方案的用于确定在资产964外部及内部发生的物体检测/位置及障碍物检测的过程980的流程图。视频分析系统910从资产964上、其中或附近的各种输入组件(例如相机940，包含但不限于360度相机、固定相机、窄视角相机、宽视角相机、360度鱼眼视角相机、雷达、LIDAR及/或其它相机)、交通工具数据组件934、天气组件936及路线/清单及GIS组件938接收数据信号982。视频分析系统910使用监督式学习及/或强化学习组件924、物体检测/位置组件926及障碍物检测组件928处理数据信号984且确定障碍物检测986及物体检测及位置988，例如轨道存在。

为解释简单起见，将过程970及过程980作为一系列步骤来描绘及描述。然而，根据本发明的步骤可以各种次序及/或同时地发生。另外，根据本发明的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，并非可需要所有所图解说明步骤来实施根据所揭示标的物的方法。

本文中所描述的实时数据获取与记录系统及自动信号符合监测与警报系统的第七实施例向远程定位的用户(例如资产所有者、操作者及调查者)提供对与高价值资产有关的宽广范围的数据(例如事件及操作数据、视频数据以及音频数据)的实时或近实时存取。自动信号符合监测与警报系统经由数据记录器而记录与资产有关的数据且在事故已发生之前、期间及之后将所述数据流式传输到远程数据存储库及远程定位的用户。将数据实时或近实时地流式传输到远程数据存储库，从而使信息至少截至事故或紧急情况之前为可用的，借此实际上消除对定位及下载“黑匣子”以便调查涉及资产的事故的需要且消除对与资产上的数据记录器进行交互以请求下载特定数据、定位及传送文件以及使用定制应用程序来查看数据的需要。本发明的系统保持典型记录能力且增加用以在事故之前、期间及之后将数据流式传输到远程数据存储库及远程终端用户的能力。在绝大多数情况中，在数据记录器中记录的信息为冗余的且不需要的，这是因为数据已被获取并存储于远程数据存储库中。

自动信号监测与警报系统还自动进行监测且针对移动资产(例如机车、列车、飞机及汽车)违反信号式样(signal aspect)(例如停止灯、交通灯及/或限速信号)或为了试图维持与信号(例如停止灯、交通灯及/或限速信号)符合使移动资产不安全地操作而提供历史及实时警报。自动信号监测与警报系统组合图像分析、GPS位置、制动力及交通工具速度以及自动电子通知的使用来在移动资产违反安全操作规则时(例如，在移动资产在停下且接收到授权之前通过停止信号(红灯违反)时，在因移动资产以较大速度行进而违反指示减速限制的限制信号时及在移动资产为了在通过停止信号/红色信号之前停下而施加较晚及/或过度制动力时)实时地向移动资产上及/或外部的人员发出警报。

在本发明的自动信号监测与警报系统之前，操作中心人员依赖于移动资产组员在违反安全操作规则时进行报告。有时，发生灾难性移动资产与移动资产碰撞，其中后续调查认识到已发生安全操作规则违反。另外，过度制动力可能导致移动资产的部分的机械故障，且在其中移动资产是机车及/或列车的情况中，过度制动力可能导致脱轨，其中后续调查发现安全操作规则违反是根本原因。本发明的系统使得用户能够在机械故障、碰撞、脱轨及/或另一事故发生之前监测安全操作规则违反及/或在发生安全操作规则违反时得到警报。

终端用户可订阅在已发生安全操作规则违反时得到警报，且将在发生实际事件的数分钟内接收到电子邮件、文本消息及/或浏览器中电子通知。终端用户可利用历史记录来分析数据以识别图案，例如，问题位置、视线受损、设备故障及表现不佳的组员，这有助于实施新的且更安全的操作规则或组员教育机会以实现持续改进。本发明的系统使得终端用户能够利用连续电子监测及广泛图像分析来理解移动资产由于安全操作规则违反及/或信号不符合而不安全地操作的任何及所有时间。

自动信号监测与警报系统由交通工具及/或移动资产所有者、操作者及调查者用来实时地查看及分析移动资产的操作效率及安全。用以实时地查看操作的能力实现迅速的行为评估及调整。在事故期间，实时信息可促进对情境进行检伤分类且向第一响应者提供有价值信息。在正常操作期间，可使用实时信息来审核组员表现且帮助全网络操作安全及感知。

自动信号监测与警报系统在完全集成、时间同步的自动系统中利用面向外的相机及/或其它相机、GPS位置、速度及加速度以及交通工具、列车及/或移动资产制动压力传感器数据来识别不安全及潜在灾难性的操作实践以为移动资产组员及管理提供实时反馈。自动信号监测与警报系统还通过各种数据源为用户提供自动数据及视频下载以便允许完全了解警报时的操作环境。

数据可包含但不限于：源自资产及/或资产附近的模拟及数字参数，例如速度、压力、温度、电流、电压及加速度；布尔数据，例如开关位置、致动器位置、警示灯照明及致动器命令；全球定位系统(GPS)数据及/或地理信息系统(GIS)数据，例如位置、速度及海拔高度；内部产生的信息，例如在给定资产的当前位置时所述资产的管制速度限制、来自位于资产中、其上或附近的各种位置处的相机的视频及图像信息、来自位于资产中、其上或附近的各种位置处的麦克风的音频信息；从数据中心被发送到资产的关于资产的操作计划的信息，例如路线、调度及货物清单信息；关于资产当前正操作或计划操作的区域的环境状况的信息，包含当前及预测天气状况；由机车中的例如主动列车控制(PTC)等系统产生的资产控制状态及操作数据；及从以上各项中的任何者的组合导出的数据，包含但不限于额外数据、视频及音频分析以及分析法。

图19图解说明其中可实施本发明的各方面的示范性实时数据获取与记录系统(DARS)1000及自动信号监测与警报系统1080的第七实施例的现场实施方案。DARS1000为将实时信息从数据记录装置递送给远程定位的终端用户的系统。DARS 1000包含数据记录器1054，所述数据记录器安装于交通工具或移动资产1048上且通过机载有线及/或无线数据链路1070(例如无线网关/路由器)的任何组合而与任何数目个各种信息源进行通信或者经由DARS 1000的数据中心1050、经由数据链路(例如无线数据链路1046)而与非机载信息源进行通信。数据记录器1054包括机载数据管理器1020、数据编码器1022、交通工具事件检测器1056、排队存储库1058及无线网关/路由器1072。另外，在此实施方案中，数据记录器1054可包含碰撞硬化存储器模块1018及/或具有或不具有以太网供电(POE)的以太网交换机1062。示范性硬化存储器模块1018可为例如符合美国联邦法规及/或联邦铁路管理局法规的防撞事件记录器存储器模块、符合美国联邦法规及/或联邦航空管理局法规的碰撞可保全存储器单元、符合任何可适用美国联邦法规的碰撞硬化存储器模块或如本技术领域中已知的任何其它适合硬化存储器装置。在第八实施例中，数据记录器可进一步包含任选非碰撞硬化可装卸式存储装置(未展示)。

有线及/或无线数据链路1070可包含离散信号输入、标准或专有以太网、串行连接及无线连接中的任一者或组合。以太网连接的装置可利用数据记录器1054的以太网交换机1062且可利用POE。以太网交换机1062可为内部或外部的且可支持POE。另外，来自图19的实施方案中的例如地图组件1064、路线/组员清单组件1024及天气组件1026等远程数据源的数据可通过无线数据链路1046及无线网关/路由器1072而从数据中心1050用于机载数据管理器1020及交通工具事件检测器1056。

数据记录器1054通过机载数据链路1070而从各种各样的源收集数据或信息，所述源可基于资产的配置而广泛地变化。数据编码器1022至少对通常由管制机构定义的最小数据集进行编码。在此实施方案中，数据编码器1022从各种各样的资产1048源及数据中心1050源接收数据。信息源可包含资产1048中的任何数目个组件，例如以下各项中的任一者：模拟输入1002、数字输入1004、I/O模块1006、交通工具控制器1008、发动机控制器1010、惯性传感器1012、全球定位系统(GPS)1014、相机1016、主动列车控制(PTC)/信号数据1066、燃料数据1068、蜂窝式传输检测器(未展示)、内部驱动数据及任何额外数据信号，以及数据中心1050中的任何数目个组件，例如以下各项中的任一者：路线/组员清单组件1024、天气组件1026、地图组件1064及任何额外数据信号。此外，资产1048信息源可通过有线或无线数据链路1070的任何组合连接到数据记录器1054。数据编码器1022对数据进行压缩或编码且将所述数据进行时间同步以便促进向远程数据存储库1030的高效实时传输及复制。数据编码器1022将经编码数据传输到机载数据管理器1020，所述机载数据管理器接着将经编码数据保存于碰撞硬化存储器模块1018及排队存储库1058中以用于经由位于数据中心1050中的远程数据管理器1032而复制到远程数据存储库1030。任选地，机载数据管理器1020可将经编码数据的第三副本保存于第八实施例的非碰撞硬化可装卸式存储装置中。机载数据管理器1020及远程数据管理器1032一致地工作以管理数据复制过程。数据中心1050中的单个远程数据管理器1032可管理来自多个资产1048的数据的复制。

将来自各种输入组件的数据及来自驾驶室内音频/图形用户接口(GUI)1060的数据发送到交通工具事件检测器1056。交通工具事件检测器1056处理数据以确定事件、事故或涉及资产1048的其它预定义情况是否已发生。当交通工具事件检测器1056检测到指示预定义事件发生的信号时，交通工具事件检测器1056将预定义事件发生的经处理数据连同围绕预定义事件的支持数据一起发送到机载数据管理器1020。交通工具事件检测器1056基于来自各种各样的源(例如模拟输入1002、数字输入1004、I/O模块1006、交通工具控制器1008、发动机控制器1010、惯性传感器1012、GPS 1014、相机1016、路线/组员清单组件1024、天气组件1026、地图组件1064、PTC/信号数据1066及燃料数据1068)的数据而检测事件，所述源可基于资产的配置而变化。当交通工具事件检测器1056检测到事件时，将所检测资产事件信息存储于排队存储库1058中且可任选地经由驾驶室内音频/图形用户接口(GUI)1060而呈现给资产1048的组员。

当资产1048的位置指示信号1082已被穿越、已发生过度制动且资产1048在信号1082的关闭位置内停止或应用速度限制作为信号式样的手段时，机载数据管理器1020将起始面向外的相机图像分析以确定信号1082的意义或式样，如图20中所展示。利用最先进的图像处理技术，可通过先前训练的神经网络或人工智能组件分析面向外的相机镜头以破译信号式样及操作规则含义。在此示范性实施方案中，通过神经网络或人工智能组件进行的分析及/或处理是在后台完成。在另一实施例中，通过神经网络或人工智能组件进行的分析及/或处理是在资产1048上完成。将信号式样解码的输出与其它传感器数据组合以确定资产1048是否因占用铁轨轨道(在此示范性实施方案中，这可导致列车与列车碰撞)而严重违反信号指示或是否以不安全方式操作以便达成信号符合。当发现资产1048不合规时，电子警报将被存储于后台，以及在将铁路的业务规则与信号及资产操作相关联之后递送到订阅接收此类警报的用户。接着可直接经由数据库或通过使用提供给用户的网站图形用户接口或网页客户端1042挖掘这些警报。

另外，可将音频警报添加到资产1048的驾驶室，这将向组员警报即将发生信号违反、即将发生的不良情况，如果组员分心或不注意轨道障碍物、停止信号及/或如果资产1048在信号要求较低速度限制的区域中超速，那么组员可以更快地做出响应。

自动信号监测与警报系统1080还被增强以自动执行视频分析以确定每次所监测资产穿越信号时的信号含义，自动执行视频分析以确定每次资产经历过度制动力并在预定义的距离内停止时的信号含义，并监测资产速度以确定资产的移动速度是否大于通过信号式样确定的授权速度。图像分析在资产1048上完成以减少实际事件与向用户及/或订阅者的电子通知之间的延迟。自动信号监测与警报系统1080的功能性被增强以允许在警报时自动下载面向内及面向外的视频，以增强用户体验并减少调查事件所需的工作。自动信号监测与警报系统1080的功能性还被增强以在不合规资产1048内提供实时可听提示，以在分心或其它原因未遵循关于信号规则及意义的安全操作实践的情况下向组员发出警报。

另外，自动信号监测与警报系统1080及/或视频分析系统910可从资产所有者接收例如停止信号、交通信号、限速信号及/或轨道附近物体的信号等的信号的位置信息，包含纬度与经度坐标。视频分析系统910接着确定从资产所有者接收的位置信息是否正确。如果位置信息是正确的，那么视频分析系统910存储所述信息且在预定时间量内将不会再次重新检查位置信息，例如按月检查位置信息。如果位置信息是不正确的，那么视频分析系统910确定正确位置信息且将正确位置信息报告给资产所有者，存储位置信息且在预定时间量内将不会再次重新检查位置信息，例如按月检查位置信息。存储位置信息会提供例如停止信号、交通信号、限速信号及/或轨道附近物体的信号等的信号的较容易检测。

机载数据管理器1020还将数据发送到排队存储库1058。在近实时模式中，机载数据管理器1020将从数据编码器1022接收的经编码数据及任何事件信息存储于碰撞硬化存储器模块1018中及排队存储库1058中。在第八实施例中，机载数据管理器1020可任选地将经编码数据存储于非碰撞硬化可装卸式存储装置中。在经编码数据已在排队存储库1058中积累五分钟之后，机载数据管理器1020经由通过无线网关/路由器1072访问的无线数据链路1046、经由数据中心1050中的远程数据管理器1032而将五分钟的经编码数据存储到远程数据存储库1030。在实时模式中，机载数据管理器1020将从数据编码器1022接收的经编码数据以及任何事件信息存储到碰撞硬化存储器模块1018且任选地经由通过无线网关/路由器1072访问的无线数据链路1046、经由数据中心1050中的远程数据管理器1032而存储到远程数据存储库1030。将数据复制到远程数据存储库1030的过程需要资产1048与数据中心1050之间的无线数据连接。机载数据管理器1020及远程数据管理器1032可利用无线网关/路由器1072经由多种无线通信链路(例如Wi-Fi、蜂窝式、卫星及专用无线系统)而进行通信。无线数据链路1046可为例如无线局域网(WLAN)、无线城域网(WMAN)、无线广域网(WWAN)、专用无线系统、蜂窝式电话网或将来自DARS 1000的数据记录器1054的数据传送到(在此实例中)DARS 1000的远程数据管理器1030的任何其它构件。当无线数据连接为不可用时，将数据存储于存储器中并在排队存储库1058中排队直到恢复无线连接性且数据复制过程可重新开始为止。

与数据记录并行，数据记录器1054连续且自主地将数据复制到远程数据存储库1030。复制过程具有两种模式：实时模式及近实时模式。在实时模式中，每秒将数据复制到远程数据存储库1030。在近实时模式中，每五分钟将数据复制到远程数据存储库1030。用于近实时模式的速率为可配置的且用于实时模式的速率可经调整以通过每0.10秒将数据复制到远程数据存储库1030而支持高分辨率数据。当DARS 1000处于近实时模式中时，机载数据管理器1020在将数据复制到远程数据管理器1032之前将数据在排队存储库1058中排队。机载数据管理器1020还将在排队存储库1058中被排队的交通工具事件检测器信息复制到远程数据管理器1032。在正常操作期间，在大多数状况下使用近实时模式，以便提高数据复制过程的效率。

可基于正发生且由位于资产1048上的交通工具事件检测器1056检测到的事件或通过从数据中心1050起始的请求而起始实时模式。当远程定位的用户1052已向网页客户端1042请求实时信息时，起始典型的数据中心1050起始的对实时模式的请求。实时模式起源于资产1048上的典型原因是由交通工具事件检测器1056检测到事件或事故，例如操作者起始紧急停止请求、紧急制动活动、在任何轴上的迅速加速或减速或者去往数据记录器1054的输入电力的损失。当从近实时模式转变到实时模式时，将尚未被复制到远程数据存储库1030的所有数据复制并存储于远程数据存储库1030中且接着起始实况复制。近实时模式与实时模式之间的转变通常发生在少于五秒内。在从事件或事故以来已经过预定时间量(预定不活动时间量)之后，或当用户1052不再期望来自资产1048的实时信息时，数据记录器1054回复到近实时模式。起始所述转变所需的预定时间量为可配置的且通常被设定为十分钟。

当数据记录器1054处于实时模式中时，机载数据管理器1020尝试连续地将其队列清空到远程数据管理器1032，从而将数据存储到碰撞硬化存储器模块1018，且任选地存储到非碰撞硬化可装卸式存储装置，并且同时将数据发送到远程数据管理器1032。机载数据管理器1020还将在排队存储库1058中被排队的所检测交通工具信息发送到远程数据管理器1032。

在接收到来自数据记录器1054的待被复制的数据连同来自地图组件1064、路线/组员清单组件1024及天气组件1026的数据后，远程数据管理器1032即刻将经压缩数据存储到DARS 1000的数据中心1050中的远程数据存储库1030。远程数据存储库1030可为例如基于云的数据存储装置或任何其它适合远程数据存储装置。当接收到数据时，起始一过程，所述过程致使数据解码器1036将用于/来自远程数据存储库1030的最近复制的数据解码且将经解码数据发送到远程事件检测器1034。远程数据管理器1032将交通工具事件信息存储于远程数据存储库1030中。当远程事件检测器1034接收到经解码数据时，其处理所述经解码数据以确定在经解码数据中是否发现所关注事件。经解码信息接着由远程事件检测器1034使用以在数据中检测关于资产1048所发生的事件、事故或其它预定义情况。在从经解码数据检测到所关注事件后，远程事件检测器1034即刻将事件信息及支持数据存储于远程数据存储库1030中。当远程数据管理器1032接收到远程事件检测器1034信息时，远程数据管理器1032将所述信息存储于远程数据存储库1030中。

远程定位的用户1052可使用标准网页客户端1042(例如网页浏览器，或在此实施方案中可显示来自所选择相机的缩略图像的虚拟现实装置(未展示))来存取与特定资产1048或多个资产有关的信息(包含交通工具事件检测器信息)。网页客户端1042使用共同网页标准、协议及技术来通过网络1044将用户1052对信息的请求传递到网页服务器1040。网络1044可为例如因特网。网络1044还可为局域网(LAN)、城域网(MAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝式电话网或将来自网页服务器1040的数据传送到(在此实例中)网页客户端1042的任何其它构件。网页服务器1040向数据解码器1036请求所要数据。在来自网页服务器1040的请求后，数据解码器1036即刻从远程数据存储库1030获得与特定资产1048或多个资产有关的所请求数据。数据解码器1036将所请求数据解码且将经解码数据发送到本地化器1038。本地化是将数据转换成终端用户所期望的格式(例如将数据转换成用户的优选语言及测量单位)的过程。本地化器1038通过访问网页客户端1042而识别由用户1052设定的简档设置且使用所述简档设置来准备将被发送到网页客户端1042以用于呈现给用户1052的信息，这是因为原始经编码数据及所检测事件信息是使用协调通用时间(UTC)及国际单位系统(SI单位)保存到远程数据存储库1030。本地化器1038将经解码数据转换成用户1052所期望的格式，例如用户1052的优选测量单位及语言。如所请求，本地化器1038将呈用户1052的优选格式的经本地化数据发送到网页服务器1040。网页服务器1040接着将资产或多个资产的经本地化数据发送到网页客户端1042以用于查看及分析，从而提供标准视频、360度视频及/或其它视频的播放及实时显示。网页客户端1042可显示且用户1052可查看单个资产的数据、视频及音频或同时查看多个资产的数据、视频及音频。网页客户端1042还可提供数据连同来自在资产、附近资产及/或远程定位的位点上、中或附近的图像测量源、标准视频源、360度视频源及/或其它视频源及/或范围测量源的多个视频及音频数据的同步播放及实时显示。

图21是展示根据本发明的实施方案的用于确定信号符合的过程1100的第一所图解说明实施例的流程图。在将DARS 1000及相机1016安装且连接到资产1048上的各种传感器(例如模拟输入1002、数字输入1004、I/O模块1006、交通工具控制器1008、发动机控制器1010、惯性传感器1012、全球定位系统(GPS)1014、相机1016、主动列车控制(PTC)/信号数据1066、燃料数据1068、蜂窝式传输检测器(未展示)、内部驱动数据及任何额外数据信号)1102之后，每五分钟将来自各种传感器的机载数据及/或事件起始的视频及/或静态图像发送到后台数据中心1074且将相机图像存储于具有超过72小时的容量的资产1048上1104。后台数据中心1074服务针对触发条件连续地扫描数据1106。如果不满足情节业务逻辑触发条件，那么取消工作流程且不记录情节事件1108。如果资产1048行进经过了通过存储于后台数据中心1074中的所有信号的纬度与经度坐标参考的轨道信号1082 1110及/或资产1048在信号1082前面某一距离内进行了停止且使用了过度制动力来准许在横穿信号1082之前进行停止1112，那么后台数据中心1074服务扫描数据以确定列车车厢(在此所图解说明实施例中)是否处于列车资产1048中的引导、控制或第一位置中1114。如果列车车厢不处于列车资产1048中的引导、控制或第一位置中，那么不满足情节业务逻辑触发条件，取消工作流程且不记录情节事件1108。如果列车车厢处于列车资产1048中的引导、控制或第一位置中，那么后台数据中心1074使用第一人工智能模型来确定列车车厢是否处于列车资产1048中的引导、控制或第一位置中1116。如果列车车厢不处于列车资产1048中的引导、控制或第一位置中，那么不满足情节业务逻辑触发条件，取消工作流程且不记录情节事件1108。如果列车车厢处于列车资产1048中的引导、控制或第一位置中，那么后台数据中心1074向引导、控制或第一位置机车请求在穿越信号1082之前的短时间周期及/或在资产1048停止时取得的视频内容1118。将所检索视频内容传递及/或存储于后台数据中心1074中且继续传递到第二人工智能模型，第二人工智能模型扫描视频内容以确定信号1082式样(例如每一信号灯的颜色的组合)，以确定信号1082是否指示停止意义1120。后台数据中心1074确定信号1082式样是否指示资产1048必须停止且不可通过信号1082 1122。如果信号1082式样不指示资产1048必须停止且不可通过信号1082，那么不满足情节业务逻辑触发条件，取消工作流程且不记录情节事件1108。如果信号1082式样指示资产1048必须停止且不可通过信号1082并且存在停止信号，那么触发情节，将情节存储于后台数据中心1074数据库中并以电子邮件发送到先前已经选出来在存在此类状况时被通知的用户1124。

为解释简单起见，将过程1100作为一系列步骤来描绘及描述。然而，根据本发明的步骤可以各种次序及/或同时地发生。另外，根据本发明的步骤可与本文中未呈现及描述的其它步骤一起发生。此外，并非可需要所有所图解说明步骤来实施根据所揭示标的物的方法。

如本申请案中所使用，术语“或”打算意指包含性“或”而非排他性“或”。即，除非另有规定或从上下文清楚，否则“X包含A或B”打算意指自然包含排列中的任一者。即，如果X包含A；X包含B；或X包含A及B两者，那么在前述例子中的任一者中满足“X包含A或B”。另外，“X包含A及B中的至少一者”打算意指自然包含排列中的任一者。即，如果X包含A；X包含B；或X包含A及B两者，那么在前述例子中的任一者中满足“X包含A及B中的至少一者”。本申请案及所附权利要求书中所使用的冠词“一(a及an)”通常应理解为意指“一或多个”，除非另有规定或从上下文清楚其针对于单数形式。此外，通篇中术语“一实施方案”或“一个实施方案”的使用不打算意指同一实施例、方面或实施方案，除非如此描述。

虽然已结合某些实施例描述了本发明，但应理解，本发明并不限于所揭示的实施例，而是相反地，打算涵盖包含于所附权利要求书的范围内的各种修改形式及等效布置，所述范围将在法律准许的情况下被赋予最宽广解释以便囊括所有此类修改形式及等效结构。

Claims (24)

1.一种用于处理来自至少一个移动资产的数据的方法，其包括以下步骤：

使用远离所述至少一个移动资产的数据中心及位于所述至少一个移动资产上的数据中心中的一者，接收基于来自以下各项中的至少一者的至少一个数据信号的数据：

位于所述至少一个移动资产上的至少一个数据源；及

远离所述至少一个移动资产的至少一个数据源；

在使用所述数据中心基于所述数据检测到至少一个触发条件的条件下，使用所述数据中心的第一人工智能模型确定所述至少一个移动资产是引导移动资产及控制移动资产中的至少一者；

使用所述数据中心从所述引导移动资产及所述控制移动资产中的至少一者获得视频内容，所述视频内容包括在所述至少一个触发条件之前的可配置预定时间量收集的可配置预定量的所述数据；

使用所述数据中心的数据库，存储所述视频内容；

使用所述数据中心的第二人工智能模型，确定基于所述视频内容的情节；

使用所述数据中心的所述数据库，存储所述情节；及

使用所述数据中心，将电子消息发送到预定量的用户。

2.根据权利要求1所述的方法，所述至少一个触发条件包括以下各项中的至少一者：

所述数据指示所述至少一个移动资产行进经过了多个信号中的一信号，所述信号包括通过存储于所述数据中心的所述数据库中的所述多个信号的纬度与经度坐标参考的位置；

所述数据指示所述至少一个移动资产在所述多个信号中的所述信号的预定距离内进行了停止，且所述至少一个移动资产使用了过度制动力来准许在所述信号的所述位置之前进行所述停止；及

所述数据指示速度限制。

3.根据权利要求1所述的方法，所述情节包括以下各项中的至少一者：

所述至少一个移动资产行进经过了多个信号中的一信号，所述信号包括通过存储于所述数据中心的所述数据库中的所述多个信号的纬度与经度坐标参考的位置；

所述至少一个移动资产在所述多个信号中的所述信号的预定距离内进行了停止，且所述至少一个移动资产使用了过度制动力来准许在所述信号的所述位置之前进行所述停止；及

所述数据指示速度限制。

4.根据权利要求1所述的方法，所述数据包括以下各项中的至少一者：

来自位于所述至少一个移动资产上、其中或附近的至少一个相机的数据、图像分析、模拟参数、模拟输入、数字参数、数字输入、I/O模块、交通工具控制器、发动机控制器、惯性传感器、相机、主动列车控制(PTC)/信号数据、燃料数据、蜂窝式传输检测器、内部驱动数据、地图数据、速度、压力、温度、电流、电压、加速度、布尔数据、开关位置、致动器位置、警示灯照明、致动器命令、全球定位系统(GPS)数据、制动力、自动电子通知、地理信息系统(GIS)数据、位置、速度、海拔、内部产生的信息、管制速度限制、视频信息、图像信息、音频信息、路线信息、调度信息、货物清单信息、环境状况信息、当前天气状况、预测天气状况、资产控制状态、操作数据及通过主动列车控制(PTC)产生的数据。

5.根据权利要求1所述的方法，所述数据源自所述至少一个移动资产及至少一个附近资产中的至少一者。

6.根据权利要求1所述的方法，使用远离所述至少一个移动资产的数据中心及位于所述至少一个移动资产上的数据中心中的一者，至少每五分钟地接收所述数据。

7.根据权利要求1所述的方法，所述数据包括以下各项中的至少一者：

来自位于以下各项中的至少一者处的相机的视频信息：所述移动资产中、所述移动资产上及所述移动资产附近；

来自位于以下各项中的至少一者处的相机的图像信息：所述移动资产中、所述移动资产上及所述移动资产附近；及

来自位于以下各项中的至少一者处的麦克风的音频信息：所述移动资产中、所述移动资产上及所述移动资产附近。

8.根据权利要求1所述的方法，所述视频内容包括以下各项中的至少一者：

来自位于以下各项中的至少一者处的相机的视频信息：所述移动资产中、所述移动资产上及所述移动资产附近；

来自位于以下各项中的至少一者处的相机的图像信息：所述移动资产中、所述移动资产上及所述移动资产附近；及

来自位于以下各项中的至少一者处的麦克风的音频信息：所述移动资产中、所述移动资产上及所述移动资产附近。

9.根据权利要求1所述的方法，位于所述至少一个移动资产上的所述至少一个数据源包括以下各项中的至少一者：模拟输入、数字输入、I/O模块、交通工具控制器、发动机控制器、惯性传感器、全球定位系统(GPS)、至少一个相机、主动列车控制(PTC)/信号数据、燃料数据、蜂窝式传输检测器及内部驱动数据。

10.根据权利要求1所述的方法，远离所述至少一个移动资产的所述至少一个数据源包括以下各项中的至少一者：路线/组员清单组件、天气组件及地图组件。

11.根据权利要求1所述的方法，位于所述至少一个移动资产上的所述至少一个数据源及远离所述至少一个移动资产的所述至少一个数据源中的至少一者包括至少一个360度相机、至少一个固定相机、至少一个窄视角相机、至少一个宽视角相机、至少一个360度鱼眼视角相机中的至少一者，以及雷达及光检测与测距(LIDAR)中的至少一者。

12.一种用于处理来自至少一个移动资产的数据的系统，其包括：

至少一个图像测量装置、至少一个视频测量装置、至少一个范围测量装置及至少一个麦克风中的至少一者；

位于所述至少一个移动资产上的数据记录器，其适于从以下各项中的至少一者接收至少一个数据信号：至少一个图像测量装置、所述至少一个视频测量装置、所述至少一个范围测量装置、所述至少一个麦克风中的至少一者、位于所述至少一个移动资产上的至少一个数据源及远离所述至少一个移动资产的至少一个数据源；

数据中心，其适于接收基于所述至少一个数据信号的数据；

所述数据中心的第一人工智能模型，所述第一人工智能模型适于在由所述数据中心基于所述数据检测到至少一个触发条件的条件下，确定所述至少一个移动资产是引导移动资产及控制移动资产中的至少一者；

所述数据中心的数据库，所述数据库适于存储从以下各项中的至少一者获得的视频内容：所述至少一个图像测量装置、所述至少一个视频测量装置、所述至少一个范围测量装置、所述至少一个麦克风、位于所述至少一个移动资产上的所述至少一个数据源及远离所述至少一个移动资产的所述至少一个数据源；及

所述数据中心的第二人工智能模型，所述第二人工智能模型适于确定基于所述视频内容的情节。

13.根据权利要求12所述的系统，所述至少一个触发条件包括以下各项中的至少一者：

所述数据指示所述至少一个移动资产行进经过了多个信号中的一信号，所述信号包括通过存储于所述数据中心的所述数据库中的所述多个信号的纬度与经度坐标参考的位置；

所述数据指示所述至少一个移动资产在所述多个信号中的所述信号的预定距离内进行了停止，且所述至少一个移动资产使用了过度制动力来准许在所述信号的所述位置之前进行所述停止；

所述数据指示速度限制。

14.根据权利要求12所述的系统，所述情节包括以下各项中的至少一者：

所述至少一个移动资产行进经过了多个信号中的一信号，所述信号包括通过存储于所述数据中心的所述数据库中的所述多个信号的纬度与经度坐标参考的位置；

所述至少一个移动资产在所述多个信号中的所述信号的预定距离内进行了停止，且所述至少一个移动资产使用了过度制动力来准许在所述信号的所述位置之前进行所述停止；及

所述数据指示速度限制。

15.根据权利要求12所述的系统，所述图像测量装置包括以下各项中的至少一者：至少一个360度相机、至少一个固定相机、至少一个窄视角相机、至少一个宽视角相机及至少一个360度鱼眼视角相机。

16.根据权利要求12所述的系统，所述范围测量装置包括雷达及光检测与测距(LIDAR)中的至少一者。

17.根据权利要求12所述的系统，所述数据包括以下各项中的至少一者：

来自位于所述至少一个移动资产上、其中或附近的至少一个相机的数据、图像分析、模拟参数、模拟输入、数字参数、数字输入、I/O模块、交通工具控制器、发动机控制器、惯性传感器、相机、主动列车控制(PTC)/信号数据、燃料数据、蜂窝式传输检测器、内部驱动数据、地图数据、速度、压力、温度、电流、电压、加速度、布尔数据、开关位置、致动器位置、警示灯照明、致动器命令、全球定位系统(GPS)数据、制动力、自动电子通知、地理信息系统(GIS)数据、位置、速度、海拔、内部产生的信息、管制速度限制、视频信息、图像信息、音频信息、路线信息、调度信息、货物清单信息、环境状况信息、当前天气状况、预测天气状况、资产控制状态、操作数据及通过主动列车控制(PTC)产生的数据。

18.根据权利要求12所述的系统，所述数据源自所述至少一个移动资产及至少一个附近资产中的至少一者。

19.根据权利要求12所述的系统，所述数据包括以下各项中的至少一者：

来自位于以下各项中的至少一者处的相机的视频信息：所述移动资产中、所述移动资产上及所述移动资产附近；

来自位于以下各项中的至少一者处的相机的图像信息：所述移动资产中、所述移动资产上及所述移动资产附近；及

来自位于以下各项中的至少一者处的麦克风的音频信息：所述移动资产中、所述移动资产上及所述移动资产附近。

20.根据权利要求12所述的系统，所述视频内容包括以下各项中的至少一者：

来自位于以下各项中的至少一者处的相机的视频信息：所述移动资产中、所述移动资产上及所述移动资产附近；

来自位于以下各项中的至少一者处的相机的图像信息：所述移动资产中、所述移动资产上及所述移动资产附近；及

来自位于以下各项中的至少一者处的麦克风的音频信息：所述移动资产中、所述移动资产上及所述移动资产附近。

21.根据权利要求12所述的系统，位于所述至少一个移动资产上的所述至少一个数据源包括以下各项中的至少一者：模拟输入、数字输入、I/O模块、交通工具控制器、发动机控制器、惯性传感器、全球定位系统(GPS)、至少一个相机、主动列车控制(PTC)/信号数据、燃料数据、蜂窝式传输检测器及内部驱动数据。

22.根据权利要求12所述的系统，远离所述至少一个移动资产的所述至少一个数据源包括以下各项中的至少一者：路线/组员清单组件、天气组件及地图组件。

23.根据权利要求1所述的方法，其进一步包括：

在检测到所述情节的条件下，在所述至少一个移动资产中播放音频警报。

24.根据权利要求12所述的系统，其进一步包括：

音频警报，其适于在检测到所述情节的条件下播放声音。

Images