JP2019527390A - 輸送システム用の映像コンテンツ分析システム及び方法 - Google Patents
輸送システム用の映像コンテンツ分析システム及び方法 Download PDFInfo
- Publication number
- JP2019527390A JP2019527390A JP2018560975A JP2018560975A JP2019527390A JP 2019527390 A JP2019527390 A JP 2019527390A JP 2018560975 A JP2018560975 A JP 2018560975A JP 2018560975 A JP2018560975 A JP 2018560975A JP 2019527390 A JP2019527390 A JP 2019527390A
- Authority
- JP
- Japan
- Prior art keywords
- data
- component
- information
- recorder
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000001514 detection method Methods 0.000 claims abstract description 120
- 230000002787 reinforcement Effects 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims 2
- 230000004807 localization Effects 0.000 claims 2
- 230000004044 response Effects 0.000 abstract description 4
- 230000008439 repair process Effects 0.000 abstract 1
- 230000003137 locomotive effect Effects 0.000 description 8
- 230000010076 replication Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0018—Communication with or on the vehicle or train
- B61L15/0027—Radio-based, e.g. using GSM-R
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0072—On-board train data handling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0081—On-board diagnosis or maintenance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L15/00—Indicators provided on the vehicle or train for signalling purposes
- B61L15/0094—Recorders on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
- B61L23/047—Track or rail movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/40—Handling position reports or trackside vehicle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
- B61L27/50—Trackside diagnosis or maintenance, e.g. software upgrades
- B61L27/57—Trackside diagnosis or maintenance, e.g. software upgrades for vehicles or trains, e.g. trackside supervision of train conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Traffic Control Systems (AREA)
Abstract
トラック検出及びインフラストラクチャ監視コンポーネントを含む、移動資産用の映像コンテンツ分析システム。トラック検出及びインフラストラクチャ監視は、強化学習コンポーネントと、オブジェクト検出及び位置特定コンポーネントと、障害物検出コンポーネントとを含み、映像データ、車両データ、天候データ、及び経路/マニフェストデータを分析して、その資産に関する内部条件及び/又は外部条件を判定する。データ取得・記録システムが、そのデータ、内部条件及び/又は外部条件情報、オブジェクト検出情報、オブジェクト位置情報、及び障害物検出情報を遠隔メモリモジュールにアップロードして、遠隔にいるユーザにリアルタイムでストリーミング映像データを提供する。遠隔にいるユーザはそのデータを、ウェブブラウザ又はバーチャルリアリティ装置を介して様々なビューモードで検分することができる。これにより、より迅速な緊急対応を備え、修理及び経路変更の有効性を検証し、乗員の業務と安全性の監視を行うことができる。
Description
関連出願への相互参照
本願は、法律で認められている範囲で、2016年5月16日に提出された米国仮出願第62/337,225号に対する優先権を主張し、2016年5月16日に出願された米国仮出願第62/337,227号に対する優先権を主張し、2016年5月16日に提出された米国仮出願第62/337,228号に対する優先権を主張し、2017年5月15日に提出された米国非仮出願第15/595,650号の一部継続出願であり、かつ2017年5月15日に提出された米国非仮出願第15/595,689号の一部継続出願であり、その内容は、その全体が参照により本明細書に組み込まれる。
本願は、法律で認められている範囲で、2016年5月16日に提出された米国仮出願第62/337,225号に対する優先権を主張し、2016年5月16日に出願された米国仮出願第62/337,227号に対する優先権を主張し、2016年5月16日に提出された米国仮出願第62/337,228号に対する優先権を主張し、2017年5月15日に提出された米国非仮出願第15/595,650号の一部継続出願であり、かつ2017年5月15日に提出された米国非仮出願第15/595,689号の一部継続出願であり、その内容は、その全体が参照により本明細書に組み込まれる。
本開示は、高価値移動資産で使用される装置、特に、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。
機関車、航空機、大量輸送システム、鉱山機械、運搬可能な医療機器、貨物、船舶、軍用船などの高価値移動資産は、通常、搭載型データ取得・記録「ブラックボックス」システム及び/又は「イベントレコーダ」システムを採用している。イベントデータレコーダやフライトデータレコーダなどのデータ取得・記録システムは、インシデント調査、乗員の業務評価、燃費分析、メンテナンス計画、及び予測診断に使用される様々なシステムパラメータをログに残す。典型的なデータ収集記録システムは、デジタル及びアナログ入力ならびに圧力スイッチ及び圧力トランスデューサを備え、様々な搭載のセンサ装置からのデータを記録する。記録されたデータは、速度、移動した距離、場所、燃料レベル、1分間当たりのエンジン回転数(RPM)、流体レベル、運転者制御、圧力、現在及び予測される天候条件及び周囲条件などのパラメータを含むことができる。基本的事象及び動作データに加えて、映像及び音声事象/データ記録機能も、これらの同じ移動資産の多くに配備されている。通常、資産が絡む事件が発生し、調査が必要とされた後、データレコーダが回収されると、そのデータレコーダからデータが抽出される。ところが、データレコーダが回復できない、又は他の理由でデータが利用できない状況が発生することがある。このような状況では、データ取得・記録システム又はそのデータへの物理的アクセスが利用可能であるかどうかにかかわらず、データ収集記録システムによって取得された事象及び動作データ、映像データ、及び音声データなどのデータが迅速に必要とされる。
本開示は、概して、高価値移動資産で使用されるリアルタイムデータ取得・記録システムに関する。本明細書の教示は、高価値移動資産に関する映像データへのリアルタイム又は準リアルタイムのアクセス及び映像コンテンツ分析を提供することができる。本明細書に記載する、移動資産からのデータを処理する方法の一実装は、その移動資産に搭載の映像分析コンポーネントを使用して、その移動資産に搭載の少なくとも1つのデータソース及びその移動資産から遠隔にある少なくとも1つのデータソースの少なくとも一方からの少なくとも1つのデータ信号に基づくデータを受信すること、映像分析コンポーネントの強化学習コンポーネントを使用して、そのデータを加工データに処理すること、その映像分析コンポーネントを使用して、移動資産に搭載のデータレコーダにそのデータ及び加工データのうちの少なくとも一方を送信することと、そのデータレコーダのデータエンコーダを使用して、加工データに基づくビットストリームを含むレコードを符号化することと、データレコーダの搭載データマネジャを使用して、そのデータ、加工データレコーダのうちの少なくとも1つを、データレコーダの少なくとも1つのローカルメモリコンポーネントに、設定可能な第1の所定頻度にて記憶することと、を含む。
本明細書に記載する、映像コンテンツを分析するシステムの一実装は、少なくとも1つの360度カメラ、少なくとも1つの固定カメラ、及び少なくとも1つのマイクロフォンのうちの少なくとも1つと、移動資産に搭載の映像分析コンポーネントであって、強化学習コンポーネント、オブジェクト検出及び位置特定コンポーネント、及び障害物検出コンポーネントを含み、かつ少なくとも1つの360度カメラ、少なくとも1つの固定カメラ、及び少なくとも1つのマイクロフォンのうちの少なくとも1つからの少なくとも1つのデータ信号に基づくデータを受信するように設定された映像分析コンポーネントと、を含み、強化学習コンポーネントはそのデータを加工データに処理するように設定されており、オブジェクト検出及び位置特定コンポーネントは、その加工データに基づいて第1のオブジェクトのオブジェクト検出データ及びオブジェクト位置データを判定するように設定されており、障害物検出コンポーネントは、加工データ、オブジェクト検出情報、及びオブジェクト位置情報のうちの少なくとも1つに基づいて障害物検出情報を判定するように設定されている。
本開示のこれらの態様及び他の態様における変形を、以下でさらに詳細に説明する。
本明細書の説明を添付の図面を参照して行うが、いくつかの図面では同様の参照番号で同様の部品を示している。
本開示の実装による例示的なリアルタイムデータ取得・記録システムの現場設置を示す図。
本開示の実装による、例示的トラック検出を示す図。
本開示の実装による、例示的トラック検出及びスイッチ検出を示す図。
本開示の実装による、例示的トラック検出、トラック数のカウント、及び信号検出を示す図。
本開示の実装による、移動資産の内部状態を判定する処理を示すフロー図。
本開示の実装による、オブジェクト検出と移動資産の外部で起こる障害物検出とを判定する処理を示すフロー図。
本明細書に記載のリアルタイムデータ取得・記録システム及び映像分析システムは、高価値資産に関する事象及び動作データ、映像データ、音声データなどの広範なデータへのリアルタイム又は準リアルタイムのアクセスを遠隔に位置するユーザに提供する。このデータ取得・記録システムは、事故発生前、発生時、及び発生後に、資産に関するデータを記録し、そのデータを遠隔データリポジトリ及び遠隔に位置するユーザにストリーミングする。そのデータは、リアルタイム又は準リアルタイムで遠隔データリポジトリにストリーミングされる。これにより、リアルタイムで情報を遠隔データリポジトリにストリーミングし、少なくとも壊滅的な事象が起こるまでには情報を入手可能とすることにより、少なくとも事故又は緊急事態の発生時点までに情報を入手できるため、その資産が絡む事故を調査するために「ブラックボックス」を見つけてダウンロードする必要性を実質的に排除することができる。DARSは、移動資産について記録された映像データの映像分析を実行して、例えば、運転室占有率及び軌道検出を判定する。遠隔に位置するユーザは、一般的なウェブブラウザにアクセスすると、そのブラウザが、選択した資産に関する所望データにユーザをナビゲートして、そのデータを検分することができる。このため、指定データのダウンロードを要求するために資産上のデータ取得・記録システムとの対話、ファイルの位置確認や転送、そのデータ閲覧用の専用アプリケーションの使用が不要となる。
DARSは、事故前、事故中、及び事故後に、遠隔データリポジトリ及び遠隔に位置するユーザにデータをストリーミングすることにより、遠隔に位置するユーザの映像データへのアクセス及び映像分析システムにより行われる映像分析へのアクセスを提供する。これにより、映像データを確認して、事故時、トラック検出時、調査時、又はその他の対象時に乗員又は権限のない個人が存在したかどうか運転室占有率を判定するために、ユーザが手動で映像をダウンロード、抽出、再生をする必要がなくなる。さらに、映像分析システムは、リアルタイムで画像及び映像データを処理することによって、運転室占有率状況の決定、トラック検出、先頭及び後尾ユニットの決定を提供し、それによって正しいデータが常にユーザに利用可能であることを保証する。例えば、リアルタイムの画像処理は、後尾機関車として指定された機関車が先頭になっていないことを保証して鉄道の安全性を高める。従来のシステムは、配車システムにおける列車構成機能を使用することによって列車内の機関車位置を提供していた。この配車システム情報の場合は時折、情報がリアルタイムでは更新されず、必要と思われれば担当乗員が機関車を交換することができるので、古くなっている可能性がある。
本開示のシステム前は、検査者及び/又は資産担当者は、手動でトラックの状態を検査し、車両が先頭又は後尾位置にあるかどうかを手動で確認し、手動で個々の対象オブジェクトの位置を調査し、手動で対象オブジェクトの地理的位置のデータベースを作成し、各対象オブジェクトの手動による現地調査を定期的に実施して、それらの位置を確認して元の調査と異なる地理的位置の変化を特定し、元のデータベースが作成された時点から修復又はインフラストラクチャ開発の追加によって対象オブジェクトが場所を変更した場合は、手動でデータベースを更新し、デジタルビデオレコーダやデータレコーダから目的のデータを選択してダウンロードし、ダウンロードしたデータや映像をオフラインで検査し、障害物がないかトラックを確認しなければならず、その車両の操作者は、障害物及び/又はスイッチの変更がないかを物理的に検査しなければならなかった。本開示のシステムは、ユーザがこれらのステップを実行する必要性をなくしているため、ユーザを所望データにナビゲートする一般的なウェブブラウザを使用するだけでよい。資産所有者及び操作者は、移動資産の効率及び安全性をリアルタイムで自動化及び改善することができ、トラック状況を積極的に監視することができ、リアルタイムで警告情報を入手することができる。本開示のシステムは、トラックの状態を監視し、事故を調査するために、資産所有者及び操作者がデータレコーダからデータをダウンロードする必要性をなくしている。予防安全システムとして、DARSは、オペレータによる障害物有無のチェック、リアルタイムでのアラート送信及び/又はオフラインでその情報の保存、リモートモニタリング及び記憶用のアラート情報送信を補助することができる。現在及び過去の両方のトラック検出情報は、リアルタイムで遠隔データリポジトリに格納可能であるため、必要に応じてユーザがその情報を見る際の助けとなる。遠隔地にいるユーザは、選択された資産に関連する所望データへとナビゲートしてくれる一般的なウェブブラウザにアクセスして、資産の運用効率及び安全性をリアルタイム又は準リアルタイムで表示及び分析することができる。
本開示のシステムは、対象オブジェクトを継続的に監視して、それらが移動又は損傷したら、枝葉に行く手を塞がれたら、及び/又は故障して保守を必要としていたら、リアルタイムでそれを識別するために使用することができる。DARSは、映像、画像、及び/又はオーディオ情報を利用して、映像内の線路などの様々なインフラストラクチャのオブジェクトを検出及び識別し、移動資産が進むにつれてトラックをたどる機能を有し、地理的位置と共に対象オブジェクトのデータベースを定期的に作成、監査、及び更新する機能を有する。DARSは、存在するトラック数のカウント、移動資産がたどっている現在のトラックの識別、流されたバラスト、壊れたトラック、ゲージ外のトラック、スイッチの位置ズレ、乗り換えの切り替え、トラックへの浸水、積雪などの存在する障害物又は欠陥の検出、壊滅的な事態を発生させない予防保守の計画など、トラックの状態を自動的に検査することができる。DARSはまた、線路スイッチを検出し、トラック変更を追跡することができる。DARSはさらに、オブジェクトがなくなっていないか、妨害されていないか、及び/又はあるはずの場所に存在しているかなど、データの位置の変化を検出することができる。トラック検出、インフラストラクチャ診断情報、及び/又はインフラストラクチャ監視情報は、ウェブブラウザなどの標準的なウェブクライアントを使用してユーザに表示できるため、以前のシステムが必要としていたように、データレコーダからファイルをダウンロードして、専用アプリケーションソフトウェア又は情報を見るためのその他外部アプリケーションを使用する必要がなくなる。この処理は、対象オブジェクトの地理的位置を用いてデータベースを自動的に作成、監査、及び/又は更新し、連邦規則の遵守を確実にするまで拡張することができる。本開示のシステムでは、連邦規則に準拠するように以前設置されたカメラを利用して、以前は人間の対話、特殊車両、及び/又は代替機器を必要としていた様々な作業を実行する。DARSを用いると、移動資産が通常の収益サービス及び日常業務の一環としてその領域全体を移動する間、これらの作業を自動的に実行することができる。DARSを使用すると、以前は手動が必要だった作業を実行するために、通常の車両操作と以前に取り付けたカメラを利用して、無数の手作業による作業時間を節約できる。DARSは、以前は特殊車両を使用して実行されていた作業を実行することもできる。これにより、トラック及び対象オブジェクトの検査及び位置確認のためにトラック部分を閉鎖せずにすむ。トラックの一部を閉鎖すると、歳入サービスの喪失及び高額機器の購入及び維持につながることがしばしばあった。DARSはさらに、人が線路付近にいなければならない時間を減らすので、事故をトータルで減らし、人命を失う可能性も低減する。
データには、これに限定するものではないが、移動資産及び/又は移動資産近辺から生じる速度、圧力、温度、電流、電圧及び加速度などの測定されたアナログ及び周波数パラメータ、スイッチ位置、アクチュエータ位置、警告灯の照度、アクチュエータコマンドなどの測定されたブールデータ、全地球測位システム(GPS)からの位置、速度及び高度情報、ならびに様々な対象オブジェクトの緯度及び経度などの地理情報システム(GIS)からの追加データ、現在位置を考慮した上での移動資産の規制速度制限などの内部生成情報、ポジティブ列車制御(PTC)などのシステムによって生成された列車制御状況及び運用データ、GPSから受信したものを含む速度、加速度、及び位置などの車両及び慣性パラメータ、様々な対象オブジェクトの緯度と経度などのGISデータ、移動資産内、移動資産上、又はその近傍の様々な場所に配置された少なくとも1つのカメラからの映像及び画像情報、移動資産内、移動資産上、又はその近傍の様々な場所に配置された少なくとも1つのマイクロフォンからの音声情報、経路、スケジュール、貨物マニフェスト情報など、データセンターから移動資産に送信される移動資産の運用計画に関する情報、移動資産が現在稼働している、又は稼働予定の地域の、現在の天候や予測される天候などの環境条件に関する情報、追加データ、映像、及び音声の分析と分析学とを含む、上記の情報源のいずれかの組み合わせから得られるデータを含むことができる。
「トラック」は、機関車及び/又は列車の輸送に使用される鉄道のレール及び枕木を含み得るが、これらに限定されない。「対象オブジェクト」は、資産のカメラ画像及び映像の強化学習を使用して識別され得る、線路の近傍内に設置及び維持されるインフラストラクチャの様々なオブジェクトを含み得るが、これらに限定されない。強化学習は、「トレーニング」データとして定義されて以前にラベル付けされたデータセットを利用して、移動資産内、移動資産上、又はその近傍にあるカメラの視野内の物体を遠隔で自律的に識別できるようにするものである。DARSは、実装のすべての段階において、人間の対話を必要とする場合も必要としない場合もある。その実装段階の例として、強化学習に必要な訓練データセットのラベリングを挙げられるが、これに限定されるものではない。オブジェクトには、トラック、トラックの中心点、走行標識、信号、交差ゲート、スイッチ、交差点、及び文字による標識が含まれるが、これに限定されるものではない。「映像分析」とは、移動資産内、移動資産上、又はその付近にある少なくとも1つのカメラから記録された映像及び/又は画像を分析することによって収集された、あらゆる明瞭な情報を指す。その例として、対象オブジェクト、オブジェクトの地理的位置、障害物の移動、対象オブジェクトと移動資産間の距離、位置ずれの追跡などを挙げられるが、これに限定するものではない。映像分析システムはまた、ビデオ監視を強化するために監視カメラを含むあらゆる移動資産、住居区域、空間、又は部屋のいずれでも使用することができる。移動資産では、この映像分析システムは、遠隔地にいるユーザに向けて経済的かつ効率的に車内を占める自発的事象の検出を提供する。
図1は、本開示の態様を実装することができる例示的なリアルタイムデータ取得・記録システム(DARS)100の第1の実施形態の現場設置を示している。DARS100は、移動資産164上のデータレコーダ102からデータセンター166を介して遠隔に位置するエンドユーザ168に、リアルタイム情報、映像情報、及び音声情報を配信するシステムである。データレコーダ102は、車両すなわち移動資産164に設置されており、有線及び/又は無線ゲートウェイ/ルータ(図示せず)などの無線データリンク142の任意の組み合わせを介して任意の数の種々の情報源と通信する。データレコーダ102は、搭載のデータリンク142を介して、資産の構成に基づいて幅広く多様となり得る広範な様々なソースから映像データ、音声データ、及び他のデータ又は情報を収集する。データレコーダ102は、資産164内に、衝突保護メモリモジュール104、搭載のデータマネジャ106、及びデータエンコーダ108などのローカルメモリコンポーネントを含む。第2の実施態様では、データレコーダ102は、衝突保護のない着脱式記憶装置(図示せず)も含むことができる。例示的な衝突保護メモリモジュール104は例えば、例えば、連邦規則及び連邦鉄道行政規則に遵守する耐衝撃性事象レコーダメモリモジュール、連邦規則及び連邦航空局の規制に遵守するクラッシュサバイバブルメモリユニット(crash survivable memory unit)、適用可能な連邦規則のコードに準拠した衝突保護メモリモジュール、又は当該技術分野において知られている他の適切な強化メモリでよい。有線及び/又は無線データリンクは、離散信号入力、標準又は専用イーサネット(登録商標)、シリアル接続、及び無線接続のいずれか1つ又は組み合わせを含むことができる。
DARS100はさらに、トラック検出及びインフラストラクチャ監視コンポーネント114を含む映像分析システム110を備える。トラック検出及びインフラストラクチャ監視コンポーネント114は、強化学習コンポーネント124又は他のニューラルネットワーク又は人工知能コンポーネント、オブジェクト検出及び位置特定コンポーネント126、及び障害物検出コンポーネント128を備える。この実装では、ライブ映像データは、資産164の車内、資産164上、又は資産164の近くに搭載された少なくとも1つのカメラ140により撮影される。カメラ140は、適切な高さ及び角度で配置されて、資産164内及びその周囲の映像データを捉え、さらなる処理のために十分な量のビューを取得する。ライブ映像データ及び画像データは、カメラ140により資産164の正面及び/又は周囲で捉えられ、分析のためにトラック検出及びインフラストラクチャ監視コンポーネント114に給送される。映像分析システム110のトラック検出及びインフラストラクチャ監視コンポーネント114は、そのライブ映像及び画像データフレーム毎に処理して、線路及びあらゆるオブジェクトの存在を検出する。高さ、角度、シフト、焦点距離、視野などのカメラ位置パラメータは、トラック検出及びインフラストラクチャ監視コンポーネント114又はカメラ140のいずれかに給送され、映像分析システム110がカメラ位置及びパラメータを検出及び特定することができるように設定することができる。
運転室占有率検出など、状況の特定をするために、映像分析システム110は、強化学習コンポーネント124及び/又は他の人口知能及び学習アルゴリズムを使用して、 例えば、カメラ140からの映像データ、速度、GPSデータ、及び慣性センサデータなどの資産データ134、天候コンポーネント136のデータ、ならびに経路/乗員、マニフェスト、及びGISコンポーネント138データを評価する。運転室占有率検出は、その資産の移動時に雲から反射する光や建物や木を通過する太陽光などの環境ノイズの影響を受けやすい。環境ノイズに対処するために、強化学習コンポーネント124、オブジェクト検出及び位置特定コンポーネント126、障害物検出コンポーネント、速度、GPSデータ及び慣性センサデータなどの資産コンポーネント134のデータ、天候コンポーネント136のデータ、及び他の学習アルゴリズムが一緒に構成されて、移動資産164に関わる内部及び/又は外部状況の決定内容を形成する。トラック検出及びインフラストラクチャ監視コンポーネント114にはまた、機関車セキュリティシステムの一部として機関車への認証アクセスを許可することを可能にするように適合された顔認識システム、乗員の機敏さを監視するように適合された疲労検出構成要素、及び喫煙などの無認可活動を検出する活動検出構成要素も含めることができる。
強化学習コンポーネント124を使用するトラックの強化学習は、映像及び/又は画像の連続したフレームから得られた様々な情報を利用し、さらにデータセンター166と慣性センサデータとGPSデータを含む車両データコンポーネント134とから受信した追加情報を利用して行われ、学習データを決定する。オブジェクト検出及び位置特定コンポーネント126は、強化学習コンポーネント124から受信する学習データと、その線路、標識、信号を他のオブジェクトから区別する、トラックの幅及び曲率、枕木の位置、及び車両速度などの移動資産164及び線路に関する具体的な情報とを利用して、オブジェクト検出データを特定する。障害物検出コンポーネント128は、オブジェクト検出及び位置特定コンポーネント126から受信するオブジェクト検出データと、天候コンポーネント136、経路/乗員マニフェストデータ、及びGISデータコンポーネント138からの追加情報と、慣性センサデータ及びGPSデータを含む車両データコンポーネント134とを利用して、正確性を高め、障害物検出データを特定する。車両データコンポーネント134からの移動資産データには、速度、位置、加速度、ヨー/ピッチレート、及び踏切が含まれるが、これに限定するものではない。データセンター166から受信し利用される追加情報には、移動資産164の昼夜の詳細及び地理的位置が含まれるが、これに限定するものではない。
対象のインフラストラクチャオブジェクト、トラック検出及びインフラストラクチャ監視コンポーネント114が処理する情報、診断及び監視情報は、搭載のデータリンク142を介してデータレコーダ102のデータエンコーダ108に送信されて符号化される。データレコーダ102は、その符号化データを衝突保護メモリモジュール104に記憶し、任意に任意の衝突保護のない着脱式記憶装置にも記憶して、その符号化情報を無線データリンク144を介してデータセンター166の遠隔データマネジャ146に送信する。遠隔データマネジャ146は、その符号化データをデータセンター166の遠隔データリポジトリ148に記憶する。
資産164の前方にトラックがあるなど、障害物検出128又はオブジェクト検出126を判定するために、車両分析システム110は強化学習コンポーネント124又は他の人口知能、オブジェクト検出及び位置特定コンポーネント126、及び障害物検出コンポーネント128と、他の画像処理アルゴリズムとを用いて、カメラ140からのカメラ画像及び映像データをリアルタイムで処理及び評価する。トラック検出及びインフラストラクチャ監視コンポーネント114は、その処理した映像データを、速度、GPSデータ及び慣性センサデータを含み得る資産コンポーネント134データと、天候コンポーネント136データと、経路/乗員 マニフェストと、GISコンポーネント138データとを併せて使用して、先頭及び後尾の移動資産など、外部状況特定事項をリアルタイムで特定する。トラック検出のために画像及び映像データを処理する場合、例えば,映像分析システム110は自動的に、トラック検出に必要なカメラ140パラメータを構成し、通過スイッチ(run through switch)を検出し、トラックの数を数え、資産164の脇に追加トラックがあれば検出し、資産164が現在どのトラック上を走行しているかを特定し、トラックの形状不良を検出し、規定範囲内でトラック付近に水を検出するなど、トラックが流される事態を検出し、スロープ又はトラックが欠落する事態を検出する。オブジェクト検出の正確性は、資産164内及びその周囲にある照明条件に左右される。DARS100は、資産164上及びデータセンター166から収集する追加データを用いて、様々な照明条件に対応することができる。DARS100は、種々の照明条件で動作し、種々の天候条件で動作し、より多くの対象オブジェクトを検出し、自動的に既存のデータベースシステムと統合してデータを作成、監査、及び更新し、複数のトラックを検出し、曲線状のトラックとも一貫して動作し、あらゆる障害物を検出し、安全性に問題を起こしかねないトラックのあらゆる欠陥を検出し、低コストの組み込みシステムで動作するように改善されている。
運転室占有率、トラック検出などの物体検出及び位置検出、ならびに障害物検出などの、映像分析システム110からの内部及び/又は外部状況の決定内容は、搭載データリンク142を介して車両管理システム(VMS)又はデジタルビデオレコーダコンポーネント132からの任意のデータと共にデータレコーダ102に提供される。データレコーダ102は、内部及び/又は外部状況決定内容、オブジェクト検出及び位置特定コンポーネント126のデータ、及び障害物検出コンポーネント128のデータを衝突保護メモリモジュール104、及び任意で第2の実施態様の衝突保護のない着脱式記憶装置、さらにデータセンター166内に位置する遠隔データマネジャ146を介して遠隔データリポジトリ148に記憶する。ウェブサーバ158は、要求に応じて、ウェブクライアント162を介して、遠隔地にいるユーザ168に、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置特定コンポーネント126の情報、及び障害物検出コンポーネント128の情報を提供する。
データエンコーダ108は、規制機関によって通常定義される少なくとも最小のデータセットを符号化する。データエンコーダ108は、任意のカメラ140、映像分析システム110、及び映像管理システム132から映像、画像、及び音声データを受信し、遠隔データリポジトリ148への効率的なリアルタイム伝送及び複製を容易にするためにそのデータを圧縮又は符号化し、かつ時間同期する。データエンコーダ108がその符号化データを搭載データマネジャ106に送信すると、搭載データマネジャ106は、ユーザ168によるオンデマンド要求に応じて、又は資産164上で観察された特定の動作条件に応じて、データセンター166に配置された遠隔データマネジャ146を介して遠隔データマネジャ146に符号化した映像、画像及び音声データを送信する。搭載データマネジャ106及び遠隔データマネジャ146は、データ複製プロセスを管理するために連携して動作する。データセンター166内の遠隔データマネジャ146は、複数の資産164からのデータの複製を管理することができる。
搭載データマネジャ108は、検出された事象の優先順位付けに基づいて、検出された事象、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置、及び/又は障害物検出をキューに入れるか、直ちに送信するかを決定する。例えば、通常の動作状況では、線路上の障害物を検出することは、誰かが資産164の運転室にいるかどうかを検出することよりもはるかに緊急である。搭載のデータマネジャ108はまた、キューリポジトリ(図示せず)にデータを送信する。準リアルタイムモードでは、搭載データマネジャは、データエンコーダ108から受信した符号化データ及び任意の事象情報を衝突保護メモリモジュール104及びキューリポジトリに格納する。5分の符号化データがキューリポジトリに蓄積された後、搭載データマネジャ106は、無線データリンク144によりデータセンター166の遠隔データマネジャ146を介してその5分の符号化データを遠隔データリポジトリ148に記憶する。リアルタイムモードでは、搭載データマネジャ108は、データエンコーダ108から受信した符号化データ及び任意の事象情報を無線データリンク144によりデータセンター166内の遠隔データマネジャ146を介して衝突保護メモリモジュール104及び遠隔データリポジトリ148に記憶する。
この実装では、搭載データマネジャ106は、映像データ、音声データ、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報、ならびに任意の他のデータ又は事象情報を、無線データリンク144によりデータセンター166内の遠隔データマネジャ146を介して遠隔データリポジトリ148に送信する。無線データリンク144は、例えば、無線ローカルエリアネットワーク(WLAN)、無線メトロポリタンエリアネットワーク(WMAN)、無線ワイドエリアネットワーク(WWAN)、無線仮想私設ネットワーク(WVPN)、携帯電話ネットワーク、又は任意の他のデータを転送するもの、この例では、データレコーダ102からデータを遠隔データマネジャ146に転送する手段とすることができる。資産164から遠隔でデータを検索するプロセスには、資産164とデータセンター166との間の無線接続が必要である。無線データ接続が利用できない場合には、無線接続が回復するまでデータは記憶され、待ち行列に入れられる。
データ記録と並行して、データレコーダ102は連続的かつ自律的に遠隔データリポジトリ148にデータを複製する。この複製プロセスには、リアルタイムモードと準リアルタイムモードとの2つのモードがある。リアルタイムモードでは、データは毎秒、遠隔データリポジトリ10に複製される。準リアルタイムモードでは、データは5分毎に、遠隔データリポジトリ10に複製される。準リアルタイムモードに使用される頻度は設定可能であり、リアルタイムモードに使用される頻度は0.10秒ごとにデータを遠隔データリポジトリ15に複製することによって高解像度データをサポートするように調整することができる。準リアルタイムモードは、データ複製プロセスの効率を向上させるために、ほとんどの条件下で通常の動作中に使用される。
リアルタイムモードは、資産164で発生する事象に基づいて、又はデータセンター166から開始される要求によって開始することができる。リアルタイムモードでの典型的なデータセンター166開始による要求は、遠隔地にいるユーザ168がウェブクライアント162からリアルタイム情報を要求したときに開始される。リアルタイムモードにて資産164が発信元となる一般的理由は、オペレータが開始する緊急停止要求、緊急制動操作、任意軸における急加速又は急減速、又はデータレコーダ102への入力電力の喪失などの資産164に関連する事象又は事件の検出である。準リアルタイムモードからリアルタイムモードに移行すると、遠隔データリポジトリ148にまだ複製されていないすべてのデータが遠隔データリポジトリ148に複製されて記憶され、その後ライブ複製が開始される。準リアルタイムモードからリアルタイムモードへの移行は通常5秒未満で起こる。事象又は事故から所定の時間が経過した後、活動のない状態が所定時間続く、又はユーザ168が資産164からのリアルタイム情報をもはや望まない場合には、データレコーダ102は準リアルタイムモードに戻る。この移行を開始するのに必要な所定時間は設定可能であり、通常は10分に設定される。
データレコーダ102がリアルタイムモードであると、搭載のデータマネジャ106は、連続的に遠隔のデータマネジャ146へとその待ち行列を空けようとして、そのデータを衝突保護メモリモジュール140、及び任意に第2の実施態様の衝突保護のない着脱式記憶装置に記憶し、そのデータを同時に遠隔データマネジャ146へと送信する。
遠隔データマネジャ146は、データレコーダ102から映像データ、音声データ、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置、障害物検出情報、ならびに複製すべき他の任意のデータ又は情報を受信すると、符号化データ及び検出された事象データなどの搭載データマネジャ106から受信するデータをデータセンター166内の遠隔データリポジトリ148に記憶する。遠隔データリポジトリ148は例えば、クラウドベースのデータ記憶装置、又は他の適した遠隔データ記憶装置でよい。このデータが受信されると、遠隔データリポジトリ148から最近複製されたデータをデータデコーダ154で復号し、その復号データをトラック/オブジェクト検出/位置特定コンポーネント150に送信する処理が開始される。トラック/オブジェクト検出/位置特定コンポーネント150は、記憶されたデータを追加で「後処理された」事象についてチェックする。トラック/オブジェクト検出/位置特定コンポーネント150は、この実装では、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置情報、及び障害物検出情報と特定するオブジェクト/障害物検出コンポーネントを含む。内部及び/又は外部情報、オブジェクト検出及び位置、及び/又は障害物検出情報を検出すると、トラック/オブジェクト検出/位置特定コンポーネント150はその情報を遠隔データリポジトリ148に記憶する。
情報遠隔に位置するユーザ168は、ウェブブラウザなどの標準ウェブクライアント162、又は、この実装では選択カメラからサムネイル画像を表示可能な仮想現実装置(図示せず)を用いて、映像データ、音声データ、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報、指定の一資産164又は複数の資産に関してトラック情報、資産情報、及び運転室占有率情報を含む遠隔データリポジトリ148に記憶されている任意の他の情報にアクセスすることができる。ウェブクライアント162は、一般的なウェブ標準、プロトコル、及び技法を使用して、ネットワーク160を介してユーザ168の情報要求をウェブサーバ158に通信する。ネットワーク160は、例えばインターネットとすることができる。ネットワーク160は、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、仮想私設ネットワーク(VPN)、携帯電話ネットワーク、又は、この例ではウェブサーバ158からウェブクライアント162にデータを転送する他の任意の手段とすることもできる。ウェブサーバ158が遠隔データリポジトリ148からの所望データを要求すると、データデコーダ154はウェブサーバ158からの要求に応じて、遠隔データリポジトリ148から指定の資産164に関する要求データを取得する。データデコーダ154は、その要求データを復号して、その復号データをローカライザ156に送る。生の符号化データ及び検出されたトラック/オブジェクト検出/位置特定情報が協定世界時(UTC)及び国際単位系(SI単位)を使用して遠隔データリポジトリ148に保存されると、ローカライザ156は、ウェブクライアント162にアクセスして、ユーザ168によって設定されたプロファイル設定を識別し、そのプロファイル設定を使用して、ユーザ168に提示するためにウェブクライアント162に送信する情報を準備する。ローカライザ156は、復号されたデータを、ユーザ168が望むフォーマット、例えばユーザ168が好む測定単位及び言語に変換する。ローカライザ156は、ユーザ168が好むフォーマットでローカライズしたデータを要求通りにウェブサーバ158に送信する。次に、ウェブサーバ158は、検分及び分析のために、そのローカライズされたデータをウェブクライアント162に送信して、トラック情報及び図2A、2B、及び2Cに示す情報など、内部及び/又は外部状況の決定内容、オブジェクト検出及び位置情報、障害物検出情報と共に、標準映像及び360度映像の再生及びリアルタイム表示を提供する。
ウェブクライアント162は、様々な異なるモードで360度映像の再生を提供するソフトウェアアプリケーションで強化されている。ユーザ168は、ソフトウェアアプリケーションが映像再生を提示するモード、例えば魚眼ビュー、デワープビュー、パノラマビュー、ダブルパノラマビュー、及びクワッドビューなどを選択することができる。
図3は、本開示の一実装による資産164の内部状態を判定するためのプロセス300を示すフロー図である。映像分析システム110は、資産164、車両データコンポーネント134、天候コンポーネント136、ならびに経路/マニフェスト及びGISコンポーネント138の上、その中、又はその近傍にあるカメラ140などの様々な入力コンポーネント302からデータ信号を受信する。映像分析システム110は、強化学習コンポーネント304を使用してデータ信号を処理し、運転室占有率などの内部状態306を判定する。
図4は、本開示の一実装による、資産164の外部で発生したオブジェクト検出/位置特定及び障害物検出を特定するためのプロセス400を示すフロー図である。映像分析システム110は、資産164、車両データコンポーネント134、天候コンポーネント136、ならびに経路/マニフェスト及びGISコンポーネント138の上、その中、又はその近傍にあるカメラ140などの様々な入力コンポーネント402からデータ信号を受信する。映像分析システム110は、そのデータ信号を、強化学習コンポーネント124、オブジェクト検出/位置特定コンポーネント126、及び障害物検出コンポーネント128、404を使用して処理し、トラックの存在など、障害物検出406ならびにオブジェクト検出及び位置408を判定する。
説明を簡単にするために、プロセス300及びプロセス400は、一連のステップとして示し、説明している。ただし、本開示によるステップは、様々な順序で及び/又は並行して実施することができる。また、本開示に従ったステップは、本明細書に提示及び記載していない他のステップと共に行うことができる。さらに、図示されたすべてのステップが、開示した主題による方法を実施するために必要とされるわけではない。
本開示を特定の実施形態に関連して記載したが、本開示は開示された実施形態に限定されるものではなく、逆に、添付の請求範囲内に含まれる様々な修正及び均等な構成を包含することを意図するものである。その範囲は、法律で許容されるすべての修正及び均等な構成を包含するように最も広い解釈が与えられるべきである。
Claims (21)
- 移動資産からのデータを処理する方法であって、
前記移動資産に搭載の映像分析コンポーネントを使用して、
前記移動資産に搭載の少なくとも1つのデータソース、及び
前記移動資産から遠隔にある少なくとも1つのデータソース
のうちの少なくとも1つからの、少なくとも1つのデータ信号、に基づくデータを受信することと、
前記映像分析コンポーネントの強化学習コンポーネントを使用して、前記データを加工データに処理することと、
前記映像分析コンポーネントを使用して、前記データ及び前記加工データのうちの少なくとも一方を、前記移動資産に搭載のデータレコーダに送信することと、
前記データレコーダのデータエンコーダを使用して、前記加工データに基づくビットストリームを含むレコードを符号化することと、
前記データレコーダの搭載データマネジャを使用して、前記データ、前記加工データ、及び前記レコードのうちの少なくとも1つを、設定可能な第1の所定頻度にて、前記データレコーダの少なくとも1つのローカルメモリコンポーネントに記憶することと、
を備える方法。 - 前記移動資産に搭載の前記少なくとも1つのデータソースが、移動資産データコンポーネント、少なくとも1つのマイクロフォン、少なくとも1つの固定カメラ、及び少なくとも1つの360度カメラ、のうちの少なくとも1つを含む、
請求項1に記載の方法。 - 前記移動資産データコンポーネントから受信される前記データが、全地球測位システムデータ及び慣性センサデータを含む、
請求項2に記載の方法。 - 前記データが、
前記少なくとも1つの固定カメラ及び前記少なくとも1つの360度カメラのうちの少なくとも1つから受信する映像情報と、
前記少なくとも1つのマイクロフォンから受信する音声情報と、
のうちの少なくとも一方を含む、
請求項2に記載の方法。 - 前記移動資産から遠隔にある前記少なくとも1つのデータソースが、
天候コンポーネントと、
経路、マニフェスト及び地理的情報システムコンポーネントと、
遠隔データリポジトリと、
のうちの少なくとも1つを含む、
請求項1に記載の方法。 - 前記映像分析コンポーネントのオブジェクト検出及び位置特定コンポーネントを使用して、前記加工データに基づいて、第1のオブジェクトの第1のオブジェクト検出データ及び第1のオブジェクト位置データのうちの少なくとも1つを判定することと、
前記オブジェクト検出及び位置特定コンポーネントを使用して、前記第1のオブジェクト検出データ及び前記第1のオブジェクト位置データのうちの少なくとも一方に基づいて前記移動資産に関する内部条件を識別することと、
をさらに備える、請求項1に記載の方法。 - 前記映像分析コンポーネントの障害物検出コンポーネントを使用して、前記加工データ、前記第1のオブジェクト検出データ、及び第1の前記オブジェクト位置データのうちの少なくとも1つに基づいて、障害物検出データを判定することと、
前記障害物検出コンポーネントを使用して、前記障害物検出データに基づいて、前記移動資産に関する外部条件を識別することと、
をさらに備える、請求項6に記載の方法。 - 前記障害物検出データが、
前記第1のオブジェクト位置データ及び前記第1のオブジェクト検出データのうちの少なくとも一方が、第2のオブジェクトに関する第2のオブジェクト位置データ及び第2のオブジェクト検出データに類似しているという条件、
に基づく、
請求項7に記載の方法。 - 前記内部条件の少なくとも1つが、前記移動資産の運転室占有率を含み、
前記外部条件が、トラック検出を含む、
請求項6に記載の方法。 - 前記移動資産に搭載のデジタルビデオレコーダを使用して、
少なくとも1つの360度カメラ、
少なくとも1つの固定カメラ、及び
少なくとも1つのマイクロフォン
のうちの少なくとも1つ、からの少なくとも1つのデータ信号、に基づくマルチメディアデータを受信することと、
前記データレコーダを使用して、前記マルチメディアデータを受信することと、
前記データレコーダの前記データエンコーダを使用して、前記マルチメディアデータに基づくビットストリームを含む第2のレコード、を符号化することと、
前記データレコーダの前記搭載データマネジャを使用して、前記マルチメディアデータ及び前記第2のレコードのうちの少なくとも一方を、前記設定可能な第1の所定頻度にて、前記データレコーダの前記少なくとも1つのローカルメモリコンポーネントに記憶することと、
をさらに備える、請求項1に記載の方法。 - 前記データレコーダを使用して、前記内部条件、前記第1のオブジェクト検出データ、及び前記第1のオブジェクト位置データのうちの少なくとも1つ、を受信することと、
前記データレコーダの前記データエンコーダを使用して、前記内部条件、前記第1のオブジェクト検出データ、及び前記第1のオブジェクト位置データのうちの前記少なくとも1つに基づくビットストリームを含む第2のレコード、を符号化することと、
前記データレコーダの前記搭載データマネジャを使用して、前記内部条件、前記第1のオブジェクト検出データ、前記第1のオブジェクト位置データ、及び前記第2のレコードのうちの少なくとも1つを、前記設定可能な第1の所定頻度にて、前記データレコーダの前記少なくとも1つのローカルメモリコンポーネントに記憶することと、
をさらに備える、請求項6に記載の方法。 - 前記データレコーダを使用して、前記外部条件及び前記障害物検出データのうちの少なくとも1つを受信することと、
前記データレコーダの前記データエンコーダを使用して、前記外部条件及び前記障害物検出データのうちの前記少なくとも1つに基づくビットストリームを含む第2のレコード、を符号化することと、
前記データレコーダの前記搭載のデータマネジャを使用して、前記外部条件、前記障害物検出データ、及び前記第2のレコードのうちの少なくとも1つを、前記設定可能な第1の所定頻度にて、前記データレコーダの前記少なくとも1つのローカルメモリコンポーネントに記憶することと、
をさらに備える、請求項7に記載の方法。 - 前記第1の所定頻度が、0〜5分の間で設定可能である、
請求項1に記載の方法。 - 前記搭載のデータマネジャを使用して、前記レコードを、0秒〜5分の間で設定可能な第2の所定頻度にて、無線データリンクを介して遠隔データマネジャに送信することと、
前記遠隔データマネジャを使用して、前記レコードを遠隔データリポジトリに記憶することと、
をさらに備える、請求項1に記載の方法。 - 映像コンテンツを分析するシステムであって、
少なくとも1つの360度カメラ、少なくとも1つの固定カメラ、及び少なくとも1つのマイクロフォンのうちの少なくとも1つと、
移動資産に搭載の映像分析コンポーネントであって、強化学習コンポーネント、オブジェクト検出及び位置特定コンポーネント、及び障害物検出コンポーネントを含み、かつ、前記少なくとも1つの360度カメラ、前記少なくとも1つの固定カメラ、及び前記少なくとも1つのマイクロフォンのうちの前記少なくとも1つからの少なくとも1つのデータ信号に基づくデータを受信するように設定されている、映像分析コンポーネントと、
を含み、
前記強化学習コンポーネントは、前記データを加工データに処理するように設定され、
前記オブジェクト検出及び位置特定コンポーネントは、前記加工データに基づいて第1のオブジェクトに関するオブジェクト検出データ及びオブジェクト位置データを判定するように設定され、
前記障害物検出コンポーネントは、前記加工データ、前記オブジェクト検出情報、及び前記オブジェクト位置情報のうちの少なくとも1つに基づいて障害物検出情報を判定するように設定されている、
システム。 - 前記移動資産に搭載のデジタルビデオレコーダであって、前記少なくとも1つの360度カメラ、前記少なくとも1つの固定カメラ、及び前記少なくとも1つのマイクロフォンのうちの前記少なくとも1つからの少なくとも1つのデータ信号に基づくデータ、を受信するように設定されているデジタルビデオレコーダと、
前記移動資産に搭載のデータレコーダであって、データデコーダ、搭載データマネジャ、及び少なくとも1つのローカルメモリコンポーネントを含み、かつ前記データを設定可能な第1の所定頻度にて前記少なくとも1つのローカルメモリコンポーネントに記憶するように設定されている、データレコーダと、
をさらに備える、請求項15に記載のシステム。 - 前記移動資産に搭載の車両データコンポーネントであって、全地球測位システムデータ及び慣性センサデータのうちの少なくとも1つを前記映像分析コンポーネントに送信するように設定されている、車両データコンポーネントと、
前記現在の天候情報及び前記予測される天候情報のうちの少なくとも1つを前記映像分析システムに送信するように設定されている、天候コンポーネントと、
経路情報、乗員情報、マニフェスト情報、及びGIS情報のうちの少なくとも1つを前記映像分析コンポーネントに送信するように設定されている、経路マニフェスト及び地理情報システム(GIS)コンポーネントと、
前記全地球測位システムデータ、前記慣性センサデータ、前記現在の天候情報、前記予測される天候情報、前記経路情報、前記乗員情報、前記マニフェスト情報、及び前記GIS情報のうちの少なくとも1つを使用して前記データを加工データに処理するように設定されている、前記強化学習コンポーネントと、
をさらに備える、請求項15に記載のシステム。 - 前記移動資産に搭載のデータレコーダであって、少なくとも1つのローカルメモリコンポーネント、搭載のデータマネジャ、及びデータエンコーダを含み、前記加工データ、前記オブジェクト検出情報、前記オブジェクト位置情報、及び前記障害物情報のうちの少なくとも1つを前記映像分析コンポーネントから受信するように設定されている、データレコーダと、
前記加工データ、前記オブジェクト検出情報、前記オブジェクト位置情報、及び前記障害物情報のうちの少なくとも1つに基づくビットストリームを含むレコードを符号化するように設定されている、前記データエンコーダと、
前記レコード、前記加工データ、前記オブジェクト検出情報、前記オブジェクト位置情報、及び前記障害物情報のうちの少なくとも1つを、設定可能な第1の所定頻度にて前記少なくとも1つのローカルメモリコンポーネントに記憶するように設定されている、前記搭載データマネジャと、
をさらに備える、請求項15に記載のシステム。 - 前記移動資産から遠隔にある遠隔データマネジャであって、前記レコードを前記搭載データマネジャから、0秒〜5分の間で設定可能である第2の所定頻度にて無線データリンクを介して受信するように設定されている、遠隔データマネジャと、
前記移動資産から遠隔にある遠隔データリポジトリであって、前記遠隔データマネジャから受信した前記レコードを記憶するように設定されている、遠隔データリポジトリと、
をさらに備える、請求項18に記載のシステム。 - 前記移動資産から遠隔にあるデータデコーダであって、前記レコードを前記遠隔データリポジトリから受信し、前記レコードを復号するように設定されている、データデコーダと、
前記移動資産から遠隔にある外部監視コンポーネントであって、前記オブジェクト検出情報、前記オブジェクト位置情報、及び前記障害物情報のうちの少なくとも1つを識別するように設定されている、外部監視コンポーネントと、
をさらに備える、請求項19に記載のシステム。 - 表示装置を含むウェブクライアントと、
前記ウェブクライアントと無線通信状態にあり、前記移動資産に関する指定データ及び特定ビューモードを含む要求を受信するように設定された、ウェブサーバと、
前記ウェブサーバと無線通信状態にあるローカライズコンポーネントであって、前記レコード、前記加工データ、前記オブジェクト検出情報、前記オブジェクト位置情報、及び前記障害物情報のうちの少なくとも1つに基づく前記指定データを前記データデコーダから受信して、リモートユーザにより指定された時間設定及び数量単位設定に基づいて前記指定データを修正するように設定された、ローカライズコンポーネントと、
をさらに含み、
前記ウェブサーバが、前記指定データを受信するように設定されており、
前記表示装置が、前記指定ビューで前記指定データを表示するように設定されている、請求項19に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200307A JP2022033946A (ja) | 2016-05-16 | 2021-12-09 | 輸送システム用の映像コンテンツ分析システム及び方法 |
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662337228P | 2016-05-16 | 2016-05-16 | |
US201662337227P | 2016-05-16 | 2016-05-16 | |
US201662337225P | 2016-05-16 | 2016-05-16 | |
US62/337,227 | 2016-05-16 | ||
US62/337,225 | 2016-05-16 | ||
US62/337,228 | 2016-05-16 | ||
US15/595,650 US9934623B2 (en) | 2016-05-16 | 2017-05-15 | Real-time data acquisition and recording system |
US15/595,689 US10410441B2 (en) | 2016-05-16 | 2017-05-15 | Real-time data acquisition and recording system viewer |
US15/595,650 | 2017-05-15 | ||
US15/595,689 | 2017-05-15 | ||
US15/595,712 US10392038B2 (en) | 2016-05-16 | 2017-05-15 | Video content analysis system and method for transportation system |
US15/595,712 | 2017-05-15 | ||
PCT/US2017/032971 WO2017201095A1 (en) | 2016-05-16 | 2017-05-16 | Video content analysis system and method for transportation system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200307A Division JP2022033946A (ja) | 2016-05-16 | 2021-12-09 | 輸送システム用の映像コンテンツ分析システム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019527390A true JP2019527390A (ja) | 2019-09-26 |
Family
ID=60297449
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560975A Pending JP2019527390A (ja) | 2016-05-16 | 2017-05-16 | 輸送システム用の映像コンテンツ分析システム及び方法 |
JP2021200307A Pending JP2022033946A (ja) | 2016-05-16 | 2021-12-09 | 輸送システム用の映像コンテンツ分析システム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200307A Pending JP2022033946A (ja) | 2016-05-16 | 2021-12-09 | 輸送システム用の映像コンテンツ分析システム及び方法 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10392038B2 (ja) |
EP (1) | EP3458991A4 (ja) |
JP (2) | JP2019527390A (ja) |
KR (1) | KR102437322B1 (ja) |
CN (1) | CN109476329B (ja) |
AU (2) | AU2017268276A1 (ja) |
BR (1) | BR112018073638A8 (ja) |
CA (1) | CA3024354C (ja) |
CL (1) | CL2018003237A1 (ja) |
MX (1) | MX2018014071A (ja) |
WO (1) | WO2017201095A1 (ja) |
ZA (1) | ZA201807686B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170313332A1 (en) * | 2002-06-04 | 2017-11-02 | General Electric Company | Autonomous vehicle system and method |
US10410441B2 (en) * | 2016-05-16 | 2019-09-10 | Wi-Tronix, Llc | Real-time data acquisition and recording system viewer |
US10606767B2 (en) * | 2017-05-19 | 2020-03-31 | Samsung Electronics Co., Ltd. | Ethernet-attached SSD for automotive applications |
CN107886461A (zh) * | 2017-08-11 | 2018-04-06 | 比亚迪股份有限公司 | 区域限速值的获得方法、装置和终端设备 |
WO2019117970A1 (en) * | 2017-12-15 | 2019-06-20 | Google Llc | Adaptive object tracking policy |
CN108214554B (zh) * | 2018-02-05 | 2020-11-24 | 刘春梅 | 一种用于轨道交通智能巡检机器人的自检系统 |
US11106211B2 (en) * | 2018-04-02 | 2021-08-31 | Sony Group Corporation | Vision-based sample-efficient reinforcement learning framework for autonomous driving |
DE102018205917A1 (de) * | 2018-04-18 | 2019-10-24 | Siemens Mobility GmbH | Vorrichtung zur Vervielfältigung und Sicherung von Daten eines Fahrtenregistriersystems im Schienenverkehr |
KR102169211B1 (ko) * | 2018-11-15 | 2020-10-22 | 한국철도공사 | 전차 선로의 조류 둥지 자동 검출 장치 및 방법 |
CN109802964B (zh) * | 2019-01-23 | 2021-09-28 | 西北大学 | 一种基于dqn的http自适应流控制能耗优化方法 |
US11731672B2 (en) | 2019-03-29 | 2023-08-22 | Wi-Tronix, Llc | Automated signal compliance monitoring and alerting system |
CN110450823B (zh) * | 2019-07-22 | 2021-07-30 | 北京交大微联科技有限公司 | 调整列车计划占用的股道的方法、装置及电子设备 |
CN110609474B (zh) * | 2019-09-09 | 2020-10-02 | 创新奇智(南京)科技有限公司 | 一种基于强化学习的数据中心能效优化方法 |
CN114730192A (zh) * | 2019-09-12 | 2022-07-08 | 联邦科学与工业研究组织 | 物体移动系统 |
US11834082B2 (en) * | 2019-09-18 | 2023-12-05 | Progress Rail Services Corporation | Rail buckle detection and risk prediction |
CN113256924A (zh) * | 2020-02-12 | 2021-08-13 | 中车唐山机车车辆有限公司 | 一种轨道列车的监控系统,监控方法及监控装置 |
US20220044183A1 (en) * | 2020-08-05 | 2022-02-10 | Wi-Tronix, Llc | Engineer recertification assistant |
CN115841650B (zh) * | 2022-12-05 | 2023-08-01 | 北京数原数字化城市研究中心 | 视觉定位方法、视觉定位装置、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5627508A (en) * | 1996-05-10 | 1997-05-06 | The United States Of America As Represented By The Secretary Of The Navy | Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks |
JP2000128031A (ja) * | 1998-08-21 | 2000-05-09 | Sumitomo Electric Ind Ltd | ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム |
US20030152145A1 (en) * | 2001-11-15 | 2003-08-14 | Kevin Kawakita | Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets |
US20150009331A1 (en) * | 2012-02-17 | 2015-01-08 | Balaji Venkatraman | Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics |
KR20150096203A (ko) * | 2014-02-14 | 2015-08-24 | 주식회사 시스토 | 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법 |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5065321A (en) | 1989-06-15 | 1991-11-12 | Pulse Electronics, Inc. | Solid state event recorder |
JP2785220B2 (ja) | 1992-09-22 | 1998-08-13 | ソニー株式会社 | データ符号化装置および方法、並びにデータ復号化装置および方法 |
US5440336A (en) | 1993-07-23 | 1995-08-08 | Electronic Data Systems Corporation | System and method for storing and forwarding audio and/or visual information on demand |
US5377497A (en) | 1993-12-17 | 1995-01-03 | Lennox Industries Inc. | Timed-off control apparatus and method |
US5638299A (en) | 1995-06-22 | 1997-06-10 | Miller; Keith | Light weight, self-contained programmable data-acquisition system |
US6109532A (en) | 1997-04-17 | 2000-08-29 | Dayton-Phoenix Group, Inc. | Locomotive cab heating system |
US6263268B1 (en) | 1997-08-26 | 2001-07-17 | Transcontech Corporation | System and method for providing mobile automotive telemetry |
US7640083B2 (en) | 2002-11-22 | 2009-12-29 | Monroe David A | Record and playback system for aircraft |
US7131136B2 (en) | 2002-07-10 | 2006-10-31 | E-Watch, Inc. | Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals |
US6392692B1 (en) * | 1999-02-25 | 2002-05-21 | David A. Monroe | Network communication techniques for security surveillance and safety system |
US20020026321A1 (en) | 1999-02-26 | 2002-02-28 | Sadeg M. Faris | Internet-based system and method for fairly and securely enabling timed-constrained competition using globally time-sychronized client subsystems and information servers having microsecond client-event resolution |
US6154636A (en) | 1999-05-14 | 2000-11-28 | Harris Corporation | System and method of providing OOOI times of an aircraft |
US6611755B1 (en) | 1999-12-19 | 2003-08-26 | Trimble Navigation Ltd. | Vehicle tracking, communication and fleet management system |
AU2001239823A1 (en) | 2000-02-23 | 2001-09-03 | Steve C. Lampe | Synchronized global positioning system solution |
US6892167B2 (en) | 2001-11-28 | 2005-05-10 | Sypris Data Systems, Inc. | Real-time data acquisition and storage network |
US20040027255A1 (en) | 2002-03-01 | 2004-02-12 | Greenbaum Myron H. | Wideband avionics data retrieval system |
US7761544B2 (en) | 2002-03-07 | 2010-07-20 | Nice Systems, Ltd. | Method and apparatus for internal and external monitoring of a transportation vehicle |
US7359821B1 (en) | 2002-06-11 | 2008-04-15 | Injury Sciences Llc | Methods and apparatus for using black box data to analyze vehicular accidents |
EP1547367A4 (en) | 2002-08-26 | 2005-11-16 | Joseph J Mazzilli | AUTOMOBILE VIDEO CAMERA SYSTEM HAVING 360 DEGREES COVER |
ITBO20020724A1 (it) | 2002-11-15 | 2004-05-16 | L E A T S R L | Metodo e sistema per l'acquisizione e la registrazione di dati relativi allo spostamento di un veicolo |
US7012520B2 (en) | 2003-06-17 | 2006-03-14 | Infraegis, Inc. | Global intelligent remote detection system |
CA2689865C (en) | 2004-01-09 | 2013-08-27 | United Parcel Service Of America, Inc. | System, method and apparatus for collecting telematics and sensor information in a delivery vehicle |
US9576404B2 (en) | 2004-09-16 | 2017-02-21 | Harris Corporation | System and method of transmitting data from an aircraft |
US7620374B2 (en) | 2004-09-16 | 2009-11-17 | Harris Corporation | System and method of transmitting data from an aircraft |
US8081214B2 (en) | 2004-10-12 | 2011-12-20 | Enforcement Video, Llc | Method of and system for mobile surveillance and event recording |
US8369264B2 (en) | 2005-10-28 | 2013-02-05 | Skyhook Wireless, Inc. | Method and system for selecting and providing a relevant subset of Wi-Fi location information to a mobile client device so the client device may estimate its position with efficient utilization of resources |
WO2006128124A2 (en) | 2005-05-27 | 2006-11-30 | Panoptic Systems, Inc. | Total awareness surveillance system |
US20060276943A1 (en) | 2005-06-01 | 2006-12-07 | Polar Industries, Inc. | Systems and methods for data processing and control in a transportation system |
US7302323B2 (en) | 2005-06-01 | 2007-11-27 | Polar Industries, Inc. | Transportation data recording system |
HUE038292T2 (hu) | 2005-08-11 | 2018-10-29 | Wi Tronix Llc | Univerzális esemény/adat rögzítõ rendszer |
US8942426B2 (en) | 2006-03-02 | 2015-01-27 | Michael Bar-Am | On-train rail track monitoring system |
US7440848B2 (en) | 2006-05-30 | 2008-10-21 | Horizon Marine | Methods and systems for integrating environmental data with mobile asset tracking |
US7843335B2 (en) | 2007-03-13 | 2010-11-30 | Blackbird Technologies, Inc. | Mobile asset tracking unit, system and method |
US8798148B2 (en) | 2007-06-15 | 2014-08-05 | Physical Optics Corporation | Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation |
WO2009088946A1 (en) | 2008-01-03 | 2009-07-16 | Iwapi, Inc. | Integrated rail efficiency and safety support system |
US8228364B2 (en) * | 2008-01-29 | 2012-07-24 | Enforcement Video, Llc | Omnidirectional camera for use in police car event recording |
FR2932447B1 (fr) * | 2008-06-12 | 2016-09-30 | Alstom Transport Sa | Systeme informatique embarque de gestion d'un train |
AU2009267754B2 (en) | 2008-06-17 | 2013-08-29 | Weir - Jones Engineering Consultants Ltd. | System and method for detecting rock fall |
US20100023201A1 (en) | 2008-07-24 | 2010-01-28 | David Scott Kinney | Method and apparatus for obtaining vehicle data |
JP5530146B2 (ja) | 2009-09-30 | 2014-06-25 | 富士通テン株式会社 | データ管理装置、データ読取方法及びプログラム |
US9235765B2 (en) | 2010-08-26 | 2016-01-12 | Blast Motion Inc. | Video and motion event integration system |
CN102123274B (zh) | 2011-03-11 | 2013-03-13 | 广州国联通信有限公司 | 一种具有分散存储功能的车载视频监控系统 |
US8625878B2 (en) | 2011-04-15 | 2014-01-07 | International Business Machines Corporation | Method and system of rail component detection using vision technology |
US8768534B2 (en) | 2011-11-14 | 2014-07-01 | Arinc Incorporated | Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA) |
US9049433B1 (en) | 2012-01-06 | 2015-06-02 | John H. Prince | High-speed railroad inspection using coordinated 3D cameras |
IN2012DE00720A (ja) | 2012-03-13 | 2015-08-21 | Ge Aviat Systems Llc | |
RS63951B1 (sr) | 2012-04-13 | 2023-02-28 | Wi Tronix Llc | Postupak za snimanje, obradu i emitovanje podataka sa pokretnog sredstva |
US9050984B2 (en) | 2012-04-20 | 2015-06-09 | International Business Machines Corporation | Anomalous railway component detection |
US20130307693A1 (en) | 2012-05-20 | 2013-11-21 | Transportation Security Enterprises, Inc. (Tse) | System and method for real time data analysis |
US9260122B2 (en) | 2012-06-06 | 2016-02-16 | International Business Machines Corporation | Multisensor evidence integration and optimization in object inspection |
US9003052B2 (en) | 2012-07-09 | 2015-04-07 | The Boeing Company | System and method for air-to-ground data streaming |
US20140052315A1 (en) | 2012-08-17 | 2014-02-20 | Siemens Industry, Inc. | Railway train data recorder with parallel remote online incident data storage |
JP2014106685A (ja) * | 2012-11-27 | 2014-06-09 | Osaka Univ | 車両周辺監視装置 |
US20140285337A1 (en) | 2013-03-21 | 2014-09-25 | Mark Anthony Gebhardt | Automobile Alert System for Recording and Communicating Incidents to Remote Monitoring Devices |
US9346476B2 (en) | 2013-09-27 | 2016-05-24 | Herzog Technologies, Inc. | Track-data verification |
US20150221141A1 (en) | 2014-02-05 | 2015-08-06 | Alfredo Oscar NEGRITTO | Flight data recorder with web access in real time |
US9260199B2 (en) | 2014-02-25 | 2016-02-16 | Honeywell International Inc. | Aircraft data processing and transmission system |
FR3019414B1 (fr) | 2014-03-31 | 2017-09-08 | Sagem Defense Securite | Procede de transmission en vol de donnees de type boite noire |
US9460566B2 (en) | 2014-05-20 | 2016-10-04 | Wabtec Holding Corp. | Data recorder system and unit for a vehicle |
US9434397B2 (en) | 2014-08-05 | 2016-09-06 | Panasec Corporation | Positive train control system and apparatus therefor |
US9872250B2 (en) | 2014-09-04 | 2018-01-16 | The Boeing Company | Data acquisition node and method of operating same |
US10553120B2 (en) | 2014-09-15 | 2020-02-04 | L3 Technologies, Inc. | Fail safe aircraft monitoring and tracking |
CN204231421U (zh) * | 2014-12-01 | 2015-03-25 | 徐绍衡 | 一种船舶、海洋设备、飞行器的离岸工作一体实时数据库信息平台 |
CN104742936A (zh) * | 2015-04-16 | 2015-07-01 | 济南轨道交通装备有限责任公司 | 一种智能化铁路货车 |
US20150225002A1 (en) | 2015-04-22 | 2015-08-13 | Electro-Motive Diesel, Inc. | Railway inspection system |
US10370102B2 (en) * | 2016-05-09 | 2019-08-06 | Coban Technologies, Inc. | Systems, apparatuses and methods for unmanned aerial vehicle |
-
2017
- 2017-05-15 US US15/595,712 patent/US10392038B2/en active Active
- 2017-05-16 WO PCT/US2017/032971 patent/WO2017201095A1/en unknown
- 2017-05-16 CN CN201780039755.4A patent/CN109476329B/zh active Active
- 2017-05-16 EP EP17800046.9A patent/EP3458991A4/en active Pending
- 2017-05-16 KR KR1020187036626A patent/KR102437322B1/ko active IP Right Grant
- 2017-05-16 CA CA3024354A patent/CA3024354C/en active Active
- 2017-05-16 MX MX2018014071A patent/MX2018014071A/es unknown
- 2017-05-16 AU AU2017268276A patent/AU2017268276A1/en not_active Abandoned
- 2017-05-16 BR BR112018073638A patent/BR112018073638A8/pt unknown
- 2017-05-16 JP JP2018560975A patent/JP2019527390A/ja active Pending
-
2018
- 2018-11-14 CL CL2018003237A patent/CL2018003237A1/es unknown
- 2018-11-15 ZA ZA2018/07686A patent/ZA201807686B/en unknown
-
2021
- 2021-12-09 JP JP2021200307A patent/JP2022033946A/ja active Pending
-
2022
- 2022-09-07 AU AU2022228123A patent/AU2022228123A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5627508A (en) * | 1996-05-10 | 1997-05-06 | The United States Of America As Represented By The Secretary Of The Navy | Pilot vehicle which is useful for monitoring hazardous conditions on railroad tracks |
JP2000128031A (ja) * | 1998-08-21 | 2000-05-09 | Sumitomo Electric Ind Ltd | ドライブレコ―ダ、安全運転支援システムおよび盗難防止システム |
US20030152145A1 (en) * | 2001-11-15 | 2003-08-14 | Kevin Kawakita | Crash prevention recorder (CPR)/video-flight data recorder (V-FDR)/cockpit-cabin voice recorder for light aircraft with an add-on option for large commercial jets |
US20150009331A1 (en) * | 2012-02-17 | 2015-01-08 | Balaji Venkatraman | Real time railway disaster vulnerability assessment and rescue guidance system using multi-layered video computational analytics |
KR20150096203A (ko) * | 2014-02-14 | 2015-08-24 | 주식회사 시스토 | 스마트폰을 이용한 차량용 블랙박스 제어 시스템 및 그 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP3458991A1 (en) | 2019-03-27 |
EP3458991A4 (en) | 2020-01-22 |
CN109476329A (zh) | 2019-03-15 |
WO2017201095A1 (en) | 2017-11-23 |
CN109476329B (zh) | 2021-10-29 |
RU2018144311A (ru) | 2020-06-17 |
MX2018014071A (es) | 2019-09-16 |
CA3024354A1 (en) | 2017-11-23 |
US20170327138A1 (en) | 2017-11-16 |
AU2022228123A1 (en) | 2022-09-29 |
KR20190013843A (ko) | 2019-02-11 |
BR112018073638A2 (pt) | 2019-02-26 |
AU2017268276A1 (en) | 2018-12-06 |
US10392038B2 (en) | 2019-08-27 |
KR102437322B1 (ko) | 2022-08-29 |
CL2018003237A1 (es) | 2019-03-29 |
BR112018073638A8 (pt) | 2023-01-24 |
ZA201807686B (en) | 2019-08-28 |
JP2022033946A (ja) | 2022-03-02 |
CA3024354C (en) | 2023-09-12 |
RU2018144311A3 (ja) | 2021-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3024354C (en) | Video content analysis system and method for transportation system | |
JP7455139B2 (ja) | 自動信号遵守監視・警報システム | |
JP7419266B2 (ja) | 実時間データ取得・記録・データ共有システム | |
US20220148348A1 (en) | Connected Diagnostic System and Method | |
RU2784892C2 (ru) | Способ и система анализа видеоконтента для транспортной системы | |
RU2786372C2 (ru) | Система совместного использования данных для получения и записи данных в реальном времени | |
KR102680231B1 (ko) | 실시간 데이터 획득 및 기록 데이터 공유 시스템 | |
RU2812263C2 (ru) | Система автоматизированного мониторинга соответствия сигналов и аварийного оповещения | |
EP3803607A1 (en) | Real-time data acquisition and recording data sharing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210810 |