JP2022550711A - 資産の動作状態を評価するためのシステム及び方法 - Google Patents
資産の動作状態を評価するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022550711A JP2022550711A JP2022518842A JP2022518842A JP2022550711A JP 2022550711 A JP2022550711 A JP 2022550711A JP 2022518842 A JP2022518842 A JP 2022518842A JP 2022518842 A JP2022518842 A JP 2022518842A JP 2022550711 A JP2022550711 A JP 2022550711A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- data
- asset
- mobile device
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 48
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000002411 adverse Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 239000012530 fluid Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000010943 off-gassing Methods 0.000 claims description 2
- 231100001261 hazardous Toxicity 0.000 claims 2
- 230000020169 heat generation Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000036541 health Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063116—Schedule adjustment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/545—Interprogram communication where tasks reside in different layers, e.g. user- and kernel-space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
資産の動作状態を評価するための例示的なモバイル装置。モバイル装置は、動作中の資産の1又は2以上の動作特性又は環境特性に関連するデータを取得するための少なくとも1つのセンサデバイスを含む。モバイル装置は更に、資産タイプに従って1又は2以上の資産の1又は2以上の動作状態を識別するためにトレーニングされた1又は2以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置を含む。処理装置は、取得されたデータから特徴を抽出し、抽出された特徴の属性をモデルのトレーニングを通じて決定された少なくとも1つの既知の動作状態の属性と比較することによって、資産の動作状態を決定することができる。モバイル装置はまた、処理装置によって実行された決定の結果を出力するための出力インタフェースを含むことができ、出力インタフェースは、結果をリモートデバイスに伝達することを含むことができる。【選択図】図1
Description
本開示は、複数のセンサデータを使用して、資産の動作状態を判定することに関する。
資産の健康及び状態(機械システム、構造物、構造構成要素、人間、及び他の物体、或いは資産の動作又は環境状態など)の検査及び診断は、かなりの量の時間、コスト、及び専門知識を必要とし、資産を適切に監視できないことにより、適用に応じて、資産の劣化、非効率、ダウンタイム、又は突発的故障に至る可能性がある。これらの多大な労力を要する活動、並びにこれらの活動を包括的に又は全く行うことができなかったことによって生じる弊害は、例えば、多数の機械システムを維持し且つ大量のインフラを有する組織の資源に負担をかける可能性がある。その結果、必要な検査及び診断が一貫して持続されない可能性があり、不調なシステムが故障する前に特定されない。設備及びインフラの故障は、多大な不必要なコスト又は組織の目標達成ができないこと、更には負傷及び死亡事故の可能性をもたらす。本発明は、資産(機械システム及びインフラストラクチャ機械の健全性など)の評価及び報告を行うのに必要な時間、労力、及び専門知識を低減し、組織がより包括的な資産の健全性評価を行うことを可能にし、資産の故障の可能性を低減することができる。
センサ技術は、長年にわたり機器の監視に使用されてきた。既存の実施構成では、センサは一般的に、特定の資産の変化又は規格外状態を検出するために物理的に設定された固定/静止センサである。複数の資産にセンサを追加するには、固定センサーアレイの複製及び個々の資産又は資産の各構成要素に特定のチューニングを行う必要がある。この手法は、複雑で、場所を取り、コストがかかることが多い。
資産の動作状態を評価するための例示的なモバイル装置が開示され、本装置は、動作中の資産の動作特性又は資産の動作環境に関連するデータを取得するための少なくとも1つのセンサデバイスと、センサのタイプに応じて取得されたデータを処理することによって資産の1又は2以上の動作状態を識別するようにトレーニングされた1又は2以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置であって、処理装置は、取得されたデータから特徴を抽出し、抽出された特徴の属性を1又は2以上のモデルのトレーニングを通じて決定された少なくとも1つの既知の動作状態の属性と比較することによって、対象資産の動作状態の決定を実行するように構成された処理装置と、処理装置によって実行された決定の結果を出力するように構成された出力インタフェースであって、結果を外部コンピューティングデバイスに伝達することを含むことができる、出力インタフェースとを備える。
資産の動作状態を評価するための例示的な方法が開示され、本方法は、モバイル装置の1又は2以上のセンサを介して、動作中の資産の動作特性又は環境特性のうちの少なくとも1つに関連するデータを取得するステップと、1又は2以上の資産の少なくとも1つの状態及び機能を認識するようにトレーニングされた1又は2以上の層を各々が有する1又は2以上のトレーニングされたモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置を介して、センサのタイプ及びセンサ場所の1又は2以上、1又は2以上のセンサの1又は2以上の動作状態、並びに1又は2以上の資産に対する潜在的な悪影響を有する動作状態又は環境状態に基づいて取得されたデータから1又は2以上の特徴を抽出する、センサのタイプに基づいて前記取得されたデータから1又は2以上の特徴を抽出するステップと、処理装置を介して、抽出された特徴の属性を1又は2以上のトレーニングされたモデルのトレーニングを通じて既知である少なくとも1つの動作状態の属性と比較するステップと、処理装置を介して、少なくとも1つの比較の結果に基づいて資産の動作状態を決定するステップと、出力インタフェースを介して、決定の結果を出力するステップであって、結果を外部のコンピューティングデバイスに伝達することを含むことができる、ステップとを含む。
資産の動作状態を評価するための例示的なコンピューティングデバイスが開示され、コンピューティングデバイスは、ネットワークを介して少なくとも1つのリモートセンサデバイスから1又は2以上の資産に関連付けられたセンサデータを受信するように構成された通信インタフェースであって、センサデータが複数のセンサのタイプに関連付けられる通信インタフェースと、1又は2以上のモデルを含むニューラルネットワークアーキテクチャで符号化された処理装置であって、センサデータに基づいて1又は2以上のモデルをトレーニングし、センサデータに基づく資産タイプに応じて1又は2以上の資産の少なくとも1つの正常な動作状態及び少なくとも1つの故障状態を識別するように構成された処理装置と、を備える。
資産の動作状態を評価するための例示的な方法が開示され、本方法は、通信インタフェースにおいて、1又は2以上のモバイル装置からアセットデータを受信するステップであって、アセットデータは、少なくとも1つのセンサのタイプ及び1つのアセットタイプに関連付けられた少なくともセンサデータと、1又は2以上のモバイル装置のそれぞれのモバイル装置に関連付けられたメタデータとを含む、ステップと、1又は2以上のデータインタフェースにおいて、それぞれのセンサのタイプに基づいてセンサデータを構文解析するステップと、1又は2以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置において、構文解析されたデータを処理して、1又は2以上の資産の動作状態を決定し、対応する資産タイプ、センサデータ、関連するセンサのタイプ、及びメタデータに応じて、1又は2以上の資産の少なくとも1つの正常な動作状態及び1又は2以上の故障状態を識別するためにモデルをトレーニングするステップと、を有する。
例示的な実施形態は、添付図面と共に読まれると、以下の詳細な説明から最もよく理解される。
本開示の適用性の更なる領域は、本明細書で提供される詳細な説明から明らかになるであろう。例示的な実施形態の詳細な説明は、例示のみを目的としており、従って、本開示の範囲を必ずしも限定することを意図していないことを理解されたい。
本開示の例示的な実施形態は、資産の状態を分析するためのシステム及び方法に向けられている。特に有用なのは、遠隔又は限られた帯域幅の環境での使用を可能にする例示的な実施形態である。本方法のこれらの実施形態は、音声、画像、及び動作データなどのセンサデータをエッジデバイスから取得し、動作環境において帯域幅が利用可能でない又は制限されている場合に、デバイス上で動作する機械トレーニングモデルを通じてデータを処理して、関連する資産の健全性を評価することを含む。十分な帯域幅が利用できる場合、クラウド又は離れた場所で処理をすることができる。処理結果は、ユーザに表示されて診断報告を構築するか、又は他のデータシステム及びアプリケーション(例えば、拡張現実)に供給される。システムは、特定された状態を保守マニュアルに自動的にリンクさせ、資産を補修するのに必要な部品を特定することができる。具体的には、本発明の応用は、機械システム(例えば、軍事システム、自動車、固定又は移動機械)及びインフラ(例えば、構造構成要素、送電線、ガスパイプライン、橋)において潜在的又は実際のメンテナンス問題を特定するため、並びにモデルの推論結果を報告するためのこのようなモデルの使用に関連することができる。
図1は、本開示の例示的な実施形態によるシステム構造を示す図である。
図1に示すように、システム100は、資産120の動作状態を評価するためのモバイル装置110を含む。モバイル装置110は、動作中の資産120(又は資産の動作特性に影響する可能性がある、風の状態、接近する海の波のパターン、周囲及び接近する大気圧の測定値、空気密度、資産の周囲の流体の流れのpH又は速度、流体中の資産の深さ、雲量、雨、資産と相互作用する物の重量、環境温度、湿気、資産の半径内の他の物体、外部の音又はノイズ、資産温度等、その他などその関連する外部又は内部環境特性)の1又は2以上の動作特性に関するデータを取得するために複数のセンサデバイス112を含むことができる。資産102の動作は、資産が静止している又は動いている様々な動作モードを含むことができる。資産は、空、陸、又は水で移動するための個人用又は産業用車両などの機械、あらゆるタイプの電気機械エンジン、ロボット機械、電気機械バルブ、機械器具、印刷装置、又は機械化運動、駆動、及び/又は動作サイクルを有する他の何れかの物体又は装置を含むことができる。モバイル装置110は、2つの場所の間で手動又は自律的に移動するように設計され、複数のセンサデバイス112を支持する構造的能力を有する何れかのポータブル装置とすることができる。例えば、本開示の例示的な実施形態によれば、モバイル装置110は、スマートフォン、空中又は陸上車両、手持ち又は可搬式電子デバイス又はツール、又は必要に応じて人又は移動体によって取り付け、固定し、又は運ぶことができる他の何れかの適切な電子デバイスの形態で実施することが可能である。
複数のセンサ112は、画像センサ、音響センサ、運動センサ、熱センサ、ガスセンサ、湿度/湿気センサ、気流センサ、何れかのタイプの放射線センサ、一酸化炭素センサ、二酸化炭素センサ、空気流センサ、距離測定センサ、圧力センサ、又は資産102もしくは資産の動作環境の物理特性又は動作特性を検出するための他の何れかの適切な感知デバイスの何れかの組み合わせを含むことができる。別の例示的な実施形態によれば、センサデバイスは、人間又は動物の生理学的特性を検出するように構成することができる。例えば、センサは、心拍センサ、パルス酸素センサ、血圧センサ、又は他の何れかの適切なセンサ、又は、例えば、X線、CT、及びMRIスキャン、超音波検査、心電図、患者の身体の写真などを含む身体の画像、又は患者の健康を判定するために医療専門家によって使用される、時間の経過による前記の様々なシリーズなどの健康特性の測定を含むことができる。センサデバイス112は、モバイル装置110のハウジング116に一体化されるか又はこれに取り付けることができる。別の例示的な実施形態によれば、センサデバイス112は、直接的な有線又は無線接続又はアダプタを介して外部のセンサデバイス112に接続するためのポート118を含むことができる。
モバイル装置110は、センサのタイプに応じて取得されたセンサデータを指定フォーマットに変換するように構成された1又は2以上のデータインタフェース114を含むことができる。データインタフェースは、ハードウェアとソフトウェアの組み合わせを含むことができる。例えば、例示的な実施形態によれば、センサデバイス112は、可視光又は赤外線、無線周波数、マイクロ波、又は必要に応じて資産102による他の関連信号放射を含む電磁放射を検出する画像センサとして構成することができる。画像センサは、検出された電磁放射からビデオ画像又は静止画像を生成するように構成することができる。センサデバイス112はまた、音又はオーディオ記録を検出する音響センサ、及び振動、加速度、速度、又は全体的な運動データを検出するためのジャイロスコープ、速度センサ、又は加速度計などの動きセンサとして構成することができる。1又は2以上のデータインタフェース114は、データを分析のために必要な特定のフォーマットに変換することによって、センサデータを処理するように構成される。例えば、変換プロセスは、センサデータのタイプ及びセンサのタイプに固有のものとすることができ、画像ホワイトニング、オーディオ信号分離、サンプルレート正規化、又は必要に応じて特定の信号を正規化するための他の何れかの適切な操作又はプロセスなどの動作を含むことができる。本開示の例示的な実施形態によれば、1又は2以上のデータインタフェース114によって実行される変換プロセスは、センサデータの抽象的な(例えば、理論的又は数学的に導かれた)表現を生成するのに使用することができる。例えば、音響データ及び振動データは、更なる分析に先立ち、スペクトグラム変換で処理することができる。
例示的な実施形態によれば、センサデバイス112はまた、対象資産102を取り巻く環境に係るデータを取得するように構成することができる。例えば、センサデバイスは、気象情報、露点、湿度、気温、風速、風向、空気の組成、又は所望される他の何れかの適切な環境状態を取得するように構成することができる。
図1に示すように、モバイル装置は、ハウジング116内に封入された処理装置120を含むことができる。処理装置120は、資産タイプに従って複数の資産102の1又は2以上の動作状態を識別するようにトレーニングされた1又は2以上のモデルを有するニューラルネットワークアーキテクチャ122で符号化することができる。処理装置120は、変換されたデータから特徴を抽出し、抽出された特徴の属性を1又は2以上のモデルのトレーニングを通じて決定された既知の動作状態の属性と比較することによって、対象資産102の動作状態を決定するように構成することができる。例えば、処理装置は、センサのタイプに応じて抽出された特徴に重み付けカーネル(例えば、マトリクス)を適用し、カーネルと抽出された特徴の1又は2以上の要素との比較に基づいて、動作状態が正常状態、機械故障、構造故障、電気故障、又は潜在的な有害動作環境のうちの1又は2以上を含むかどうかを決定することができる。ニューラルネットワークアーキテクチャ122の1又は2以上のモデルは、機械システム及びインフラストラクチャの広範な問題に敏感であると共に、これらの機械システムの動作の変化する状態(高効率及び低効率動作など)を認識できるように各モデルを調整するために選択されるデータを使用してトレーニングすることができる。決定された動作状態に基づいて、ニューラルネットワークアーキテクチャ122は、機械故障、構造故障、及び電気故障のうちの1又は2以上のものの補修に関連する1又は2以上の部品を特定することができる。
ニューラルネットワークアーキテクチャ122は、凝縮された表現に変換された1又は2以上のデータインタフェース114からセンサデータを受信する。変換プロセス及び方法は、モデル性能に関係している。本開示の例示的な実施形態によれば、特にオーディオ及び振動特徴変換は、畳み込みモデルなどのニューラルネットワークアーキテクチャ122の複数のモデルのうちの1つへの入力のためのスペクトグラム変換を含む。スペクトグラム変換は、オーディオデータ及び振動データが画像データの特性を有するように変換されることを含む。例えば、オーディオデータ又は振動データは、より小さい重複するセグメントに構文解析され、時間領域から周波数領域に変換することができる。周波数領域の値は極座標に変換され、異なる周波数の大きさ及び位相が得られる。周波数領域のデータは、高速フーリエ変換を用いてサンプリングされ、極座標データを時間領域に変換する。結果として得られる時間領域のデータは、異なる周波数の経時的変化を示すのに使用することができる。
モバイル装置110は、処理装置によって実行された決定の結果を出力するように構成された出力インタフェース124を含む。出力インタフェース124は、ハウジング116に一体化され、ユーザ又はオペレータが情報を受信し、場合によっては入力することを可能にする何れかの適切なディスプレイ又は出力デバイスを含むことができる。出力インタフェース124は、グラフィカル表示装置、プリンタ、オーディオ出力装置、1又は2以上の発光ダイオード(LED)、外部メモリデバイス、外部コンピューティングデバイス、又は他の適切な電子装置もしくは出力タイプのうちの1又は2以上を必要に応じて含むことができる。例えば、例示的な実施形態によれば、出力インタフェース124は、画像及びテキストを表示し、グラフィカルアイコン、グラフィカルオブジェクト、仮想キー、又は必要に応じてインタラクティブな制御又はコマンドを提供する他の何れかの適切な方法を操作することによってコマンド又は情報をモバイル装置110に入力できるよう構成することができる。
図1に示すように、モバイル装置110は、ハウジング116に一体化され及び/又はハウジング116によって封入される通信インタフェース126を含むことができる。通信インタフェース126は、通信又はデータネットワーク140を介してリモートデバイスと通信するように構成される。本開示の例示的な実施形態によれば、通信インタフェース126は、変換されたデータをネットワーク140を介してリモートコンピューティング装置に送信するように構成することができ、このリモートコンピューティング装置は、1又は2以上の他のモバイル装置150及び処理(例えば、中央)サーバ160を含むことができる。別の例示的な実施形態によれば、通信インタフェース126は、処理サーバ160からのニューラルネットワークアーキテクチャ122の更新されたモデル、及び他のモバイル装置150からの生のセンサデータ、変換されたセンサデータ、又は動作状態の決定をネットワーク140を介して受信するように構成することができる。通信インタフェース126は、アンテナ、ネットワークインタフェース(例えば、イーサネットカード)、通信ポート、PCMCIAスロット及びカードなどのハードウェア構成要素、又は所望の他の適切な構成要素もしくはデバイスを含むことができる。通信インタフェース126のハードウェア及びソフトウェア構成要素は、1又は2以上の通信プロトコル及びデータ形式に従って、データ、例えば、画像を受信するように構成することができる。例えば、通信インタフェース126は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、無線ネットワーク(例えば、Wi-Fi)、移動通信ネットワーク、衛星ネットワーク、インターネット、光ファイバ、同軸ケーブル、赤外線、無線周波数(RF)、又はこれらの何れかの組み合わせを含むことができるネットワーク140を介して通信するように構成することができる。受信動作中、通信インタフェース126は、ヘッダを介して受信データの部分を識別し、データ信号及び/又はデータパケットを処理装置120での更なる処理のために小さなフレーム(例えば、バイト、ワード)又はセグメントに解析するように構成することができる。
モバイル装置110はまた、第1のメモリ構造130及び第2のメモリ構造132を含むメモリデバイス128を含むことができる。メモリデバイス128は、ハウジング116に封入することができ、又は第1又は第2のメモリ構造130、132の何れかをハウジング116の外部に有するように構成することができる。第1のメモリ構造130は、モバイル装置110に一体化された又は取り付けられた複数のセンサ112の生のセンサデータ及び/又は変換されたデータを格納するように構成されている。第1のメモリ構造130はまた、ネットワーク140を介して別のモバイル装置150から通信インタフェース126によって受信された生のセンサデータ及び/又は変換されたデータを格納するように構成される。第2のメモリ構造132は、ニューラルネットワークアーキテクチャ122のモデルを格納するように構成することができ、このモデルは、ネットワーク140を介して処理サーバ160から通信インタフェース126によって受信されたニューラルネットワークアーキテクチャ122の更新されたモデルを含むことができる。更新されたモデルは、適用に応じて、モバイル装置110によってネットワークを介して処理サーバ160に送信された生データ又は変換されたデータに基づく変更を含むことができる。
本開示の例示的な実施形態によれば、モバイル装置110は、ナビゲーションシステム170を含むことができる。ナビゲーションシステム170は、指定された座標に対する及び資産102に対するモバイル装置110の自動又は手動のナビゲーション又は位置決めを提供することができるハードウェア及びソフトウェア構成要素の組み合わせを含むことができる。例示的な実施形態によれば、ナビゲーションシステム170を備えて構成されたモバイル装置110は、モバイル装置110を陸、空、又は水上で移動させるための推進システムを含むことができる。例えば、ナビゲーションシステム170は、メモリデバイス128の第2のメモリ構造132に格納され且つ処理装置120によって実行されるプログラムコード又はソフトウェアを含むことができる。例示的な実施形態によれば、モバイル装置110は、ナビゲーションシステム170のコマンド及び制御のために第2のメモリ構造132に格納されたプログラムコード又はソフトウェアを実行するための少なくとも1つの他の処理装置180を含むことができる。手動ナビゲーションのために、モバイル装置110は、ネットワーク140上で通信インタフェース126を介してリモートコントロールデバイス155からコマンド及び/又は制御信号を受信するように構成することができる。例示的な実施形態によれば、通信インタフェース126はまた、センサ112のうちの1又は2以上のデータをリモートコントロールデバイス155に送信し、資産102に対してモバイル装置110を位置付けるためのコマンドを受信し、及び/又はリモートコントロールデバイス155から1又は2以上のセンサコマンドを受け取って、資産102の動作状態に関連するデータを取得するためにセンサ112の1又は2以上を方向付けするように構成することができる。処理装置120は、画像データのようなセンサデータをリモートコントロールデバイス155に伝達して、モバイル装置110の視覚的向き及び位置をオペレータに提供することができる。ナビゲーションシステム170はまた、資産102に対するモバイル装置110の自律的な位置決めをするように構成することができる。ナビゲーションシステム170は、センサ112の1又は2以上によって取得されたデータを受信し、複数のセンサ112を介して資産102からデータを取得する位置にモバイル装置110の運動系を制御することができる。また、1又は2以上のセンサ112から取得されたデータに基づいて、ナビゲーションシステム170は、資産102の動作状態に関連するデータを取得するために1又は2以上のセンサ112を自律的に方向付けるように構成することができる。
モバイル装置110は、データ及び制御信号の通信のために、通信インタフェース126、データインタフェース114、処理装置120、メモリデバイス128、及び出力インタフェース124を接続するための、バス、メッセージキュー、ネットワーク、マルチコアメッセージパッシング方式等を含む通信インフラストラクチャ125を含むことができる。
図1に示すように、処理サーバ160は、ネットワーク140を介して複数のモバイル装置104と通信するように構成された通信インタフェース162を含むことができる。例示的な実施形態によれば、処理サーバ160は、ネットワーク140を介して複数のモバイル装置104の少なくとも1つから1又は2以上の資産102に関連する資産データを受信するように構成することができる。資産データは、それぞれのモバイル装置104の複数のセンサにより生成された生のセンサデータ(又は、適宜、変換されたセンサデータ)を含むことができる。例えば、変換されたセンサデータは、センサのタイプに応じてそれぞれのモバイル装置104によって指定されたフォーマットに変換されたセンサデータを含むことができる。また、資産データは、1又は2以上の資産102の動作状態の決定と、モバイル装置110に関連するメタデータとを含むことができる。モバイル装置110のメタデータは、モバイル装置110の場所(例えば、地理空間座標)、モバイル装置110によって実行されるオペレーティングシステム、モバイル装置110のハードウェア構成、モバイル装置110によって実行可能なアプリケーションソフトウェア、資産データが通信されたときのネットワーク140の信号強度、モバイル通信デバイス110のバッテリーレベル、資産データ(例えば、センサデータ)が得られた時刻、天候(例えば、温度、湿度、気圧、露点など)、モバイル装置110の登録ユーザ又は所有者に関する情報、又は必要に応じて他の何れかの適切なデータ又は情報を含むことができる。メタデータの一部は、処理装置120上に格納され、及び/又は処理装置120によって実行される、或いは第2のメモリ構造132及び/又はメモリデバイス128の揮発性又は不揮発性部分に格納される何れかの数の別個のアプリケーション又はプログラムコードを通じて取得することができることは理解されたい。
通信インタフェース162は、モバイル装置110の通信インタフェース126に関して上述したのと同じハードウェア及びソフトウェア構成要素で構成することができ、通信インタフェース126に関して議論した同じネットワーク又は通信リンクの何れかに接続するように構成することができる。
処理サーバ160は、通信インタフェース162によって受信された生のセンサデータを変換するための1又は2以上のデータインタフェース164を含むことができる。データインタフェース164は、ハードウェアとソフトウェアの組み合わせを含むことができ、モバイル装置110のデータインタフェース114に関して、生のセンサデータ又は変換されたセンサデータに対して適用に応じて処理及び/又は操作を行うように構成することができる。
処理サーバ160は、1又は2以上のモデルを含むニューラルネットワークアーキテクチャ163で符号化された処理装置166を含むことができ、処理装置166は、資産データに基づいて1又は2以上のモデルをトレーニングし、資産タイプに従って1又は2以上の資産の1又は2以上の正常な動作状態及び1又は2以上の故障状態を識別するように構成されている。別の例示的な実施形態によれば、資産データが生のセンサデータを含む場合、処理装置164は、1又は2以上のデータインタフェース164によって生成された変換されたデータに基づいて、1又は2以上の資産102の動作状態を決定するように構成される。更に別の例示的な実施形態によれば、資産データが、変換されたセンサデータと、1又は2以上の資産102の動作状態の決定とを含む場合、処理装置166は、決定された条件に基づいてニューラルネットワークアーキテクチャ163の1又は2以上のモデルをトレーニングして、更新されたモデルを生成するよう構成される。処理装置164は、更新されたモデルをネットワーク140を介してモバイル装置110に送信する。
処理サーバ160は、複数のモバイル装置104から受信した生の又は変換されたセンサデータ、動作状態の決定、及びメタデータを格納するように構成された第1のメモリ構造170を有するメモリデバイス168を含むことができる。メモリデバイス168はまた、ニューラルネットワークアーキテクチャ163に関連付けられた1又は2以上のモデルを格納するように構成された第2のメモリ構造172を含む。第1のメモリ構造170はまた、複数の資産102に関連する何れかの追加情報を格納するように構成することができる。追加情報は、処理装置166の通信インタフェース162を介して、製造業者、業界、公共、又は政府のデータベースからネットワーク140を介して要求及び/又はアクセスすることができる。
処理装置166は、指定されたタイプ又は識別された資産に関して、メモリデバイス168の第1のメモリ構造170に格納された情報に基づいて、動作状態傾向分析、保守スケジュール勧告及び計画、部品及び在庫の注文、修復計画、在庫状況報告、又は必要に応じて他の適切な報告のうちの1又は2以上を生成するよう構成することができる。報告は、指定されたスケジュールに基づいて自動的に生成することができ、又は複数のモバイル装置104のうちの少なくとも1つからの要求に応答して生成することができる。報告は、要求元のモバイル装置110に伝達することができ、又は通信インタフェース126を介して複数のモバイル装置104に所望のスケジュールに従ってブロードキャストすることができる。
処理サーバ160は、入力/出力(I/O)インタフェース176を介して処理装置166からデータを受信するように接続することができる出力インタフェース174を含むことができる。I/Oインタフェース176は、処理装置166から信号を受信し、出力インタフェース174による出力に適したデータ信号を生成するように構成することができる。I/Oインタフェース176は、例えば、出力インタフェース174と直接有線又は無線リンクを介して通信するためのプログラムコード、ソフトウェア、及び/又はファームウェアで符号化されたプロセッサ、回路カード、又は他の何れかの適切なハードウェアデバイスなどのハードウェアとソフトウェアの組み合わせを含むことができる。出力インタフェース174は、グラフィカル表示装置、プリンタ、オーディオ出力装置、1又は2以上の発光ダイオード(LED)、外部メモリデバイス、外部コンピューティングデバイス、又は必要に応じて他の適切な電子装置もしくは出力タイプのうちの1又は2以上を含むことができる。
処理サーバ160は、データ及び制御信号の通信のために、通信インタフェース162、データインタフェース164、処理装置166、メモリデバイス168、及び出力インタフェース174を接続するための、バス、メッセージキュー、ネットワーク、マルチコアメッセージパッシング方式を含む通信インフラストラクチャ165を含むことができる。
処理サーバ160は、モバイル装置104による機器及びインフラストラクチャの評価、並びに、ネットワーク140を介して常時報告するか、又は、資産の動作状態に関連するセンサデータが収集された時点で接続性が利用できないか制限されている場合にモバイル装置104がネットワーク140とのデータ接続性の適切なレベルを達成すると定期的に報告する電子デバイス、データベース及びモバイル装置の集合から評価情報及び他のデータを集約するために構成される。複数のモバイル装置104のうちの何れかの数からの評価が集約され、処理サーバ160のメモリデバイス168に格納されると、処理サーバ160は、モバイル装置104からの評価の集約内容に基づいて高レベルの分析及び勧告を提供する1又は2以上の報告を生成することができる。
図3は、資産の動作状態を評価するための方法を示す図である。図3の方法は、複数のモバイル装置104の各々によって実行することができる。ステップ300において、モバイル装置110は、複数のセンサ112のうちの1又は複数を作動させて、動作中の資産102の物理的品質に関連するデータを取得する。本開示の例示的な実施形態によれば、センサデータを取得することは、複数のセンサデバイス112のうちの1又は2以上が、資産102のビデオ画像又は静止画像を生成すること、又は資産102に対する放射音、温度、放出ガス、及び湿分を検出することを含むことができる。取得されたデータは、1又は2以上のデータインタフェース114を使用して、センサのタイプに応じて指定されたフォーマットに変換される(ステップ302)。変換されたデータは、メモリデバイス128の第1メモリ構造130に格納される(ステップ304)。モバイル装置110がネットワーク140への適切な接続性を有する場合(ステップ306)、変換されたデータは、通信インタフェース126を介してリモートコンピューティングデバイス104、160に送信することができる(ステップ308)。そうでなければ、ネットワーク接続性が制限されているか、又は利用できない場合、処理装置120は、センサのタイプに基づいて変換されたデータから1又は2以上の特徴を抽出し(ステップ310)、抽出された特徴に1又は2以上の重み付けカーネルを適用して、1又は2以上のトレーニングされたモデルのトレーニングを通して決定される既知の動作状態の属性と比較する(ステップ312)。重み付けされたカーネルは、既知の動作状態の属性を含む。処理装置120は、比較の結果に基づいて、機械故障、構造故障、及び電気故障のうちの1又は2以上を特定することを含む、資産102の動作状態を決定する(ステップ314)。動作状態が決定されると、処理装置120は、機械故障、構造故障、及び電気故障のうちの1又は2以上のものの補修に関連する1又は2以上の部品を特定することができる(ステップ316)。変換されたデータ、動作状態の判定結果、及びモバイル装置に関連付けられたメタデータをコンパイルし、コンパイルされたデータに基づいて報告を生成することにより、判定結果の出力が出力インタフェース124を介してユーザに提供される(ステップ318)。ネットワーク140への接続性が適切であるか、又は回復したとき、モバイル装置110は、そのメタデータ、動作判定、及び変換されたセンサデータを資産データとして通信インタフェース126を介して処理サーバ140に送信することができる(ステップ320)。この通信に応答して、モバイル装置110は、処理サーバ140から通信インタフェース126を介して、ニューラルネットワークアーキテクチャ122の更新されたモデルを受信する(ステップ322)。更新されたモデルは、メモリデバイス128の第2のメモリ構造132に格納される(ステップ324)。
図4は、本開示の例示的な実施形態による、資産の動作状態を評価する方法を示す図である。ステップ400において、処理サーバ160は、通信インタフェース126を介してネットワーク140を介して1又は2以上のモバイル装置104からアセットデータを受信する。アセットデータは、適用可能なセンサのタイプに関連するセンサデータと、1又は2以上のモバイル装置102のそれぞれのモバイル装置110に関連するメタデータとを含む。センサデータは、データを取得したモバイル装置110のそれぞれのセンサのタイプに基づいて、1又は2以上のデータインタフェース164において解析される(ステップ402)。1又は2以上のデータインタフェース164は、解析されたセンサデータをそれぞれのセンサのタイプに応じて指定されたフォーマットに変換する(ステップ404)。1又は2以上のモデルを有するニューラルネットワークアーキテクチャ163で符号化された処理サーバ160の処理装置166は、変換されたデータを処理して、1又は2以上の資産102の動作状態を決定し、1又は2以上のモデルをトレーニングして、資産タイプに応じて1又は2以上の資産の正常な動作状態及び複数の故障状態を識別する(ステップ406)。トレーニングの結果得られた1又は2以上の更新されたモデルは、通信インタフェース162を介してネットワーク140を介してモバイル装置110に送信される。処理サーバ160は、ネットワーク140を介して通信インタフェース162を介して1又は2以上の他のモバイル装置104からそれぞれの資産の動作状態の評価を含む資産データを受信し、メモリデバイス168の第1のメモリ構造170に格納することによって資産データを集計することができる(ステップ408)。処理装置166は、指定されたタイプ又は識別された資産に関連して、メモリデバイスの第1のメモリ構造に格納された情報に基づいて、動作状態傾向分析、保守スケジュール勧告及び計画、部品及び在庫の注文、修復計画、及び在庫状況報告のうちの1又は複数を生成することができる(ステップ410)。処理装置166は、生成された報告のうちの1又は複数を、通信インタフェース162を介してネットワーク140を介してモバイル装置104のうちの1又は複数に送信することができる(ステップ412)。
本明細書で説明した専門的な機能を実行するためのコンピュータプログラムコードは、コンピュータ使用可能な媒体に格納することができ、この媒体は、メモリ半導体(例えば、DRAMなど)であってもよいモバイル装置104及び処理サーバ160のメモリデバイスなどのメモリを指すことがある。これらのコンピュータプログラム製品は、モバイル機器104及び処理サーバ160にソフトウェアを提供するための有形非一時的な手段であってもよい。コンピュータプログラム(例えば、コンピュータ制御ロジック)又はソフトウェアは、モバイル装置104又は処理サーバ160に常駐するメモリデバイス155に格納されてもよい。また、コンピュータプログラムは、それぞれの通信インタフェース126、162を介して受信されてもよい。そのようなコンピュータプログラムは、実行されると、モバイル装置104及び処理サーバ160が、本明細書で議論される本方法及び例示的な実施形態を実施することを可能にすることができる。従って、そのようなコンピュータプログラムは、モバイル装置104及び処理サーバ160のコントローラを表すことができる。本開示がソフトウェアを用いて実施構成される場合、ソフトウェアは、コンピュータプログラム製品又は非一過性のコンピュータ可読媒体に格納され、リムーバブルストレージドライブ、インタフェース、ハードディスクドライブ、又は通信インタフェースを用いてモバイル装置104及び処理サーバ160にロードされてもよく、該当する場合、そのようなソフトウェアは、モバイル装置104及び処理サーバ160にロードされてもよい。
モバイル装置104及び処理サーバ160の処理装置120、166はそれぞれ、本明細書に記載される例示的な実施形態の機能を実行するように構成された1又は2以上のモジュール又はエンジンを含むことができる。モジュール又はエンジンの各々は、ハードウェアを用いて実施構成されてもよく、いくつかの例では、メモリに格納されたプログラムコード及び/又はプログラムに対応するなど、ソフトウェアも利用することができる。そのような例では、プログラムコードは、実行に先立って、それぞれのプロセッサによって(例えば、コンパイルモジュール又はエンジンによって)コンパイルされてもよい。例えば、プログラムコードは、1又は2以上のプロセッサ及び/又は何れかの追加のハードウェア構成要素による実行のために、アセンブリ言語又はマシンコードなどの低レベル言語に翻訳される、プログラミング言語で書かれたソースコードであってもよい。コンパイルのプロセスは、字句解析、前処理、構文解析、意味解析、構文指向翻訳、コード生成、コード最適化、及びモバイル装置104及び処理サーバ160を制御して本明細書に開示する機能を実行するのに適した低レベル言語へのプログラムコードの翻訳に適していると考えられる他の何れかの技法を用いることを含んでもよい。そのようなプロセスの結果、モバイル装置104及び処理サーバ160は、上述した機能を実行するように独自にプログラムされた特別に構成されたコンピューティングデバイスとなることは、関連技術の当業者には明らかであろう。
本発明は、その精神又は本質的な特徴から逸脱することなく、他の特定の形態で具現化できることは、当業者には理解されるであろう。従って、本開示の実施形態は、全ての点で例示的なものであり、限定ではないと考えられる。本発明の範囲は、上述の説明ではなく添付の特許請求の範囲によって示され、その意味、範囲、及び均等物の範囲内にある全ての変更が包含されることが意図されている。
102 資産
104 モバイル装置
112 センサ
140 ネットワーク
155 メモリデバイス
160 処理サーバ
104 モバイル装置
112 センサ
140 ネットワーク
155 メモリデバイス
160 処理サーバ
Claims (20)
- 資産の動作状態を評価するためのモバイル装置であって、
動作中の前記資産の動作特性又は前記資産の動作環境に関連するデータを取得するための少なくとも1つのセンサデバイスと、
センサのタイプに応じて取得されたデータを処理することによって前記資産の1又は2以上の動作状態を識別するようにトレーニングされた1又は2以上のモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置であって、前記処理装置は、前記取得されたデータから特徴を抽出し、該抽出された前記特徴の属性を、前記1又は2以上のモデルのトレーニングを通じて決定された少なくとも1つの既知の動作状態の属性と比較することにより前記資産の動作状態の決定を実行するように構成された、処理装置と、
前記処理装置によって実行された前記決定の結果を出力するように構成された出力インタフェースであって、前記結果を外部デバイスに伝達することを含むことができる、出力インタフェースと、
を備える、モバイル装置。 - 前記センサのタイプに応じて前記処理装置により分析するために、前記センサのタイプ及び前記ニューラルネットワークアーキテクチャに応じて前記取得されたデータを1又は2以上の指定されたデータ形式に変換するように構成された1又は2以上のデータインタフェースを備える、請求項1に記載のモバイル装置。
- 少なくとも1つの前記センサの前記取得されたデータ又は前記変換されたデータを格納するように構成されたメモリ構造を含むメモリデバイスと、
前記取得されたデータ又は前記変換されたデータをネットワークを介してリモートコンピューティングデバイスに送信するように構成された通信インタフェースと、
を備える、請求項2に記載のモバイル装置。 - 前記少なくとも1つのセンサは、画像センサ、音響センサ、運動センサ、熱センサ、ガスセンサ、湿度センサ、無線周波数センサ、及び流体流れセンサのうちの1又は2以上を含み、
前記通信インタフェースは、前記リモートコンピューティングデバイスから前記ニューラルネットワークアーキテクチャの更新されたモデルを受信するように構成され、
前記メモリデバイスは、受信した前記更新されたモデルを含む前記ニューラルネットワークアーキテクチャのモデルを前記メモリ構造に格納するように構成され、
前記更新されたモデルは、前記ネットワークを介して前記リモートコンピューティングデバイスに送信された少なくとも前記取得されたデータ又は前記変換されたデータに基づく変更を含み、
前記画像センサは、ビデオ画像及び静止画像のうちの1又は2以上を生成するように構成され、
前記イメージセンサは、赤外線、非可視光、又は可視光を検出するように構成されている、請求項3に記載のモバイル装置。 - 少なくとも1又は2以上のセンサインタフェース、前記処理装置、及びグラフィカルインタフェースのうちの1又は2以上を封入するためのハウジングを備え、
少なくとも1つのセンサが、前記ハウジングに一体化されるか、又は前記1又は2以上のセンサインタフェースのうち関連するセンサインタフェースを介して前記ハウジングに接続されている、請求項1に記載のモバイル装置。 - 前記モバイル装置が車両であり、
前記車両が、
前記少なくとも1つのセンサから取得されたデータに基づいて、前記車両を前記資産に対して自律的に位置付けるように構成されたナビゲーションシステムを備える、
請求項3に記載のモバイル装置。 - 前記モバイル装置が車両であり、
前記車両が、
前記車両を前記資産に対して位置付けるように構成されたナビゲーションシステムを備え、
前記通信インタフェースは、前記車両の場所及び位置を決定するために前記少なくとも1つのセンサのうちの1又は2以上から取得されたデータをネットワークを介して送信し、リモートコントロールデバイスからナビゲーションコマンドを受信して、前記車両を前記資産に対して位置付け及び/又は前記少なくとも1つのセンサのうちの1又は2以上を方向付けるように構成される、
請求項3に記載のモバイル装置。 - プロセッサが、センサのタイプ、センサ場所、並びにセンサ及び資産の関連する動作状態及び環境状態に基づいて、各センサの抽出された特徴に重みを割り当て、前記抽出された特徴のうちの1又は2以上に基づいて、前記動作状態が正常状態、機械故障、構造故障、電気故障、及び有害動作環境のうちの1又は2以上を含むかどうかを決定するよう構成されており、
前記処理装置は、前記機械故障、前記構造故障、及び前記電気故障のうちの1又は2以上のものの補修に関連する1又は2以上の部品を特定する、或いは前記有害動作環境に対処するアクションを特定する、ように構成される、
請求項1に記載のモバイル装置。 - 資産の動作状態を評価するための方法であって、
モバイル装置の1又は2以上のセンサを介して、動作中の資産の動作特性又は環境特性のうちの少なくとも1つに関連するデータを取得するステップと、
1又は2以上の資産の少なくとも1つの状態及び機能を認識するようにトレーニングされた1又は2以上の層を各々が有する1又は2以上のトレーニングされたモデルを有するニューラルネットワークアーキテクチャで符号化された処理装置を介して、センサのタイプ及びセンサ場所の1又は2以上、前記1又は2以上のセンサの1又は2以上の動作状態、前記1又は2以上の資産に対する潜在的な悪影響を有する動作状態又は環境状態に基づいて取得されたデータから1又は2以上の特徴を抽出する、或いはセンサのタイプに基づいて前記取得されたデータから1又は2以上の特徴を抽出するステップと、
前記処理装置を介して、前記抽出された特徴の属性を、前記1又は2以上のトレーニングされたモデルのトレーニングを通じて既知である少なくとも1つの動作状態の属性と比較するステップと、
前記処理装置を介して、前記少なくとも1つの比較の結果に基づいて前記資産の動作状態を決定するステップと、
出力インタフェースを介して前記決定の結果を出力するステップであって、前記結果を外部のコンピューティングデバイスに伝達することを含むことができる、ステップと、
を含む、方法。 - 1又は2以上のセンサインタフェースを介して、センサのタイプ及びニューラルネットワークアーキテクチャに従って前記処理装置による解析のために前記取得されたデータを指定されたデータフォーマットに変換するステップと、
前記メモリデバイスのメモリ構造に、前記1又は2以上のセンサの前記取得されたデータ又は前記変換されたデータを格納するステップと、
通信インタフェースを介して、前記取得されたデータ又は前記変換されたデータをネットワークを介してリモートコンピューティングデバイスに送信するステップと、
を含む、請求項9に記載の方法。 - 前記通信インタフェースを介して、前記リモートコンピューティングデバイスから前記ニューラルネットワークアーキテクチャのための更新されたモデルを受信するステップと、
前記メモリデバイスのメモリ構造に、前記受信した更新されたモデルを含む前記ニューラルネットワークアーキテクチャのモデルを格納するステップと、
を含む、請求項9に記載の方法。 - 前記データを取得するステップが、
前記1又は2以上のセンサを介して、ビデオ画像又は静止画像を生成するステップ、又は、
前記1又は2以上のセンサを介して、前記資産に関連する放射音、温度、放出ガス、湿度、運動、速度、加速度、反射光、発熱、及び流体流を検出するステップ
を含む、請求項9に記載の方法。 - 前記1又は2以上の特徴を抽出するステップは、
前記取得されたデータ又は前記変換されたデータに1又は2以上の重み付けカーネルを適用し、前記重み付けカーネルは、対応する既知の動作状態の属性を含む、請求項10に記載の方法。 - 前記動作状態を決定するステップは、
前記処理装置を介して、前記比較の結果に基づいて機械故障、構造故障、電気故障、及び潜在的有害環境又は動作状態のうちの1又は2以上を特定するステップと、
前記処理装置を介して、前記機械故障、前記構造故障、及び前記電気故障のうちの1又は2以上のものの補修、又は前記潜在的有害環境もしくは動作状態に対処するアクションに関連する1又は2以上の部品を特定するステップと、
を含む、請求項9に記載の方法。 - 前記決定の結果を出力するステップは、
前記処理装置を介して、前記取得されたデータ又は前記変換されたデータ、前記動作状態の決定、及び前記モバイル装置に関連付けられたメタデータをコンパイルするステップと、
前記処理装置を介して、前記コンパイルされたデータに基づいて報告を生成するステップと、
を含む、請求項10に記載の方法。 - 資産の動作状態を評価するためのコンピューティングデバイスであって、
ネットワークを介して少なくとも1つのリモートセンサデバイスから1又は2以上の資産に関連するセンサデータを受信するように構成された通信インタフェースであって、前記センサデータが複数のセンサのタイプに関連付けられる、通信インタフェースと、
1又は2以上のモデルを含むニューラルネットワークアーキテクチャで符号化された処理装置であって、前記センサデータに基づいて前記1又は2以上のモデルをトレーニングし、前記センサデータに基づく前記資産のタイプに応じて前記1又は2以上の資産の少なくとも1つの正常な動作状態及び少なくとも1つの故障状態を識別するように構成された処理装置と、
を備える、コンピューティングデバイス。 - 前記センサデータは、1又は2以上のセンサのタイプの生のセンサデータを含み、
前記コンピューティングデバイスは、
前記処理装置による分析のために前記関連するセンサのタイプ及び前記ニューラルネットワークアーキテクチャに応じて前記生のセンサデータの少なくとも一部を1又は2以上の指定されたデータ形式に変換するように構成されたデータインタフェースと、
を備え、前記処理装置は、前記変換されたセンサデータに基づいて、前記1又は2以上の資産の動作状態を決定するように構成されている、請求項16に記載のコンピューティングデバイス。 - 前記1又は2以上のモデルをトレーニングすることにより1又は2以上の更新されたモデルを生成し、前記通信インタフェースは、前記1又は2以上の更新されたモデルを前記ネットワークを介して前記少なくとも1つのリモートデバイスに送信するように構成されている、請求項16に記載のコンピューティングデバイス。
- 前記受信したセンサデータは、前記1又は2以上の資産の動作状態の決定に関連する資産データ、及び前記少なくとも1つのリモートセンサデバイスに関連するメタデータを含み、
前記コンピューティングデバイスは、
前記1又は2以上の資産を含む複数の資産に関連する動作状態の決定と、前記少なくとも1つのリモートセンサデバイスを含む複数のリモートデバイスの前記メタデータとを格納するように構成された第1のメモリ構造を含むメモリデバイスを備える、請求項16に記載のコンピューティングデバイス。 - 前記プロセッサは、前記メモリデバイスの前記第1のメモリ構造に格納された情報に基づいて、指定されたタイプの資産又は識別された資産に関連して、動作状態傾向分析、保守スケジュール推奨及び計画、部品及び在庫の注文、修復計画、及び在庫状況報告のうちの1又は2以上を生成するように構成されている、請求項19に記載のコンピューティングデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962904444P | 2019-09-23 | 2019-09-23 | |
US62/904,444 | 2019-09-23 | ||
PCT/US2020/052232 WO2021061783A1 (en) | 2019-09-23 | 2020-09-23 | System and method for assessing an operating condition of an asset |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022550711A true JP2022550711A (ja) | 2022-12-05 |
Family
ID=74880990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022518842A Pending JP2022550711A (ja) | 2019-09-23 | 2020-09-23 | 資産の動作状態を評価するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210089907A1 (ja) |
EP (1) | EP4034953A4 (ja) |
JP (1) | JP2022550711A (ja) |
AU (1) | AU2020353001A1 (ja) |
WO (1) | WO2021061783A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9838804B2 (en) * | 2015-02-27 | 2017-12-05 | Cochlear Limited | Methods, systems, and devices for adaptively filtering audio signals |
US11295734B2 (en) * | 2020-03-26 | 2022-04-05 | Vonage Business Inc. | System and method for detecting electronically based responses to unanswered communication session requests |
US20230088886A1 (en) * | 2021-09-20 | 2023-03-23 | Tencent America LLC | Coding of uv coordinates |
CN113949582B (zh) * | 2021-10-25 | 2023-05-30 | 绿盟科技集团股份有限公司 | 一种网络资产的识别方法、装置、电子设备及存储介质 |
TW202318283A (zh) * | 2021-10-25 | 2023-05-01 | 智影顧問股份有限公司 | 虛擬領班之派工規劃系統 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6175787B1 (en) * | 1995-06-07 | 2001-01-16 | Automotive Technologies International Inc. | On board vehicle diagnostic module using pattern recognition |
US20140074345A1 (en) * | 2012-09-13 | 2014-03-13 | Chanan Gabay | Systems, Apparatuses, Methods, Circuits and Associated Computer Executable Code for Monitoring and Assessing Vehicle Health |
WO2015073687A1 (en) * | 2013-11-13 | 2015-05-21 | Schlumberger Canada Limited | Unmanned aerial vehicles for well monitoring and control |
-
2020
- 2020-09-23 WO PCT/US2020/052232 patent/WO2021061783A1/en unknown
- 2020-09-23 EP EP20869614.6A patent/EP4034953A4/en active Pending
- 2020-09-23 US US17/029,333 patent/US20210089907A1/en active Pending
- 2020-09-23 JP JP2022518842A patent/JP2022550711A/ja active Pending
- 2020-09-23 AU AU2020353001A patent/AU2020353001A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210089907A1 (en) | 2021-03-25 |
EP4034953A4 (en) | 2023-10-18 |
AU2020353001A1 (en) | 2022-04-28 |
EP4034953A1 (en) | 2022-08-03 |
WO2021061783A1 (en) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022550711A (ja) | 資産の動作状態を評価するためのシステム及び方法 | |
EP3701708B1 (en) | Machine diagnosis using mobile devices and cloud computers | |
CN109477771B (zh) | 通过基于增强现实技术的装置识别损伤的结构健康监测系统 | |
CN108228345B (zh) | 用于交互式认知任务协助的系统和方法 | |
JP6837597B2 (ja) | 能動学習のシステム及び方法 | |
US11120904B2 (en) | Imaging modality maintenance smart dispatch systems and methods | |
US11203445B2 (en) | Data- and model-driven inspection of autonomous aircraft using an unmanned aerial vehicle | |
US20190332931A1 (en) | Deep neural network training for application program generation | |
CN109716356A (zh) | 多变量数据中的异常检测 | |
US10775314B2 (en) | Systems and method for human-assisted robotic industrial inspection | |
WO2020139907A1 (en) | Imaging modality maintenance care package systems and methods | |
CN115210724A (zh) | 模型生成装置、推断装置、模型生成方法及模型生成程序 | |
KR20220097334A (ko) | 신호 대 신호 변환을 통한 감지 | |
WO2018154360A1 (ja) | 学習データを生成するための処理方法、システム、プログラムおよび記憶媒体、並びに学習データを生成する方法およびシステム | |
US10108513B2 (en) | Transferring failure samples using conditional models for machine condition monitoring | |
US20230028638A1 (en) | Smart edge platform for edge devices and associated systems and methods | |
US20220318593A1 (en) | System for generating natural language comment texts for multi-variate time series | |
KR20220106347A (ko) | 진동 이미지 데이터 형성 시스템 및 방법과, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 | |
US20240119628A1 (en) | Automatic generation of 'as-run' results in a three dimensional model using augmented reality | |
Ertargin et al. | Mechanical and electrical faults detection in induction motor across multiple sensors with CNN-LSTM deep learning model | |
KR102475552B1 (ko) | 진동 데이터 형성 장치 및 방법과, 그를 저장하는 컴퓨터 판독 가능한 기록 매체 | |
US20240112019A1 (en) | System and method for deep learning-based sound prediction using accelerometer data | |
US20240110996A1 (en) | System and method for prediction analysis of a system utilizing machine learning networks | |
Battseren et al. | Development of an Adaptive MAV Platform for Autonomous Inspection of High Voltage Power Lines | |
Wang et al. | Operational reliability analysis of remote operated vehicle based on dynamic Bayesian network synthesis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230925 |