JP2022031238A - 機械学習のためのデータ抽出のシステムおよび方法 - Google Patents

機械学習のためのデータ抽出のシステムおよび方法 Download PDF

Info

Publication number
JP2022031238A
JP2022031238A JP2021129210A JP2021129210A JP2022031238A JP 2022031238 A JP2022031238 A JP 2022031238A JP 2021129210 A JP2021129210 A JP 2021129210A JP 2021129210 A JP2021129210 A JP 2021129210A JP 2022031238 A JP2022031238 A JP 2022031238A
Authority
JP
Japan
Prior art keywords
format
input
input data
model
maintenance task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021129210A
Other languages
English (en)
Inventor
トーマス ノース,ネイサン
Thomas North Nathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transportation IP Holdings LLC
Original Assignee
Transportation IP Holdings LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transportation IP Holdings LLC filed Critical Transportation IP Holdings LLC
Publication of JP2022031238A publication Critical patent/JP2022031238A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/006Indicating maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/10Geometric CAD
    • G06F30/15Vehicle, aircraft or watercraft design
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0833Indicating performance data, e.g. occurrence of a malfunction using audio means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/25Pc structure of the system
    • G05B2219/25204Translate between different communication protocols
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2637Vehicle, car, auto, wheelchair

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】車両のコンポ―ネントを保守する人工知能モデルを開発及び/又は使用するシステム及び方法を提供する。【解決手段】車両システムにおいて、保守タスク入力ユニットは、保守タスクに対応する複数の入力データグループを生成する。入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。1以上のプロセッサは、保守タスク入力ユニットに連結され、保守タスク入力ユニットから複数の入力データグループを取得し、各入力データグループに対して、複数のフォーマットのうちの特定のフォーマットを識別し、識別される特定のフォーマットに基づいて、入力表現の中間表現を準備する。1以上のプロセッサは、入力データグループの各々に対応する中間表現を、共通フォーマットに修正し、車両保守のためにモデル入力を使用する。【選択図】図3

Description

関連出願
本出願は、「Data Extraction for Machine Learning Systems and Methods」と題され、2020年8月6日に出願された、米国特許出願第63/062438の優先権を主張し、その主題全体は、参照によって本明細書に組み込まれる。
記載される主題は、機械学習のためのデータ抽出と併せて使用するためのシステムと方法、例えば、車両のコンポ―ネントを保守するための人工知能モデルを開発および/または使用するためのシステムと方法に関する。
技術分野に関する議論
数の行列データは許可された入力ではないかもしれないが、機械学習および人工知能(AI)のモデルは、行列のフォーマットで使用される入力データを受信してもよい。従って、変換が、多くのAIモデルに対して、前処理工程として実行されてもよい。しかし、展開は、入力タイプに基づいて困難になる場合があり、現在の変換アプローチは、異なるタイプの入力の使用または変換に関して、非効率的である。
一実施形態では、システム(例えば、保守システム)は、保守タスク入力ユニットと1以上のプロセッサとを含む。保守タスク入力ユニットは、保守タスクに対応する複数の入力データグループを生成するように構成される。入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。1以上のプロセッサは、保守タスク入力ユニットに連結され、そして、保守タスク入力ユニットから複数の入力データグループを取得するように構成される。1以上のプロセッサは、各入力データグループに対して、複数のフォーマットのうちの特定のフォーマットを識別し、そして、識別される特定のフォーマットに基づいて、入力データの中間表現を準備する、ように構成される。また、1以上のプロセッサは、共通フォーマットを有するモデル入力を提供するために、中間表現を修正するように構成される。1以上のプロセッサは、入力データグループの各々に対応する中間表現を、共通フォーマットに修正し、そして、車両保守のために、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される保守システム人工知能モデラーに、モデル入力を提供する、ように構成される。
一実施形態では、方法は、保守タスクに対応する入力情報の複数の入力データグループを取得する工程を含む。該入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。方法はまた、各入力データグループに対して、複数のフォーマットのうちの特定のフォーマットを識別する工程と、そして、各入力データグループに対して識別される特定のフォーマットに基づいて、入力データの中間表現を準備する工程と、を含む。さらに、方法は、共通フォーマットを有するモデル入力を提供するために、中間表現を修正する工程を含む。複数の入力の各々に対応する中間表現は、共通フォーマットに修正される。方法はまた、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される人工知能モデラーに、モデル入力を提供する工程を含む。
一実施形態では、方法は、保守タスクを実行する工程と、保守タスクに対応する情報を含む入力データを生成する工程と、を含む。方法はまた、1以上のプロセッサを使用して、複数のフォーマットの対応する1つのフォーマットの入力情報の入力データを取得する工程を含む。さらに、方法は、入力データに対して、複数のフォーマットのうちの特定のフォーマットを識別する工程と、識別される特定のフォーマットに基づいて、入力データの中間表現を準備する工程と、を含む。方法はまた、共通フォーマットを有するモデル入力を提供するために、中間表現を修正する工程を含む。複数の入力の各々に対応する中間表現は、共通フォーマットに修正される。さらに、方法は、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される人工知能モデラーに、モデル入力を提供する工程を含む。
本発明の主題は、添付の図面を参照して、非限定的な実施形態に関する以下の記載を読むことで、理解されるであろう。
システムの概略的なブロックダイアグラムを示す。 図1のシステムについての、システムフローの概略図を提供する。 方法のフローチャートを示す。 方法のフローチャートを示す。
本明細書に記載される本主題の実施形態は、受信される入力の構成または入力のタイプに基づいて、人工知能(AI)モデリングで使用するために、情報を変換するまたは変形させるためのシステムおよび方法に関する。たとえば、PNGファイルの受信を想定すると、対応する画像は、AIモデルによって使用されるフォーマットに一致するように、再形成、抽出、および再フォーマットされるかもしれない。様々な実施形態で、フロントエンドは、特定の着信ファイルフォーマットから対応する中間のn-次元の配列(「ND配列」)表現へのコンバージョンを実行し、バックエンドは、再形成、サイズ変更、線形代数法の実行などの追加的な後処理、および/またはチャネルアライメント(channel alignment)を、他のタスクと共に実行する。
様々な実施形態は、複数の異なるタイプのAI入力データの使用を可能にする、技術的効果を提供する。様々な実施形態は、AIモデルを開発および/または使用することの効率および利便性を改善する、技術的効果を提供する。様々な実施形態は、保守タスクの計画、性能、および/または評価を改善する、技術的効果を提供する。
本明細書の様々な例が鉄道車両に関連して議論され得るが、本明細書に記載される全ての実施形態が鉄道車両システムに限定されるわけではないことに注意されたい。例えば、本明細書に記載の保守システムおよび方法の1以上の実施形態は、自動車、トラック、バス、採掘用車両、船舶、航空機、農業用車両などの他のタイプの車両に関連して使用することができる。いくつかの実施形態では、そのような車両は、ガス駆動、ディーゼル駆動、電気駆動であってもよく、あるいは、車両に動力供給するための複数のシステムを含むハイブリッドシステムを含む他の適切な推進システムを介して動力供給されてもよい。他の実施形態では、本明細書に記載される保守システムおよび方法は、非車両システムに関連して利用されてもよい。
従って、様々な実施形態は、保守活動および/または輸送以外の用途に利用されてもよい。例えば、通商、金融、農業、またはインターネット用途における機械学習モデルは、特に、様々な実施形態に関連して使用されてもよい。
図1は、車両システム(100)の概略図を示す。システム(例えば、保守システム)は、保守タスク入力ユニット(110)と処理ユニット(130)とを含む。保守タスク入力ユニット(110)は、保守タスクに対応する複数の入力データグループを生成するように構成される。入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。例えば、入力データグループは、画像ファイル、テキストファイル、ビデオファイル、およびオーディオファイルを含むことができ、各ファイルは、他のファイルのフォーマットとは異なる、対応するフォーマットを有する(例えば、画像ファイルは、テキストファイル、ビデオファイル、およびオーディオファイルとは異なるフォーマットを有する)。所与のタイプのファイルはまた、同じタイプのファイルであっても、他のファイルのフォーマットとは異なる、対応するフォーマットを有していてもよい(例えば、JPGとして保存された画像ファイル、PNGとして保存された画像ファイル、RAWとして保存された画像ファイル、および他の適切なフォーマットで保存された画像ファイル)。他のタイプのファイルおよび/またはフォーマットが代替の実施形態で利用されてもよいことに、留意されたい。
様々な実施形態で、システム(100)は、保守タスクに関連した使用のための保守システムである。本明細書に使用される場合、保守タスクは、1以上のコンポーネント(150)を保守するために実行される、1以上のアクション(例えば物理的アクション)を含むこととして理解されてもよい(例えば、車両保守は、車両またはそのコンポーネントを保守するために実行される、1以上のアクションを含む)。様々な実施形態で、保守タスク入力ユニット(110)(またはその態様)は、保守されているコンポーネント(150)に位置するか、またはその近傍に位置する。様々な実施形態で、保守タスクは、検査、洗浄、修繕、または交換の1以上を含む。例えば、鉄道車両のエンジンのファンの保守は、ファンブレードの検査、ファンブレードの洗浄、および/または破損が確認されたファンブレードの修繕または交換を含んでいてもよい。様々な実施形態で、保守タスク(例えば、洗浄、修繕、交換)の実行は、結果的に、1以上の物理的コンポーネントの具体的な変更または変形をもたらす。保守タスクと共に、様々なタイプのファイルが生成され、そして処理ユニット(130)に提供されてもよい。
例えば、静的な絵または他のタイプの画像に対応する1以上の画像ファイルは、保守入力ユニット(110)によって生成されてもよい。示される例では、保守タスク入力ユニット(110)は画像入力ユニット(112)を含み、該画像入力ユニット(112)は、保守タスクまたはその態様の実行を記載する、描写する、あるいはそれに関係する、対応するフォーマットの画像ファイルを生成するように構成される。様々な実施形態で、画像入力ユニット(112)は、カメラまたはX線ユニットを含んでいてもよい。様々な実施形態で、画像ファイルは、例として、カメラまたは他の光学センサを使用して取得されるデジタル光学画像を含み、あるいは別の例として、X線画像化情報を含む。画像ファイルは、既定の色(例えば、赤、緑、青)に割り当てられたカラーチャネルを利用する、カラー画像であってもよい。画像ファイルは、別の例として、白黒またはグレースケールの画像であってもよく、陰影に対応して異なる明暗度値が割り当てられている。上記のファン保守の例の状況では、画像ファイルが、ファンブレードまたは他のコンポーネントの損傷および/または洗浄状態を評価するために生成されてもよい。別の例として、画像ファイルが、保守タスクの実行の後に、保守タスクの充足度、有効性、または成功を評価するのに役立つように利用されてもよい。
別の例として、保守タスクに対応する1以上のテキストファイルが生成されてもよい。例えば、オペレータによって提供される入力に対応する1以上のテキストファイルが生成されてもよい。示される例では、保守タスク入力ユニット(110)は、テキスト入力ユニット(114)を含み、該テキスト入力ユニット(114)は、保守タスクまたはその態様の実行を記載する、描写する、あるいはそれに関係する、対応するフォーマットのテキストファイルを生成するように構成される。様々な実施形態で、テキスト入力ユニット(114)は、キーボード、キーパッド、タッチスクリーン、または他のマニュアル入力デバイスを含んでいてもよく、あるいは別の例として、マイクロホン、および音声入力ソフトウェアまたは翻訳ソフトウェアを含んでいてもよい。様々な実施形態で、テキストファイルは、例として、保守タスクを実行する、あるいはそれに関連する、オペレータによって提供される記述または他の情報を含む、テキストファイルを含む。上記のファン保守の例の状況では、テキストファイルは、実行されているタスクを記載するために、または保守タスクの進行の状態を示すために、生成されてもよい。入力は、オペレータへのプロンプトによる支援またはガイダンスを使用して生成されてもよい。例えば、オペレータには、タスクのステータス、または保守されているコンポーネントに関する記載を説明するための、多数の選択肢が与えられてもよい。
別の例として、保守タスクに対応する1以上のビデオファイルが生成されてもよい。ビデオファイルは、コンポーネントの静止画像からは入手可能でないかもしれない、使用中のコンポーネントに関係する動的情報を提供するために、使用されてもよい。動作中のコンポーネント(複数可)に対応する1以上のビデオファイルが生成されてもよい。示される例では、保守タスク入力ユニット(110)は、ビデオ入力ユニット(116)を含み、該ビデオ入力ユニット(116)は、保守タスクまたはその態様の実行を記載する、描写する、あるいはそれに関係する、対応するフォーマットのビデオファイルを生成するように構成される。様々な実施形態で、ビデオ入力ユニット(116)は、例えば、デジタルビデオカメラを含んでいてもよい。様々な実施形態で、ビデオファイルは、例として、ビデオカメラまたは他の光学センサを使用して取得される、一連のデジタルビデオフレームを含む(該デジタルビデオフレームは、フレームが取得された時間および/またはフレームが取得された速度に対応するタイミング情報を含んでいてもよい)。ビデオファイルはカラーファイルであってもよく、別の例として、白黒またはグレースケールのファイルであってもよい。上記のファン保守の例の状況では、ビデオファイルは、ファンブレード(あるいはファンブレードのグループ)または他のコンポーネントの、スピード、安定性、および/または性能に関する他の動的基準を評価するために生成されてもよい。別の例として、ビデオファイルが、保守タスクの実行の後に、保守タスクの充足度、有効性、および/または成功を評価するのに役立つように利用されてもよい。
別の例として、保守タスクに対応する1以上のオーディオファイルが生成されてもよい。例えば、保守されているコンポーネントによって生成される音または音のグループに対応する、1以上のオーディオファイルが生成されてもよい。示される例では、保守タスク入力ユニット(110)は、オーディオ入力ユニット(118)を含み、該オーディオ入力ユニット(118)は、保守タスクまたはその態様の実行を記載する、描写する、あるいはそれに関係する、対応するフォーマットのオーディオファイルを生成するように構成される。様々な実施形態で、オーディオ入力ユニット(118)は、マイクロホンを含んでいてもよい。いくつかの実施形態では、オーディオ入力ユニット(118)は、マイクロホンによって取得されるアナログ情報をデジタル化するためのコンバータを含んでいてもよい。上記のファン保守の例の状況では、オーディオファイルは、ファンブレードまたは他のコンポーネントの、損傷状態を評価するために生成されてもよい(例えば、故障コンポーネントまたは損傷コンポーネントに対応する、特徴的な音または音の周波数を介して)。例えば、過剰な量のノイズおよび/または特定のタイプのノイズは、特定のコンポーネント、または特定のコンポーネントのグループに対する損傷を示すか、またはそれに関係していてもよく、該コンポーネントまたはそのグループはその後、必要に応じて、検査、修繕、または交換のために特定される。別の例として、オーディオファイルが、保守タスクの実行の後に、保守タスクの充足度、有効性、または成功を評価するのに役立つように利用されてもよい。
従って、様々な実施形態で、保守タスク入力ユニット(110)は、保守タスクを実行するオペレータからの入力を取得することによって、入力データを生成する。代替的にまたは追加的に、様々な実施形態で、保守タスク入力ユニット(110)は、保守タスクに対応する画像情報を取得するか、またはオーディオ情報を取得するかの少なくとも1つ(この取得は、自律的におよび/またはオペレータの入力を介して実行される)によって、入力データを生成するように構成される。
示される実施形態では、保守タスク入力ユニット(110)は、多くのタイプの入力ユニット-すなわち画像入力ユニット(112)、テキスト入力ユニット(114)、ビデオ入力ユニット(116)、およびオーディオ入力ユニット(118)を含む。他のタイプの入力ユニットが、他の実施形態で、追加的にまたは代替的に使用されてもよいことに留意されたい。さらに、保守タスク入力ユニット(110)が単一のブロックまたはユニットとして描写されているが、保守タスク入力ユニット(110)の1以上の態様は、他の態様から離れて収容されていてもよく、あるいは他の態様から遠隔に位置していてもよいことに留意されたい。例えば、処理ユニット(130)は、多くの異なる保守タスク入力(110)から、情報を(例えば無線で)受信するように構成されてもよく、および/または、異なる位置で実行されている異なる保守タスクに対する情報を受信するように構成されてもよい。
処理ユニット(130)は、保守タスク入力ユニット(110)に連結され、そして、保守タスク入力ユニット(110)から複数の入力データグループを取得するように構成される。示される例では、各タイプの入力データは、保守タスク入力ユニット(110)から処理ユニット(130)に、特定のタイプの入力データに対応する特定のフォーマットで提供される。処理ユニット(130)は、入力データのタイプに基づいて、各受信入力データグループに対して、既定で周知のフォーマットから、特定のフォーマットを識別し、そして、識別される特定のフォーマットに基づいて、入力データの中間表現を準備する。例えば、テキストファイルを受信する際、処理ユニット(130)は、カレントファイルをテキストファイルとして識別し、テキストファイルのフォーマットを識別し、そして、受信テキストファイルに対応する特定のフォーマットでテキストファイルの中間表現を準備する。従って、第1のタイプのファイル(例えばテキストファイル)の中間表現は第1のフォーマットであり、第2のタイプのファイル(例えばオーディオファイル)の中間表現は、異なる第2のフォーマットである、などである。
中間表現フォーマットは、ND配列(n-次元の配列)のタイプを指定するか、または定義してもよい。例えば、M×N×Oフォーマットを有するND配列が使用されてもよい。例えば、M×N×O配列が、カラーチャネル(例えば3つのカラーチャネル)の行、列、および深さを表わすために、画像データに関連して使用されてもよい。様々な実施形態で、行列(または行と列を有する2次元の配列)が利用されてもよい。
例として、N=3のND配列(カラー画像用)は、以下のように表わされてもよい:
Figure 2022031238000002
別の例として、N=2のND配列(グレイスケール画像用)は、以下のように表わされてもよい:
Figure 2022031238000003
第1の例が、追加的な配列内の、追加的な配列内(複数)に、配列(複数)を有していること注意されたい。他方、第2の例は、1セットのネスト(one set of nesting)-つまり、配列内に1セットの配列を有している。様々な実施形態で、ネストは、任意のデータセットを表すのに適切な深さまで進むことができる。
様々な実施形態で、処理ユニット(130)は、所与の入力データタイプに対して識別される特定のフォーマットに対応するND配列フォーマットを有するND配列を生成することによって、所与の入力データに対する中間表現を準備する。例えば、いくつかの中間表現は1×Nの行列の形態であってもよく、また、他のものはM×Nの行列の形態であってもよく、この時MとNの値はフォーマットによって指定される。例えば、テキストファイルから生成される行列は1×Nの行列の形態であってもよく、また、画像ファイルから生成される行列はM×Nの行列の形態であってもよく、ここでMとNは画素の列と行とに対応する。他の例では、2を超える次元を有するND配列が利用されてもよい。さらに、ND配列内の情報のタイプまたは表現の形態は、所与の中間表現と入力データタイプに対する特定のフォーマットによって指定されてもよい。例えば、画像ファイルのためのND配列に入力される値は、対応する画素の色および/または明暗度に対応してもよい。
描写される処理ユニット(130)はまた、共通フォーマットを有するモデル入力を提供するために、中間表現を修正する。処理ユニット(130)は、入力データグループの各々に対応する中間表現を、共通フォーマットに修正するように構成される。従って、異なるフォーマットの入力データグループは、処理ユニット(130)によって受信され、そして、モデル化の利便性向上のための共通フォーマットを有するモデル入力を作成するために使用される。
様々な実施形態で、モデル入力の共通フォーマットは、共通のND配列フォーマットを定義する。例えば、様々な入力データグループの中間表現は、互いと異なるND配列フォーマットで開始するが、モデル入力に対する修正後は、それらは全て同じND配列フォーマットである。従って、様々な実施形態で、処理ユニット(130)は、中間表現のND配列のサイズまたは形状の少なくとも1つを、モデル入力の共通フォーマットのサイズおよび形状と一致するように変更することによって、中間表現を修正して、モデル入力を提供する。共通フォーマットは、中間表現フォーマットの少なくともいくつかによって定義されるND配列とは異なってフォーマット化されるが、中間表現フォーマットの1つと同じであり得るND配列(例えば、中間表現フォーマット中の最大ND配列)であってもよいことに注意されたい。
図2は、図1のシステム(100)に対する、一般的なシステムフロー(200)を概略的に描写する。図2に確認される通り、様々な入力データグループが提供されてもよい。示される例では、画像データはブロック(202)における入力であってもよく、テキストデータはブロック(204)における入力であってもよく、オーディオデータはブロック(206)における入力であってもよく、あるいは、ビデオデータはブロック(208)における入力であってもよい。本明細書に議論される通り、各タイプのデータは、対応するタイプまたはフォーマットを有する入力である。
ブロック(210)では、受信入力データが、入力データファイルタイプに基づいて、対応する中間表現(220)に変換される。中間表現は従って、特定の中間表現を生成するために(210)で変換された入力データのタイプに対応する特定のフォーマットを有する。
その後、ブロック(230)では、中間表現(220)が修正される。例えば、中間表現の一部として生成されるND配列は、ブロック(230)での操作後に全てのタイプの入力情報に共通する、共通ND配列フォーマットに変更されてもよい。中間表現(220)は、(230)での操作または修正によって、人工知能モデルに提供するためのモデルフォーマットを有するモデル入力(240)に修正される。複数の異なる入力データグループが受信される時は、該グループは個々のモデル入力を提供するために個々に処理されてもよいことに注意されたい。構成ブロック(250)は、データグループまたは表現を、変換または修正する際に使用されるルールまたはガイドラインと共に、ブロック(210)とブロック(230)とを提供する。
図1に戻ると、描写される処理ユニット(130)が、モデル入力を、保守システム人工知能モデラー(190)に提供する。いくつかの実施形態では、保守システム人工知能モデラー(190)は、モデル入力を使用してモデルを開発するように構成される。例えば、人工知能モデラー(190)は、特定の保守タスクに対応する多くのモデル入力を、処理ユニット(130)から(および、随意に他の処理ユニットから)受信してもよく、そして、受信モデル入力を使用して、その保守タスクのための人工知能モデルを構築してもよい。
代替的にまたは追加的に、様々な実施形態で、人工知能モデラー(190)は、車両保守(例えば、車両保守、または車両のエンジンのファンなどのその態様の保守)のためにモデル入力を利用する、モデルを使用する。例えば、保守タスクに関連するオペレータおよび/またはセンサからの入力が受信され、そしてモデルに提供されるモデル入力を生成するために使用された後に、モデルは、モデル入力を使用して、保守タスクを評価し、および/または命令またはガイダンスを提供してもよい。例えば、モデルは、タスクが完了している、および/またはタスクが成功裡に完了したか否かを判定してもよい。タスクが完了していない場合、モデルは、追加的工程が実行されるように、オペレータに命令を提供してもよい。タスクが成功裡に完了していない場合、モデルは、どの態様またはどのコンポーネントの態様がさらなる注意を要するか、および/またはどんな追加的工程が保守タスクの一部としてとられるべきかを判定してもよく、そして、保守タスクを実行するオペレータ(複数可)に適切な命令を、および/または制御されている保守設備に保守タスクを実行するための制御信号を、提供してもよい。
引き続き図1を参照すると、描写される処理ユニット(130)は、保守タスク入力ユニット(110)と保守システム人工知能モデラー(190)とに連結される。例えば、処理ユニット(130)は、保守タスク入力(110)から情報を受信してもよく、そして、保守システム人工知能モデラー(190)に対応するモデル入力(または入力)を提供してもよい。様々な実施形態で、処理ユニット(190)および/または保守システム人工知能モデラー(190)はまた、コンポーネント(150)を保守するために使用される保守システムの1以上のコンポーネント(160)への通信メッセージおよび/またはコマンド入力を提供するように構成される。処理ユニット(130)と人工知能モデラー(190)は、図1では2つの個別ブロックとして示されているが、他の実施形態では、それら(またはそれらの態様)が共に収容されていてもよく、または2を超えるブロックに分離されていてもよいことに留意されたい。
いくつかの実施形態では、処理ユニット(130)および/または人工知能モデラー(190)は、保守されている車両に搭載されていてもよい。他の実施形態では、処理ユニット(130)および/または人工知能モデラーは、保守タスク入力ユニット(110)および/または保守されている車両から遠隔に位置していてもよい。様々な実施形態で、描写される処理ユニット(130)が、本明細書で議論される方法(例えば、方法(300)および/または方法(400))の1以上の態様を実行するように構成されることに注意されたい。さらに、処理ユニット(130)はディスプレイを含んでいてもよく、またはディスプレイに連結されていてもよく、該ディスプレイは、例えば、コンポーネントまたはコンポーネントのグループを保守するオペレータに情報および/または命令を提供するために、使用されてもよい。
描写される処理ユニット(130)は、メモリ(132)を含む。処理ユニット(130)は、単一の処理ユニット(130)を含むものとして描写されている;しかし、処理ユニット(130)に対するブロックは、いくつかの実施形態では分散しているかもしれず、または互いから遠く離れているかもしれない、1以上のプロセッサを表わすものと理解されてもよい。また、描写される人工知能モデラー(190)はメモリ(192)を含み、そして、いくつかの実施形態では分散されているかもしれず、または互いから遠く離れているかもしれない、1以上のプロセッサを表わすものと理解されてもよい。さらに、(メモリなどの)1以上の態様が、様々な実施形態で、処理ユニット(130)と人工知能モデラー(190)との間で共有されてもよい。
様々な実施形態で、処理ユニット(130)は、本明細書で議論される1以上のタスク、機能、または工程(例えば、システムフロー(200)、方法(300)、(400)、またはその態様)を実行するように構成される、回路を処理することを含む。本明細書で使用される時の「処理ユニット」は、単一のプロセッサまたはコンピュータに必ずしも限定されないことを意図していることに注意されたい。例えば、処理ユニット(130)は、複数のプロセッサおよび/またはコンピュータを含んでいてもよく、それらは共通のハウジングまたはユニットの中に一体化されていてもよく、あるいは様々なユニットまたはハウジングに分散されていてもよい。
通常、処理ユニット(130)の様々な態様(例えば、プログラムされたモジュール)は、個々に、あるいは他の態様と協調的に作用して、本明細書に議論される方法、工程、または処理(例えば、システムフロー(200)、方法(300)、方法(400)、またはその態様)の1以上の態様を実行する。描写される実施形態では、メモリ(132)(およびメモリ(192))は、有形の非一時的コンピュータ可読媒体を含み、該有形の非一時的コンピュータ可読媒体は、そこに、本明細書で議論される方法、工程、または処理の1以上の態様を実行するための命令を保存している。
図3は、方法(300)のフローチャートを示す。図3の動作は、メモリに保存されるプログラム命令を実行する1以上のプロセッサ(例えば、処理ユニット(130)および/または人工知能モデラー(190))によって実施されてもよい。方法(300)は、例えば、システム(100)および/またはシステムフロー(200)および/または方法(400)などの、本明細書で議論される様々な実施形態(例えば、システムおよび/または方法)の構造または態様を利用してもよい。様々な実施形態で、特定の工程(または動作)が省略または追加されてもよく、特定の工程が組み合わされてもよく、特定の工程が同時に実行されてもよく、特定の工程が並行して実行されてもよく、特定の工程が複数の工程に分けられてもよく、特定の工程が異なる順序で実行されてもよく、あるいは、特定の工程または一連の工程が反復的な方法で再実行されてもよい。様々な実施形態で、方法(300)のある部分、態様、および/または変形を1以上のアルゴリズムとして使用して、本明細書に記載される1以上の動作を実行するようにハードウェアに命令してもよい。本明細書の他の実施形態に従って他の方法が使用されてもよいことに留意されたい。
(302)では、入力データグループが(例えば、処理ユニット(130)によって、保守タスク入力ユニット(110)から)取得される。入力データグループは、同時にまたは異なる時点で取得されてもよい。様々な実施形態で、各々の個々の入力データグループは、方法(300)の1以上の工程に従って処理され、そして、その入力データが使用されてモデル入力が生成された後は、別の入力データグループが続いて処理されてもよい。入力データグループは、保守タスクに対応する情報を含む。各入力データグループは、複数のフォーマットのうちの1つのフォーマットである。例えば、様々な実施形態で、入力データグループのタイプは、画像データ、テキストデータ、ビデオデータ、およびオーディオデータを含む。複数のフォーマットのうちの各フォーマットは、データのタイプに対応する。例えば、オーディオデータは第1のフォーマットであってもよく、ビデオデータは異なる第2のフォーマットであってもよい、などである。様々な実施形態で、入力データは、保守タスクの実行に関連して提供され、例えば、保守タスクの実行中に発見または生成された情報に基づく保守タスクの実行中に提供される。
(304)では、特定のフォーマットが、各入力データグループに対して、(例えば、処理ユニット(130)によって)識別される。フォーマットは複数のフォーマットから識別され、そして、本明細書に議論されるような入力データのタイプに対応する。
(306)では、各入力データグループに対して、入力データの中間表現が準備される。中間表現は、入力データに対して識別される特定のフォーマットに基づく。フォーマットはND配列タイプまたは形態を定義してもよく、または指定してもよい。例えば、例示される例では、(308)で、ND配列が、(304)で識別される特定のフォーマットに対応するND配列フォーマットを有して、生成される。
(310)では、中間表現が修正されて、モデル入力が提供される。モデル入力は共通フォーマットを有しており、(302)からの入力の各々に対応する中間表現は、(310)で共通フォーマットに修正される。様々な実施形態で、共通フォーマットは、共通のND配列フォーマットを定義する。示される例では、(312)で、中間表現のND配列のサイズまたは形状の少なくとも1つが変更され、中間表現が修正されてモデル入力が提供される。
(314)では、モデル入力が人工知能モデラーに提供される。いくつかの実施形態では、人工知能モデラーは、モデル入力を使用するモデルを開発するように構成される。代替的にまたは追加的に、いくつかの実施形態では、人工知能モデラーは、モデル入力を使用して、モデルを(例えば、保守タスクの実行の評価および/またはガイダンスの一部として)使用する。
図4は、方法(400)のフローチャートを示す。図4の動作は、メモリに保存されるプログラム命令を実行する1以上のプロセッサ(例えば、処理ユニット(130)および/または人工知能モデラー(190))によって実施されてもよい。方法(400)は、例えば、システム(100)および/またはシステムフロー(200)および/または方法(300)などの、本明細書で議論される様々な実施形態(例えば、システムおよび/または方法)の構造または態様を利用してもよい。様々な実施形態で、特定の工程(または動作)が省略または追加されてもよく、特定の工程が組み合わされてもよく、特定の工程が同時に実行されてもよく、特定の工程が並行して実行されてもよく、特定の工程が複数の工程に分けられてもよく、特定の工程が異なる順序で実行されてもよく、あるいは、特定の工程または一連の工程が反復的な方法で再実行されてもよい。様々な実施形態で、方法(400)のある部分、態様、および/または変形を1以上のアルゴリズムとして使用して、本明細書に記載される1以上の動作を実行するようにハードウェアに命令してもよい。本明細書の他の実施形態に従って他の方法が使用されてもよいことに留意されたい。
(402)では、保守タスクが実行される。様々な実施形態で、保守タスクは、1以上のコンポーネントの洗浄、検査、修繕、または交換の1以上を含む。様々な実施形態で、保守タスクは、車両の1以上のコンポーネントで実行される。
(404)では、入力データが(例えば、保守タスク入力ユニット(110)によって)生成される。入力データは、保守タスクに対応する情報を含む。様々な実施形態で、入力データは、キーボードまたは他のマニュアル入力、カメラ、またはマイクロホンの1以上を使用して生成される。様々な方法および/または様々な設備が、入力データを生成するために使用されてもよい。例えば、(408)で、入力データは、保守タスクを実行するオペレータからの入力を使用して生成される。別の例として、(410)で、画像ファイルの少なくとも1つが(例えばカメラを介して)取得されるか、またはオーディオファイルが(例えばマイクロホンを介して)取得される。
(406)では、入力データは、1以上のプロセッサ(例えば処理ユニット(130))によって取得される。入力データは、(404)で生成される入力データのタイプに対応するフォーマットである。
(412)では、入力データに対する特定のフォーマットが識別される。(414)では、中間表現が準備される。中間表現は、(412)で識別される特定のフォーマットに基づいて準備される。
(416)では、中間表現が修正されて、モデル入力が提供される。モデル入力は共通フォーマットを有する。複数の入力の各々に対応する中間表現は、同じ、共通フォーマットに修正される。
(418)では、モデル入力が人工知能モデラーに証明される。モデラーは、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される。
例えば、示される実施形態では、(420)で、保守タスクがモデルを使用して評価される。(422)では、応答タスクが、モデルの出力に対応して実行される。例えば、洗浄タスクが成功裡に完了していないと(420)で評価される場合、オペレータへの洗浄を継続するための命令が、(422)で提供されてもよい。または、別の例として、コンポーネントが十分にきれいではないとの評価に応答して洗浄工程を実行するように、制御シグナルが自動マシンに提供されてもよい。別の例として、修繕タスクが成功裡に完了していないと(420)で評価される場合、必要に応じて、修繕業務を継続し、異なる修繕技術を実施し、または修繕業務が実行不可能であると思われるコンポーネントを交換するように、(422)で、命令がオペレータに提供されてもよい。
一実施形態では、システム(例えば、保守システム)は、保守タスク入力ユニットと1以上のプロセッサとを含む。保守タスク入力ユニットは、保守タスクに対応する複数の入力データグループを生成するように構成される。入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。1以上のプロセッサは、保守タスク入力ユニットに連結され、そして、保守タスク入力ユニットから複数の入力データグループを取得するように構成される。1以上のプロセッサは、各入力データグループに対して、複数のフォーマットのうちの特定のフォーマットを識別し、そして、識別される特定のフォーマットに基づいて、入力データの中間表現を準備する、ように構成される。また、1以上のプロセッサは、共通フォーマットを有するモデル入力を提供するために、中間表現を修正するように構成される。1以上のプロセッサは、入力データグループの各々に対応する中間表現を、共通フォーマットに修正し、そして、車両保守のために、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される保守システム人工知能モデラーに、モデル入力を提供する、ように構成される。
随意に、1以上のプロセッサは、識別される特定のフォーマットに対応するn-次元の配列フォーマットを有するn-次元の配列を生成することによって、中間表現を準備するように構成される。例えば、いくつかの実施形態では、共通フォーマットは、共通のn-次元の配列フォーマットを定義する。
随意に、複数のフォーマットは、画像フォーマット、テキストフォーマット、ビデオフォーマット、またはオーディオフォーマットの少なくとも1つを含む。
随意に、1以上のプロセッサは、中間表現のn-次元の配列のサイズまたは形状の少なくとも1つを変更することによって、モデル入力を提供するための中間表現を修正するように構成される。
随意に、モデルは、保守タスクの評価を提供するように構成される。例えば、いくつかの実施形態では、保守タスク入力ユニットは、保守タスクを実行するオペレータからの入力を取得することによって、入力データを生成するように構成される。別の例として、いくつかの実施形態では、保守タスク入力ユニットは、保守タスクに対応する、画像情報を取得するか、またはオーディオ情報を取得するかの少なくとも1つによって、入力データを生成するように構成される。
ある実施形態では、方法は、保守タスクに対応する入力情報の複数の入力データグループを取得する工程を含む。入力データグループの各々は、複数のフォーマットの対応する1つのフォーマットである。方法はまた、各入力データグループに対して、複数のフォーマットのうちの特定のフォーマットを識別する工程と、各入力データグループに対して識別される特定のフォーマットに基づいて、入力データの中間表現を準備する工程と、を含む。さらに、方法は、共通フォーマットを有するモデル入力を提供するために、中間表現を修正する工程を含む。複数の入力の各々に対応する中間表現は、共通フォーマットに修正される。方法はまた、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される人工知能モデラーに、モデル入力を提供する工程を含む。
随意に、中間表現を準備する工程は、識別される特定のフォーマットに対応するn-次元の配列フォーマットを有するn-次元の配列を生成することを含む。例えば、いくつかの実施形態では、共通フォーマットは、共通のn-次元の配列フォーマットを定義する。
随意に、複数のフォーマットは、画像フォーマット、テキストフォーマット、ビデオフォーマット、またはオーディオフォーマットの少なくとも1つを含む。
いくつかの実施形態では、モデル入力を提供するために中間表現を修正する工程は、中間表現のn-次元の配列のサイズまたは形状の少なくとも1つを変更することを含む。随意に、方法はまた、保守タスクを実行する工程と、保守タスクに対応する情報を含む入力データを生成する工程と、モデルを使用して、保守タスクを評価する工程と、モデルの出力に対応する応答タスクを実行する工程と、を含む。いくつかの実施形態では、入力データを取得する工程は、保守タスクを実行するオペレータからの入力を取得することを含む。いくつかの実施形態では、入力データを取得する工程は、保守タスクに対応する、画像ファイルを取得することか、またはオーディオファイルを取得することかの少なくとも1つを含む。
ある実施形態では、方法は、保守タスクを実行する工程と、保守タスクに対応する情報を含む入力データを生成する工程と、を含む。方法はまた、1以上のプロセッサを使用して、複数のフォーマットの対応する1つのフォーマットの入力情報の入力データを取得する工程を含む。さらに、方法は、入力データに対して、複数のフォーマットのうちの特定のフォーマットを識別する工程と、識別される特定のフォーマットに基づいて、入力データの中間表現を準備する工程と、を含む。方法はまた、共通フォーマットを有するモデル入力を提供するために、中間表現を修正する工程を含む。複数の入力の各々に対応する中間表現は、共通フォーマットに修正される。さらに、方法は、モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、モデル入力を使用するように構成される人工知能モデラーに、モデル入力を提供する工程を含む。
随意に、方法はさらに、モデルを使用して、保守タスクを評価する工程と、モデルの出力に対応する応答タスクを実行する工程と、を含んでもよい。いくつかの実施形態では、入力データを取得する工程は、保守タスクを実行するオペレータからの入力を取得することを含む。いくつかの実施形態では、入力データを取得する工程は、保守タスクに対応する、画像ファイルを取得することか、またはオーディオファイルを取得することかの少なくとも1つを含む。
本明細書で使用される単数形、「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈に別段の指示がない限り、複数の参照を含む。「任意の」または「随意に」とは、後に記載される出来事または状況が発生する場合と発生しない場合があり、そしてその記載は、出来事が発生する場合と発生しない場合を含み得ることを意味する。本明細書と特許請求の範囲全体で使用される時、概数を表す言語は、関連する可能性のある基本機能を変更することなく、許容範囲内で変化し得る任意の定量的表現を変更するために適用されることがある。したがって、「約」、「実質的に」、および「およそ」などの用語(複数可)によって変更される値は、指定された詳細な値に限定されない場合がある。少なくともいくつかの場合には、概算を表す言語は、値を測定するための機器の精度に対応していても良い。ここでおよび明細書と特許請求の範囲全体を通して、範囲制限は、組み合わせられる場合および/または入れ替えられる場合があり、文脈または言語による別段の指示がない限り、そのような範囲は特定され、そして、そこに含有されるすべてのサブ範囲を含めることができる。
本明細書で使用される場合、タスクまたは操作を実行「するように構成される(configured to)」構造、制限、または要素は、タスクまたは操作に対応するような方法で、特に構造的に、形成され、構成され、または適応される。明瞭さ、および疑義の回避を目的として、タスクまたは操作を実行するように修正できるのみであるオブジェクトは、本明細書で使用される場合の、タスクまたは操作を実行「するように構成され」てはいない。代わりに、本明細書で使用される場合の、「するように構成される」という用語の使用は、構造的な適応または特性を示し、そして、タスクまたは操作を実行「するように構成される」と記載されている、任意の構造、制限、または要素の構造的な要件を示す。例えば、タスクまたは操作を実行「するように構成される」処理ユニット、プロセッサ、またはコンピュータは、タスクまたは操作を実行するように、特に構成されているものと理解されてもよい(例えば、タスクまたは操作を実行するように調整または意図される、それらに保存される、またはそれらと組み合わせて使用される、1以上のプログラムまたは命令を有し、および/または、タスクまたは操作を実行するように調整または意図される、処理回路の配置を有している)。明瞭さ、および疑義の回避を目的として、汎用コンピュータ(それは、適切にプログラムされれば、タスクまたは操作を実行「するように構成される」ようになり得る)は、タスクまたは操作を実行するように具体的にプログラムされたり構造的に修正されたりしない限り、またはそれらがなされるまでは、タスクまたは操作を実行「するように構成され」てはいない。
示される実施形態のコンポーネント(例えば、数、タイプ、配置など)の特定の配置が、様々な代替的実施形態において修正されてもよいことに留意されたい。例えば、様々な実施形態で、異なる数の所与のモジュールまたはユニットが利用されてもよく、異なるタイプ(複数可)の所与のモジュールまたはユニットが利用されてもよく、多くのモジュールまたはユニット(またはそれらの態様)が組み合わせられてもよく、所与のモジュールまたはユニットが複数のモジュール(あるいはサブモジュール)またはユニット(あるいはサブユニット)に分割されてもよく、1以上のモジュールの1以上の態様がモジュール間で共有されてもよく、所与のモジュールまたはユニットが追加されてもよく、あるいは所与のモジュールまたはユニットが省略されてもよい。
様々な実施形態が、ハードウェア、ソフトウェア、またはその組み合わせにおいて実装されてもよいことに留意されたい。様々な実施形態および/またはコンポーネント、例えば、モジュール、あるいはそれに内蔵されるコンポーネントおよびコントローラはまた、1以上のコンピュータまたはプロセッサの一部として実装されてもよい。コンピュータまたはプロセッサは、例えばインターネットへのアクセスのための、コンピュータデバイス、入力デバイス、ディスプレイユニットおよびインターフェースを含んでいてもよい。コンピュータまたはプロセッサは、マイクロプロセッサを含んでいてもよい。マイクロプロセッサは、通信バスに接続されてもよい。コンピュータまたはプロセッサはまた、メモリを含んでいてもよい。メモリは、ランダムアクセスメモリ(RAM)および読み取り専用メモリ(ROM)を含んでいてもよい。コンピュータまたはプロセッサはさらに記憶デバイスを含んでもよく、該記憶デバイスは、ハードディスクドライブ、または、ソリッドステートドライブ(solid state drive)、光学ドライブなどの取り外し可能な記憶デバイスであってもよい。記憶デバイスはまた、コンピュータまたはプロセッサにコンピュータプログラムまたは他の命令をロードするための、他の同様の手段であってもよい。
本明細書で使用される場合、「コンピュータ」、「コントローラ」、「処理ユニット」、および「モジュール」の用語は、各々、任意の、プロセッサベースまたはマイクロプロセッサベースのシステムを含んでいてもよく、それらの例としては、マイクロコントローラを使用するシステム、縮小命令セットコンピュータ(RISC)、特定用途向け集積回路(ASIC)、ロジック回路、GPU、FPGA、および本明細書に記載される機能を実行することができる任意の他の回路またはプロセッサが挙げられる。上の例は例示のみであり、したがって、「モジュール」または「コンピュータ」の用語の定義および/または意味を、いかなる方法によっても限定することを意図していない。
コンピュータ、モジュール、またはプロセッサは、入力データを処理するために、1以上の記憶要素に保存される1セットの命令を実行する。記憶要素はまた、要望あるいは必要に応じて、データまたは他の情報を保存してもよい。記憶要素は、情報ソース、または処理マシン内の物理的なメモリ要素の形態であってもよい。
命令のセットは、処理マシンとしてのコンピュータ、モジュール、またはプロセッサに、本明細書に記載されるおよび/または示される、様々な実施形態の方法および処理などの、特定の操作を実行するように命令する様々なコマンドを含んでいてもよい。命令のセットは、ソフトウェアプログラムの形態であってもよい。ソフトウェアは、システムソフトウェアまたはアプリケーションソフトウェアなどの様々な形態であってもよく、そしてそれらは、有形で非一時的なコンピュータ可読媒体として具体化されていてもよい。さらに、ソフトウェアは、個別のプログラムまたはモジュールの集合体、より大きなプログラム内のプログラムモジュール、またはプログラムモジュールの一部、の形態であってもよい。ソフトウェアはまた、オブジェクト指向プログラミングの形態であるモジュラープログラミングを含んでいてもよい。処理マシンによる入力データの処理は、オペレータコマンドに応じたもの、または以前の処理の結果に応じたもの、または別の処理マシンによってなされたリクエストに応じたものであってもよい。
本明細書に使用される場合、「ソフトウェア」および「ファームウェア」という用語は交換可能であり、そして、RAMメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、および不揮発性RAM(NVRAM)メモリを含む、コンピュータによる実行のためのメモリに保存される、任意のコンピュータプログラムを含む。上記のメモリタイプは、単に例示的なものであり、そのため、コンピュータプログラムの保存に使用可能なメモリのタイプについて限定するものではない。様々な実施形態の個々のコンポーネントは、クラウドタイプのコンピュータ環境によって仮想化されかつホストされてもよく、例えば、コンピュータシステムの位置、構成、および/または特定のハードウェアに関して、ユーザーを必要とすることなく、コンピュータの計算能力のダイナミックアロケーションが可能になる。
上記の説明は、限定的でなく、例示的であるように意図されていることはが理解されよう。例えば、上述の実施形態(および/またはその態様)は、相互に組み合わされて使用されてもよい。追加的に、多くの修正が、本発明の範囲から逸脱することなく、本発明の教示に対して特定の状況または材料を採用するためになされてもよい。本明細書に記載される、寸法、材料のタイプ、様々なコンポーネントの配向、および様々なコンポーネントの数と位置は、特定の実施形態のパラメータを定義するように意図されており、また、決して限定的ではなく、単に例示的なものである。特許請求の範囲の趣旨および範囲内の多くの他の実施形態と修正は、当業者にとって、上記説明の考察時に明らかであろう。したがって、本発明の範囲は、添付の特許請求と、そのような特許請求の範囲が享受する等価物の全範囲とを参照して、決定されるべきである。添付の特許請求の範囲において、「含んでいる(including)」および「そこで(in which)」の用語は、それぞれ、「含んでいる(comprising)」および「そこで(wherein)」の平易な英語の同義語として使用される。さらに、以下の特許請求の範囲において、「第1」、「第2」、および「第3」などの用語は、単にラベルとして使用され、それらのオブジェクトに数値的要件を課すことを意図していない。以下の特許請求の範囲の限定は、「手段プラス機能」の形式で書かれてはおらず、そのような請求項の範囲の限定が、明示的に「~のための手段(means for)」という句を使用してその後にさらなる構造が欠けている機能に関する説明が続かない限り、またはそれまでは、35U.S.C.§112(f)に基づいて解釈されることを意図していない。
この書面による説明は、実施形態を開示する例を使用して、最良のモードを含む本発明の実施形態を開示し、当業者が、任意のデバイスまたはシステムの作成と使用、および包含される方法の実施を含む本発明の実施形態を実践することを可能にする。特許請求の範囲は、開示の特許可能な範囲を定義し、そして当業者であれば想到する他の例を含む。そのような他の例は、それらが特許請求の範囲の文字通りの言葉と異ならない構造要素を有する場合、またはそれらが特許請求の範囲の文字通りの言葉と実質的に異ならない差を伴う同等の構造要素を含む場合、特許請求の範囲内にあると意図される。

Claims (20)

  1. システムであって、前記システムは、
    保守タスクに対応する複数の入力データグループを生成するように構成された保守タスク入力ユニットであって、前記入力データグループの各々が複数のフォーマットの対応する1つのフォーマットである、保守タスク入力ユニットと、
    1以上のプロセッサであって、前記1以上のプロセッサは、前記保守タスク入力ユニットから前記複数の入力データグループを取得し、各入力データグループに対して、前記複数のフォーマットのうちの特定のフォーマットを識別し、識別される前記特定のフォーマットに基づいて、前記入力データの中間表現を準備し、共通フォーマットを有するモデル入力を提供するために、前記中間表現を修正する、ように構成され、ここで、前記1以上のプロセッサは、前記入力データグループの各々に対応する中間表現を、前記共通フォーマットに修正するように構成され、そして、前記1以上のプロセッサは、前記モデル入力を、保守システム人工知能モデラーに提供するように構成され、前記保守システム人工知能モデラーは、車両保守のために、前記モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、前記モデル入力を使用するように、構成される、1以上のプロセッサと、を含む、システム。
  2. 前記1以上のプロセッサが、識別される前記特定のフォーマットに対応するn-次元の配列フォーマットを有するn-次元の配列を生成することによって、前記中間表現を準備するように構成される、請求項1に記載のシステム。
  3. 前記共通フォーマットが、共通のn-次元の配列フォーマットを定義する、請求項2に記載のシステム。
  4. 前記複数のフォーマットが、画像フォーマット、テキストフォーマット、ビデオフォーマット、またはオーディオフォーマットの少なくとも1つを含む、請求項1に記載のシステム。
  5. 前記1以上のプロセッサが、前記中間表現のn-次元の配列のサイズまたは形状の少なくとも1つを変更することによって、前記モデル入力を提供するために、前記中間表現を修正するように構成される、請求項1に記載のシステム。
  6. 前記モデルが、前記保守タスクの評価を提供するように構成される、請求項1に記載のシステム。
  7. 前記保守タスク入力ユニットが、前記保守タスクを実行するオペレータからの入力を取得することによって、前記入力データを生成するように構成される、請求項6に記載のシステム。
  8. 前記保守タスク入力ユニットが、前記保守タスクに対応する、画像情報を取得するか、またはオーディオ情報を取得するかの少なくとも1つによって、前記入力データを生成するように構成される、請求項6に記載のシステム。
  9. 方法であって、前記方法は、
    保守タスクに対応する入力情報の複数の入力データグループを取得する工程であって、前記入力データグループの各々が複数のフォーマットの対応する1つのフォーマットである、工程と、
    各入力データグループに対して、前記複数のフォーマットのうちの特定のフォーマットを識別する工程と、
    前記入力データに対して識別される前記特定のフォーマットに基づいて、各入力データグループに対して、前記入力データの中間表現を準備する工程と、
    共通フォーマットを有するモデル入力を提供するために、前記中間表現を修正する工程であって、ここで、前記複数の入力の各々に対応する中間表現は、前記共通フォーマットに修正される、工程と、
    前記モデル入力を人工知能モデラーに提供する工程であって、前記人工知能モデラーは、前記モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、前記モデル入力を使用するように、構成される、工程と、を含む、方法。
  10. 前記中間表現を準備する工程が、識別される前記特定のフォーマットに対応するn-次元の配列フォーマットを有するn-次元の配列を生成することを含む、請求項9に記載の方法。
  11. 前記共通フォーマットが、共通のn-次元の配列フォーマットを定義する、請求項10に記載の方法。
  12. 前記複数のフォーマットが、画像フォーマット、テキストフォーマット、ビデオフォーマット、またはオーディオフォーマットの少なくとも1つを含む、請求項9に記載の方法。
  13. 前記モデル入力を提供するために、前記中間表現を修正する工程が、前記中間表現のn-次元の配列のサイズまたは形状の少なくとも1つを変更することを含む、請求項9に記載の方法。
  14. 前記保守タスクを実行する工程と、
    前記保守タスクに対応する情報を含む前記入力データを生成する工程と、
    前記モデルを使用して、前記保守タスクを評価する工程と、
    前記モデルの出力に対応する応答タスクを実行する工程と、
    をさらに含む、請求項9に記載の方法。
  15. 前記入力データを取得する工程が、前記保守タスクを実行するオペレータからの入力を取得することを含む、請求項14に記載の方法。
  16. 前記入力データを取得する工程が、前記保守タスクに対応する、画像ファイルを取得することか、またはオーディオファイルを取得することかの少なくとも1つを含む、請求項14に記載の方法。
  17. 方法であって、前記方法は、
    保守タスクを実行する工程と、
    前記保守タスクに対応する情報を含む入力データを生成する工程と、
    1以上のプロセッサを使用して、複数のフォーマットの対応する1つのフォーマットの入力情報の前記入力データを取得する工程と、
    前記入力データに対して、前記複数のフォーマットのうちの特定のフォーマットを識別する工程と、
    識別される前記特定のフォーマットに基づいて、前記入力データの中間表現を準備する工程と、
    共通フォーマットを有するモデル入力を提供するために、前記中間表現を修正する工程であって、ここで、前記1以上のプロセッサは、複数の入力の各々に対応する前記中間表現を、前記共通フォーマットに修正するように構成される、工程と、
    前記モデル入力を人工知能モデラーに提供する工程であって、前記人工知能モデラーは、前記モデル入力を使用して、モデルを開発するか、または使用するかの少なくとも1つを行うために、前記モデル入力を使用するように、構成される、工程と、を含む、方法。
  18. 前記モデルを使用して、前記保守タスクを評価する工程と、
    前記モデルの出力に対応する応答タスクを実行する工程と、
    を含む、請求項17に記載の方法。
  19. 前記入力データを取得する工程が、前記保守タスクを実行するオペレータからの入力を取得することを含む、請求項17に記載の方法。
  20. 前記入力データを取得する工程が、前記保守タスクに対応する、画像ファイルを取得することか、またはオーディオファイルを取得することかの少なくとも1つを含む、請求項17に記載の方法。請求項19に記載のシステム。
JP2021129210A 2020-08-06 2021-08-05 機械学習のためのデータ抽出のシステムおよび方法 Pending JP2022031238A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063062438P 2020-08-06 2020-08-06
US63/062,438 2020-08-06
US17/394,022 2021-08-04
US17/394,022 US20220044494A1 (en) 2020-08-06 2021-08-04 Data extraction for machine learning systems and methods

Publications (1)

Publication Number Publication Date
JP2022031238A true JP2022031238A (ja) 2022-02-18

Family

ID=77226697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021129210A Pending JP2022031238A (ja) 2020-08-06 2021-08-05 機械学習のためのデータ抽出のシステムおよび方法

Country Status (5)

Country Link
US (1) US20220044494A1 (ja)
EP (1) EP3951537B1 (ja)
JP (1) JP2022031238A (ja)
CN (1) CN114065367A (ja)
AU (1) AU2021212073B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220178324A1 (en) * 2020-12-09 2022-06-09 Transportation Ip Holdings, Llc Systems and methods for diagnosing equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349433A1 (en) * 2017-05-30 2018-12-06 General Electric Company Agnostic data frame for data backend

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113932B2 (en) * 2001-02-07 2006-09-26 Mci, Llc Artificial intelligence trending system
US20020169735A1 (en) * 2001-03-07 2002-11-14 David Kil Automatic mapping from data to preprocessing algorithms
US9565275B2 (en) * 2012-02-09 2017-02-07 Rockwell Automation Technologies, Inc. Transformation of industrial data into useful cloud information
US20080114474A1 (en) * 2006-11-10 2008-05-15 Rockwell Automation Technologies, Inc. Event triggered data capture via embedded historians
US8674993B1 (en) * 2009-10-14 2014-03-18 John Fleming Graph database system and method for facilitating financial and corporate relationship analysis
US9143563B2 (en) * 2011-11-11 2015-09-22 Rockwell Automation Technologies, Inc. Integrated and scalable architecture for accessing and delivering data
US9253054B2 (en) * 2012-08-09 2016-02-02 Rockwell Automation Technologies, Inc. Remote industrial monitoring and analytics using a cloud infrastructure
US20160179599A1 (en) * 2012-10-11 2016-06-23 University Of Southern California Data processing framework for data cleansing
US20140222522A1 (en) * 2013-02-07 2014-08-07 Ibms, Llc Intelligent management and compliance verification in distributed work flow environments
US9588834B1 (en) * 2013-03-28 2017-03-07 Juniper Networks, Inc. Methods and apparatus for improved fault analysis
US9438648B2 (en) * 2013-05-09 2016-09-06 Rockwell Automation Technologies, Inc. Industrial data analytics in a cloud platform
US9786197B2 (en) * 2013-05-09 2017-10-10 Rockwell Automation Technologies, Inc. Using cloud-based data to facilitate enhancing performance in connection with an industrial automation system
US9703902B2 (en) * 2013-05-09 2017-07-11 Rockwell Automation Technologies, Inc. Using cloud-based data for industrial simulation
US9430882B2 (en) * 2013-10-11 2016-08-30 Kenton Ho Computerized vehicle maintenance management system with embedded stochastic modelling
US20150120009A1 (en) * 2013-10-31 2015-04-30 Rockwell Automation Technologies, Inc. Independent Operation of Control Hardware and a Monitoring System in an Automation Controller
US10095202B2 (en) * 2014-03-26 2018-10-09 Rockwell Automation Technologies, Inc. Multiple controllers configuration management interface for system connectivity
US9866635B2 (en) * 2014-03-26 2018-01-09 Rockwell Automation Technologies, Inc. Unified data ingestion adapter for migration of industrial data to a cloud platform
US20160299999A1 (en) * 2015-04-09 2016-10-13 General Electric Company Systems and methods for power plant model optimization
US20170308802A1 (en) * 2016-04-21 2017-10-26 Arundo Analytics, Inc. Systems and methods for failure prediction in industrial environments
US10795337B2 (en) * 2016-06-01 2020-10-06 Incucomm, Inc. Predictive and prescriptive analytics for systems under variable operations
US11721205B2 (en) * 2016-06-13 2023-08-08 Here Global B.V. Method, apparatus, and computer program product for processing sensor data
EP3616422B1 (en) * 2017-05-26 2021-02-17 Google LLC Machine-learned model system
US10877464B2 (en) * 2017-06-08 2020-12-29 Rockwell Automation Technologies, Inc. Discovery of relationships in a scalable industrial analytics platform
US11244233B2 (en) * 2018-08-29 2022-02-08 Accenture Global Solutions Limited Intelligent adaptor service in unified automation platforms for robotic process automation
US11537876B2 (en) * 2018-11-28 2022-12-27 Bank Of America Corporation Targeted variation of machine learning input data
US11338819B2 (en) * 2019-09-30 2022-05-24 Baidu Usa Llc Cloud-based vehicle calibration system for autonomous driving

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180349433A1 (en) * 2017-05-30 2018-12-06 General Electric Company Agnostic data frame for data backend

Also Published As

Publication number Publication date
US20220044494A1 (en) 2022-02-10
EP3951537B1 (en) 2024-03-06
CN114065367A (zh) 2022-02-18
AU2021212073A1 (en) 2022-02-24
AU2021212073B2 (en) 2023-02-23
EP3951537A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US10977530B2 (en) ThunderNet: a turbo unified network for real-time semantic segmentation
WO2021136365A1 (zh) 基于机器学习模型的应用开发方法、装置及电子设备
CN112308763A (zh) 利用具有双流编码器架构的神经网络来生成合成数字图像
WO2019081623A1 (en) SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
CN110023964B (zh) 训练和/或使用神经网络模型来生成光谱图像的中间输出
CN110738102A (zh) 一种人脸识别方法及系统
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
CN111062903A (zh) 图像水印的自动处理方法、系统、电子设备及存储介质
JP2018195107A (ja) 画像処理システム
JP2022031238A (ja) 機械学習のためのデータ抽出のシステムおよび方法
KR20220049857A (ko) 데이터 레이블링 장치 및 방법
CN116468725A (zh) 基于预训练模型的工业缺陷检测方法、装置及存储介质
JP2019207099A5 (ja)
CN115205586A (zh) 基于知识蒸馏的多自监督任务融合方法、装置及存储介质
CN117058384B (zh) 一种三维点云语义分割的方法及系统
CN115760646B (zh) 一种针对不规则孔洞的多模态人脸图像修复方法和系统
EP3340086A1 (en) Automated application of digital finish material to 3d cad data
Chakaravarthy et al. Vision control unit in fully self driving vehicles using xilinx mpsoc and opensource stack
CN115631192A (zh) 一种阀门试压机的控制方法、装置、设备及介质
CN113496468B (zh) 深度图像的修复方法、装置和存储介质
CN115170418A (zh) 符合退化的低秩高维图像填充模型及其填充方法与系统
Gîrba et al. Pervasive software visualizations (keynote)
US20240037717A1 (en) Generating neural network based perceptual artifact segmentations in modified portions of a digital image
Sakhi Segmentation Guided Image Inpainting
JP2022053944A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231108

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231201