JP2023510091A - アセット管理システム - Google Patents

アセット管理システム Download PDF

Info

Publication number
JP2023510091A
JP2023510091A JP2022535709A JP2022535709A JP2023510091A JP 2023510091 A JP2023510091 A JP 2023510091A JP 2022535709 A JP2022535709 A JP 2022535709A JP 2022535709 A JP2022535709 A JP 2022535709A JP 2023510091 A JP2023510091 A JP 2023510091A
Authority
JP
Japan
Prior art keywords
asset
data
component
actor
management system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022535709A
Other languages
English (en)
Other versions
JPWO2021113896A5 (ja
Inventor
ウィルキンソン・ベンジャミン
バークベック・ブレット
ルーク トリポディ・ライアン
マーティン グレゴリー・ショーン
Original Assignee
ウッドサイド エナジー テクノロジーズ プロプライエタリー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2019904677A external-priority patent/AU2019904677A0/en
Application filed by ウッドサイド エナジー テクノロジーズ プロプライエタリー リミテッド filed Critical ウッドサイド エナジー テクノロジーズ プロプライエタリー リミテッド
Publication of JP2023510091A publication Critical patent/JP2023510091A/ja
Publication of JPWO2021113896A5 publication Critical patent/JPWO2021113896A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/954—Navigation, e.g. using categorised browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/006—Simulators for teaching or training purposes for locating or ranging of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Remote Sensing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Separation By Low-Temperature Treatments (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

アセットおよびその構成要素の視覚的表現、構成要素の動作データ、ならびに定義された座標系におけるアセットに対する構成要素の位置を記憶するアセット管理システム。システムは、構成要素動作データを取得し、動作データをデータ記憶装置に通信するように構成された、アセットに配置された通信可能なモノと、アセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令を受信することにより、アセットの隣接部分の視覚的表現を表示するようにユーザによって制御可能なユーザインタフェースとを含む。ユーザインタフェースは、ユーザがアセットの視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素情報を表示するのを容易にし、構成要素情報は通信可能なモノから導出される。記憶されたデータは、アクターがアセットに対して移動するときにアセットに配置された少なくとも１つのアクターの位置を含む。

Description

特許法第３０条第２項適用申請有り 平成３１年４月３日に１９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ＆ Ｅｘｈｉｂｉｔｉｏｎ ｏｎ Ｌｉｑｕｅｆｉｅｄ Ｎａｔｕｒａｌ Ｇａｓ（ＬＮＧ２０１９）において発表 令和１年７月２９日にＢｕｓｉｎｅｓｓ Ｂｒｉｅｆｉｎｇ ｗｉｔｈ Ｗｏｏｄｓｉｄｅにおいて発表 令和１年９月１７日にＧａｓｔｅｃｈ Ｃｏｎｆｅｒｅｎｃｅ ＆ Ｅｘｈｉｂｉｔｉｏｎにおいて発表
本発明は、アセット管理システムに関し、特に、資源産業においてアセットを管理するためのアセット管理システムに関する。
組織は、例えば遠隔地に配置される複雑なアセットを有することができる。例えば、資源産業では、アセットが沖合などのアクセスが困難な遠隔地に存在することが一般的である。そのようなアセットはまた、通常、アセットがアセットの動作に寄与する多数の構成要素を含み、構成要素の正しい動作がアセットの動作を成功させるために重要である限り、複雑でサイズが大きい。
典型的には、組織は、アセット構成要素の動作の分析を含むアセットの動作の系統的分析を実行し、これは、典型的には、特定の構成要素を検査するためにアセットに専門の技術者を定期的に配置することを含む管理プロセスによって達成される。しかしながら、人物をアセットに移動させることは、典型的には、アセットがアクセス困難な場所にあるため、費用がかかる。
本明細書では、「アクター」という用語は、アセットに対して移動可能であり、アセット管理システムの態様と対話することができる人物、システム、またはデバイスを意味する。例示的なアクターは、例えば、モバイルコンピューティングデバイス、ロボット、またはアセットに対して移動し、任意の方法でアセット管理システムと対話することができる任意のデバイスまたはシステムを装備した人物を含む。
本明細書では、「ロボット」という用語は、無人物航空機（ＵＡＶ）、ドローン、外骨格、自律的または半自律的な緊急応答機械、反復タスクを実行するように構成された自律的または半自律的な機械、アセットに対して自律的に移動し、必要に応じてタスクを実行するように構成された自律的または半自律的なロービング車両、またはヒューマノイドなどの任意の自律的または半自律的なデバイス、システムまたは車両を含む。
本明細書では、「モノ」という用語は、データを取得および／または生成し、データを通信するように構成されたネットワーク対応デバイスまたはシステムを意味する。「モノ」の例には、センサ、カメラ、マイクロフォン、およびＰＬＣデバイスが含まれる。
本発明の第１の態様によれば、アセット管理システムが提供され、アセット管理システムは、
データ記憶装置であって、
アセットの視覚的表現を示す視覚的データであって、視覚的表現はアセットの構成要素の視覚的表現を含む、視覚的データと、
構成要素の動作を示す動作データを含むアセットの構成要素の特性を示す構成要素データと、
アセットに対する構成要素の位置を示す構成要素位置データを含む空間データと、を定義された座標系に従って第１の座標形式で記憶するように構成される、データ記憶装置と、
アセットに配置された複数の通信可能なモノであって、各通信可能なモノは、アセットの少なくとも１つの構成要素の動作を示す動作データを取得し、動作データをデータ記憶装置に通信するように構成される、複数の通信可能なモノと、
記憶された視覚的データへのアクセスを容易にするように構成されたユーザインタフェースであって、アセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令を受信することにより、アセットの隣接部分の視覚的表現を表示するためにユーザによって制御可能であり、
ユーザインタフェースは、ユーザがアセットの視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素情報を表示するのを容易にするように構成され、構成要素情報は、構成要素に関連する少なくとも１つの通信可能なモノから導出され、
空間データは、アクターがアセットに対して移動するときにアセットに配置された少なくとも１つのアクターの位置を示すアクター位置データを含み、システムは、アクター位置データを取得し、アクター位置データを第１の座標形式で記憶するように構成される、ユーザインタフェースと、を備える。
一実施形態では、ユーザインタフェースは、構成要素の視覚的表現がユーザインタフェースによって表示されるときに、ユーザがアセットの視覚的表現を通じてナビゲートするときに、構成要素に隣接して構成要素情報を自動的に表示するように構成される。
一実施形態では、システムは、ユーザが視覚的表現を通じてナビゲートするときに構成要素に隣接する構成要素情報の表示を容易にし、ユーザ入力に応答してさらなる構成要素情報を表示するように構成される。
一実施形態では、ユーザインタフェースは、構成要素の視覚的表現がユーザインタフェースによって表示されるときに、ユーザ入力に応答して構成要素に隣接して構成要素情報を表示するように構成される。
一実施形態では、構成要素に隣接して表示される構成要素情報の少なくとも一部は、ユーザ定義の基準に基づく。
一実施形態では、構成要素データは、構成要素の種類を示すデータを含む。
一実施形態では、構成要素データは、構成要素動作データに関連するタイミングデータを含み、タイミングデータは、構成要素から動作データが取得された時間を示す。
一実施形態では、表示された構成要素情報はタイミングデータを含む。
一実施形態では、表示された構成要素情報は、メンテナンス情報を含む。
一実施形態では、ユーザインタフェースは、ユーザによる時間の選択を容易にすることにより、アセットの部分の時間依存の視覚的表現と、アセットの部分の構成要素に隣接して時間依存の構成要素情報とを表示するように構成される。
一実施形態では、アセットの視覚的表現は、アセットにおけるアクターの位置に対応する位置におけるアクターの視覚的表現を含む。
一実施形態では、構成要素位置データは、構成要素がある位置に配置された時間を示すタイミングデータを含む。
一実施形態では、アクター位置データは、アクターがある位置に配置された時間を示すタイミングデータを含む。
一実施形態では、アクターは、アセットに対するアクターの位置を示すアクター位置データを生成するように構成された測位デバイスを備える。
一実施形態では、アクターはモバイルコンピューティングデバイスを備え、モバイルコンピューティングデバイスは測位デバイスを含む。
一実施形態では、システムは、アセットの分散位置に配置された複数の機械可読マーカを備え、アクターは、機械可読マーカに対する位置特定デバイスの位置を決定することによりアセットに対するアクターの位置を決定するように構成された位置特定デバイスを含む。機械可読マーカは、視覚的位置マーカまたはＢｌｕｅｔｏｏｔｈビーコンを含むことができる。
一実施形態では、測位デバイスは、同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して、アセットに対するアクターの位置を決定するように構成される。
一実施形態では、構成要素データは、
音声を示すデータ、
映像を示すデータ、
少なくとも１つの画像を示すデータ、
振動を示すデータ、
温度を示すデータ、
電流を示すデータ、
流量を示すデータ、
圧力を示すデータ、
移動速度を示すデータ、
制御値を示すデータ、
機器性能を示すデータ、
構成要素の一部の位置または状態を示すデータ、および／または
構成要素の動作状態（オン／オフ）を示すデータ、を含む。
一実施形態では、複数の通信可能なモノは、
マイクロフォンと、
センサと、
プログラマブルロジックコントローラ（ＰＬＣ）デバイスと、のうちの１つまたは複数を含む。
一実施形態では、複数の通信可能なモノは、スチルおよび／またはビデオカメラを含む。空間データは、カメラの視野内に示された位置を示すデータを含むことができる。
一実施形態では、ユーザインタフェースは、ユーザがアセットの視覚的表現をナビゲートしてアセットの部分が表示されるときに、アセットの部分に関連する音声を自動的に再生するように構成され、音声は少なくとも１つのマイクロフォンから出る。
各モノは、構成要素に組み込まれてもよく、構成要素に接続されてもよく、または構成要素に隣接して配置されてもよい。
一実施形態では、アセットの視覚的表現を示す視覚的データは、アセットの画像を示す画像データ、アセットを示す仮想表現、および／またはアセットを示す点群データを含む。仮想表現はＣＡＤ表現であってもよい。
一実施形態では、ユーザインタフェースは、第１の座標形式とは異なる第２の座標形式を使用し、システムは、第１の座標形式と第２の座標形式との間で位置データを変換するように構成される。第１の座標形式は、ＷＧＳ８４全地球基準システムデータに準拠してもよい。
一実施形態では、データ記憶装置はクラウドサーバに配置される。
一実施形態では、システムは、アセットにＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを備え、通信可能なモノから取得された動作データは、ＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを使用してデータ記憶装置に通信される。
一実施形態では、システムは、広域ネットワークと通信可能なモノとの間に配置されたエッジサーバを備え、エッジサーバは、通信可能なモノから取得されたデータを処理し、処理されたデータを広域ネットワークを介してデータ記憶装置に通信するように構成される。
一実施形態では、システムは、遠隔地からのシステムおよび／または視覚的データおよび／または構成要素データへのアクセスを容易にするように構成された少なくとも１つのアプリケーションプログラミングインタフェース（ＡＰＩ）を備える。
一実施形態では、システムは、構成要素データを自動的に分析し、分析に応答して行動を実行するように構成された分析エンジンを備える。分析エンジンは、機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して分析を実行することができる。
一実施形態では、分析エンジンは、分析に応答してメンテナンス行動を引き起こすように構成される。
一実施形態では、分析エンジンは、少なくとも１つの構成要素の性能を分析し、構成要素の挙動が定義された正常な挙動から逸脱していると判定された場合に行動を引き起こすように構成される。
一実施形態では、分析エンジンは、現在または過去の構成要素データに基づいて、少なくとも１つの構成要素の将来の性能低下を予測するように構成される。
一実施形態では、システムは、構成要素データに直接または間接的に依存する定義された条件に応答して定義された行動を実行するための、カスタマイズされたルールの作成および実行を容易にするように構成されたルールエンジンを備える。
一実施形態では、システムは、アセットにおけるアクターの位置に応答して行動を実行するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに情報を通信するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに動作データを通信するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答して、モノに関連する動作データを更新するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに警告情報を通信するように構成される。
一実施形態では、システムは、アセットの定義された構成要素に対するアクターの近接度に基づいて行動を実行するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に基づいてアクターにタスクを割り当てるように構成される。
一実施形態では、アクターはロボットを含む。
一実施形態では、システムは、定義された基準に応答してロボットに定義された行動を実行させるように構成される。少なくとも１つの定義された行動は、機械学習（ＭＬ）または人工知能（ＡＩ）アルゴリズム、定義されたルールの結果によって、および／またはユーザからの命令に応答して引き起こされ得る。
一実施形態では、システムは、アセットの少なくとも１つの定義された部分を示す視覚的データをキャプチャするようにロボットを制御するように構成される。
一実施形態では、システムは、少なくとも１つのメンテナンス行動を実行するようにロボットを制御するように構成される。
一実施形態では、アクターは、モバイルコンピューティングデバイスを装備した人物を含み、システムは、定義された基準に応答して、人物に対して定義された行動をモバイルコンピューティングデバイスに通信するように構成される。
一実施形態では、システムは、通信可能なモノをシステムに登録するために使用可能なモノマネージャを含む。
一実施形態では、通信可能なモノは、一意の機械可読識別子を含み、システムは、通信可能なモノを識別してシステムに登録するために、機械可読識別子のキャプチャを容易にする。機械可読識別子は、ＱＲコード（登録商標）であってもよく、ポータブルコンピューティングデバイスを使用してキャプチャされてもよい。
一実施形態では、モノマネージャは、
アセットにおけるモノの位置、
モノの目的、
モノの取り付け方、
配置時のモノの画像、
モノが関連付けられる構成要素、
モノの１つまたは複数のセンサの目的、
モノの各センサに関連する構成要素の一部、および／または
モノに関連する構成情報、を示す情報の受け取りを容易にするように構成される。
一実施形態では、システムは、ユーザによって実行されるタスクおよびワークフローの作成および／または実行を容易にするように構成されたワークフローエンジンを備える。
ワークフローエンジンは、観察のシフトシーケンスの仮想開始を定義および実装するように構成することができ、オペレータは、定義された構成要素のセットの視覚的表現および構成要素データを順次検査することによりアセットの対応する実際の構成要素を仮想的に検査するように自動的に指示される。
一実施形態では、システムは、アセットの視覚的表現およびアセットから導出された構成要素データへのアクセスを容易にし、アセットの視覚的表現およびアセットから導出された構成要素データに関連する仮想動作を容易にし、ユーザ間の協調を容易にし、および／またはタスクおよびアセット担当者の管理を容易にするように構成された少なくとも１つのユーザアプリケーションを備える。
一実施形態では、少なくとも１つのユーザアプリケーションは、ウェブブラウザを介してアクセス可能である。
一実施形態では、ユーザアプリケーションは、オペレータがアセットに関連する製造プロセスの表現を見ることを有効にするために使用可能なプロセス認識アプリケーションを含む。
一実施形態では、プロセス認識アプリケーションは、製造プロセスの擬似３Ｄ表現を表示するように構成される。
一実施形態では、製造プロセスの表現は、複数のユーザがプロセスを表示、設計、修正、および／またはトラブルシューティングするために協働することができるように仮想的に共有可能である。
一実施形態では、プロセス認識アプリケーションは、製造プロセスの表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点は選択された動作データに関連付けられる。
一実施形態では、システムは、視覚的表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点は、ユーザが選択した動作データに関連付けられる。
一実施形態では、ユーザアプリケーションは、オペレータがシステムの他のオペレータと対話することを有効にするチャットアプリケーションを含む。チャットアプリケーションは、チャットをアセットまたは特定のアセット構成要素の特定の位置にリンクすることを容易にすることができる。
一実施形態では、ユーザアプリケーションはまた、音声コマンドおよび音声応答を使用してシステムと対話する能力をオペレータに提供する音声アプリケーションを含む。
一実施形態では、アセットは、資源産業アセットである。
本発明の第２の態様によれば、アセットを管理する方法が提供され、方法は、
アセットの視覚的表現を示す視覚的データをデータ記憶装置に記憶することであって、視覚的表現はアセットの構成要素の視覚的表現を含む、記憶することと、
構成要素の動作を示す動作データを含むアセットの構成要素の特性を示す構成要素データをデータ記憶装置に記憶することと、
アセットに対する構成要素の位置を示す構成要素位置データを含む空間データを、定義された座標系に従って第１の座標形式で記憶し、アセットに対してアクターが移動する際の、アセットに配置された少なくとも１つのアクターの位置を示すアクター位置データを記憶することと、
アセットに配置された複数の通信可能なモノを配置することであって、各通信可能なモノは、アセットの少なくとも１つの構成要素の動作を示す動作データを取得し、動作データをデータ記憶装置に通信するように構成される、配置することと、
記憶された視覚的データへのユーザインタフェースを使用したアクセスを容易にすることであって、ユーザインタフェースは、アセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令を受信することにより、アセットの隣接部分の視覚的表現を表示するためにユーザによって制御可能である、容易にすることと、
ユーザがアセットの視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素情報をユーザインタフェースに表示するのを容易にすることであって、構成要素情報は、構成要素に関連する通信可能なモノから導出される、容易にすることと、
アクター位置データを取得することと、
アクター位置データを第１の座標形式で記憶することと、を含む。
ここで、添付の図面を参照して、本発明を単なる例として説明する。
本発明の一実施形態によるアセット管理システムの概略ブロック図である。 図１に示すシステムのリアリティエンジンの構成要素の概略図である。 図１に示すシステムのユーザアプリケーションの概略図である。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の表現であり、デジタルプラント画面は、アセットの部分の点群表現を含む。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の表現であり、デジタルプラント画面は、アセットの部分の点群表現を含む。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の図であり、デジタルプラント画面は、アセットの部分の仮想表現を含む。 図１に示すシステムによってユーザに表示されるプロセス認識画面の図である。 図１に示すシステムによってユーザに表示されるシフト観察画面の開始の図である。 図８に示すシフト観察画面の開始に示すシフトラウンドの開始に含まれる構成要素の図である。 図１に示すシステムによってユーザに表示される仮想検査画面の図であり、仮想検査画面は、検査される構成要素の表現を含む。 図１に示すシステムによってユーザに表示される仮想検査画面の図であり、仮想検査画面は、検査される構成要素の表現を含む。
図面の図１を参照すると、資源産業における沖合プラットフォームなどのアセットを管理するためのアセット管理システム１０が示されている。
この例では、システム１０は、アセットの視覚的表現およびアセットの各動作構成要素のデジタルツインを含むアセットの仮想表現を記憶するように構成される。構成要素のデジタルツインは、構成要素に関連する動作データを含む、構成要素の特性に関連するアクセス可能なデータを含む実際の構成要素のデジタルレプリカである。例えば、ポンプ構成要素のデジタルツインは、ポンプの振動特性、ポンプの温度、ポンプの回転可能な構成要素の現在の回転速度、ポンプの画像、ポンプの音声など、ポンプの種類およびポンプに関連する動作データを示す情報を含む。
システムは、アセット構成要素に関連するデジタルツインデータを照合し、視覚的表現およびデジタルツインデータへのアクセスを容易にする。このようにして、デジタルツインデータは、アセットの実際の構成要素、重要なことには構成要素の実際の機能を表すので、人物がアセットに物理的に存在する必要なしに、遠隔地からアセット構成要素およびアセット全体の動作を適切に管理、観察、および分析することが可能である。言い換えれば、アセット管理システムのユーザインタフェースを介してサイバー世界のアセットと対話するユーザには、物理的（現実）世界のアセットとのユーザ対話と同様の方法でアセットと対話する経験および能力が提供される。
システムはまた、アセットの視覚的表現を用いてデジタルツインデータを地理的に配置するように構成され、この目的のために、システムは、アセットの構成要素の位置を示す空間データを記憶するように構成される。システムはまた、アセットに配置された可動アクターの位置を示す空間データを記憶するように構成され、その結果、アクターの位置を視覚的表現上で可視化することができ、アセットに対するアクターの位置に基づいて行動をアクターに対して実行することができる。
重要なことに、構成要素位置データおよびアクター位置データは同じ座標形式で記憶されているので、例えば、アセットに配置され、可動コンピューティングデバイスが与えられた人物などのアクターは、例えば、アセットにおける物理的（現実）世界の構成要素に対する人物の近接度に基づいて構成要素に関連する動作データを取得するために、人物の位置に基づいてサイバー世界のアセットと対話することができ、またはアセット管理システムは、アセットに対する人物の位置に基づく関連情報を人物に提供するために、モバイルコンピューティングデバイスを介して、アセットに配置された人物などのアクターと対話することができる。
空間データは、任意の適切な形式で記憶されてもよく、この例では、空間データは、全地球測位システム（ＧＰＳ）によって使用されるＷＧＳ８４全地球基準システムデータに準拠する。したがって、すべてのアセット関連およびアクター関連の位置データを含むすべての空間データは、ＷＧＳ８４形式で受信可能であるか、またはシステムによってＷＧＳ８４形式に変換され、その結果、アセットの視覚的表現内の構成要素に関連する位置データおよびアセットに物理的に配置されたアクターに関連する位置データは、同じ座標系に記憶される。しかしながら、アセット関連およびアクター関連の位置データのために任意の適切な共通座標系が使用されてもよいことが理解されるであろう。
関連する記憶された空間データを有するアセットの構成要素は、任意の関連するアセット構成要素、特に、例えば石油およびガス資源産業アセットのポンプ、バルブ、パイプなどの機能的アセット構成要素を含むことができる。
アセットの視覚的表現を作成するために、アセットのすべての関連部分の視覚的表現を取得する必要がある。この例における視覚的表現は、アセットの仮想表現、例えばアセットのＣＡＤタイプ表現、およびアセットの点群表現を含むが、視覚的表現はカメラを使用してキャプチャされたアセットの画像も含み得ることが理解されよう。
この例では、点群データは、Ｌｅｉｃａ社のＢＬＫ ３６０スキャナと、タブレットコンピューティングデバイスなどの接続されたコンピューティングデバイス上に実装された関連アプリケーションとを使用してキャプチャされるが、任意の適切なカメラが想定されることが理解されよう。
この例では、点群データは、例えば、仮想表現の複数のターゲット特徴を識別し、これらを点群データ内の対応する識別された特徴とリンクすることにより、アセットの仮想表現と地理的に位置合わせされる。
図１を参照すると、アセット管理システム１０は、アセット位置１２に配置されるアセットを管理するように構成される。明確にするために、アセット管理システム１０の構成要素のみが示されており、アセット自体の構成要素は示されていない。この例では、アセットは、パーソナルコンピュータであってもよいいくつかのコンピューティングデバイス１６を通常含む共通遠隔地１４から管理され、アセットの仮想表現をアセットの擬似３次元表現として見るためにオペレータによって使用可能な仮想現実機器１８を含んでもよい。この例では、共通遠隔地１４は制御室と呼ばれる。
この例では、制御室１４は、インターネット２０を介してアセット位置１２のアセット管理システム１０の構成要素と通信するが、任意の適切な広域ネットワークが想定されることが理解されよう。
アセット管理システム１０はまた、データ記憶設備を含み、この例ではクラウドサーバ２２に実装され、クラウドサーバ２２は、例えば、アセット部分の仮想（ＣＡＤタイプなど）表現および／または画像と、アセット部分を示す点群データ２６とを含むアセットのすべての関連部分の視覚的表現を示すアセット表現データ２４と、構成要素センサからのデータ、動作中にキャプチャされた構成要素の画像、および動作中にキャプチャされた構成要素の音声など、構成要素から導出された構成要素動作データを含む、アセットの関連構成要素の特性を示すデジタルツインデータを含む構成要素データ２８と、アセットの各関連構成要素の位置、ネットワーク対応のモノの位置、およびアセットに関連して配置された任意のアクターの位置を示す空間データ２９と、を記憶する。
構成要素データ２８は、構成要素データ２８が時間に関連する方法で分析および使用され得るように、例えば、特定の時間における構成要素の挙動がオペレータによって抽出および分析され得るようにタイムスタンプされる。同様に、空間データ２９は、空間データ２９が時間に関連する方法で分析および使用され得るように、例えば、特定の時間期間におけるアクターの動きがオペレータによって抽出および分析され得るようにタイムスタンプされる。
この例では、クラウドサーバ２２はＡｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓによってホストされているが、他の実装も可能であることが理解されよう。例えば、クラウドサーバは、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅなどの他の環境でホストされてもよい。
代替的な構成では、すべてのデータを単一のデータ記憶設備にホストする代わりに、アセット表現データ２４および構成要素データ２８は、ユーザが単一の統合された機能を体験するように、一緒に動作するように構成された複数のデータ記憶設備によってホストされてもよい。例えば、データは、第三者がそれらの機器を管理および監視することができるが、第三者が他のアセット関連データにアクセスすることができないように別個に記憶されてもよい。ＬＮＧの例では、ガスタービンなどのアセットの構成要素は、独自のクラウドベースのデータ記憶設備を使用してガスタービンベンダーによって完全に管理されてもよく、システム１０の認可されたユーザが使用することができる構成要素についてデジタルツインを作成することを有効にする。
この例では、クラウドサーバ２２はまた、クラウドサーバ２２に記憶されたデータを管理し、記憶されたデータへの協調アクセスを容易にし、例えば、アセットの構成要素および／またはアセット全体の動作を体系的に監視、観察および／または分析するために、またはアドホックユーザ要求に応答してそのような動作を実行するために、記憶されたデータに対して専用およびアドホック動作を実施するリアリティエンジン３０を含む。この例では、リアリティエンジン３０は、後述する複数のリアリティエンジンアプリケーション３２を使用して所望の機能を実施する。
この例では、クラウドサーバ２２はまた、以下でより詳細に説明する特定の管理タスクを実行するために、アセット表現データ２４、点群データ２６、および構成要素データ２８との制御された対話を容易にするために使用されるユーザアプリケーション３４を含む。
この例では、ネットワーク通信可能なモノは、センサ４０、５０、カメラ４６、マイクロフォン４７、ＰＬＣデバイス５２、および他のデータ生成構成要素５４を含む。
図１に示すように、アセット位置１２は、それぞれアセット構成要素とは別個であり、かつポンプの振動および／または温度などのアセットの構成要素の少なくとも１つの特性を感知するための専用のセンサ４０を含む。各センサ４０は、感知されることが望まれる特性に応じて、構成要素に接続されてもよく、または構成要素４０に隣接して配置されてもよい。センサ４０の各々は、感知された特性を示すデータを生成し、この例では、感知されたデータは、この例ではＬｏＲａＷＡＮプロトコルに基づく専用のローカル低電力長距離無線ネットワーク４２を使用して構成要素データ２８として記憶するためにクラウドサーバ２２に通信される。このようなネットワークがセンサ４０に使用されるが、それは、典型的には多数のセンサ４０が使用され、センサ４０のために十分に広範な８０２．１１ｘｘベースのネットワークを作成することが高価で非実用的なためである。ネットワークと通信するためにセンサ４０によって比較的低い電力が使用される必要があるため、ＬｏＲａＷＡＮ型ネットワークも使用される。温度および振動を感知し、感知されたデータをクラウドサーバ２２に通信するための例示的なセンサ４０は、国際特許出願第ＰＣＴ／ＡＵ２０１９／０５１０７８号に記載されており、その内容は参照により本明細書に組み込まれる。
この例では、アセット位置１２はまた、センサ４０とインターネット２０との間に配置されたエッジサーバ４４を含み、エッジサーバ４４は、処理およびデータ管理効率の理由から、アセットに近い位置で機能を実施するように機能する。例えば、エッジサーバ４４は、クラウドサーバ２２に送信する必要があるデータの量を低減する、センサ４０から受信したデータの初期処理を実行するように構成されてもよい。
この例では、アセット位置１２はまた、アセットの定義された部分または構成要素の画像および／またはビデオをキャプチャするためにアセット位置の定義された位置に配置された複数のカメラ４６を含む。例えば、ポンプが正しく動作しているかどうかを判定するためにオペレータによってその後使用され得るポンプの画像および／またはビデオをキャプチャするように、カメラ４６をアセットに配置することができる。
アセット位置１２はまた、音声を取り込むためにアセット位置の定義された位置に配置された複数のマイクロフォン４７を含む。例えば、マイクロフォン４７は、ポンプが正しく動作しているかどうかを判定するためにオペレータによってその後使用され得るポンプの音声をキャプチャするように配置され得る。
この例では、アセット位置１２はまた、８０２．１１ｘｘプロトコルに基づくＷｉＦｉネットワーク４８を含み、ＷｉＦｉネットワーク４８は、構成要素データ２８として記憶するためにカメラ４６およびマイクロフォン４７からクラウドサーバ２２にデータを通信するために使用される。
この例では、アセット位置１２はまた、センサ４０とは異なり、アセットの構成要素と一体である一体型プロセス構成要素センサ５０を含む。各プロセス構成要素センサ５０は、構成要素の少なくとも１つの特性を感知するためのものであり、各プロセス構成要素センサ４０は、感知された特性を示すデータを生成し、このデータは、構成要素データ２８として記憶するためにＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信される。例えば、プロセス構成要素センサ５０は、タンク内の流体のレベルを感知するために流体タンクに組み込まれたセンサ、またはバルブが開いているか閉じているかを感知するためにバルブに組み込まれたセンサを含むことができる。
アセット位置１２はまた、アセットの特定の態様の制御を管理するためにアセットに存在する１つまたは複数のプログラマブルロジックコントローラ（ＰＬＣ）デバイス５２を含んでもよい。各ＰＬＣデバイス５２は、ＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信し、構成要素データ２８として記憶するために、アセットの制御された態様を示すデータを生成することができる。
しかしながら、アセット位置１２は、アセットの動作、より詳細にはアセットの１つまたは複数の構成要素を示すデータを生成する任意の他のデータ生成構成要素５４を含んでもよいことが理解されるであろう。そのような他のデータもまた、構成要素データ２８として記憶するためにＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信される。
上述したように、クラウドサーバ２２に記憶された空間データ２９は、アセットに対する各モノの位置を示す位置データを含む。カメラ４６の場合、空間データはまた、例えば、カメラ４６の視野に示されるアセットの位置に対応する位置データを含めることにより、カメラ４６の視野を示す位置データを含むことができる。
センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４である「モノ」は、アセットの動作に関連するデータ、特に、アセットの各構成要素の動作を示すデータを生成し、組み合わされたデータは、各構成要素のデジタルツインを生成することを有効にすることが理解されよう。構成要素に関連するデジタルツイン情報を使用して、オペレータは、構成要素の状態、構成要素の性能、および現在または潜在的な将来の問題が存在するかどうかをオペレータが判定するのに十分な構成要素の状況認識を得ることができる。さらに、クラウドサーバ２２に記憶されたキャプチャされた構成要素データ２８はタイムスタンプされているので、オペレータは、過去の構成要素データを閲覧および分析すること、定義された期間にわたる構成要素性能の傾向を閲覧することなどが可能である。
この例では、アセット位置１２はまた、例えば事前定義されたスケジュールまたはオペレータによって引き起こされたアドホック行動、システム内で発生するイベントまたはトリガに応答した行動、またはアセットに配置されたアクターに応答した行動に基づいて、リアリティエンジン３０からの命令に応答して定義された行動を実行するように構成された少なくとも１つのロボット５６を含む。例えば、ロボット５６は、アセットを通る定義されたルートに沿って周期的に移動し、点群データ２６およびアセット表現データ２４（アセットの画像がキャプチャされる場合）が実質的に最新であるように、アセットのクラウドデータまたは画像データをキャプチャすることを課せられてもよい。さらなる例では、ロボット５６は、例えば構成要素データ２８、特に構成要素データ２８内の構成要素のデジタルツイン情報の分析に応答して、アセット構成要素のメンテナンス行動を実行することを課されてもよい。
図１に示すように、ＷｉＦｉネットワーク４８はまた、エッジサーバ４４と通信しており、したがって、エッジサーバ４４はまた、例えば、クラウドサーバ２２に送信するのに必要なデータ量を低減し、および／またはクラウドサーバ２２における処理負荷を低減するために、センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４から受信したデータに対して初期処理を実行するために使用されてもよい。例えば、エッジサーバ４４は、カメラ４６および／またはマイクロフォン４７に関連するデータを周期的な間隔で、および／または、故障している構成要素を示す可能性がある異常音などの重要なイベントが検出された場合にのみ送信するように構成されてもよい。
この例では、システム１０はまた、人物がアセット位置１２に存在するときに、人物などのアクターがシステム１０と対話することができるように構成される。例えば、人物は、タブレットコンピュータ５８またはスマートフォン６０などのポータブルコンピューティングデバイスを使用してシステム１０と対話することができる。そのようなデバイスを使用して、人物は、例えば、Ｌｅｉｃａ社のＢＬＫ３６０スキャナなどの適切なカメラを使用してアセット画像データおよび／または点群データのキャプチャを制御することができる。さらに、人物は、アセット表現データ２４、点群データ２６、および／または構成要素データ２８にアクセスすることができ、制御室１４で提供されるのと同様の機能を提供されることができる。さらに、ポータブルコンピューティングデバイス５８、６０は、人物がアセットを移動する際に関連情報を人物に通信するために使用されてもよい。例えば、アセットに対するポータブルコンピューティングデバイス５８、６０の識別された位置に基づいて、ユーザが潜在的に安全でない場所に入った場合に警告メッセージをユーザに通信することができる。
図２を参照すると、例示的なリアリティエンジンアプリケーション３２が示されている。この例では、リアリティエンジンアプリケーション３２は、ユーザがウェブブラウザを介してクラウドサーバ２２によって提供される機能にアクセスすることを有効にするインターネットアクセス可能ユーザインタフェースを提供するように構成されたウェブサーバ６２を含む。しかしながら、アセット表現データ２４、点群データ２６、構成要素データ２８、およびリアリティエンジンアプリケーション３２へのアクセスを容易にするための任意の適切な構成が想定されることが理解されよう。
リアリティエンジンアプリケーション３２はまた、リモートコンピューティングデバイス上で実行されるソフトウェアが、記憶されたアセット表現データ２４、点群データ２６および構成要素データ２８、および／またはリアリティエンジンアプリケーション３２の機能に直接アクセスすることを有効にする適切なＡＰＩ６４を含む。
リアリティエンジンアプリケーション３２はまた、アセット表現のインポート、クラウドサーバ２２でのアセット表現データ２４および点群データ２６としてのアセット表現の記憶を管理し、アセット表現データ２４および点群データ２６との対話を管理するために使用可能なアセット表現マネージャ６６を含む。アセット表現は、適切なカメラによってキャプチャされた画像、ＣＡＤタイプ表現を含む仮想表現、および点群を含む任意の適切な形態であってもよく、アセット表現マネージャ６６は、アセット表現のインポート、アセット全体の仮想表現への表現のスティッチング、および表現を見る人物によるナビゲーションの容易さを促進する適切な構造へのアセット表現の記憶を容易にするように構成されてもよい。
この例では、アセットの仮想表現はＣＡＤタイプ形式であり、ＣＡＤ表現は、仮想表現によって表されるすべての仮想構成要素に対して選択された定義された原点を有するネイティブデカルト座標系を使用する。使用中、ＣＡＤ座標は、記憶されたＷＧＳ８４形式から動的に変換することによって空間データ２９から導出される。
仮想表現の初期化中に、ネイティブＣＡＤ形式の構成要素およびモノの位置は、空間データ２９として記憶するためにシステムによってＷＧＳ８４形式に変換される。
一例では、アセット表現マネージャ６６はまた、アセット位置１２においてロボット５６とインタフェースし、そしてロボット５６を使用して所定の周期的間隔で点群および／または画像データを体系的にキャプチャし、記憶されたアセット表現データ２４および点群データ２６が実質的に最新に維持されるようにすることができる。ロボット５６によってキャプチャされた点群および／または画像データは、アセット位置１２においてＷｉＦｉネットワーク４８およびインターネット２０を介してクラウドサーバ２２に通信することができる。
アセット表現マネージャ６６はまた、アセットの所望の表現を表示するために必要に応じて、ユーザ、他のシステム、または外部アプリケーションから受信した命令に従って、記憶されたアセット表現データ２４および点群データ２６からのデータの抽出を制御および管理するために使用される。この例では、アセット表現マネージャ６６はまた、表示された表現上にアクターの位置を表示する。アセット表現を生成するために、アセット構成要素、モノ、およびアクターの位置は、記憶された空間データ２９から供給され、共通のＷＧＳ８４形式からアセット表現マネージャ６６で使用されるデカルト座標形式に変換される。
リアリティエンジンアプリケーション３２はまた、センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４からのデジタルツインデータを含む構成要素データ２８、およびデジタルツインデータおよびアクターに関連するタイミングデータのインポートを管理するために使用可能な構成要素データマネージャ６８を含む。
構成要素データマネージャ６８はまた、データ分析タスク、構成要素故障分析タスクなどの所望のタスクを実行するために必要に応じて、ユーザ、他のシステムまたは外部アプリケーションから受信した命令に従って、記憶された構成要素データ２８からのデータの抽出を制御および管理するために使用される。
リアリティエンジンアプリケーション３２はまた、例えば機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して構成要素データ２８を自動的に分析するように構成された分析エンジン７０を含む。例えば、定義されたＭＬまたはＡＩアルゴリズムに従って、分析エンジン７０は、アセットの構成要素の挙動の正常範囲を自動的に学習し、構成要素の挙動が正常から逸脱していると判定されたときに適切な行動をとり、デジタルツインデータの予測分析を実行し、および／またはすべての同様の構成要素の集合的な知識、例えばメンテナンス履歴に基づいて特定の種類の構成要素の性能および信頼性を分析するように構成され得る。そのような行動は、自動化されたタスクまたはワークフローの作成、オペレータへの通知の発行、および／またはメンテナンス行動の誘発を含むことができる。特定の例では、分析エンジン７０は、キャプチャされた音声を自動的に分析し、ポンプのキャプチャされた音声と、故障した異なるポンプの以前にキャプチャされた音声との比較に基づいて、特定のポンプが故障しているか、またはもうすぐ故障する可能性があると判定することができる。故障しているポンプに関する自動判定に応答して、分析エンジン７０は、メンテナンス行動を引き起こすように構成されてもよい。
リアリティエンジンアプリケーション３２はまた、アセットの構成要素の位置を示す構成要素位置データの受信および記憶を含む空間データ２９、およびアクターがアセットに対して移動するときにアセットに配置されたアクターの位置を示すアクター位置データの受信および記憶を管理するように構成された空間エンジン７２を含む。空間エンジン７２はまた、例えば、１つまたは複数の構成要素の位置または構成要素タイプを識別し、エンジニアリング図面またはモデルに基づいてアセット表現内の構成要素を位置特定し、既知の構成要素位置に基づいてアイテムの位置を推測し、および／またはカメラ視野内のアイテムの存在に応答してアイテムを位置特定するように、位置に基づいて構成要素データ２８の分析を容易にするように構成される。特定の例では、空間エンジン７２は、インシデントの視野を有するカメラまたはインシデントに関連する音声を有し得るマイクロフォンなどのアセット構成要素を有する、識別されたインシデントの近傍にあるすべての関連データソースを識別および位置特定するために使用され得る。
空間エンジン７２によって管理される空間データ２９は、例えば、アクターが特定の場所の近くにあると判定されたときに、そのアクターによって特定の場所で行動を実行するようにシステムによって使用されて、アセットのアクターによる行動を誘発することができる。これは、所望の位置に最も近いと判定された適切なアクターにタスクを送信することによって、または特定の位置にリンクされたタスクを保存し、アクターが保存されたタスクの位置に十分に近い位置に移動したときに適切なアクターにタスクを伝達することによって実施することができる。特定の例では、タスクは、構成要素の熱画像と、ロボットが構成要素に近いと判定されたときにタスクを課される熱撮像能力を有する適切なロボットとを取得することであり得る。
記憶のために空間エンジン７２に提供されるアクター位置データは、ＷＧＳ８４形式で、アクターから直接、例えば、人物に関連するスマートフォンもしくはタブレットコンピュータなどのアクターに関連するモバイルコンピューティングデバイスから、またはロボットに関連する測位デバイスから直接取得することができる。
しかしながら、アクター位置データは、任意の適切な方法で取得することができることが理解されよう。例えば、アクターの位置は、アセットに配置されたＢｌｕｅｔｏｏｔｈビーコンなどの視覚的位置マーカまたはビーコンを使用して、または同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して決定され得る。
本例で使用される共通の空間データ形式はＷＧＳ８４形式であるため、空間エンジン７２によって受信されたアクター位置データがＷＧＳ８４形式でない場合、アクター位置データは、クラウドサーバ２２に記憶するために空間エンジン７２によってＷＧＳ８４形式に変換されることが理解されよう。
リアリティエンジンアプリケーション３２はまた、例えば制御室１４に位置するオペレータによって実行されるタスクおよびワークフロー、またはロボット５６によって実行されるタスク／ワークフローを管理するように構成されたワークフローエンジン７４を含む。例えば、ワークフローエンジン７４を使用して、制御室のオペレータによって実行される観察のシフトシーケンスの仮想開始を定義することができ、オペレータは、定義された構成要素のセットのデジタルツインを順次検査し、それによりアセット位置１２における対応する実際の構成要素を仮想的に検査するように自動的に指示される。ワークフローエンジン７４はまた、ＭＬおよび／またはＡＩモデルの学習を改善するために、ユーザに対して行われた自動推奨に対するユーザ応答を監視するように構成されてもよい。
リアリティエンジンアプリケーション３２はまた、例えば、ワークフローエンジンを使用して、アセットの構成要素または態様に関する標準的な動作手順の作成、インポート、管理および実行を容易にするように構成されてもよい。標準的な動作手順は、デジタルツインデータに関連付けられ、デジタルツインデータに空間的にリンクされ、その結果、例えば、標準的な動作手順に関連する情報は、アセットにおけるアクターの位置に基づいてアクターに自動的に提供される。例えば、タンクは、タンクを保持モードから装填モードに変更するために従うべきプロセスに関する標準的な動作手順を有することができ、これを行うために必要な手順は、アクターが手順を運ぶことを任されており、アクターがタンクの隣に位置しているときに、モバイルコンピューティングデバイス５８、６０上でアクターに情報を表示することによってアクターに伝達される。複数のユーザおよび／またはアクターは、例えば、制御室１４のオペレータとアセットのオペレータが一緒に作業してプロセスを実行することができるように、標準的な動作手順の実施に関与することができる。
リアリティエンジンアプリケーション３２はまた、例えば決定されたイベント、デジタルツインデータの分析、分析エンジン７０からの出力、またはユーザ行動に基づいて、定義された行動を実行するためのルールの作成をユーザに有効にするように構成されたルールエンジン７６を含む。ルールは、プログラマブルロジック、決定木、機械学習モデルまたは人工知能として構成されてもよく、ルールの結果に基づいて条件付き処理が行われることを有効にするために、決定点としてワークフローに組み込まれてもよい。
リアリティエンジンアプリケーション３２はまた、例えばアクターに関連するコンピューティングデバイスを介して、またはロボット５６などの自律装置と直接に、アクターとの通信を管理するように構成されたミッションエンジン７８を含み、該通信は、ミッション、計画および制御命令を自律装置に転送し、応答および性能をリアルタイムで追跡することを含む。ミッションエンジン７８はまた、例えば、アクター行動に応答して適切な行動を実行することができるように、他のリアリティエンジンアプリケーション３２とインタフェースする。
ユーザアプリケーション３４は、ユーザによってアクセス可能であり、リアリティエンジンアプリケーション３２を使用して機能を実施することができる。
組織のユーザは、ラップトップもしくはパーソナルコンピュータ１６、スマートフォン６０、タブレットコンピュータ５８、または、例えばヘッドセットを含むＶＲ機器１８を含む、仮想現実コンテンツ配信デバイスを含む任意の適切なコンピューティングデバイスを使用して、アセット表現データ２４、点群データ２６、構成要素データ２８および／または空間データ２９に関連するデジタルツイン情報にアクセスすることができる。
この例では、各コンピューティングデバイスは、適切なウェブブラウザを使用してインターネット２０を介してアセット表現データ２４、点群データ２６、構成要素データ２８および／または空間データ２９にアクセスする。
使用中、ユーザがクラウドサーバ２２に記憶されたアセット表現データ２４、点群データ２６および／または構成要素データ２８にアクセスしたい場合、ユーザは、関連するコンピューティングデバイス５４、５６、５８上のウェブブラウザに、クラウドサーバ２２に関連するウェブサイトアドレスを指示する。アクセス要求は、要求ユーザが適切なログイン資格情報を有するかどうか判定するためにシステム１０によって分析され、有している場合、ユーザコンピューティングデバイスとクラウドサーバ２２との間に接続が確立される。
許可されたユーザがクラウドサーバ２２へのアクセスを許可されたときにウェブブラウザ内で許可されたユーザに表示される画面は、システム１０と対話するために、特に構成要素データ２８に関連する視覚的表現およびデジタルツイン情報にアクセスするために使用される。
図３を参照すると、ウェブサーバ６２を介してアクセス可能な例示的なユーザアプリケーション３４が示されている。
この例では、ユーザアプリケーション３４は、本例ではセンサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４において、システム１０に「モノ」を追加し、続いて「モノ」を管理するために使用可能なモノ管理アプリケーション８０を含む。「モノ」が追加された後、モノに関連するデータは、「モノ」が関連付けられている構成要素のデジタルツインデータとしてクラウドサーバ２２に記憶される。モノ管理アプリケーション８０は、新しいセンサなどの新しい「モノ」の追加を容易にし、これは、タブレットコンピュータ５８またはスマートフォン６０などのポータブルコンピューティングデバイスを使用して、例えばポータブルコンピューティングデバイス上のアプリケーションを使用して、達成することができる。
一例では、追加される各センサ４０は、ＱＲコード（登録商標）などのセンサを識別する機械可読コードを含み、タブレットコンピュータアプリケーションを使用してコードをスキャンし、それによりセンサ４０をシステム１０に関連付ける。モノ管理アプリケーション８０はまた、例えば、アセットの視覚的表現上でセンサの位置を指定することによってセンサ４０の位置を指定し、それにより、アセット表現マネージャ６６によって使用されるデカルト形式でセンサの座標を提供すること、例えば、システムによって認識される所定の機能コードを入力することによって、センサが振動および温度を感知するように構成されるように、センサ４０の目的を指定すること、センサの取り付け方法を指定すること、配置されたときにセンサの画像をキャプチャすること、センサ４０が関連付けられている構成要素を指定することのために使用される。モノ管理アプリケーション８０はまた、例えば、センサ４０からクラウドサーバ２２にデータが送信される頻度、および使用されるタイプまたはデータ形式など、センサ４０を構成するために使用される。変形例では、追加されたモノの位置を指定する代わりに、機械可読コードはまた、コードに関連するモノのための意図された位置を指定する記憶された情報に関連付けられてもよく、それにより、適切な機械を使用してコードを読み取ることは、そのモノの識別情報および位置情報の両方を提供する。
モノマネージャアプリケーション８０はまた、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２および／または他のデータ生成構成要素５４を含む、他の「モノ」を追加および管理するために使用される。各「モノ」は、典型的には、構成パラメータの異なるセットを含むことが理解されよう。例えば、カメラ「モノ」の構成は、カメラの視野の構成と、カメラの視野内で見える位置の指定とを含み得る。
ユーザアプリケーション３４はまた、アセットおよびデジタルツイン情報の視覚的表現へのアクセスを容易にするアプリケーション、デジタルツイン情報に関する構造化された仮想動作を容易にするアプリケーション、アセットおよびデジタルツイン情報のコンテキストにおけるオペレータ間の協調を容易にするアプリケーション、ならびにタスクおよびアセット人員を管理するために使用可能なアプリケーションを含む。
この例では、ユーザアプリケーション３４は、オペレータがアセットの選択された部分の表現、この例ではアセットの仮想（ＣＡＤタイプなど）表現、アセットの画像表現、またはアセットの点群表現を見ることを有効にするために使用可能なアセット視覚化アプリケーション８２を含む。
アセット表現ビューは、ユーザがナビゲートして対話できる実際のアセットの没入的で現実的な表現をユーザに提供する。アセットの部分の例示的な表現１０２、この例ではアセットの点群表現を含む例示的なデジタルプラント画面１００が図４に示されている。表現１０２は、ポンプ１０４などのアセット構成要素と、例えば構成要素タイプなどの基本構成要素情報と、ポンプ構成要素の温度および振動情報などの重要な感知情報とを含む各構成要素の情報タブ１０６とを含むが、任意の適切な情報が想定されることが理解されよう。表現１０２はまた、アセットに物理的に存在するアクターに関連する表現を含むことができる。表示されたプラント画面１００を使用して、オペレータは、例えば、典型的には制御室１４にあるクラウドサーバ２２とネットワーク通信して配置されたコンピューティングデバイス１６、５６、６０の適切な制御装置を使用して、アセット表現１０２をナビゲートすることができる。オペレータはまた、仮想現実機器１８を使用してアセット表現１０２を見てナビゲートすることができる。
例示的な実装形態では、状況認識体験を向上させるために、アセット視覚化アプリケーション８２は、視覚的表現に加えて、マイクロフォン４７から出る音声もユーザに提供する。
この例では、表現１０２はまた、アセットの部分の対応する表現および／または対応する構成要素情報および／または定義された過去の時刻におけるアクターの位置を見るために使用され得るタイムライン１０８を含む。
この例では関連する構成要素情報タブ１０６を選択することによる構成要素１０４の選択により、図５に示すように詳細情報ウィンドウ１１０が表示される。詳細情報ウィンドウ１１０は、追加の構成要素関連情報、この例では構成要素のビデオへのリンク、構成要素の静止画像、構成要素の音声、ポンプ内のオイルのレベルを示す情報、構成要素結合部の温度、構成要素モータの温度、結合部振動情報、モータ振動情報、構成要素のオン／オフ状態、構成要素の電流の流れ、ポンプを通る流体流量、および水圧を含むが、任意の適切な構成要素関連情報が想定される。この例では、詳細情報ウィンドウ１１０内の各情報は、その情報がどの程度最新であるかを示す時間情報を含む。例えば、本出願では、音声は４時間前に受信され、モータ振動情報は２分前に受信された。
代替として、ユーザの選択に応答して特定の情報を表示する代わりに、システムは、ユーザが表現１０２を移動するときに詳細な情報を自動的に提供することができる。変形例では、システムは、所望の情報がユーザによって指定され得るように、例えば、ユーザが表現１０２をナビゲートするときに所望の情報がユーザに表示されるように構成され得る。ユーザに提供されるそのような情報はまた、ユーザが実行している特定のタスクに依存するなど、他の基準に依存してもよい。
情報タブ１０６または詳細情報ウィンドウ１１０はまた、メンテナンス情報、および／または関連する構成要素の計画された検査を含むことができる。
アセット仮想化アプリケーション８２を使用して、オペレータは、アセットの仮想表現をナビゲートし、オペレータがアセットを仮想的に移動するときに構成要素関連の動作データを見て、構成要素に関連する詳細情報を選択的に見ることができることが理解されよう。
オペレータが表現１０２を見るときに構成要素に関連して提供されるかなりの量の情報は、システム１０に追加され、有用な動作情報を提供するように構成された「モノ」から供給されることが理解されよう。構成要素の組み合わされた動作情報は、構成要素のデジタルツインを構成し、デジタルツイン情報は、オペレータがアセットに物理的に存在する必要なしに遠隔地から構成要素の動作状態および機能性の良好な理解を得ることができるという意味で、オペレータが構成要素に関する状況認識を得ることができるようなものである。
デジタルプラント画面１００はまた、ユーザが、フレアが存在することを示すためのフレアの視覚化、またはカスタムテキストボックスなどのカスタム情報または視覚化を表現１０２に追加することを有効にすることができる。
図４および図５に示すように、この例では、デジタルプラント画面１００は、デジタルプラント画面１００の機能を制御するために使用可能な選択可能なボタン１１４を含むメニューバー１１２を含む。
アセットの部分の仮想（ＣＡＤタイプ）表現１２０を表示するデジタルプラント画面１００のさらなる例を図６に示す。図６に示すように、表示された情報タブ１０６は、カメラの「モノ」に関連する情報タブ１２２を含み、したがって、カメラ情報タブ１０６は静止画像または動画像を含む。
この例では、ユーザは、図４～図６に示すように擬似３Ｄでアセット表現を見ることができ、あるいは例えば仮想現実機器１８を使用して仮想現実（ＶＲ）または拡張現実（ＡＲ）形式でアセット表現を見ることができる。
この例では、システムはまた、シミュレーションデータを記憶するように、および／または、例えば、アセットの構成要素の動作データ、想定を示すデータ、およびシミュレーションを生成するために必要な任意の他のデータを含む、アセットの動作のシミュレーションを生成するために使用可能なデータを記憶するように構成される。シミュレーションは、アセットのデジタル動作モデルを構成し、既存のアセット構成、変更されたアセット構成、または提案されたアセット構成に対応することができる。シミュレーションは、例えば、アセット性能を予測し、プロセスのボトルネックならびに入力および出力材料またはリソースの影響を識別するために使用することができる。
ユーザアプリケーション３４はまた、オペレータがプロセスを通る製品の流れの表現およびアセットのバッファポイントなどの製造プロセスまたは製造プロセスの部分の表現を見ることを有効にするために使用可能なプロセス認識アプリケーション８３を含む。プロセス表現は、オペレータがプロセスに寄与する構成要素に関連する関連動作データを見ることができるように、デジタルツイン情報にリンクされる。この例のプロセス認識アプリケーション８３は、アセット性能の記憶されたまたは作成されたシミュレーションを使用する。
アセットの部分の例示的なプロセス表現１１８を含む例示的なプロセス認識画面１１６が図７に示されている。
プロセス認識画面１１６は、例えばタイムライン（図示せず）を操作することによって、現在または過去の製造プロセスを見るために使用可能である。
プロセス認識アプリケーション８３はまた、定義された期間にわたるプロセスの表現が例えばユーザ定義の速度で再生される、プロセスのタイムラプスビューを見るために使用することができる。例えば、問題が診断プロセスの一部として識別された場合、ユーザは、問題の発生に関連する関連時間期間を選択し、関連するプロセス表現および関連するデータを再生して何が起こったかを示すことができる。プロセス認識アプリケーション８３はまた、診断プロセス中に、追加の時間同期データ点をプロセス表現１１８に追加するオプションをユーザに提供することができる。そのような「データ点」は、センサまたはビデオカメラなどのデータ生成構成要素４０、４６、４７、５０、５２、５４から導出された任意のデータに関連付けることができる。一例では、ユーザは、プロセス表現１１８がユーザレビューのための制御システム設定に関連するデータを含むように、制御システム内の設定（バルブ位置など）に関連するデータ点を追加することができる。さらなる例では、ユーザは、特定のカメラに関連するデータ点をプロセス表現１１８に追加することができ、その結果、ユーザは、プロセス表現１１８と対話することによってカメラから導出されたビデオを選択的に見ることができる。
システムは、システムによって生成された任意の視覚的表現へのユーザ選択データ点の追加を容易にすることができることが理解されよう。
プロセス表現１１８は、２Ｄ表現、擬似３Ｄ表現および／または、例えば仮想現実機器１８を使用して仮想現実（ＶＲ）または拡張現実（ＡＲ）技術を使用して見ることができる表現であってもよい。
例えば、ユーザが３Ｄプロセスモデルを使用して、選択されたプロセスアーキテクチャおよび動作を見ることができるように、アセットに関連するプロセスの擬似３Ｄ表現を作成することができる。プロセス表現は、複数のユーザが協働してプロセスを表示、設計、修正、および／またはトラブルシューティングすることができるように、他のユーザと仮想的に共有することができる。
ユーザアプリケーション３４はまた、レビューおよび／または分析目的のために所望の情報を抽出するために、オペレータがデジタルツイン情報にアクセスするために使用可能な分析アプリケーション８４を含む。例えば、オペレータは、分析アプリケーション８４を使用して、５ｍ／ｓを超える感知された振動を有する特定の製造業者によって製造されたポンプのデータセットなど、特定の種類の構成要素に関する特定の情報を抽出することができる。さらなる例では、オペレータは、分析アプリケーション８４を使用して、定期的に検査されていない機器と比較して定期的に検査されている機器の信頼性を追跡するためのダッシュボードを構築することができ、または分析アプリケーション８４を使用して、異なる風および外部温度シナリオの間に定義された構成要素にわたって変化する温度のヒートマップを示すレポートを構築することができる。
ユーザアプリケーション３４はまた、製造目標、製造計画、製造実績、メンテナンス活動、許可、チーム割り当て、特別な割り当て、アセットのリアルタイムの健全性および状態などの概要を提供する情報など、チームに関連する情報を見るためにオペレータによって使用可能なチームワークアプリケーション８５を含む。
ユーザアプリケーション３４はまた、オペレータがアセットの状況および動作状態、特に仮想化誘導経路に含まれるアセットの定義された構成要素の状況および動作状態を観察することを有効にする、アセットを通る仮想化誘導行動経路を作成および実装する能力をオペレータに提供する連続観察アプリケーション８６を含む。連続観察アプリケーション８６は、通常、定義された経路内の定義された構成要素の最新のデータ、イベント、音声、画像、およびビデオをオペレータに順次提示するシフト観察開始（ＳｏＳＯ）のシーケンスを定義するために使用される。
オペレータが連続観察アプリケーション８６を使用してシフトシーケンスの開始を実行するときにオペレータに表示されるシフト観察開始（ＳｏＳＯ）画面１３０の例が図８に示されている。ＳｏＳＯ画面１３０は、定義された一連の動作に関連するアセットの部分の仮想表現１３２と、仮想観察経路および定義された観察の位置１３６を視覚的に示すＳｏＳＯ経路１３４とを含む。ＳｏＳＯ画面１３０はまた、経路メニュー１３８と、各観察位置１３６について（仮想的に）実行するために必要な行動に関する情報を含むＳｏＳＯ詳細ボックス１４０とを含む。
使用中、シフトの開始時に、オペレータは、ＳｏＳＯ画面１３０上の仮想化誘導経路を起動し、経路上に定義された観察位置１３６を通って自動的に誘導される。図９に示すように、各観察位置１３６では、観察位置１３６に関連するアセットの部分１５２がＳｏＳＯ画面１３０に表示され、各観察位置１３６では、オペレータは、構成要素のデジタルツインから導出された関連構成要素に関連する情報を含む詳細情報ウィンドウ１５４を選択的に表示することができる。
ユーザアプリケーション３４はまた、オペレータが特定のプラント構成要素の観察などのスケジュールされたプラント観察を実行することを有効にするために使用可能な仮想検査アプリケーション８７を含む。仮想検査アプリケーション８７を使用して、オペレータは、構成要素を仮想的に検査し、例えば、調整メンテナンスが必要な場合はメンテナンス活動を自動的に作成することができる。
例示的なスケジュールされた観察画面１７０が図１０に示されている。スケジュールされた観察画面１７０は、スケジュールされた観察に関連するアセットの部分の表現１７２を含み、この例では、スケジュールされた観察に関連する構成要素１７４の表現を含む。構成要素情報タブ１０６を選択すると、図１１に示すように、詳細情報ウィンドウ１７６が表示される。スケジュールされた観察に関連するタスク要件の概要は、タスク概要ウィンドウ１７８に示される。
ユーザアプリケーション３４はまた、オペレータがアセット設計を評価および監視することを有効にし、そしてこの例では、リアルタイムおよび過去のデータの診断動作および分析を容易にすることによって、アセットの計画されたおよび実際の性能を評価および監視する、エンジニアリング認識アプリケーション８８を含む。オペレータは、エンジニアリング認識アプリケーション８８を使用して、特定の関心領域の集中分析を提供するために、例えばデジタルツイン情報から導出されたエンジニアリングデータ、プロセスデータ、イベントデータ、および状況データに基づいてカスタムアセット表現を作成することができる。エンジニアリング認識アプリケーション８８はまた、システム１０の他のユーザとの共有および協調を容易にする。
特定の例では、識別された振動問題を診断するために、オペレータは、エンジニアリング認識アプリケーション８８を使用して、例えばデータ点を視覚化に追加することによって、オペレータがアセットからの関連データフィードを視覚化することを有効にするビューを構築する。オペレータは、過剰な振動を有する動作シナリオを決定するために、振動読み取り値に関する閾値および警告を設定する。オペレータは、エンジニアリング認識アプリケーション８８を使用して、各シナリオを再生し、製造プロセスおよびデータ読み取り値を視覚化して原因を判定することができる。診断プロセスは、他のオペレータと共有することもできる。
ユーザアプリケーション３４はまた、システム１０の他のオペレータと対話する能力をオペレータに提供するチャットアプリケーション８９を含む。チャットアプリケーション８９は、アセットの特定の場所または特定のアセット構成要素など、アセットの任意の態様にリンクできる直接およびグループチャットを容易にする。チャットは、他のオペレータにとって有用な情報として役立つように保持可能である。チャットアプリケーション８９はまた、オンラインまたはオフラインであり得る他のオペレータがチャットに招待されることを有効にする。
特定の例では、オペレータは、アセットの領域内の問題を識別し、これに応答して、オペレータは、チャットアプリケーション８９を使用して、プラントのその領域の専門技術者オペレータに、問題について作成されたチャットに参加するよう招待する。その後、招待された技術者は、チャットに参加し、オペレータおよび技術者は、いかなる行動も不要であると決定する。チャットに関連する会話は、システムの他のユーザが異常だが認識された行動を認識できるように保持される。
ユーザアプリケーション３４はまた、音声コマンドおよび音声応答を使用してシステムと対話する能力をオペレータに提供する音声アプリケーション９０を含む。
特定の例では、オペレータは、アセットに物理的に存在し、システム１０と対話するためのモバイルコンピューティングデバイスを有していない。オペレータは、音声アプリケーション９０と通信するデジタル無線機を使用してシステム１０と口頭で通信し、プラントのある領域の現在の動作モードに関する情報を要求する。これに応答して、音声アプリケーション９０は、プラント領域が起動中であることをアドバイスする。オペレータはまた、オペレータが異音を発していることに気付く、特定のポンプの状態に関する情報を求める。音声アプリケーション９０は、口頭命令を解釈し、デジタルツイン情報から必要な情報を抽出する。ポンプの振動レベルが正常動作閾値を超えている場合、オペレータは、ポンプのメンテナンス通知を上げるためのワークフローを開始するために口頭で指示を出すことができる。
ユーザアプリケーション３４はまた、プラントの設計、プロセス、および動作を仮想的にレビューする能力を複数のオペレータに提供する仮想レビューアプリケーション９１を含む。オペレータは、共有仮想環境で通信して、アセットの仮想表現を観察し、それと対話する。仮想レビューアプリケーション９２は、オペレータが仮想表現を動き回り、互いに通信し、モデルの部分に注釈を付けることを有効にする。オペレータはまた、アセットの仮想表現またはアセットのプロセスフロープロセス表現のコンテキストでレビュー目的のために設計、構築および運用文書にアクセスすることができる。オペレータはまた、プロセスの動作シミュレーションを実行することができる。
特定の例では、エンジニアリング設計チームは、プラントの設計を検討し、例えば詳細な仮想プロセス表現、および運用データをレビューすることによって、運用プロセスにおける製造のボトルネックを解決するために共同で作業する。
ユーザアプリケーション３４はまた、システム１０のユーザの経験を通じて開発された協調知識ベースへのアクセスを維持および容易にするために使用可能な知識アプリケーション９２を含む。知識アプリケーション９２は、例えばオペレータが構成要素を見ているときに特定の構成要素に関連する情報が見えるようにするために、アセットの特定の領域または構成要素に関連する関連情報が領域または構成要素にリンクされるように構成されてもよい。
特定の例では、オペレータは、知識アプリケーション９２を使用してＷＩＫＩレコードを書き込み、そのレコードをアセット内の特定の機器または領域にリンクする。オペレータはまた、それを音響ノイズレベルと関連付けて、異常なノイズが目立つようになったときに取るべき一連の行動を他のユーザに警告する。このような異音に応答した一連の行動は、典型的にはメンテナンス行動をもたらすので、メンテナンス通知ワークフローを自動的に作成するためのリンクをＷＩＫＩレコードのテキストに埋め込むことができる。
ユーザアプリケーション３４はまた、オペレータが現実世界のアセット環境に配置された自律機器（ロボット５６など）を計画、実行、監視、および制御することを有効にするために使用可能なミッション計画アプリケーション９４を含む。例えば、オペレータは、ミッションエンジン７８によって実施されるアセットの定期的な自動検査を実行するようにロボットをスケジュールすることができる。スケジュールによれば、ロボット５６が起動され、その計画経路を完全に自律的にナビゲートする。点群、ビデオ、画像、および／または他のセンサデータは、ロボット５６によってキャプチャされ、リアルタイムで処理されて検査結果を提供することができる。
ユーザアプリケーション３４はまた、オペレータが割り当てられたタスクを管理すること、またはイベントもしくは新しいもしくは変化するアクティビティを通知されることを有効にするタスク／通知アプリケーション９６を含む。オペレータは、タスク／通知アプリケーション９６を使用して、オペレータ、彼らのチーム、または他のオペレータもしくはアクターに必要な新しいタスクまたはワークフローを開始することができる。タスク／通知アプリケーション９６はまた、タスクおよびワークフローのパフォーマンスを監視するために使用可能であり、オペレータのタスクが閾値を超えているときにオペレータへの通知を自動的にトリガする。
ユーザアプリケーション３４はまた、スイング、シフト、および業務ロスタを設定および管理するために使用可能な従業員管理アプリケーション９８を含む。従業員管理アプリケーション９８は、監督者が、従業員／チームメンバーを製造活動に割り当てること、および特別な活動をチームメンバーに割り当てることを有効にする。従業員管理アプリケーション９８は、アセットにわたる様々な活動に割り当てられたチームメンバーの視覚的表現を提供することができ、従業員およびチームメンバーの割り当てを使用して、役割ベースのタスクおよび通知を提供することができる。シフトまたは特別な活動割り当てが行われる前に、正しい資格および役割要件が評価されることを確実にするために、従業員の能力および訓練をインポートすることもできる。
ユーザ間の協調を容易にするために、システム１０は、複数のユーザが、アセット表現データ２４、構成要素データ２８、リアリティエンジンアプリケーション３２、および協調目的２２のためのユーザアプリケーション３４を含むシステム１０に同時にアクセスできるように構成され得る。例えば、複数のユーザは、仮想現実機器１８を使用してＶＲまたはＡＲ環境内のアセット構成要素の視覚的表現にアクセスすることができ、その結果、設計、製造、または診断の目的で同じデジタル環境を体験し、互いに協働することができる。
上記の例は単一の施設に関連して説明されているが、本システムおよび方法は、例えば、各施設に関連する特定の情報が施設によって許可されたユーザのみに利用可能であるが、例えば、機器製造業者が機器の性能を評価することができるように、いくつかの情報がより広く利用可能であるように、複数の施設に適用されてもよいことが理解されよう。
本システムおよび方法は、アセットの異なる態様、機能領域、および／またはライフサイクル段階に関連するデータがリアリティエンジン３０を使用して統合されることを有効にし、データはコンテキストおよび意味と統合されることも理解されよう。
本明細書で先行技術の刊行物が言及される場合、そのような言及は、その刊行物がオーストラリアまたは他の国における当技術分野の共通の一般知識の一部を形成することの承認を構成しないことを理解されたい。
以下の特許請求の範囲および本発明の前述の説明では、文脈上、明示的な言語または必要な含意により他の意味に解釈すべき場合を除いて、「含む（ｃｏｍｐｒｉｓｅ）」という単語または「含む（ｃｏｍｐｒｉｓｅｓ）」もしくは「含む（ｃｏｍｐｒｉｓｉｎｇ）」などの変形は包括的な意味で使用され、すなわち、記載された特徴の存在を特定するが、本発明の様々な実施形態におけるさらなる特徴の存在または追加を排除するものではない。
当業者に明らかであろう変更および変形は、本発明の範囲内であると決定される。
本発明は、アセット管理システムに関し、特に、資源産業においてアセットを管理するためのアセット管理システムに関する。
組織は、例えば遠隔地に配置される複雑なアセットを有することができる。例えば、資源産業では、アセットが沖合などのアクセスが困難な遠隔地に存在することが一般的である。そのようなアセットはまた、通常、アセットがアセットの動作に寄与する多数の構成要素を含み、構成要素の正しい動作がアセットの動作を成功させるために重要である限り、複雑でサイズが大きい。
典型的には、組織は、アセット構成要素の動作の分析を含むアセットの動作の系統的分析を実行し、これは、典型的には、特定の構成要素を検査するためにアセットに専門の技術者を定期的に配置することを含む管理プロセスによって達成される。しかしながら、人物をアセットに移動させることは、典型的には、アセットがアクセス困難な場所にあるため、費用がかかる。
本明細書では、「アクター」という用語は、アセットに対して移動可能であり、アセット管理システムの態様と対話することができる人物、システム、またはデバイスを意味する。例示的なアクターは、例えば、モバイルコンピューティングデバイス、ロボット、またはアセットに対して移動し、任意の方法でアセット管理システムと対話することができる任意のデバイスまたはシステムを装備した人物を含む。
本明細書では、「ロボット」という用語は、無人物航空機（ＵＡＶ）、ドローン、外骨格、自律的または半自律的な緊急応答機械、反復タスクを実行するように構成された自律的または半自律的な機械、アセットに対して自律的に移動し、必要に応じてタスクを実行するように構成された自律的または半自律的なロービング車両、またはヒューマノイドなどの任意の自律的または半自律的なデバイス、システムまたは車両を含む。
本明細書では、「モノ」という用語は、データを取得および／または生成し、データを通信するように構成されたネットワーク対応デバイスまたはシステムを意味する。「モノ」の例には、センサ、カメラ、マイクロフォン、およびＰＬＣデバイスが含まれる。
本発明の第１の態様によれば、アセット管理システムが提供され、アセット管理システムは、
データ記憶装置であって、
アセットの視覚的表現を示す視覚的データであって、視覚的表現はアセットの構成要素の視覚的表現を含む、視覚的データと、
構成要素の動作を示す構成要素動作データを含むアセットの構成要素の特性を示す構成要素データであって、タイミングデータを含むようにタイムスタンプされた構成要素動作データと、
アセットに対する構成要素の位置を示す構成要素位置データを含む空間データと、を定義された座標系に従って第１の座標形式で記憶するように構成される、データ記憶装置と、
アセットに配置された複数の通信可能なモノであって、各通信可能なモノは、アセットの少なくとも１つの構成要素の動作を示す構成要素動作データを取得し、構成要素動作データをデータ記憶装置に通信するように構成される、複数の通信可能なモノと、
記憶された視覚的データへのアクセスを容易にするように構成されたユーザインタフェースであって、アセットの構成要素の視覚的表現を含むアセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令の受信に応答して、アセットの隣接部分の視覚的表現を表示することにより、アセットを介したユーザによる仮想ナビゲーションを容易にするためにユーザによって制御可能なユーザインタフェースと、を備え、
ユーザインタフェースは、ユーザがアセットの部分の視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素動作データを表示するのを容易にするように構成され、構成要素動作データは、構成要素に関連する少なくとも１つの通信可能なモノから導出され、
ユーザインタフェースは、アセットの表示された選択された部分に関連するユーザ操作可能なタイムラインを備え、タイムラインは、時間を選択し、ユーザインタフェースが構成要素動作データに関連するタイムスタンプを使用することに応答して、アセットの選択された部分に示されたすべての構成要素の選択された時間に関連する構成要素動作データの表示を容易にするためにユーザによって使用可能である。
一実施形態では、ユーザインタフェースは、構成要素の視覚的表現がユーザインタフェースによって表示されるときに、ユーザがアセットの視覚的表現を通じてナビゲートするときに、構成要素に隣接して構成要素情報を自動的に表示するように構成される。
一実施形態では、システムは、ユーザが視覚的表現を通じてナビゲートするときに構成要素に隣接する構成要素情報の表示を容易にし、ユーザ入力に応答してさらなる構成要素情報を表示するように構成される。
一実施形態では、ユーザインタフェースは、構成要素の視覚的表現がユーザインタフェースによって表示されるときに、ユーザ入力に応答して構成要素に隣接して構成要素情報を表示するように構成される。
一実施形態では、構成要素に隣接して表示される構成要素情報の少なくとも一部は、ユーザ定義の基準に基づく。
一実施形態では、構成要素データは、構成要素の種類を示すデータを含む。
一実施形態では、表示された構成要素情報は、メンテナンス情報を含む。
一実施形態では、アセットの視覚的表現は、アセットにおけるアクターの位置に対応する位置におけるアクターの視覚的表現を含む。
一実施形態では、構成要素位置データは、構成要素がある位置に配置された時間を示すタイミングデータを含む。
一実施形態では、アクター位置データは、アクターがある位置に配置された時間を示すタイミングデータを含む。
一実施形態では、アクターは、アセットに対するアクターの位置を示すアクター位置データを生成するように構成された測位デバイスを備える。
一実施形態では、アクターはモバイルコンピューティングデバイスを備え、モバイルコンピューティングデバイスは測位デバイスを含む。
一実施形態では、システムは、アセットの分散位置に配置された複数の機械可読マーカを備え、アクターは、機械可読マーカに対する位置特定デバイスの位置を決定することによりアセットに対するアクターの位置を決定するように構成された位置特定デバイスを含む。機械可読マーカは、視覚的位置マーカまたはＢｌｕｅｔｏｏｔｈビーコンを含むことができる。
一実施形態では、測位デバイスは、同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して、アセットに対するアクターの位置を決定するように構成される。
一実施形態では、構成要素データは、
音声を示すデータ、
映像を示すデータ、
少なくとも１つの画像を示すデータ、
振動を示すデータ、
温度を示すデータ、
電流を示すデータ、
流量を示すデータ、
圧力を示すデータ、
移動速度を示すデータ、
制御値を示すデータ、
機器性能を示すデータ、
構成要素の一部の位置または状態を示すデータ、および／または
構成要素の動作状態（オン／オフ）を示すデータ、を含む。
一実施形態では、複数の通信可能なモノは、
マイクロフォンと、
センサと、
プログラマブルロジックコントローラ（ＰＬＣ）デバイスと、のうちの１つまたは複数を含む。
一実施形態では、複数の通信可能なモノは、スチルおよび／またはビデオカメラを含む。空間データは、カメラの視野内に示された位置を示すデータを含むことができる。
一実施形態では、ユーザインタフェースは、ユーザがアセットの視覚的表現をナビゲートしてアセットの部分が表示されるときに、アセットの部分に関連する音声を自動的に再生するように構成され、音声は少なくとも１つのマイクロフォンから出る。
各モノは、構成要素に組み込まれてもよく、構成要素に接続されてもよく、または構成要素に隣接して配置されてもよい。
一実施形態では、アセットの視覚的表現を示す視覚的データは、アセットの画像を示す画像データ、アセットを示す仮想表現、および／またはアセットを示す点群データを含む。仮想表現はＣＡＤ表現であってもよい。
一実施形態では、ユーザインタフェースは、第１の座標形式とは異なる第２の座標形式を使用し、システムは、第１の座標形式と第２の座標形式との間で位置データを変換するように構成される。第１の座標形式は、ＷＧＳ８４全地球基準システムデータに準拠してもよい。
一実施形態では、データ記憶装置はクラウドサーバに配置される。
一実施形態では、システムは、アセットにＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを備え、通信可能なモノから取得された動作データは、ＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを使用してデータ記憶装置に通信される。
一実施形態では、システムは、広域ネットワークと通信可能なモノとの間に配置されたエッジサーバを備え、エッジサーバは、通信可能なモノから取得されたデータを処理し、処理されたデータを広域ネットワークを介してデータ記憶装置に通信するように構成される。
一実施形態では、システムは、遠隔地からのシステムおよび／または視覚的データおよび／または構成要素データへのアクセスを容易にするように構成された少なくとも１つのアプリケーションプログラミングインタフェース（ＡＰＩ）を備える。
一実施形態では、システムは、構成要素データを自動的に分析し、分析に応答して行動を実行するように構成された分析エンジンを備える。分析エンジンは、機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して分析を実行することができる。
一実施形態では、分析エンジンは、分析に応答してメンテナンス行動を引き起こすように構成される。
一実施形態では、分析エンジンは、少なくとも１つの構成要素の性能を分析し、構成要素の挙動が定義された正常な挙動から逸脱していると判定された場合に行動を引き起こすように構成される。
一実施形態では、分析エンジンは、現在または過去の構成要素データに基づいて、少なくとも１つの構成要素の将来の性能低下を予測するように構成される。
一実施形態では、システムは、構成要素データに直接または間接的に依存する定義された条件に応答して定義された行動を実行するための、カスタマイズされたルールの作成および実行を容易にするように構成されたルールエンジンを備える。
一実施形態では、システムは、アセットにおけるアクターの位置に応答して行動を実行するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに情報を通信するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに動作データを通信するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答して、モノに関連する動作データを更新するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に応答してアクターに警告情報を通信するように構成される。
一実施形態では、システムは、アセットの定義された構成要素に対するアクターの近接度に基づいて行動を実行するように構成される。
一実施形態では、システムは、アセットにおけるアクターの位置に基づいてアクターにタスクを割り当てるように構成される。
一実施形態では、アクターはロボットを含む。
一実施形態では、システムは、定義された基準に応答してロボットに定義された行動を実行させるように構成される。少なくとも１つの定義された行動は、機械学習（ＭＬ）または人工知能（ＡＩ）アルゴリズム、定義されたルールの結果によって、および／またはユーザからの命令に応答して引き起こされ得る。
一実施形態では、システムは、アセットの少なくとも１つの定義された部分を示す視覚的データをキャプチャするようにロボットを制御するように構成される。
一実施形態では、システムは、少なくとも１つのメンテナンス行動を実行するようにロボットを制御するように構成される。
一実施形態では、アクターは、モバイルコンピューティングデバイスを装備した人物を含み、システムは、定義された基準に応答して、人物に対して定義された行動をモバイルコンピューティングデバイスに通信するように構成される。
一実施形態では、システムは、通信可能なモノをシステムに登録するために使用可能なモノマネージャを含む。
一実施形態では、通信可能なモノは、一意の機械可読識別子を含み、システムは、通信可能なモノを識別してシステムに登録するために、機械可読識別子のキャプチャを容易にする。機械可読識別子は、ＱＲコード（登録商標）であってもよく、ポータブルコンピューティングデバイスを使用してキャプチャされてもよい。
一実施形態では、モノマネージャは、
アセットにおけるモノの位置、
モノの目的、
モノの取り付け方、
配置時のモノの画像、
モノが関連付けられる構成要素、
モノの１つまたは複数のセンサの目的、
モノの各センサに関連する構成要素の一部、および／または
モノに関連する構成情報、を示す情報の受け取りを容易にするように構成される。
一実施形態では、システムは、ユーザによって実行されるタスクおよびワークフローの作成および／または実行を容易にするように構成されたワークフローエンジンを備える。
ワークフローエンジンは、観察のシフトシーケンスの仮想開始を定義および実装するように構成することができ、オペレータは、定義された構成要素のセットの視覚的表現および構成要素データを順次検査することによりアセットの対応する実際の構成要素を仮想的に検査するように自動的に指示される。
一実施形態では、システムは、アセットの視覚的表現およびアセットから導出された構成要素データへのアクセスを容易にし、アセットの視覚的表現およびアセットから導出された構成要素データに関連する仮想動作を容易にし、ユーザ間の協調を容易にし、および／またはタスクおよびアセット担当者の管理を容易にするように構成された少なくとも１つのユーザアプリケーションを備える。
一実施形態では、少なくとも１つのユーザアプリケーションは、ウェブブラウザを介してアクセス可能である。
一実施形態では、ユーザアプリケーションは、オペレータがアセットに関連する製造プロセスの表現を見ることを有効にするために使用可能なプロセス認識アプリケーションを含む。
一実施形態では、プロセス認識アプリケーションは、製造プロセスの擬似３Ｄ表現を表示するように構成される。
一実施形態では、製造プロセスの表現は、複数のユーザがプロセスを表示、設計、修正、および／またはトラブルシューティングするために協働することができるように仮想的に共有可能である。
一実施形態では、プロセス認識アプリケーションは、製造プロセスの表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点は選択された動作データに関連付けられる。
一実施形態では、システムは、視覚的表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点は、ユーザが選択した動作データに関連付けられる。
一実施形態では、ユーザアプリケーションは、オペレータがシステムの他のオペレータと対話することを有効にするチャットアプリケーションを含む。チャットアプリケーションは、チャットをアセットまたは特定のアセット構成要素の特定の位置にリンクすることを容易にすることができる。
一実施形態では、ユーザアプリケーションはまた、音声コマンドおよび音声応答を使用してシステムと対話する能力をオペレータに提供する音声アプリケーションを含む。
一実施形態では、アセットは、資源産業アセットである。
本発明の第２の態様によれば、アセットを管理する方法が提供され、方法は、
アセットの視覚的表現を示す視覚的データをデータ記憶装置に記憶することであって、視覚的表現はアセットの構成要素の視覚的表現を含む、記憶することと、
構成要素の動作を示す構成要素動作データを含むアセットの構成要素の特性を示す構成要素データをデータ記憶装置に記憶することであって、構成要素動作データは、タイミングデータを含むようにタイムスタンプされる、記憶することと、
アセットに対する構成要素の位置を示す構成要素位置データを含む空間データを、定義された座標系に従って第１の座標形式で記憶することと、
複数の通信可能なモノをアセットに配置することであって、各通信可能なモノは、アセットの少なくとも１つの構成要素の動作を示す構成要素動作データを取得し、構成要素動作データをデータ記憶装置に通信するように構成される、配置することと、
記憶された視覚的データへのユーザインタフェースを使用したアクセスを容易にすることであって、ユーザインタフェースは、アセットの構成要素の視覚的表現を含むアセットの選択された部分の視覚的表現を表示し、ユーザからのナビゲーション命令の受信に応答して、アセットの隣接部分の視覚的表現を表示することにより、アセットを介したユーザによる仮想ナビゲーションを容易にするためにユーザによって制御可能である、容易にすることと、
ユーザがアセットの部分の視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素動作データをユーザインタフェースに表示するのを容易にすることであって、構成要素動作データは、構成要素に関連する少なくとも１つの通信可能なモノから導出される、容易にすることと、を含み、
ユーザインタフェースは、アセットの表示された選択された部分に関連するユーザ操作可能なタイムラインを備え、タイムラインは、時間を選択し、ユーザインタフェースが構成要素動作データに関連するタイムスタンプを使用することに応答して、アセットの選択された部分に示されたすべての構成要素の選択された時間に関連する構成要素動作データの表示を容易にするためにユーザによって使用可能である。
ここで、添付の図面を参照して、本発明を単なる例として説明する。
本発明の一実施形態によるアセット管理システムの概略ブロック図である。 図１に示すシステムのリアリティエンジンの構成要素の概略図である。 図１に示すシステムのユーザアプリケーションの概略図である。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の表現であり、デジタルプラント画面は、アセットの部分の点群表現を含む。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の表現であり、デジタルプラント画面は、アセットの部分の点群表現を含む。 図１に示すシステムによってユーザに表示されるデジタルプラント画面の図であり、デジタルプラント画面は、アセットの部分の仮想表現を含む。 図１に示すシステムによってユーザに表示されるプロセス認識画面の図である。 図１に示すシステムによってユーザに表示されるシフト観察画面の開始の図である。 図８に示すシフト観察画面の開始に示すシフトラウンドの開始に含まれる構成要素の図である。 図１に示すシステムによってユーザに表示される仮想検査画面の図であり、仮想検査画面は、検査される構成要素の表現を含む。 図１に示すシステムによってユーザに表示される仮想検査画面の図であり、仮想検査画面は、検査される構成要素の表現を含む。
図面の図１を参照すると、資源産業における沖合プラットフォームなどのアセットを管理するためのアセット管理システム１０が示されている。
この例では、システム１０は、アセットの視覚的表現およびアセットの各動作構成要素のデジタルツインを含むアセットの仮想表現を記憶するように構成される。構成要素のデジタルツインは、構成要素に関連する動作データを含む、構成要素の特性に関連するアクセス可能なデータを含む実際の構成要素のデジタルレプリカである。例えば、ポンプ構成要素のデジタルツインは、ポンプの振動特性、ポンプの温度、ポンプの回転可能な構成要素の現在の回転速度、ポンプの画像、ポンプの音声など、ポンプの種類およびポンプに関連する動作データを示す情報を含む。
システムは、アセット構成要素に関連するデジタルツインデータを照合し、視覚的表現およびデジタルツインデータへのアクセスを容易にする。このようにして、デジタルツインデータは、アセットの実際の構成要素、重要なことには構成要素の実際の機能を表すので、人物がアセットに物理的に存在する必要なしに、遠隔地からアセット構成要素およびアセット全体の動作を適切に管理、観察、および分析することが可能である。言い換えれば、アセット管理システムのユーザインタフェースを介してサイバー世界のアセットと対話するユーザには、物理的（現実）世界のアセットとのユーザ対話と同様の方法でアセットと対話する経験および能力が提供される。
システムはまた、アセットの視覚的表現を用いてデジタルツインデータを地理的に配置するように構成され、この目的のために、システムは、アセットの構成要素の位置を示す空間データを記憶するように構成される。システムはまた、アセットに配置された可動アクターの位置を示す空間データを記憶するように構成され、その結果、アクターの位置を視覚的表現上で可視化することができ、アセットに対するアクターの位置に基づいて行動をアクターに対して実行することができる。
重要なことに、構成要素位置データおよびアクター位置データは同じ座標形式で記憶されているので、例えば、アセットに配置され、可動コンピューティングデバイスが与えられた人物などのアクターは、例えば、アセットにおける物理的（現実）世界の構成要素に対する人物の近接度に基づいて構成要素に関連する動作データを取得するために、人物の位置に基づいてサイバー世界のアセットと対話することができ、またはアセット管理システムは、アセットに対する人物の位置に基づく関連情報を人物に提供するために、モバイルコンピューティングデバイスを介して、アセットに配置された人物などのアクターと対話することができる。
空間データは、任意の適切な形式で記憶されてもよく、この例では、空間データは、全地球測位システム（ＧＰＳ）によって使用されるＷＧＳ８４全地球基準システムデータに準拠する。したがって、すべてのアセット関連およびアクター関連の位置データを含むすべての空間データは、ＷＧＳ８４形式で受信可能であるか、またはシステムによってＷＧＳ８４形式に変換され、その結果、アセットの視覚的表現内の構成要素に関連する位置データおよびアセットに物理的に配置されたアクターに関連する位置データは、同じ座標系に記憶される。しかしながら、アセット関連およびアクター関連の位置データのために任意の適切な共通座標系が使用されてもよいことが理解されるであろう。
関連する記憶された空間データを有するアセットの構成要素は、任意の関連するアセット構成要素、特に、例えば石油およびガス資源産業アセットのポンプ、バルブ、パイプなどの機能的アセット構成要素を含むことができる。
アセットの視覚的表現を作成するために、アセットのすべての関連部分の視覚的表現を取得する必要がある。この例における視覚的表現は、アセットの仮想表現、例えばアセットのＣＡＤタイプ表現、およびアセットの点群表現を含むが、視覚的表現はカメラを使用してキャプチャされたアセットの画像も含み得ることが理解されよう。
この例では、点群データは、Ｌｅｉｃａ社のＢＬＫ ３６０スキャナと、タブレットコンピューティングデバイスなどの接続されたコンピューティングデバイス上に実装された関連アプリケーションとを使用してキャプチャされるが、任意の適切なカメラが想定されることが理解されよう。
この例では、点群データは、例えば、仮想表現の複数のターゲット特徴を識別し、これらを点群データ内の対応する識別された特徴とリンクすることにより、アセットの仮想表現と地理的に位置合わせされる。
図１を参照すると、アセット管理システム１０は、アセット位置１２に配置されるアセットを管理するように構成される。明確にするために、アセット管理システム１０の構成要素のみが示されており、アセット自体の構成要素は示されていない。この例では、アセットは、パーソナルコンピュータであってもよいいくつかのコンピューティングデバイス１６を通常含む共通遠隔地１４から管理され、アセットの仮想表現をアセットの擬似３次元表現として見るためにオペレータによって使用可能な仮想現実機器１８を含んでもよい。この例では、共通遠隔地１４は制御室と呼ばれる。
この例では、制御室１４は、インターネット２０を介してアセット位置１２のアセット管理システム１０の構成要素と通信するが、任意の適切な広域ネットワークが想定されることが理解されよう。
アセット管理システム１０はまた、データ記憶設備を含み、この例ではクラウドサーバ２２に実装され、クラウドサーバ２２は、例えば、アセット部分の仮想（ＣＡＤタイプなど）表現および／または画像と、アセット部分を示す点群データ２６とを含むアセットのすべての関連部分の視覚的表現を示すアセット表現データ２４と、構成要素センサからのデータ、動作中にキャプチャされた構成要素の画像、および動作中にキャプチャされた構成要素の音声など、構成要素から導出された構成要素動作データを含む、アセットの関連構成要素の特性を示すデジタルツインデータを含む構成要素データ２８と、アセットの各関連構成要素の位置、ネットワーク対応のモノの位置、およびアセットに関連して配置された任意のアクターの位置を示す空間データ２９と、を記憶する。
構成要素データ２８は、構成要素データ２８が時間に関連する方法で分析および使用され得るように、例えば、特定の時間における構成要素の挙動がオペレータによって抽出および分析され得るようにタイムスタンプされる。同様に、空間データ２９は、空間データ２９が時間に関連する方法で分析および使用され得るように、例えば、特定の時間期間におけるアクターの動きがオペレータによって抽出および分析され得るようにタイムスタンプされる。
この例では、クラウドサーバ２２はＡｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓによってホストされているが、他の実装も可能であることが理解されよう。例えば、クラウドサーバは、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅなどの他の環境でホストされてもよい。
代替的な構成では、すべてのデータを単一のデータ記憶設備にホストする代わりに、アセット表現データ２４および構成要素データ２８は、ユーザが単一の統合された機能を体験するように、一緒に動作するように構成された複数のデータ記憶設備によってホストされてもよい。例えば、データは、第三者がそれらの機器を管理および監視することができるが、第三者が他のアセット関連データにアクセスすることができないように別個に記憶されてもよい。ＬＮＧの例では、ガスタービンなどのアセットの構成要素は、独自のクラウドベースのデータ記憶設備を使用してガスタービンベンダーによって完全に管理されてもよく、システム１０の認可されたユーザが使用することができる構成要素についてデジタルツインを作成することを有効にする。
この例では、クラウドサーバ２２はまた、クラウドサーバ２２に記憶されたデータを管理し、記憶されたデータへの協調アクセスを容易にし、例えば、アセットの構成要素および／またはアセット全体の動作を体系的に監視、観察および／または分析するために、またはアドホックユーザ要求に応答してそのような動作を実行するために、記憶されたデータに対して専用およびアドホック動作を実施するリアリティエンジン３０を含む。この例では、リアリティエンジン３０は、後述する複数のリアリティエンジンアプリケーション３２を使用して所望の機能を実施する。
この例では、クラウドサーバ２２はまた、以下でより詳細に説明する特定の管理タスクを実行するために、アセット表現データ２４、点群データ２６、および構成要素データ２８との制御された対話を容易にするために使用されるユーザアプリケーション３４を含む。
この例では、ネットワーク通信可能なモノは、センサ４０、５０、カメラ４６、マイクロフォン４７、ＰＬＣデバイス５２、および他のデータ生成構成要素５４を含む。
図１に示すように、アセット位置１２は、それぞれアセット構成要素とは別個であり、かつポンプの振動および／または温度などのアセットの構成要素の少なくとも１つの特性を感知するための専用のセンサ４０を含む。各センサ４０は、感知されることが望まれる特性に応じて、構成要素に接続されてもよく、または構成要素４０に隣接して配置されてもよい。センサ４０の各々は、感知された特性を示すデータを生成し、この例では、感知されたデータは、この例ではＬｏＲａＷＡＮプロトコルに基づく専用のローカル低電力長距離無線ネットワーク４２を使用して構成要素データ２８として記憶するためにクラウドサーバ２２に通信される。このようなネットワークがセンサ４０に使用されるが、それは、典型的には多数のセンサ４０が使用され、センサ４０のために十分に広範な８０２．１１ｘｘベースのネットワークを作成することが高価で非実用的なためである。ネットワークと通信するためにセンサ４０によって比較的低い電力が使用される必要があるため、ＬｏＲａＷＡＮ型ネットワークも使用される。温度および振動を感知し、感知されたデータをクラウドサーバ２２に通信するための例示的なセンサ４０は、国際特許出願第ＰＣＴ／ＡＵ２０１９／０５１０７８号に記載されており、その内容は参照により本明細書に組み込まれる。
この例では、アセット位置１２はまた、センサ４０とインターネット２０との間に配置されたエッジサーバ４４を含み、エッジサーバ４４は、処理およびデータ管理効率の理由から、アセットに近い位置で機能を実施するように機能する。例えば、エッジサーバ４４は、クラウドサーバ２２に送信する必要があるデータの量を低減する、センサ４０から受信したデータの初期処理を実行するように構成されてもよい。
この例では、アセット位置１２はまた、アセットの定義された部分または構成要素の画像および／またはビデオをキャプチャするためにアセット位置の定義された位置に配置された複数のカメラ４６を含む。例えば、ポンプが正しく動作しているかどうかを判定するためにオペレータによってその後使用され得るポンプの画像および／またはビデオをキャプチャするように、カメラ４６をアセットに配置することができる。
アセット位置１２はまた、音声を取り込むためにアセット位置の定義された位置に配置された複数のマイクロフォン４７を含む。例えば、マイクロフォン４７は、ポンプが正しく動作しているかどうかを判定するためにオペレータによってその後使用され得るポンプの音声をキャプチャするように配置され得る。
この例では、アセット位置１２はまた、８０２．１１ｘｘプロトコルに基づくＷｉＦｉネットワーク４８を含み、ＷｉＦｉネットワーク４８は、構成要素データ２８として記憶するためにカメラ４６およびマイクロフォン４７からクラウドサーバ２２にデータを通信するために使用される。
この例では、アセット位置１２はまた、センサ４０とは異なり、アセットの構成要素と一体である一体型プロセス構成要素センサ５０を含む。各プロセス構成要素センサ５０は、構成要素の少なくとも１つの特性を感知するためのものであり、各プロセス構成要素センサ４０は、感知された特性を示すデータを生成し、このデータは、構成要素データ２８として記憶するためにＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信される。例えば、プロセス構成要素センサ５０は、タンク内の流体のレベルを感知するために流体タンクに組み込まれたセンサ、またはバルブが開いているか閉じているかを感知するためにバルブに組み込まれたセンサを含むことができる。
アセット位置１２はまた、アセットの特定の態様の制御を管理するためにアセットに存在する１つまたは複数のプログラマブルロジックコントローラ（ＰＬＣ）デバイス５２を含んでもよい。各ＰＬＣデバイス５２は、ＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信し、構成要素データ２８として記憶するために、アセットの制御された態様を示すデータを生成することができる。
しかしながら、アセット位置１２は、アセットの動作、より詳細にはアセットの１つまたは複数の構成要素を示すデータを生成する任意の他のデータ生成構成要素５４を含んでもよいことが理解されるであろう。そのような他のデータもまた、構成要素データ２８として記憶するためにＷｉＦｉネットワーク４８を介してクラウドサーバ２２に通信される。
上述したように、クラウドサーバ２２に記憶された空間データ２９は、アセットに対する各モノの位置を示す位置データを含む。カメラ４６の場合、空間データはまた、例えば、カメラ４６の視野に示されるアセットの位置に対応する位置データを含めることにより、カメラ４６の視野を示す位置データを含むことができる。
センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４である「モノ」は、アセットの動作に関連するデータ、特に、アセットの各構成要素の動作を示すデータを生成し、組み合わされたデータは、各構成要素のデジタルツインを生成することを有効にすることが理解されよう。構成要素に関連するデジタルツイン情報を使用して、オペレータは、構成要素の状態、構成要素の性能、および現在または潜在的な将来の問題が存在するかどうかをオペレータが判定するのに十分な構成要素の状況認識を得ることができる。さらに、クラウドサーバ２２に記憶されたキャプチャされた構成要素データ２８はタイムスタンプされているので、オペレータは、過去の構成要素データを閲覧および分析すること、定義された期間にわたる構成要素性能の傾向を閲覧することなどが可能である。
この例では、アセット位置１２はまた、例えば事前定義されたスケジュールまたはオペレータによって引き起こされたアドホック行動、システム内で発生するイベントまたはトリガに応答した行動、またはアセットに配置されたアクターに応答した行動に基づいて、リアリティエンジン３０からの命令に応答して定義された行動を実行するように構成された少なくとも１つのロボット５６を含む。例えば、ロボット５６は、アセットを通る定義されたルートに沿って周期的に移動し、点群データ２６およびアセット表現データ２４（アセットの画像がキャプチャされる場合）が実質的に最新であるように、アセットのクラウドデータまたは画像データをキャプチャすることを課せられてもよい。さらなる例では、ロボット５６は、例えば構成要素データ２８、特に構成要素データ２８内の構成要素のデジタルツイン情報の分析に応答して、アセット構成要素のメンテナンス行動を実行することを課されてもよい。
図１に示すように、ＷｉＦｉネットワーク４８はまた、エッジサーバ４４と通信しており、したがって、エッジサーバ４４はまた、例えば、クラウドサーバ２２に送信するのに必要なデータ量を低減し、および／またはクラウドサーバ２２における処理負荷を低減するために、センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４から受信したデータに対して初期処理を実行するために使用されてもよい。例えば、エッジサーバ４４は、カメラ４６および／またはマイクロフォン４７に関連するデータを周期的な間隔で、および／または、故障している構成要素を示す可能性がある異常音などの重要なイベントが検出された場合にのみ送信するように構成されてもよい。
この例では、システム１０はまた、人物がアセット位置１２に存在するときに、人物などのアクターがシステム１０と対話することができるように構成される。例えば、人物は、タブレットコンピュータ５８またはスマートフォン６０などのポータブルコンピューティングデバイスを使用してシステム１０と対話することができる。そのようなデバイスを使用して、人物は、例えば、Ｌｅｉｃａ社のＢＬＫ３６０スキャナなどの適切なカメラを使用してアセット画像データおよび／または点群データのキャプチャを制御することができる。さらに、人物は、アセット表現データ２４、点群データ２６、および／または構成要素データ２８にアクセスすることができ、制御室１４で提供されるのと同様の機能を提供されることができる。さらに、ポータブルコンピューティングデバイス５８、６０は、人物がアセットを移動する際に関連情報を人物に通信するために使用されてもよい。例えば、アセットに対するポータブルコンピューティングデバイス５８、６０の識別された位置に基づいて、ユーザが潜在的に安全でない場所に入った場合に警告メッセージをユーザに通信することができる。
図２を参照すると、例示的なリアリティエンジンアプリケーション３２が示されている。この例では、リアリティエンジンアプリケーション３２は、ユーザがウェブブラウザを介してクラウドサーバ２２によって提供される機能にアクセスすることを有効にするインターネットアクセス可能ユーザインタフェースを提供するように構成されたウェブサーバ６２を含む。しかしながら、アセット表現データ２４、点群データ２６、構成要素データ２８、およびリアリティエンジンアプリケーション３２へのアクセスを容易にするための任意の適切な構成が想定されることが理解されよう。
リアリティエンジンアプリケーション３２はまた、リモートコンピューティングデバイス上で実行されるソフトウェアが、記憶されたアセット表現データ２４、点群データ２６および構成要素データ２８、および／またはリアリティエンジンアプリケーション３２の機能に直接アクセスすることを有効にする適切なＡＰＩ６４を含む。
リアリティエンジンアプリケーション３２はまた、アセット表現のインポート、クラウドサーバ２２でのアセット表現データ２４および点群データ２６としてのアセット表現の記憶を管理し、アセット表現データ２４および点群データ２６との対話を管理するために使用可能なアセット表現マネージャ６６を含む。アセット表現は、適切なカメラによってキャプチャされた画像、ＣＡＤタイプ表現を含む仮想表現、および点群を含む任意の適切な形態であってもよく、アセット表現マネージャ６６は、アセット表現のインポート、アセット全体の仮想表現への表現のスティッチング、および表現を見る人物によるナビゲーションの容易さを促進する適切な構造へのアセット表現の記憶を容易にするように構成されてもよい。
この例では、アセットの仮想表現はＣＡＤタイプ形式であり、ＣＡＤ表現は、仮想表現によって表されるすべての仮想構成要素に対して選択された定義された原点を有するネイティブデカルト座標系を使用する。使用中、ＣＡＤ座標は、記憶されたＷＧＳ８４形式から動的に変換することによって空間データ２９から導出される。
仮想表現の初期化中に、ネイティブＣＡＤ形式の構成要素およびモノの位置は、空間データ２９として記憶するためにシステムによってＷＧＳ８４形式に変換される。
一例では、アセット表現マネージャ６６はまた、アセット位置１２においてロボット５６とインタフェースし、そしてロボット５６を使用して所定の周期的間隔で点群および／または画像データを体系的にキャプチャし、記憶されたアセット表現データ２４および点群データ２６が実質的に最新に維持されるようにすることができる。ロボット５６によってキャプチャされた点群および／または画像データは、アセット位置１２においてＷｉＦｉネットワーク４８およびインターネット２０を介してクラウドサーバ２２に通信することができる。
アセット表現マネージャ６６はまた、アセットの所望の表現を表示するために必要に応じて、ユーザ、他のシステム、または外部アプリケーションから受信した命令に従って、記憶されたアセット表現データ２４および点群データ２６からのデータの抽出を制御および管理するために使用される。この例では、アセット表現マネージャ６６はまた、表示された表現上にアクターの位置を表示する。アセット表現を生成するために、アセット構成要素、モノ、およびアクターの位置は、記憶された空間データ２９から供給され、共通のＷＧＳ８４形式からアセット表現マネージャ６６で使用されるデカルト座標形式に変換される。
リアリティエンジンアプリケーション３２はまた、センサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４からのデジタルツインデータを含む構成要素データ２８、およびデジタルツインデータおよびアクターに関連するタイミングデータのインポートを管理するために使用可能な構成要素データマネージャ６８を含む。
構成要素データマネージャ６８はまた、データ分析タスク、構成要素故障分析タスクなどの所望のタスクを実行するために必要に応じて、ユーザ、他のシステムまたは外部アプリケーションから受信した命令に従って、記憶された構成要素データ２８からのデータの抽出を制御および管理するために使用される。
リアリティエンジンアプリケーション３２はまた、例えば機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して構成要素データ２８を自動的に分析するように構成された分析エンジン７０を含む。例えば、定義されたＭＬまたはＡＩアルゴリズムに従って、分析エンジン７０は、アセットの構成要素の挙動の正常範囲を自動的に学習し、構成要素の挙動が正常から逸脱していると判定されたときに適切な行動をとり、デジタルツインデータの予測分析を実行し、および／またはすべての同様の構成要素の集合的な知識、例えばメンテナンス履歴に基づいて特定の種類の構成要素の性能および信頼性を分析するように構成され得る。そのような行動は、自動化されたタスクまたはワークフローの作成、オペレータへの通知の発行、および／またはメンテナンス行動の誘発を含むことができる。特定の例では、分析エンジン７０は、キャプチャされた音声を自動的に分析し、ポンプのキャプチャされた音声と、故障した異なるポンプの以前にキャプチャされた音声との比較に基づいて、特定のポンプが故障しているか、またはもうすぐ故障する可能性があると判定することができる。故障しているポンプに関する自動判定に応答して、分析エンジン７０は、メンテナンス行動を引き起こすように構成されてもよい。
リアリティエンジンアプリケーション３２はまた、アセットの構成要素の位置を示す構成要素位置データの受信および記憶を含む空間データ２９、およびアクターがアセットに対して移動するときにアセットに配置されたアクターの位置を示すアクター位置データの受信および記憶を管理するように構成された空間エンジン７２を含む。空間エンジン７２はまた、例えば、１つまたは複数の構成要素の位置または構成要素タイプを識別し、エンジニアリング図面またはモデルに基づいてアセット表現内の構成要素を位置特定し、既知の構成要素位置に基づいてアイテムの位置を推測し、および／またはカメラ視野内のアイテムの存在に応答してアイテムを位置特定するように、位置に基づいて構成要素データ２８の分析を容易にするように構成される。特定の例では、空間エンジン７２は、インシデントの視野を有するカメラまたはインシデントに関連する音声を有し得るマイクロフォンなどのアセット構成要素を有する、識別されたインシデントの近傍にあるすべての関連データソースを識別および位置特定するために使用され得る。
空間エンジン７２によって管理される空間データ２９は、例えば、アクターが特定の場所の近くにあると判定されたときに、そのアクターによって特定の場所で行動を実行するようにシステムによって使用されて、アセットのアクターによる行動を誘発することができる。これは、所望の位置に最も近いと判定された適切なアクターにタスクを送信することによって、または特定の位置にリンクされたタスクを保存し、アクターが保存されたタスクの位置に十分に近い位置に移動したときに適切なアクターにタスクを伝達することによって実施することができる。特定の例では、タスクは、構成要素の熱画像と、ロボットが構成要素に近いと判定されたときにタスクを課される熱撮像能力を有する適切なロボットとを取得することであり得る。
記憶のために空間エンジン７２に提供されるアクター位置データは、ＷＧＳ８４形式で、アクターから直接、例えば、人物に関連するスマートフォンもしくはタブレットコンピュータなどのアクターに関連するモバイルコンピューティングデバイスから、またはロボットに関連する測位デバイスから直接取得することができる。
しかしながら、アクター位置データは、任意の適切な方法で取得することができることが理解されよう。例えば、アクターの位置は、アセットに配置されたＢｌｕｅｔｏｏｔｈビーコンなどの視覚的位置マーカまたはビーコンを使用して、または同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して決定され得る。
本例で使用される共通の空間データ形式はＷＧＳ８４形式であるため、空間エンジン７２によって受信されたアクター位置データがＷＧＳ８４形式でない場合、アクター位置データは、クラウドサーバ２２に記憶するために空間エンジン７２によってＷＧＳ８４形式に変換されることが理解されよう。
リアリティエンジンアプリケーション３２はまた、例えば制御室１４に位置するオペレータによって実行されるタスクおよびワークフロー、またはロボット５６によって実行されるタスク／ワークフローを管理するように構成されたワークフローエンジン７４を含む。例えば、ワークフローエンジン７４を使用して、制御室のオペレータによって実行される観察のシフトシーケンスの仮想開始を定義することができ、オペレータは、定義された構成要素のセットのデジタルツインを順次検査し、それによりアセット位置１２における対応する実際の構成要素を仮想的に検査するように自動的に指示される。ワークフローエンジン７４はまた、ＭＬおよび／またはＡＩモデルの学習を改善するために、ユーザに対して行われた自動推奨に対するユーザ応答を監視するように構成されてもよい。
リアリティエンジンアプリケーション３２はまた、例えば、ワークフローエンジンを使用して、アセットの構成要素または態様に関する標準的な動作手順の作成、インポート、管理および実行を容易にするように構成されてもよい。標準的な動作手順は、デジタルツインデータに関連付けられ、デジタルツインデータに空間的にリンクされ、その結果、例えば、標準的な動作手順に関連する情報は、アセットにおけるアクターの位置に基づいてアクターに自動的に提供される。例えば、タンクは、タンクを保持モードから装填モードに変更するために従うべきプロセスに関する標準的な動作手順を有することができ、これを行うために必要な手順は、アクターが手順を運ぶことを任されており、アクターがタンクの隣に位置しているときに、モバイルコンピューティングデバイス５８、６０上でアクターに情報を表示することによってアクターに伝達される。複数のユーザおよび／またはアクターは、例えば、制御室１４のオペレータとアセットのオペレータが一緒に作業してプロセスを実行することができるように、標準的な動作手順の実施に関与することができる。
リアリティエンジンアプリケーション３２はまた、例えば決定されたイベント、デジタルツインデータの分析、分析エンジン７０からの出力、またはユーザ行動に基づいて、定義された行動を実行するためのルールの作成をユーザに有効にするように構成されたルールエンジン７６を含む。ルールは、プログラマブルロジック、決定木、機械学習モデルまたは人工知能として構成されてもよく、ルールの結果に基づいて条件付き処理が行われることを有効にするために、決定点としてワークフローに組み込まれてもよい。
リアリティエンジンアプリケーション３２はまた、例えばアクターに関連するコンピューティングデバイスを介して、またはロボット５６などの自律装置と直接に、アクターとの通信を管理するように構成されたミッションエンジン７８を含み、該通信は、ミッション、計画および制御命令を自律装置に転送し、応答および性能をリアルタイムで追跡することを含む。ミッションエンジン７８はまた、例えば、アクター行動に応答して適切な行動を実行することができるように、他のリアリティエンジンアプリケーション３２とインタフェースする。
ユーザアプリケーション３４は、ユーザによってアクセス可能であり、リアリティエンジンアプリケーション３２を使用して機能を実施することができる。
組織のユーザは、ラップトップもしくはパーソナルコンピュータ１６、スマートフォン６０、タブレットコンピュータ５８、または、例えばヘッドセットを含むＶＲ機器１８を含む、仮想現実コンテンツ配信デバイスを含む任意の適切なコンピューティングデバイスを使用して、アセット表現データ２４、点群データ２６、構成要素データ２８および／または空間データ２９に関連するデジタルツイン情報にアクセスすることができる。
この例では、各コンピューティングデバイスは、適切なウェブブラウザを使用してインターネット２０を介してアセット表現データ２４、点群データ２６、構成要素データ２８および／または空間データ２９にアクセスする。
使用中、ユーザがクラウドサーバ２２に記憶されたアセット表現データ２４、点群データ２６および／または構成要素データ２８にアクセスしたい場合、ユーザは、関連するコンピューティングデバイス５４、５６、５８上のウェブブラウザに、クラウドサーバ２２に関連するウェブサイトアドレスを指示する。アクセス要求は、要求ユーザが適切なログイン資格情報を有するかどうか判定するためにシステム１０によって分析され、有している場合、ユーザコンピューティングデバイスとクラウドサーバ２２との間に接続が確立される。
許可されたユーザがクラウドサーバ２２へのアクセスを許可されたときにウェブブラウザ内で許可されたユーザに表示される画面は、システム１０と対話するために、特に構成要素データ２８に関連する視覚的表現およびデジタルツイン情報にアクセスするために使用される。
図３を参照すると、ウェブサーバ６２を介してアクセス可能な例示的なユーザアプリケーション３４が示されている。
この例では、ユーザアプリケーション３４は、本例ではセンサ４０、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２、および／または他のデータ生成構成要素５４において、システム１０に「モノ」を追加し、続いて「モノ」を管理するために使用可能なモノ管理アプリケーション８０を含む。「モノ」が追加された後、モノに関連するデータは、「モノ」が関連付けられている構成要素のデジタルツインデータとしてクラウドサーバ２２に記憶される。モノ管理アプリケーション８０は、新しいセンサなどの新しい「モノ」の追加を容易にし、これは、タブレットコンピュータ５８またはスマートフォン６０などのポータブルコンピューティングデバイスを使用して、例えばポータブルコンピューティングデバイス上のアプリケーションを使用して、達成することができる。
一例では、追加される各センサ４０は、ＱＲコード（登録商標）などのセンサを識別する機械可読コードを含み、タブレットコンピュータアプリケーションを使用してコードをスキャンし、それによりセンサ４０をシステム１０に関連付ける。モノ管理アプリケーション８０はまた、例えば、アセットの視覚的表現上でセンサの位置を指定することによってセンサ４０の位置を指定し、それにより、アセット表現マネージャ６６によって使用されるデカルト形式でセンサの座標を提供すること、例えば、システムによって認識される所定の機能コードを入力することによって、センサが振動および温度を感知するように構成されるように、センサ４０の目的を指定すること、センサの取り付け方法を指定すること、配置されたときにセンサの画像をキャプチャすること、センサ４０が関連付けられている構成要素を指定することのために使用される。モノ管理アプリケーション８０はまた、例えば、センサ４０からクラウドサーバ２２にデータが送信される頻度、および使用されるタイプまたはデータ形式など、センサ４０を構成するために使用される。変形例では、追加されたモノの位置を指定する代わりに、機械可読コードはまた、コードに関連するモノのための意図された位置を指定する記憶された情報に関連付けられてもよく、それにより、適切な機械を使用してコードを読み取ることは、そのモノの識別情報および位置情報の両方を提供する。
モノマネージャアプリケーション８０はまた、カメラ４６、マイクロフォン４７、プロセス構成要素センサ５０、ＰＬＣデバイス５２および／または他のデータ生成構成要素５４を含む、他の「モノ」を追加および管理するために使用される。各「モノ」は、典型的には、構成パラメータの異なるセットを含むことが理解されよう。例えば、カメラ「モノ」の構成は、カメラの視野の構成と、カメラの視野内で見える位置の指定とを含み得る。
ユーザアプリケーション３４はまた、アセットおよびデジタルツイン情報の視覚的表現へのアクセスを容易にするアプリケーション、デジタルツイン情報に関する構造化された仮想動作を容易にするアプリケーション、アセットおよびデジタルツイン情報のコンテキストにおけるオペレータ間の協調を容易にするアプリケーション、ならびにタスクおよびアセット人員を管理するために使用可能なアプリケーションを含む。
この例では、ユーザアプリケーション３４は、オペレータがアセットの選択された部分の表現、この例ではアセットの仮想（ＣＡＤタイプなど）表現、アセットの画像表現、またはアセットの点群表現を見ることを有効にするために使用可能なアセット視覚化アプリケーション８２を含む。
アセット表現ビューは、ユーザがナビゲートして対話できる実際のアセットの没入的で現実的な表現をユーザに提供する。アセットの部分の例示的な表現１０２、この例ではアセットの点群表現を含む例示的なデジタルプラント画面１００が図４に示されている。表現１０２は、ポンプ１０４などのアセット構成要素と、例えば構成要素タイプなどの基本構成要素情報と、ポンプ構成要素の温度および振動情報などの重要な感知情報とを含む各構成要素の情報タブ１０６とを含むが、任意の適切な情報が想定されることが理解されよう。表現１０２はまた、アセットに物理的に存在するアクターに関連する表現を含むことができる。表示されたプラント画面１００を使用して、オペレータは、例えば、典型的には制御室１４にあるクラウドサーバ２２とネットワーク通信して配置されたコンピューティングデバイス１６、５６、６０の適切な制御装置を使用して、アセット表現１０２をナビゲートすることができる。オペレータはまた、仮想現実機器１８を使用してアセット表現１０２を見てナビゲートすることができる。
例示的な実装形態では、状況認識体験を向上させるために、アセット視覚化アプリケーション８２は、視覚的表現に加えて、マイクロフォン４７から出る音声もユーザに提供する。
この例では、表現１０２はまた、アセットの部分の対応する表現および／または対応する構成要素情報および／または定義された過去の時刻におけるアクターの位置を見るために使用され得るタイムライン１０８を含む。
この例では関連する構成要素情報タブ１０６を選択することによる構成要素１０４の選択により、図５に示すように詳細情報ウィンドウ１１０が表示される。詳細情報ウィンドウ１１０は、追加の構成要素関連情報、この例では構成要素のビデオへのリンク、構成要素の静止画像、構成要素の音声、ポンプ内のオイルのレベルを示す情報、構成要素結合部の温度、構成要素モータの温度、結合部振動情報、モータ振動情報、構成要素のオン／オフ状態、構成要素の電流の流れ、ポンプを通る流体流量、および水圧を含むが、任意の適切な構成要素関連情報が想定される。この例では、詳細情報ウィンドウ１１０内の各情報は、その情報がどの程度最新であるかを示す時間情報を含む。例えば、本出願では、音声は４時間前に受信され、モータ振動情報は２分前に受信された。
代替として、ユーザの選択に応答して特定の情報を表示する代わりに、システムは、ユーザが表現１０２を移動するときに詳細な情報を自動的に提供することができる。変形例では、システムは、所望の情報がユーザによって指定され得るように、例えば、ユーザが表現１０２をナビゲートするときに所望の情報がユーザに表示されるように構成され得る。ユーザに提供されるそのような情報はまた、ユーザが実行している特定のタスクに依存するなど、他の基準に依存してもよい。
情報タブ１０６または詳細情報ウィンドウ１１０はまた、メンテナンス情報、および／または関連する構成要素の計画された検査を含むことができる。
アセット仮想化アプリケーション８２を使用して、オペレータは、アセットの仮想表現をナビゲートし、オペレータがアセットを仮想的に移動するときに構成要素関連の動作データを見て、構成要素に関連する詳細情報を選択的に見ることができることが理解されよう。
オペレータが表現１０２を見るときに構成要素に関連して提供されるかなりの量の情報は、システム１０に追加され、有用な動作情報を提供するように構成された「モノ」から供給されることが理解されよう。構成要素の組み合わされた動作情報は、構成要素のデジタルツインを構成し、デジタルツイン情報は、オペレータがアセットに物理的に存在する必要なしに遠隔地から構成要素の動作状態および機能性の良好な理解を得ることができるという意味で、オペレータが構成要素に関する状況認識を得ることができるようなものである。
デジタルプラント画面１００はまた、ユーザが、フレアが存在することを示すためのフレアの視覚化、またはカスタムテキストボックスなどのカスタム情報または視覚化を表現１０２に追加することを有効にすることができる。
図４および図５に示すように、この例では、デジタルプラント画面１００は、デジタルプラント画面１００の機能を制御するために使用可能な選択可能なボタン１１４を含むメニューバー１１２を含む。
アセットの部分の仮想（ＣＡＤタイプ）表現１２０を表示するデジタルプラント画面１００のさらなる例を図６に示す。図６に示すように、表示された情報タブ１０６は、カメラの「モノ」に関連する情報タブ１２２を含み、したがって、カメラ情報タブ１０６は静止画像または動画像を含む。
この例では、ユーザは、図４～図６に示すように擬似３Ｄでアセット表現を見ることができ、あるいは例えば仮想現実機器１８を使用して仮想現実（ＶＲ）または拡張現実（ＡＲ）形式でアセット表現を見ることができる。
この例では、システムはまた、シミュレーションデータを記憶するように、および／または、例えば、アセットの構成要素の動作データ、想定を示すデータ、およびシミュレーションを生成するために必要な任意の他のデータを含む、アセットの動作のシミュレーションを生成するために使用可能なデータを記憶するように構成される。シミュレーションは、アセットのデジタル動作モデルを構成し、既存のアセット構成、変更されたアセット構成、または提案されたアセット構成に対応することができる。シミュレーションは、例えば、アセット性能を予測し、プロセスのボトルネックならびに入力および出力材料またはリソースの影響を識別するために使用することができる。
ユーザアプリケーション３４はまた、オペレータがプロセスを通る製品の流れの表現およびアセットのバッファポイントなどの製造プロセスまたは製造プロセスの部分の表現を見ることを有効にするために使用可能なプロセス認識アプリケーション８３を含む。プロセス表現は、オペレータがプロセスに寄与する構成要素に関連する関連動作データを見ることができるように、デジタルツイン情報にリンクされる。この例のプロセス認識アプリケーション８３は、アセット性能の記憶されたまたは作成されたシミュレーションを使用する。
アセットの部分の例示的なプロセス表現１１８を含む例示的なプロセス認識画面１１６が図７に示されている。
プロセス認識画面１１６は、例えばタイムライン（図示せず）を操作することによって、現在または過去の製造プロセスを見るために使用可能である。
プロセス認識アプリケーション８３はまた、定義された期間にわたるプロセスの表現が例えばユーザ定義の速度で再生される、プロセスのタイムラプスビューを見るために使用することができる。例えば、問題が診断プロセスの一部として識別された場合、ユーザは、問題の発生に関連する関連時間期間を選択し、関連するプロセス表現および関連するデータを再生して何が起こったかを示すことができる。プロセス認識アプリケーション８３はまた、診断プロセス中に、追加の時間同期データ点をプロセス表現１１８に追加するオプションをユーザに提供することができる。そのような「データ点」は、センサまたはビデオカメラなどのデータ生成構成要素４０、４６、４７、５０、５２、５４から導出された任意のデータに関連付けることができる。一例では、ユーザは、プロセス表現１１８がユーザレビューのための制御システム設定に関連するデータを含むように、制御システム内の設定（バルブ位置など）に関連するデータ点を追加することができる。さらなる例では、ユーザは、特定のカメラに関連するデータ点をプロセス表現１１８に追加することができ、その結果、ユーザは、プロセス表現１１８と対話することによってカメラから導出されたビデオを選択的に見ることができる。
システムは、システムによって生成された任意の視覚的表現へのユーザ選択データ点の追加を容易にすることができることが理解されよう。
プロセス表現１１８は、２Ｄ表現、擬似３Ｄ表現および／または、例えば仮想現実機器１８を使用して仮想現実（ＶＲ）または拡張現実（ＡＲ）技術を使用して見ることができる表現であってもよい。
例えば、ユーザが３Ｄプロセスモデルを使用して、選択されたプロセスアーキテクチャおよび動作を見ることができるように、アセットに関連するプロセスの擬似３Ｄ表現を作成することができる。プロセス表現は、複数のユーザが協働してプロセスを表示、設計、修正、および／またはトラブルシューティングすることができるように、他のユーザと仮想的に共有することができる。
ユーザアプリケーション３４はまた、レビューおよび／または分析目的のために所望の情報を抽出するために、オペレータがデジタルツイン情報にアクセスするために使用可能な分析アプリケーション８４を含む。例えば、オペレータは、分析アプリケーション８４を使用して、５ｍ／ｓを超える感知された振動を有する特定の製造業者によって製造されたポンプのデータセットなど、特定の種類の構成要素に関する特定の情報を抽出することができる。さらなる例では、オペレータは、分析アプリケーション８４を使用して、定期的に検査されていない機器と比較して定期的に検査されている機器の信頼性を追跡するためのダッシュボードを構築することができ、または分析アプリケーション８４を使用して、異なる風および外部温度シナリオの間に定義された構成要素にわたって変化する温度のヒートマップを示すレポートを構築することができる。
ユーザアプリケーション３４はまた、製造目標、製造計画、製造実績、メンテナンス活動、許可、チーム割り当て、特別な割り当て、アセットのリアルタイムの健全性および状態などの概要を提供する情報など、チームに関連する情報を見るためにオペレータによって使用可能なチームワークアプリケーション８５を含む。
ユーザアプリケーション３４はまた、オペレータがアセットの状況および動作状態、特に仮想化誘導経路に含まれるアセットの定義された構成要素の状況および動作状態を観察することを有効にする、アセットを通る仮想化誘導行動経路を作成および実装する能力をオペレータに提供する連続観察アプリケーション８６を含む。連続観察アプリケーション８６は、通常、定義された経路内の定義された構成要素の最新のデータ、イベント、音声、画像、およびビデオをオペレータに順次提示するシフト観察開始（ＳｏＳＯ）のシーケンスを定義するために使用される。
オペレータが連続観察アプリケーション８６を使用してシフトシーケンスの開始を実行するときにオペレータに表示されるシフト観察開始（ＳｏＳＯ）画面１３０の例が図８に示されている。ＳｏＳＯ画面１３０は、定義された一連の動作に関連するアセットの部分の仮想表現１３２と、仮想観察経路および定義された観察の位置１３６を視覚的に示すＳｏＳＯ経路１３４とを含む。ＳｏＳＯ画面１３０はまた、経路メニュー１３８と、各観察位置１３６について（仮想的に）実行するために必要な行動に関する情報を含むＳｏＳＯ詳細ボックス１４０とを含む。
使用中、シフトの開始時に、オペレータは、ＳｏＳＯ画面１３０上の仮想化誘導経路を起動し、経路上に定義された観察位置１３６を通って自動的に誘導される。図９に示すように、各観察位置１３６では、観察位置１３６に関連するアセットの部分１５２がＳｏＳＯ画面１３０に表示され、各観察位置１３６では、オペレータは、構成要素のデジタルツインから導出された関連構成要素に関連する情報を含む詳細情報ウィンドウ１５４を選択的に表示することができる。
ユーザアプリケーション３４はまた、オペレータが特定のプラント構成要素の観察などのスケジュールされたプラント観察を実行することを有効にするために使用可能な仮想検査アプリケーション８７を含む。仮想検査アプリケーション８７を使用して、オペレータは、構成要素を仮想的に検査し、例えば、調整メンテナンスが必要な場合はメンテナンス活動を自動的に作成することができる。
例示的なスケジュールされた観察画面１７０が図１０に示されている。スケジュールされた観察画面１７０は、スケジュールされた観察に関連するアセットの部分の表現１７２を含み、この例では、スケジュールされた観察に関連する構成要素１７４の表現を含む。構成要素情報タブ１０６を選択すると、図１１に示すように、詳細情報ウィンドウ１７６が表示される。スケジュールされた観察に関連するタスク要件の概要は、タスク概要ウィンドウ１７８に示される。
ユーザアプリケーション３４はまた、オペレータがアセット設計を評価および監視することを有効にし、そしてこの例では、リアルタイムおよび過去のデータの診断動作および分析を容易にすることによって、アセットの計画されたおよび実際の性能を評価および監視する、エンジニアリング認識アプリケーション８８を含む。オペレータは、エンジニアリング認識アプリケーション８８を使用して、特定の関心領域の集中分析を提供するために、例えばデジタルツイン情報から導出されたエンジニアリングデータ、プロセスデータ、イベントデータ、および状況データに基づいてカスタムアセット表現を作成することができる。エンジニアリング認識アプリケーション８８はまた、システム１０の他のユーザとの共有および協調を容易にする。
特定の例では、識別された振動問題を診断するために、オペレータは、エンジニアリング認識アプリケーション８８を使用して、例えばデータ点を視覚化に追加することによって、オペレータがアセットからの関連データフィードを視覚化することを有効にするビューを構築する。オペレータは、過剰な振動を有する動作シナリオを決定するために、振動読み取り値に関する閾値および警告を設定する。オペレータは、エンジニアリング認識アプリケーション８８を使用して、各シナリオを再生し、製造プロセスおよびデータ読み取り値を視覚化して原因を判定することができる。診断プロセスは、他のオペレータと共有することもできる。
ユーザアプリケーション３４はまた、システム１０の他のオペレータと対話する能力をオペレータに提供するチャットアプリケーション８９を含む。チャットアプリケーション８９は、アセットの特定の場所または特定のアセット構成要素など、アセットの任意の態様にリンクできる直接およびグループチャットを容易にする。チャットは、他のオペレータにとって有用な情報として役立つように保持可能である。チャットアプリケーション８９はまた、オンラインまたはオフラインであり得る他のオペレータがチャットに招待されることを有効にする。
特定の例では、オペレータは、アセットの領域内の問題を識別し、これに応答して、オペレータは、チャットアプリケーション８９を使用して、プラントのその領域の専門技術者オペレータに、問題について作成されたチャットに参加するよう招待する。その後、招待された技術者は、チャットに参加し、オペレータおよび技術者は、いかなる行動も不要であると決定する。チャットに関連する会話は、システムの他のユーザが異常だが認識された行動を認識できるように保持される。
ユーザアプリケーション３４はまた、音声コマンドおよび音声応答を使用してシステムと対話する能力をオペレータに提供する音声アプリケーション９０を含む。
特定の例では、オペレータは、アセットに物理的に存在し、システム１０と対話するためのモバイルコンピューティングデバイスを有していない。オペレータは、音声アプリケーション９０と通信するデジタル無線機を使用してシステム１０と口頭で通信し、プラントのある領域の現在の動作モードに関する情報を要求する。これに応答して、音声アプリケーション９０は、プラント領域が起動中であることをアドバイスする。オペレータはまた、オペレータが異音を発していることに気付く、特定のポンプの状態に関する情報を求める。音声アプリケーション９０は、口頭命令を解釈し、デジタルツイン情報から必要な情報を抽出する。ポンプの振動レベルが正常動作閾値を超えている場合、オペレータは、ポンプのメンテナンス通知を上げるためのワークフローを開始するために口頭で指示を出すことができる。
ユーザアプリケーション３４はまた、プラントの設計、プロセス、および動作を仮想的にレビューする能力を複数のオペレータに提供する仮想レビューアプリケーション９１を含む。オペレータは、共有仮想環境で通信して、アセットの仮想表現を観察し、それと対話する。仮想レビューアプリケーション９２は、オペレータが仮想表現を動き回り、互いに通信し、モデルの部分に注釈を付けることを有効にする。オペレータはまた、アセットの仮想表現またはアセットのプロセスフロープロセス表現のコンテキストでレビュー目的のために設計、構築および運用文書にアクセスすることができる。オペレータはまた、プロセスの動作シミュレーションを実行することができる。
特定の例では、エンジニアリング設計チームは、プラントの設計を検討し、例えば詳細な仮想プロセス表現、および運用データをレビューすることによって、運用プロセスにおける製造のボトルネックを解決するために共同で作業する。
ユーザアプリケーション３４はまた、システム１０のユーザの経験を通じて開発された協調知識ベースへのアクセスを維持および容易にするために使用可能な知識アプリケーション９２を含む。知識アプリケーション９２は、例えばオペレータが構成要素を見ているときに特定の構成要素に関連する情報が見えるようにするために、アセットの特定の領域または構成要素に関連する関連情報が領域または構成要素にリンクされるように構成されてもよい。
特定の例では、オペレータは、知識アプリケーション９２を使用してＷＩＫＩレコードを書き込み、そのレコードをアセット内の特定の機器または領域にリンクする。オペレータはまた、それを音響ノイズレベルと関連付けて、異常なノイズが目立つようになったときに取るべき一連の行動を他のユーザに警告する。このような異音に応答した一連の行動は、典型的にはメンテナンス行動をもたらすので、メンテナンス通知ワークフローを自動的に作成するためのリンクをＷＩＫＩレコードのテキストに埋め込むことができる。
ユーザアプリケーション３４はまた、オペレータが現実世界のアセット環境に配置された自律機器（ロボット５６など）を計画、実行、監視、および制御することを有効にするために使用可能なミッション計画アプリケーション９４を含む。例えば、オペレータは、ミッションエンジン７８によって実施されるアセットの定期的な自動検査を実行するようにロボットをスケジュールすることができる。スケジュールによれば、ロボット５６が起動され、その計画経路を完全に自律的にナビゲートする。点群、ビデオ、画像、および／または他のセンサデータは、ロボット５６によってキャプチャされ、リアルタイムで処理されて検査結果を提供することができる。
ユーザアプリケーション３４はまた、オペレータが割り当てられたタスクを管理すること、またはイベントもしくは新しいもしくは変化するアクティビティを通知されることを有効にするタスク／通知アプリケーション９６を含む。オペレータは、タスク／通知アプリケーション９６を使用して、オペレータ、彼らのチーム、または他のオペレータもしくはアクターに必要な新しいタスクまたはワークフローを開始することができる。タスク／通知アプリケーション９６はまた、タスクおよびワークフローのパフォーマンスを監視するために使用可能であり、オペレータのタスクが閾値を超えているときにオペレータへの通知を自動的にトリガする。
ユーザアプリケーション３４はまた、スイング、シフト、および業務ロスタを設定および管理するために使用可能な従業員管理アプリケーション９８を含む。従業員管理アプリケーション９８は、監督者が、従業員／チームメンバーを製造活動に割り当てること、および特別な活動をチームメンバーに割り当てることを有効にする。従業員管理アプリケーション９８は、アセットにわたる様々な活動に割り当てられたチームメンバーの視覚的表現を提供することができ、従業員およびチームメンバーの割り当てを使用して、役割ベースのタスクおよび通知を提供することができる。シフトまたは特別な活動割り当てが行われる前に、正しい資格および役割要件が評価されることを確実にするために、従業員の能力および訓練をインポートすることもできる。
ユーザ間の協調を容易にするために、システム１０は、複数のユーザが、アセット表現データ２４、構成要素データ２８、リアリティエンジンアプリケーション３２、および協調目的２２のためのユーザアプリケーション３４を含むシステム１０に同時にアクセスできるように構成され得る。例えば、複数のユーザは、仮想現実機器１８を使用してＶＲまたはＡＲ環境内のアセット構成要素の視覚的表現にアクセスすることができ、その結果、設計、製造、または診断の目的で同じデジタル環境を体験し、互いに協働することができる。
上記の例は単一の施設に関連して説明されているが、本システムおよび方法は、例えば、各施設に関連する特定の情報が施設によって許可されたユーザのみに利用可能であるが、例えば、機器製造業者が機器の性能を評価することができるように、いくつかの情報がより広く利用可能であるように、複数の施設に適用されてもよいことが理解されよう。
本システムおよび方法は、アセットの異なる態様、機能領域、および／またはライフサイクル段階に関連するデータがリアリティエンジン３０を使用して統合されることを有効にし、データはコンテキストおよび意味と統合されることも理解されよう。
本明細書で先行技術の刊行物が言及される場合、そのような言及は、その刊行物がオーストラリアまたは他の国における当技術分野の共通の一般知識の一部を形成することの承認を構成しないことを理解されたい。
以下の特許請求の範囲および本発明の前述の説明では、文脈上、明示的な言語または必要な含意により他の意味に解釈すべき場合を除いて、「含む（ｃｏｍｐｒｉｓｅ）」という単語または「含む（ｃｏｍｐｒｉｓｅｓ）」もしくは「含む（ｃｏｍｐｒｉｓｉｎｇ）」などの変形は包括的な意味で使用され、すなわち、記載された特徴の存在を特定するが、本発明の様々な実施形態におけるさらなる特徴の存在または追加を排除するものではない。
当業者に明らかであろう変更および変形は、本発明の範囲内であると決定される。

Claims (133)

  1. アセット管理システムであって、
    データ記憶装置であって、
    アセットの視覚的表現を示す視覚的データであって、前記視覚的表現は前記アセットの構成要素の視覚的表現を含む、視覚的データと、
    前記構成要素の動作を示す動作データを含む前記アセットの構成要素の特性を示す構成要素データと、
    前記アセットに対する前記構成要素の位置を示す構成要素位置データを含む空間データと、を定義された座標系に従って第１の座標形式で記憶するように構成される、データ記憶装置と、
    前記アセットに配置された複数の通信可能なモノであって、各通信可能なモノは、前記アセットの少なくとも１つの構成要素の動作を示す動作データを取得し、前記動作データを前記データ記憶装置に通信するように構成される、複数の通信可能なモノと、
    前記記憶された視覚的データへのアクセスを容易にするように構成されたユーザインタフェースであって、アセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令を受信することにより、前記アセットの隣接部分の視覚的表現を表示するために前記ユーザによって制御可能であり、
    前記ユーザインタフェースは、前記ユーザが前記アセットの前記視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素情報を表示するのを容易にするように構成され、前記構成要素情報は、前記構成要素に関連する少なくとも１つの通信可能なモノから導出され、
    前記空間データは、アクターが前記アセットに対して移動するときに前記アセットに配置された少なくとも１つの前記アクターの位置を示すアクター位置データを含み、前記システムは、前記アクター位置データを取得し、前記アクター位置データを前記第１の座標形式で記憶するように構成される、ユーザインタフェースと、を備える、アセット管理システム。
  2. 前記ユーザインタフェースは、構成要素の前記視覚的表現が前記ユーザインタフェースによって表示されるときに、前記ユーザが前記アセットの前記視覚的表現を通じてナビゲートするときに、前記構成要素に隣接して構成要素情報を自動的に表示するように構成される、請求項１に記載のアセット管理システム。
  3. 前記システムは、ユーザ入力に応答してさらなる構成要素情報を表示するように構成される、請求項２に記載のアセット管理システム。
  4. 前記ユーザインタフェースは、構成要素の前記視覚的表現が前記ユーザインタフェースによって表示されるときに、ユーザ入力に応答して前記構成要素に隣接して構成要素情報を表示するように構成される、請求項１に記載のアセット管理システム。
  5. 構成要素に隣接して表示される前記構成要素情報の少なくとも一部は、ユーザ定義の基準に基づく、請求項１に記載のアセット管理システム。
  6. 前記構成要素データは、前記構成要素の種類を示すデータを含む、請求項１から５のいずれか一項に記載のアセット管理システム。
  7. 前記構成要素データは、構成要素動作データに関連するタイミングデータを含み、前記タイミングデータは、構成要素から動作データが取得された時間を示す、請求項１から６のいずれか一項に記載のアセット管理システム。
  8. 前記表示された構成要素情報は前記タイミングデータを含む、請求項７に記載のアセット管理システム。
  9. 前記表示された構成要素情報はメンテナンス情報を含む、請求項１から８のいずれか一項に記載のアセット管理システム。
  10. 前記ユーザインタフェースは、ユーザによる時間の選択を容易にすることにより、前記アセットの部分の時間依存の視覚的表現と、前記アセットの前記部分の構成要素に隣接して時間依存の構成要素情報とを表示するように構成される、請求項１から９のいずれか一項に記載のアセット管理システム。
  11. 前記アセットの前記視覚的表現は、前記アセットにおけるアクターの位置に対応する前記位置における前記アクターの視覚的表現を含む、請求項１から１０のいずれか一項に記載のアセット管理システム。
  12. 前記構成要素位置データは、構成要素がある位置に配置された時間を示すタイミングデータを含む、請求項１から１１のいずれか一項に記載のアセット管理システム。
  13. 前記アクター位置データは、アクターがある位置に配置された時間を示すタイミングデータを含む、請求項１から１２のいずれか一項に記載のアセット管理システム。
  14. 前記アクターは、前記アセットに対する前記アクターの前記位置を示す前記アクター位置データを生成するように構成された測位デバイスを備える、請求項１から１３のいずれか一項に記載のアセット管理システム。
  15. 前記アクターはモバイルコンピューティングデバイスを備え、前記モバイルコンピューティングデバイスは前記測位デバイスを含む、請求項１４に記載のアセット管理システム。
  16. 前記アセットの分散位置に配置された複数の機械可読マーカを備え、前記アクターは、前記機械可読マーカに対する前記位置特定デバイスの前記位置を決定することにより前記アセットに対する前記アクターの前記位置を決定するように構成された位置特定デバイスを含む、請求項１から１３のいずれか一項に記載のアセット管理システム。
  17. 前記機械可読マーカは、視覚的位置マーカまたはＢｌｕｅｔｏｏｔｈビーコンを含む、請求項１６に記載のアセット。
  18. 前記測位デバイスは、同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して、前記アセットに対する前記アクターの前記位置を決定するように構成される、請求項１４に記載のアセット。
  19. 前記構成要素データは、
    音声を示すデータ、
    映像を示すデータと
    少なくとも１つの画像を示すデータ、
    振動を示すデータ、
    温度を示すデータ、
    電流を示すデータ、
    流量を示すデータ、
    圧力を示すデータ、
    移動速度を示すデータ、
    制御値を示すデータ、
    機器性能を示すデータ、
    構成要素の一部の位置または状態を示すデータ、および／または
    構成要素の動作状態（オン／オフ）を示すデータ、を含む、請求項１から１８のいずれか一項に記載のアセット管理システム。
  20. 前記複数の通信可能なモノは、
    マイクロフォンと、
    センサと、
    プログラマブルロジックコントローラ（ＰＬＣ）デバイスと、のうちの１つまたは複数を含む、請求項１から１９のいずれか一項に記載のアセット管理システム。
  21. 前記複数の通信可能なモノは、スチルおよび／またはビデオカメラを含む、請求項１から２０のいずれか一項に記載のアセット管理システム。
  22. 前記空間データは、前記カメラの視野内に示された前記位置を示すデータを含む、請求項２１に記載のアセット管理システム。
  23. 前記ユーザインタフェースは、前記ユーザが前記アセットの前記視覚的表現をナビゲートして前記アセットの部分が表示されるときに、前記アセットの前記部分に関連する音声を自動的に再生するように構成され、前記音声は少なくとも１つのマイクロフォンから出る、請求項１から２２のいずれか一項に記載のアセット管理システム。
  24. 各モノは、構成要素に組み込まれるか、構成要素に接続されるか、または前記構成要素に隣接して配置される、請求項１から２３のいずれか一項に記載のアセット管理システム。
  25. アセットの視覚的表現を示す前記視覚的データは、前記アセットの画像を示す画像データ、前記アセットを示す仮想表現、および／または前記アセットを示す点群データを含む、請求項１から２４のいずれか一項に記載のアセット管理システム。
  26. 前記仮想表現はＣＡＤ表現を含む、請求項２５に記載のアセット管理システム。
  27. 前記ユーザインタフェースは、前記第１の座標形式とは異なる第２の座標形式を使用し、前記システムは、前記第１の座標形式と前記第２の座標形式との間で位置データを変換するように構成される、請求項１から２６のいずれか一項に記載のアセット管理システム。
  28. 前記第１の座標形式は、ＷＧＳ８４全地球基準システムデータに準拠する、請求項２７に記載のアセット管理システム。
  29. 前記データ記憶装置はクラウドサーバに配置される、請求項１から２８のいずれか一項に記載のアセット管理システム。
  30. 前記アセットにＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを備え、前記通信可能なモノから取得された前記動作データは、前記ＬｏＲａＷＡＮおよび／または前記ＷｉＦｉネットワークを使用して前記データ記憶装置に通信される、請求項１から２９のいずれか一項に記載のアセット管理システム。
  31. 広域ネットワークと前記通信可能なモノとの間に配置されたエッジサーバを備え、前記エッジサーバは、前記通信可能なモノから取得されたデータを処理し、処理されたデータを前記広域ネットワークを介して前記データ記憶装置に通信するように構成される、請求項１から３０のいずれか一項に記載のアセット管理システム。
  32. 遠隔地からの前記システムおよび／または前記視覚的データおよび／または前記構成要素データへのアクセスを容易にするように構成された少なくとも１つのアプリケーションプログラミングインタフェース（ＡＰＩ）を備える、請求項１から３１のいずれか一項に記載のアセット管理システム。
  33. 前記構成要素データを自動的に分析し、前記分析に応答して行動を実行するように構成された分析エンジンを備える、請求項１から３２のいずれか一項に記載のアセット管理システム。
  34. 前記分析エンジンは、機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して前記分析を実行するように構成される、請求項３３に記載のアセット管理システム。
  35. 前記分析エンジンは、前記分析に応答してメンテナンス行動を引き起こすように構成される、請求項３４に記載のアセット管理システム。
  36. 前記分析エンジンは、少なくとも１つの構成要素の性能を分析し、前記構成要素の挙動が定義された正常な挙動から逸脱していると判定された場合に行動を引き起こすように構成される、請求項３４に記載のアセット管理システム。
  37. 前記分析エンジンは、現在または過去の構成要素データに基づいて、少なくとも１つの構成要素の将来の性能低下を予測するように構成される、請求項３４に記載のアセット管理システム。
  38. 前記構成要素データに直接または間接的に依存する定義された条件に応答して定義された行動を実行するための、カスタマイズされたルールの作成および実行を容易にするように構成されたルールエンジンを備える、請求項１から３７のいずれか一項に記載のアセット管理システム。
  39. 前記システムは、前記アセットにおけるアクターの位置に応答して行動を実行するように構成される、請求項１から３８のいずれか一項に記載のアセット管理システム。
  40. 前記システムは、前記アセットにおける前記アクターの位置に応答して前記アクターに情報を通信するように構成される、請求項３９に記載のアセット管理システム。
  41. 前記システムは、前記アセットにおける前記アクターの位置に応答して前記アクターに動作データを通信するように構成される、請求項３９または４０に記載のアセット管理システム。
  42. 前記システムは、前記アセットにおける前記アクターの位置に応答して、モノに関連する動作データを更新するように構成される、請求項３９から４１のいずれか一項に記載のアセット管理システム。
  43. 前記システムは、前記アセットにおける前記アクターの位置に応答して前記アクターに警告情報を通信するように構成される、請求項４２に記載のアセット管理システム。
  44. 前記システムは、前記アセットの定義された構成要素に対する前記アクターの近接度に基づいて行動を実行するように構成される、請求項３９から４３のいずれか一項に記載のアセット管理システム。
  45. 前記システムは、前記アセットにおける前記アクターの前記位置に基づいて前記アクターにタスクを割り当てるように構成される、請求項３９から４４のいずれか一項に記載のアセット管理システム。
  46. 前記アクターはロボットを含む、請求項１から４５のいずれか一項に記載のアセット管理システム。
  47. 前記システムは、定義された基準に応答して前記ロボットに定義された行動を実行させるように構成される、請求項４６に記載のアセット管理システム。
  48. 前記少なくとも１つの定義された行動は、機械学習（ＭＬ）または人工知能（ＡＩ）アルゴリズム、定義されたルールの結果によって、および／またはユーザからの指示に応答して引き起こされる、請求項４７に記載のアセット管理システム。
  49. 前記システムは、前記アセットの少なくとも１つの定義された部分を示す視覚的データをキャプチャするように前記ロボットを制御するように構成される、請求項４７または４８に記載のアセット管理システム。
  50. 前記システムは、少なくとも１つのメンテナンス行動を実行するように前記ロボットを制御するように構成される、請求項４７から４９のいずれか一項に記載のアセット管理システム。
  51. 前記アクターは、モバイルコンピューティングデバイスを装備した人物を含み、前記システムは、定義された基準に応答して、前記人物に対して定義された行動を前記モバイルコンピューティングデバイスに通信するように構成される、請求項１から４５のいずれか一項に記載のアセット管理システム。
  52. 通信可能なモノを前記システムに登録するために使用可能なモノマネージャを備える、請求項１から５１のいずれか一項に記載のアセット管理システム。
  53. 通信可能なモノは、一意の機械可読識別子を含み、前記システムは、前記通信可能なモノを識別して前記システムに登録するために、前記機械可読識別子のキャプチャを容易にする、請求項５２に記載のアセット管理システム。
  54. 前記機械可読識別子はＱＲコード（登録商標）を備える、請求項５３に記載のアセット管理システム。
  55. 前記モノマネージャは、
    前記アセットにおける前記モノの前記位置、
    前記モノの目的、
    前記モノの取り付け方、
    配置時のモノの画像、
    前記モノが関連付けられる前記構成要素、
    前記モノの１つまたは複数のセンサの目的、
    前記モノの各センサに関連する前記構成要素の前記部分、および／または
    前記モノに関連する構成情報、を示す情報の受け取りを容易にするように構成される、請求項５２から５４のいずれか一項に記載のアセット管理システム。
  56. ユーザによって実行されるタスクおよびワークフローの作成および／または実行を容易にするように構成されたワークフローエンジンを備える、請求項１から５５のいずれか一項に記載のアセット管理システム。
  57. 前記ワークフローエンジンは、観察のシフトシーケンスの仮想開始を定義および実装するように構成され、オペレータは、定義された構成要素のセットの視覚的表現および構成要素データを順次検査することにより前記アセットの前記対応する実際の構成要素を仮想的に検査するように自動的に指示される、請求項５６に記載のアセット管理システム。
  58. 前記アセットの前記視覚的表現および前記アセットから導出された前記構成要素データへのアクセスを容易にし、前記アセットの前記視覚的表現および前記アセットから導出された前記構成要素データに関連する仮想動作を容易にし、ユーザ間の協調を容易にし、および／またはタスクおよびアセット担当者の管理を容易にするように構成された少なくとも１つのユーザアプリケーションを備える、請求項１から５７のいずれか一項に記載のアセット管理システム。
  59. 前記少なくとも１つのユーザアプリケーションは、ウェブブラウザを介してアクセス可能である、請求項５８に記載のアセット管理システム。
  60. 前記ユーザアプリケーションは、オペレータが前記アセットに関連する製造プロセスの表現を見ることを有効にするために使用可能なプロセス認識アプリケーションを含む、請求項５８または５９に記載のアセット管理システム。
  61. 前記プロセス認識アプリケーションは、前記製造プロセスの擬似３Ｄ表現を表示するように構成される、請求項６０に記載のアセット管理システム。
  62. 前記製造プロセスの前記表現は、複数のユーザが前記プロセスを表示、設計、修正、および／またはトラブルシューティングするために協働することができるように仮想的に共有可能である、請求項６０または６１に記載のアセット管理システム。
  63. 前記プロセス認識アプリケーションは、前記製造プロセスの前記表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点はユーザ選択の動作データに関連付けられる、請求項６０から６２のいずれか一項に記載のアセット管理システム。
  64. 前記システムは、前記視覚的表現への少なくとも１つのデータ点の追加を容易にするように構成され、各データ点はユーザ選択の動作データに関連付けられる、請求項１から５９のいずれか一項に記載のアセット管理システム。
  65. 前記ユーザアプリケーションは、オペレータが前記システムの他のオペレータと対話することを有効にするチャットアプリケーションを含む、請求項５８から６４のいずれか一項に記載のアセット管理システム。
  66. 前記チャットアプリケーションは、チャットを前記アセットまたは特定のアセット構成要素の特定の位置にリンクすることを容易にする、請求項６５に記載のアセット管理システム。
  67. 前記ユーザアプリケーションはまた、音声コマンドおよび音声応答を使用して前記システムと対話する能力をオペレータに提供する音声アプリケーションも含む、請求項５８から６６のいずれか一項に記載のアセット管理システム。
  68. 前記アセットは、資源産業アセットである、請求項１から６７のいずれか一項に記載のアセット管理システム。
  69. アセットを管理する方法であって、
    アセットの視覚的表現を示す視覚的データをデータ記憶装置に記憶することであって、前記視覚的表現は前記アセットの構成要素の視覚的表現を含む、記憶することと、
    前記構成要素の動作を示す動作データを含む前記アセットの構成要素の特性を示す構成要素データを前記データ記憶装置に記憶することと、
    前記アセットに対する前記構成要素の位置を示す構成要素位置データを含む空間データを、定義された座標系に従って第１の座標形式で記憶し、前記アセットに対して前記アクターが移動する際の、前記アセットに配置された少なくとも１つのアクターの位置を示すアクター位置データを記憶する
    ことと、
    前記アセットに配置された複数の通信可能なモノを配置することであって、各通信可能なモノは、前記アセットの少なくとも１つの構成要素の動作を示す動作データを取得し、前記動作データを前記データ記憶装置に通信するように構成される、配置することと、
    前記記憶された視覚的データへのユーザインタフェースを使用したアクセスを容易にすることであって、前記ユーザインタフェースは、アセットの選択された部分の視覚的表現を表示し、ユーザからナビゲーション命令を受信することにより、前記アセットの隣接部分の視覚的表現を表示するために前記ユーザによって制御可能である、容易にすることと、
    前記ユーザが前記アセットの前記視覚的表現を介してナビゲートするときに、構成要素に隣接して構成要素情報を前記ユーザインタフェースに表示するのを容易にすることであって、前記構成要素情報は、前記構成要素に関連する通信可能なモノから導出される、容易にすることと、
    アクター位置データを取得することと、
    前記アクター位置データを前記第１の座標形式で記憶することと、を含む、方法。
  70. 構成要素の前記視覚的表現が前記ユーザインタフェースによって表示されるときに、前記ユーザが前記アセットの前記視覚的表現をナビゲートするときに、前記構成要素に隣接して構成要素情報を自動的に表示することを含む、請求項６９に記載の方法。
  71. ユーザ入力に応答してさらなる構成要素情報を表示することを含む、請求項７０に記載の方法。
  72. 構成要素の前記視覚的表現が前記ユーザインタフェースによって表示されるときに、ユーザ入力に応答して前記構成要素に隣接して構成要素情報を表示することを含む、請求項６９に記載の方法。
  73. 構成要素に隣接して表示される前記構成要素情報の少なくとも一部は、ユーザ定義の基準に基づく、請求項６９に記載の方法。
  74. 前記構成要素データは、前記構成要素の種類を示すデータを含む、請求項６９から７３のいずれか一項に記載の方法。
  75. 前記構成要素データは、構成要素動作データに関連するタイミングデータを含み、前記タイミングデータは、構成要素から動作データが取得された時間を示す、請求項６９から７４のいずれか一項に記載の方法。
  76. 前記表示された構成要素情報は前記タイミングデータを含む、請求項７５に記載の方法。
  77. 前記表示された構成要素情報はメンテナンス情報を含む、請求項６９から７６のいずれか一項に記載の方法。
  78. ユーザによる時間の選択に応答して、前記アセットの部分の時間依存の視覚的表現と、前記アセットの前記部分の構成要素に隣接して時間依存の構成要素情報とを表示することを含む、請求項６９から７７のいずれか一項に記載の方法。
  79. 前記アセットの前記視覚的表現は、前記アセットにおけるアクターの位置に対応する前記位置における前記アクターの視覚的表現を含む、請求項６９から７８のいずれか一項に記載の方法。
  80. 前記構成要素位置データは、構成要素がある位置に配置された時間を示すタイミングデータを含む、請求項６９から７９のいずれか一項に記載の方法。
  81. 前記アクター位置データは、アクターがある位置に配置された時間を示すタイミングデータを含む、請求項６９から８０のいずれか一項に記載の方法。
  82. 前記アクターは、前記アセットに対する前記アクターの前記位置を示す前記アクター位置データを生成するように構成された測位デバイスを備える、請求項６９から８１のいずれか一項に記載の方法。
  83. 前記アクターはモバイルコンピューティングデバイスを備え、前記モバイルコンピューティングデバイスは前記測位デバイスを含む、請求項８２に記載の方法。
  84. 前記アクターは位置特定デバイスを含み、前記方法は、前記アセットの分散位置に配置された複数の機械可読マーカを提供することと、前記機械可読マーカに対する前記位置特定デバイスの前記位置を決定すること、および前記機械可読マーカに対する前記位置特定デバイスの前記位置を決定することにより前記アセットに対する前記アクターの前記位置を決定することとを含む、請求項６９から８１のいずれか一項に記載の方法。
  85. 前記機械可読マーカは、視覚的位置マーカまたはＢｌｕｅｔｏｏｔｈビーコンを含む、請求項８４に記載のアセット。
  86. 同時位置特定およびマッピング（ＳＬＡＭ）技術を使用して、前記アセットに対する前記アクターの前記位置を決定することを含む、請求項８２に記載のアセット。
  87. 前記構成要素データは、
    音声を示すデータ、
    映像を示すデータ、
    少なくとも１つの画像を示すデータ、
    振動を示すデータ、
    温度を示すデータ、
    電流を示すデータ、
    流量を示すデータ、
    圧力を示すデータ、
    移動速度を示すデータ、
    制御値を示すデータ、
    機器性能を示すデータ、
    構成要素の一部の位置または状態を示すデータ、および／または
    構成要素の動作状態（オン／オフ）を示すデータ、を含む、請求項６９から８６のいずれか一項に記載の方法。
  88. 前記複数の通信可能なモノは、
    マイクロフォンと、
    センサと、
    プログラマブルロジックコントローラ（ＰＬＣ）デバイスと、のうちの１つまたは複数を含む、請求項６９から８７のいずれか一項に記載の方法。
  89. 前記複数の通信可能なモノは、スチルおよび／またはビデオカメラを含む、請求項６９から８８のいずれか一項に記載の方法。
  90. 前記空間データは、前記カメラの視野内に示された前記位置を示すデータを含む、請求項８９に記載の方法。
  91. 前記ユーザが前記アセットの前記視覚的表現をナビゲートして前記アセットの部分が表示されるときに、前記アセットの前記部分に関連する音声を自動的に再生することを含み、前記音声は少なくとも１つのマイクロフォンから出る、請求項６９から９０のいずれか一項に記載の方法。
  92. 各モノは、構成要素に組み込まれるか、構成要素に接続されるか、または前記構成要素に隣接して配置される、請求項６９から９１のいずれか一項に記載の方法。
  93. アセットの視覚的表現を示す前記視覚的データは、前記アセットの画像を示す画像データ、前記アセットを示す仮想表現、および／または前記アセットを示す点群データを含む、請求項６９から９２のいずれか一項に記載の方法。
  94. 前記仮想表現はＣＡＤ表現を含む、請求項９３に記載の方法。
  95. 前記ユーザインタフェースは、前記第１の座標形式とは異なる第２の座標形式を使用し、前記方法は、前記第１の座標形式と前記第２の座標形式との間で位置データを変換することを含む、請求項６９から９２のいずれか一項に記載の方法。
  96. 前記第１の座標形式は、ＷＧＳ８４全地球基準システムデータに準拠する、請求項９５に記載の方法。
  97. 前記データ記憶装置をクラウドサーバに配置することを含む、請求項６９から９６のいずれか一項に記載の方法。
  98. 前記アセットにＬｏＲａＷＡＮおよび／またはＷｉＦｉネットワークを備え、前記方法は、前記通信可能なモノから前記動作データを取得することと、前記ＬｏＲａＷＡＮおよび／または前記ＷｉＦｉネットワークを使用して前記動作データを前記データ記憶装置に通信することとを含む、請求項６９から９７のいずれか一項に記載の方法。
  99. 広域ネットワークと前記通信可能なモノとの間に配置されたエッジサーバを使用して、前記通信可能なモノから取得されたデータを処理することと、処理されたデータを前記広域ネットワークを介して前記データ記憶装置に通信することとを含む、請求項６９から９８のいずれか一項に記載の方法。
  100. 少なくとも１つのアプリケーションプログラミングインタフェース（ＡＰＩ）を使用して遠隔地からの前記システムおよび／または前記視覚的データおよび／または前記構成要素データへのアクセスを容易にすることを含む、請求項６９から９９のいずれか一項に記載の方法。
  101. 分析エンジンを使用して前記構成要素データを自動的に分析することと、前記分析に応答して行動を実行することとを含む、請求項６９から１００のいずれか一項に記載の方法。
  102. 機械学習（ＭＬ）および／または人工知能（ＡＩ）技術を使用して前記分析を実行することを含む、請求項１０１に記載の方法。
  103. 前記分析に応答してメンテナンス行動を引き起こすことを含む、請求項１０２に記載の方法。
  104. 少なくとも１つの構成要素の性能を分析することと、前記構成要素の挙動が定義された正常な挙動から逸脱していると判定された場合に行動を引き起こすこととを含む、請求項１０２に記載の方法。
  105. 現在または過去の構成要素データに基づいて、少なくとも１つの構成要素の将来の性能低下を予測することを含む、請求項１０２に記載の方法。
  106. 前記構成要素データに直接または間接的に依存する定義された条件に応答して定義された行動を実行するための、カスタマイズされたルールの作成および実行を容易にすることを含む、請求項６９から１０５のいずれか一項に記載の方法。
  107. 前記アセットにおけるアクターの位置に応答して行動を実行することを含む、請求項６９から１０６のいずれか一項に記載の方法。
  108. 前記アセットにおける前記アクターの位置に応答して前記アクターに情報を通信することを含む、請求項１０７に記載の方法。
  109. 前記アセットにおける前記アクターの位置に応答して前記アクターに動作データを通信することを含む、請求項１０７または請求項１０８に記載の方法。
  110. 前記アセットにおける前記アクターの位置に応答して、モノに関連する動作データを更新することを含む、請求項１０７から１０９のいずれか一項に記載の方法。
  111. 前記アセットにおける前記アクターの位置に応答して前記アクターに警告情報を通信することを含む、請求項１０７から１１０のいずれか一項に記載の方法。
  112. 前記アセットの定義された構成要素に対する前記アクターの近接度に基づいて行動を実行することを含む、請求項１０７から１１１のいずれか一項に記載の方法。
  113. 前記アセットにおける前記アクターの前記位置に基づいて前記アクターにタスクを割り当てることを含む、請求項１０７から１１２のいずれか一項に記載の方法。
  114. 前記アクターはロボットを含む、請求項６９から１１３のいずれか一項に記載の方法。
  115. 前記ロボットに、定義された基準に応答して定義された行動を実行させることを含む、請求項１１４に記載の方法。
  116. 機械学習（ＭＬ）または人工知能（ＡＩ）アルゴリズム、定義されたルールの結果によって、および／またはユーザからの指示に応答して、少なくとも１つの定義された行動を引き起こすことを含む、請求項１１５に記載の方法。
  117. 前記アセットの少なくとも１つの定義された部分を示す視覚的データをキャプチャするように前記ロボットを制御することを含む、請求項１１５または請求項１１６に記載の方法。
  118. 少なくとも１つのメンテナンス動作を実行するように前記ロボットを制御することを含む、請求項１１５から１１７のいずれか一項に記載の方法。
  119. 前記アクターは、モバイルコンピューティングデバイスを装備した人物を含み、前記システムは、定義された基準に応答して、前記人物に対して定義された行動を前記モバイルコンピューティングデバイスに通信するように構成される、請求項６９から１１３のいずれか一項に記載の方法。
  120. モノマネージャを使用して前記システムに通信可能なモノを登録することを含む、請求項６９から１１９のいずれか一項に記載の方法。
  121. 通信可能なモノは一意の機械可読識別子を含み、前記方法は、前記通信可能なモノを識別して前記システムに登録するために、前記機械可読識別子をキャプチャすることを含む、請求項１２０に記載の方法。
  122. 前記機械可読識別子はＱＲコード（登録商標）を備える、請求項１２１に記載の方法。
  123. 前記モノマネージャは、
    前記アセットにおける前記モノの前記位置、
    前記モノの目的、
    前記モノの取り付け方、
    配置時のモノの画像、
    前記モノが関連付けられる前記構成要素、
    前記モノの１つまたは複数のセンサの目的、
    前記モノの各センサに関連する前記構成要素の前記部分、および／または
    前記モノに関連する構成情報、を示す情報の受け取りを容易にするように構成される、請求項１２０から１２２のいずれか一項に記載の方法。
  124. ユーザによって実行されるタスクおよびワークフローの作成および／または実行を容易にすることを含む、請求項６９から１２３のいずれか一項に記載の方法。
  125. 観察のシフトシーケンスの仮想開始の定義および実装を容易にすることを含み、オペレータは、定義された構成要素のセットの視覚的表現および構成要素データを順次検査することにより前記アセットの前記対応する実際の構成要素を仮想的に検査するように自動的に指示される、請求項１２４に記載の方法。
  126. オペレータが前記アセットに関連する製造プロセスの表現を見ることを有効にすることを含む、請求項６９から１２５のいずれか一項に記載の方法。
  127. 前記製造プロセスの擬似３次元表現を表示することを含む、請求項１２６に記載の方法。
  128. 複数のユーザが前記プロセスを閲覧、設計、修正、および／またはトラブルシューティングするために協働することができるように、前記製造プロセスの仮想共有を容易にすることを含む、請求項１２６または１２７に記載の方法。
  129. 前記製造プロセスの前記表現への少なくとも１つのデータ点の追加を容易にすることを含み、各データ点はユーザ選択の動作データに関連付けられる、請求項１２６から１２８のいずれか一項に記載の方法。
  130. 前記視覚的表現への少なくとも１つのデータ点の追加を容易にすることを含み、各データ点はユーザ選択の動作データに関連付けられる、請求項６９から１２５のいずれか一項に記載の方法。
  131. 前記ユーザアプリケーションは、オペレータが前記システムの他のオペレータと対話することを有効にするチャットアプリケーションを含む、請求項１２６から１３０のいずれか一項に記載の方法。
  132. 前記アセットまたは特定のアセット構成要素の特定の位置へのチャットのリンクを容易にすることを含む、請求項１３１に記載の方法。
  133. 音声コマンドおよび音声応答を使用して前記システムと対話する能力をオペレータに提供することを含む、請求項１２６から１３２のいずれか一項に記載の方法。
JP2022535709A 2019-12-10 2020-04-03 アセット管理システム Pending JP2023510091A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2019904677A AU2019904677A0 (en) 2019-12-10 An asset virtualisation system
AU2019904677 2019-12-10
PCT/AU2020/050341 WO2021113896A1 (en) 2019-12-10 2020-04-03 An asset management system

Publications (2)

Publication Number Publication Date
JP2023510091A true JP2023510091A (ja) 2023-03-13
JPWO2021113896A5 JPWO2021113896A5 (ja) 2023-03-20

Family

ID=76328754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535709A Pending JP2023510091A (ja) 2019-12-10 2020-04-03 アセット管理システム

Country Status (5)

Country Link
US (1) US20220308734A1 (ja)
EP (1) EP4073739A4 (ja)
JP (1) JP2023510091A (ja)
AU (3) AU2020400985A1 (ja)
WO (2) WO2021113897A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989605B (zh) * 2019-12-13 2020-09-18 哈尔滨工业大学 一种三体智能系统架构及探测机器人
US11393175B2 (en) 2020-02-06 2022-07-19 Network Documentation & Implementation Inc. Methods and systems for digital twin augmented reality replication of non-homogeneous elements in integrated environments
EP4148516B1 (de) * 2021-09-08 2024-05-15 Siemens Aktiengesellschaft Verfahren zur betriebserleichterung für nutzer eines industriellen automatisierungsverbundes und prozessleitsystem
USD1023043S1 (en) * 2021-12-02 2024-04-16 PassiveLogic, Inc. Display screen or portion thereof with a graphical user interface
USD1023028S1 (en) * 2021-12-03 2024-04-16 PassiveLogic, Inc. Display screen or portion thereof with a graphical interface
WO2024083157A1 (en) * 2022-10-20 2024-04-25 International Business Machines Corporation Proactive preparation of repair service site

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421571B1 (en) * 2000-02-29 2002-07-16 Bently Nevada Corporation Industrial plant asset management system: apparatus and method
US10521960B2 (en) * 2017-05-03 2019-12-31 General Electric Company System and method for generating three-dimensional robotic inspection plan
DE102006014634B4 (de) * 2005-04-01 2014-01-30 Abb Research Ltd. Mensch-Maschine-Schnittstelle für ein Kontroll- bzw. Steuerungs-System
US8477154B2 (en) * 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US8874242B2 (en) * 2011-03-18 2014-10-28 Rockwell Automation Technologies, Inc. Graphical language for optimization and use
US9134992B2 (en) * 2011-08-31 2015-09-15 Vmware, Inc. Interactive and visual planning tool for managing installs and upgrades
US20130290908A1 (en) * 2012-04-26 2013-10-31 Matthew Joseph Macura Systems and methods for creating and utilizing high visual aspect ratio virtual environments
US10268662B2 (en) * 2012-09-10 2019-04-23 The Boeing Company Panoptic visualization of a document according to the structure thereof
GB2512999B (en) * 2013-03-15 2020-09-23 Fisher Rosemount Systems Inc Method and apparatus for seamless state transfer between user interface devices in a mobile control room
US9471206B2 (en) * 2013-12-12 2016-10-18 Uptime Solutions System and method for multi-dimensional modeling of an industrial facility
US10956014B2 (en) * 2013-12-27 2021-03-23 Baker Hughes, A Ge Company, Llc Systems and methods for dynamically grouping data analysis content
US9641811B2 (en) * 2014-06-16 2017-05-02 Baker Hughes Incorporated System and method for providing real-time maintenance, trouble-shooting, and process assurance for the oilfield
US10140827B2 (en) * 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US10388075B2 (en) * 2016-11-08 2019-08-20 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10735691B2 (en) * 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US10712902B2 (en) * 2017-07-14 2020-07-14 Sst Systems, Inc. Augmented reality system for conveyor system and method
US20190073827A1 (en) * 2017-09-06 2019-03-07 Josen Premium LLC Method and System for Converting 3-D Scan Displays with Optional Telemetrics, Temporal and Component Data into an Augmented or Virtual Reality BIM
US10817152B2 (en) * 2017-09-17 2020-10-27 Ge Inspection Technologies, Lp Industrial asset intelligence
US10564993B2 (en) * 2017-11-07 2020-02-18 General Electric Company Contextual digital twin runtime environment
US11445232B2 (en) * 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method

Also Published As

Publication number Publication date
AU2020401569A1 (en) 2022-06-30
EP4073739A4 (en) 2023-01-04
WO2021113897A1 (en) 2021-06-17
WO2021113896A1 (en) 2021-06-17
US20220308734A1 (en) 2022-09-29
EP4073739A1 (en) 2022-10-19
AU2020400985A1 (en) 2022-06-30
AU2020104485A4 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP2023510091A (ja) アセット管理システム
US11159771B2 (en) Virtual reality and augmented reality for industrial automation
US10535202B2 (en) Virtual reality and augmented reality for industrial automation
JP6757816B2 (ja) プロセスプラントにおけるワークフローを管理するための方法及び装置、プロセス制御システム
US20190147655A1 (en) Augmented reality safety automation zone system and method
US8473852B2 (en) Virtual world building operations center
US20110134204A1 (en) System and methods for facilitating collaboration of a group
US10416614B2 (en) Human programming interfaces for machine-human interfaces
AU2020227025A1 (en) An asset management system
Kahl et al. Architecture to enable dual reality for smart environments
Haupert et al. IRAR: Smart intention recognition and action recommendation for cyber-physical industry environments
US20220139049A1 (en) Systems and methods for integrating and using augmented reality technologies
D’Onofrio et al. Augmented reality for maintenance and repair
Geihs User Intervention in Disaster Management Systems for Resilient Smart Cities
Abramovici et al. Graph-based model for context-aware maintenance assistance with augmented reality and 3D visualization
US20240071242A1 (en) Mixed reality scenario generation for cross-industry training
Boyadzhiev Modern process visualization techniques in process data management systems
Zancanella State of the art and practice of industrial metaverse and its opportunities and challenges
El Ammari Remote Collaborative BIM-based Mixed Reality Approach for Supporting Facilities Management Field Tasks
Fan Human-Device Interaction in a Smart Environment
Timonen A common operating room picture for dismounted operations and situation room environments
Sujanthi Augmented Reality for Industrial Maintenance Using Deep Learning Techniques–A Review
Alfonso-Cendón et al. Author's Accepted Manuscript

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20220809

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220908

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20220908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240425