JP2016157435A - 表示管理方法および関連するコンピュータプログラム製品および電子デバイス - Google Patents

表示管理方法および関連するコンピュータプログラム製品および電子デバイス Download PDF

Info

Publication number
JP2016157435A
JP2016157435A JP2016020603A JP2016020603A JP2016157435A JP 2016157435 A JP2016157435 A JP 2016157435A JP 2016020603 A JP2016020603 A JP 2016020603A JP 2016020603 A JP2016020603 A JP 2016020603A JP 2016157435 A JP2016157435 A JP 2016157435A
Authority
JP
Japan
Prior art keywords
information
electronic device
image
data
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016020603A
Other languages
English (en)
Other versions
JP6896364B2 (ja
Inventor
ドニ、モーラン
Morand Denis
テウフィク、メフタ
Meftah Tewfik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Industries SAS
Original Assignee
Schneider Electric Industries SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Industries SAS filed Critical Schneider Electric Industries SAS
Publication of JP2016157435A publication Critical patent/JP2016157435A/ja
Application granted granted Critical
Publication of JP6896364B2 publication Critical patent/JP6896364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】装置に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法を提供する。
【解決手段】装置の画像と前記装置の複数の注目点とを含む、装置の補強画像を提供するステップａと、１組の選ばれた注目点を取得するために、複数の注目点の中から少なくとも１つの注目点を選ぶステップｂと、表示される情報を選択するステップｃと、装置に利用可能な、装置の１組の図形を提供するステップｄと、少なくとも１つの補強概略表現を取得するために、表示される情報のプレビューを装置の図形に挿入することにより、利用可能な装置の各図形を、あらかじめ定められた基準に従って最適化するステップｅと、あらかじめ定められた基準に従って、補強概略表現を分類するステップｆと、補強画像の代わりに、取得された前記補強概略表現のうちの少なくとも１つを表示するステップｈとを含む。
【選択図】図５

Description

本発明は、機器または装置の部品に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法に関する。本発明はまた、そのような方法を実施するコンピュータプログラム製品、およびそのようなコンピュータプログラム製品を実装する電子デバイスに関する。
複数の産業分野において、電子デバイスにより収集された産業機器または産業装置の部品の画像に仮想モデルを重ね合わせることが知られている。そのような重ね合わせは、産業装置に関する情報がその上に重ね合わされたか、またはそれに関連付けられた新しい画像の形式で、電子デバイスの画面に表示可能である。したがって、そのような画像は補強画像（enriched image）と呼ばれる。そのような表示方法は、一般に、拡張現実の名称で知られる。
この点について、たとえば、仏国特許出願公開第２９９０２８６号明細書は、それに関する情報の項目が存在する装置の構成要素を示す注目点（interest point）を開示する。この文書はまた、装置の構成要素に関して収集された画像上の注目点を測位する可能性を明らかにする。
以下の文書も知られている：米国特許第２０１１／０１１５８１６号明細書、およびSanghoon Leeらにより書かれた記事：「Augmented reality-based computational fieldwork support for equipment operations and maintenance」、Automation In Construction、第２０巻、第４号、２０１０年１１月４日、３３８〜３５２ページ、DOI：10.1016/J.AUTCON.2010.11.004、およびHugo Alvarezらによる：「Providing guidance for maintenance operations using automatic markerless Augmented Reality system」、複合現実および拡張現実に関する第１０回ＩＥＥＥ国際シンポジウム、２０１１年１０月２６日、１８１〜１９０ページ、DOI：10.1109/ISMAR.2011.6092385。
拡張現実内の表示モードから補強画像上で識別される構成要素および情報の一覧表に移ることも知られている。そのような手法では、情報はリスト形式で簡単に作成される。しかしながら、考慮中の産業装置の視覚表現が提供されず、それにより、表示されるデータを考慮に入れ、分析することが容易にならない。
仏国特許出願公開第２９９０２８６号明細書 米国特許第２０１１／０１１５８１６号明細書
Sanghoon Leeらにより書かれた記事：「Augmented reality-based computational fieldwork support for equipment operations and maintenance」、Automation In Construction、第２０巻、第４号、２０１０年１１月４日、３３８〜３５２ページ、DOI：10.1016/J.AUTCON.2010.11.004 Hugo Alvarezらによる：「Providing guidance for maintenance operations using automatic markerless Augmented Reality system」、複合現実および拡張現実に関する第１０回ＩＥＥＥ国際シンポジウム、２０１１年１０月２６日、１８１〜１９０ページ、DOI：10.1109/ISMAR.2011.6092385
ユーザに関する情報にアクセスすることを容易にする表示管理方法が必要である。
この目的のために、本発明の主題は、装置に関する情報の少なくとも１つの項目を電子デバイスの画面に表示することを管理するための方法であり、前記方法は、
ａ）前記装置の画像と前記装置の複数の注目点とを含む、前記装置の補強画像を提供するステップであって、各注目点は、前記装置の要素（element）に固有の情報の項目に関連付けられている、ステップと、
ｂ）１組の選ばれた注目点を取得するために、前記複数の注目点の中からの少なくとも１つの注目点を選ぶステップと、
ｃ）表示される情報を選択するステップであって、表示される情報は、選ばれた注目点に関連付けられた情報である、ステップと、
ｄ）前記装置に利用可能な（available）、前記装置の１組の図形（diagram）を提供するステップと、
ｅ）前記補強画像と区別され（distinct）、前記装置の図形と、表示される情報の前記項目の１つの少なくとも１つのプレビューとを含む補強概略表現（enriched schematic representation）を取得するために、表示される情報のプレビューを前記装置の図形に挿入することにより、利用可能な前記装置の各図形を、あらかじめ定められた基準に従って最適化するステップであって、表示される情報の前記プレビューは、前記装置の前記図形に適合する（compatible）、ステップと、
ｆ）前記あらかじめ定められた基準に従って、前記補強概略表現を分類するステップと、
ｈ）前記補強画像の代わりに、取得された前記補強概略表現のうちの少なくとも１つを表示するステップと、
を含む。
本発明のおかげで、表示管理方法は、装置上で識別される情報の少なくとも１つの補強概略表現を提供する。そのような表現は、特により図式化され、したがって識別された情報の分析に対する簡略化された手法を提供する。
本発明の有利ではあるが必須ではない態様によれば、そのような表示管理方法は、すべての技術的に許容できる組合せに従って取られる、以下の特徴のうちの１つまたは複数を含む。
−前記方法はさらに、データを選択するステップｇ）を含み、前記データは、選ばれた注目点に関連付けられた情報ではなく、前記データは、前記電子デバイスにとってアクセス可能であり、表示される情報は、前記選択されたデータも含む。
−前記選択されたデータは、前記電子デバイスの少なくとも１つのセンサから生じる。
−最適化のステップｅ）は、表示される情報を格子の形式で順序付けることを含む。
−最適化のステップｅ）は、複数の選択フィルタを使用することを含む。
−最適化のステップｅ）は、前記注目点が関連付けられた情報の固有のプレビューを各注目点と関連付ける連想配列（associative array）を使用することを含む。
−表示のステップｈ）は、前記あらかじめ定められた基準の値に従って順序付けられた複数の補強概略表現を表示することを含む。
−前記方法はさらに、前記あらかじめ定められた基準の最も高い値を提示する前記補強概略表現を表示することを含む。
−少なくとも１つのステップは、ユーザの動作によりトリガされる。
−前記ユーザの動作は、前記電子デバイスの画面に垂直な軸のまわりの前記電子デバイスの回転であり、前記電子デバイスは、少なくとも１つの作動ボタンまたはタッチボタンを備え、前記ユーザの動作は、前記作動ボタンまたは前記タッチボタンを押すことである。
本発明の主題はまた、電子デバイスに組み込まれた情報処理ユニットにより実施されたとき、上述された方法を実施するソフトウェア命令を備える、コンピュータプログラム製品である。
本発明の主題はまた、検出器と、１組のセンサと、画面と、前記画面にデータを表示するユニットと、前述されたコンピュータプログラム製品が実装された情報処理ユニットと、を備える電子デバイスである。
添付の図面を参照しながら、非限定的な例としてのみ与えられる以下の発明を実施するための形態に照らして、本発明はより良く理解され、その他の利点はより明確になる。
電子デバイスの一例の概略表現である。 装置の一例の概略図である。 図１の電子デバイスおよびコンピュータプログラム製品の一例の概略図である。 図３に表されたコンピュータプログラム製品の詳細概略図である。 表示管理方法の一例のフローチャートである。 図２の装置の補強画像の提供後得られた結果の概略図である。 ユーザの動作の概略図である。 補強概略表現の表示後得られた結果の概略図である。
電子デバイス２および装置４が、それぞれ図１および図２に表される。
電子デバイス２はユーザを対象とする。
電子デバイス２は、好ましくは、携帯型電子デバイス、たとえば、モバイルフォンまたは電子タブレットである。
変形形態として、電子デバイス２はコンピュータである。
電子デバイス２は、表示管理方法を実行するためのソフトウェア命令を備えるコンピュータプログラム製品を実装することが可能である。
電子デバイス２は、検出器２０、１組のセンサ２１、ディスプレイユニット２２、画面２４、情報処理ユニット２６、トランシーバ２８、および電源ユニット３０を含む。
検出器２０は、たとえば、装置４の１つまたは複数の連続画像を収集することに適した画像センサである。
たとえば、検出器２０は、ＣＣＤ（電荷結合素子）センサまたはＣＭＯＳ（相補型金属酸化膜半導体）センサなどのマトリックスセンサである。
検出器２０は、装置４の収集された画像Ｉａを処理ユニット２６に配信すること、または前記装置４の連続画像の映像を供給することに適している。
１組のセンサ２１は、たとえば、ジオポジショニングユニット２１１、加速度計２１２、ジャイロスコープ２１３、タッチセンサ２１４、眼球運動センサ（eye movement sensor）２１５、およびマイクロフォン２１６を含む。
変形形態として、１組のセンサ２１は、前述されたセンサの任意の組合せを備える。
さらに別の変形形態によれば、１組のセンサ２１は、ユーザにとって関心があり得る他の情報へのアクセスを可能にするための他のセンサを備える。
ジオポジショニングユニット２１１、加速度計２１２、およびジャイロスコープ２１３は、電子デバイス２に位置データを提供することに適している。電子デバイス２に関する位置データは、説明の残りにおいてデータＤ２と表記される。
ジオポジショニングユニット２１１は、たとえば、ジオポジショニングシステム、たとえば、それ自体知られているＧＰＳシステム（全地球測位システム）などの、屋内測位システムまたは屋外測位システムと通信するために構成される。
加速度計２１２は、少なくとも１つの方向における電子デバイス２の加速度を測定するために使用される。一変形形態によれば、加速度計２１２は、３つの別々の方向における電子デバイス２の加速度を測定するための複数のセンサを備える。
ジャイロスコープ２１３は、少なくとも１つの軸に沿った電子デバイス２の回転を測定するために使用される。一変形形態によれば、ジャイロスコープ２１３は、３つの別々の軸に沿った電子デバイス２の回転を測定するための複数のセンサを備える。
タッチセンサ２１４、眼球運動センサ２１５、およびマイクロフォン２１６は、ユーザのコマンドに関する情報の少なくとも１つの項目を処理ユニット２６に送信することに適している。
タッチセンサ２１４は、画面２４がタッチボタンおよび／またはタッチキーボードを表示することが可能なタッチ画面であるように、画面２４の下に配置される。
眼球運動センサ２１５は、たとえば、ユーザの眼球運動を追うことを可能にする眼球運動測定器である。
マイクロフォン２１６は、ユーザの音声を記録するために使用される。
ディスプレイユニット２２は、画面２４にデータを表示することが可能である。詳細には、ディスプレイユニット２２は、電子デバイス２の画面２４に任意のタイプの画像、特に検出器２０により収集された画像Ｉａ、または収集され、次いで処理ユニット２６により修正された画像を表示することに適している。ディスプレイユニット２２は、たとえば、画面２４に画像Ｉａを表示するためのソフトウェアプログラムまたはグラフィックスカードである。
画面２４は、特に、検出器２０および／またはディスプレイユニット２２と対話して、１つまたは複数の連続画像を表示するために構成される。
説明の残りとして、画面２４の表面に垂直な軸が垂直軸Ｘ２として表記される。
画面２４は、５インチよりも大きく、好ましくは７インチよりも大きく、好ましくは９インチよりもさらに大きい長さを有する対角線などの、収集された画像Ｉａの容易な表示を可能にする寸法を有する。
処理ユニット２６は、情報のコンピュータ処理に適している。詳細には、処理ユニット２６は、収集された画像Ｉａに修正、変換、および分析を実施することに適している。
処理ユニット２６は、プロセッサ２６０と、プロセッサ２６０に関連付けられたメモリ２６２とを備える。
プロセッサ２６０は、メモリ２６２に記憶された１つまたは複数のソフトウェア命令を実施することが可能である。
電子デバイス２の処理ユニット２６のメモリ２６２は、データおよびコンピュータプログラム製品２７を記憶することが可能である。
メモリ２６２により記憶されるデータは、たとえば、装置４に関し、ファイル、数値、および／またはテキスト値の形式で記録されるデータＤ４である。メモリ２６２により記憶されるデータは、１組のセンサ２１により供給された電子デバイス２の位置データＤ２でもあり得る。
コンピュータプログラム製品２７はソフトウェア命令を備え、ソフトウェア命令は、処理ユニット２６により実施されると、装置４に関する情報Ｉ４の項目を表示する方法を実施する。
図３から分かるように、コンピュータプログラム製品２７は、第１のソフトウェア命令２７２、第２のソフトウェア命令２７４、および第３のソフトウェア命令２７５を備える。
第１のソフトウェア命令２７２は、たとえば、拡張現実内で表示するソフトウェア命令である。
第１の拡張現実ソフトウェア命令２７２は、複数の注目点Ｐの収集された画像Ｉａとの関連による装置４の補強画像Ｉｅを供給することが可能である。各注目点Ｐは、装置４の要素を示し、該当する要素に固有の情報ＩＰの項目に関連付けられる。注目点Ｐは、たとえば、テキスト値、測定値、画像、グラフィカルウィジェット（graphical widget）（グラフィカルインターフェースコンポーネント、グラフィカルインターフェースの視覚要素、またはボタン、スクロールバー、ドロップダウンリストなど）、ハイパーテキスト、または拡張現実内の表示用の任意の他の関連データなどの、デジタルデータＤＰの項目である。
第２のソフトウェア命令２７４は、たとえば、従来のモードで表示するソフトウェア命令である。
第２のソフトウェア命令２７４は、装置４の補強画像Ｉｅの補強概略表現Ｒｅを供給することが可能である。
補強概略表現Ｒｅは、たとえば、図形、グラフ、モデル、マンマシンインターフェース、または、ＳＣＡＤＡ（Supervisory Control And Data Acquisition：監視制御およびデータ収集）模擬図形などの模擬図形（mimic diagram）である。補強概略表現Ｒｅは、複数のオブジェクトＯを含む。
変形形態として、補強概略表現Ｒｅがマンマシンインターフェースまたは模擬図形である場合、オブジェクトＯを含まない場合もある。
各オブジェクトＯは、装置４の要素を示し、補強画像Ｉｅのそれぞれの注目点Ｐに関連付けられる。したがって、各オブジェクトＯは、該当する要素に固有の情報ＩＯの項目に関連付けられる。
オブジェクトＯは、たとえば、テキスト値、測定値、画像、ハイパーテキスト、または従来のモードでの表示用の任意の他の関連データなどの、デジタルデータＤＯの項目である。
図４から分かるように、第２のソフトウェア命令２７４は、選択ソフトウェア命令２７６、準備ソフトウェア命令２７７、分類ソフトウェア命令２７８、およびプレビューソフトウェア命令２７９を備える。
選択ソフトウェア命令２７６は、表示される注目点Ｐに関連付けられた情報ＩＰを取り出すために構成される。
準備ソフトウェア命令２７７は、装置４の１組の図形を供給することが可能である。
装置４の図形は、装置４を記述する２次元または３次元のビューである。各図形は、表示される情報Ｉ４のプレビューを備える。
準備ソフトウェア命令２７７は、補強概略表現Ｒｅを取得するために、あらかじめ定められた基準Ｃに従って装置４の各図形を最適化することも可能である。
あらかじめ定められた基準Ｃは、たとえば、ユーザにより選ばれる。次いで、あらかじめ定められた基準Ｃは、補強概略表現Ｒｅに関する、ユーザにより表現されるコマンドを表す。次いで、あらかじめ定められた基準Ｃは、「最大の注目点Ｐ’を提示する図形」または「表示される最多の情報を有する注目点Ｐを提示する図形」であり得る。他の基準Ｃがユーザにより考えられる場合がある。
分類ソフトウェア命令２７８は、同じ基準Ｃに従って、補強概略表現Ｒｅを分類または順序付けするために構成される。
プレビューソフトウェア命令２７９は、あらかじめ定められた基準Ｃの最も高い値を提示する補強概略表現Ｒｅを表示することが可能である。
変形形態として、プレビューソフトウェア命令２７９は、ユーザにより選択された補強概略表現Ｒｅを表示することが可能である。
第３のソフトウェア命令２７５は、補強画像Ｉｅの注目点Ｐを補強概略表現Ｒｅの各オブジェクトＯと関連付けるために構成された実行ソフトウェア命令である。第３のソフトウェア命令２７５は、第２のソフトウェア命令２７４により制御される。
トランシーバ２８は、たとえばアンテナである。アンテナ２８は、電子デバイス２と電子デバイス２の外部にある少なくとも１つのユニットとの間の双方向無線通信を確立するために構成される。そのような外部ユニットは、装置４に関する情報Ｉ４を通信することが可能である。
外部ユニットは、たとえば、装置４とは別の場所に配置され、リモートサーバとも呼ばれるサーバ６である。サーバ６は、特に図１に表される。
変形形態として、サーバ６は、たとえば、ローカルエリアネットワークがサーバ６を装置４に接続するように、装置４の近傍に配置される。
さらなる変形形態として、複数の外部ユニットが、装置４に関する情報Ｉ４を通信することが可能である。外部ユニットは、たとえば、リモートサーバおよび／またはローカルサーバである。
電源ユニット３０は、検出器２０、１組のセンサ２１、ディスプレイユニット２２、画面２４、処理ユニット２６、およびトランシーバ２８に電気エネルギーを供給するために構成される。
電源ユニット３０は、たとえば電池である。そのようなバッテリは、好ましくは充電可能である。
装置４は、たとえばポンプ場である。ポンプ場４は、パイプ４０、ポンプ４２、電気モータ、センサ（図示せず）、および、可変速ドライブ、コントローラ、およびアクチュエータを含む保護キャビネット（図示せず）を含む。
サーバ６は、データベース６０と、電子デバイス２にデータを送信するためのユニット６２とを備える。
データベース６０は、装置４に関するデータＤ４、特に各々のパイプ４０、ポンプ４２、および図に表されていない他の構成要素の状態および動作に関するデータを記憶することに適している。記憶されたデータＤ４は、たとえば、各電気モータにより消費された電力、各パイプ４０の温度、各ポンプ４２の圧力、および構成要素の各々についての動作不良の存在または不在である。
加えて、記憶されたデータＤ４は、ＳＣＡＤＡ模擬図形、マンマシンインターフェース、またはインターネットページなどの補強概略表現Ｒｅの形式で表示される。
送信ユニット６２は、データベース６０に記憶された装置４に関するデータＤ４を電子デバイス２に送るために構成される。
表示方法の実施の一例の以下の記述において、電子デバイス２およびコンピュータプログラム製品２７の動作が説明される。
以下に記述されるように、表示管理方法の各ステップは、ユーザの動作によりトリガされる。ユーザの動作は、たとえば、垂直軸Ｘ２のまわりの電子デバイス２の回転、または電子デバイス２の作動ボタンの押下、またはタッチセンサ２１４の助けを借りる画面２４上のタッチボタンの押下である。
ユーザは、装置４に関する複数の情報を抽出するために電子デバイス２を使用する。次いで、コンピュータプログラム製品２７が、ユーザにより電子デバイス２上で起動される。製品２７は、表示管理方法を実施する。そのような方法は、図５に示され、以下の記述において説明される複数のステップを含む。
表示方法は、装置４の収集された画像Ｉａおよび装置４の注目点Ｐを備える装置４の補強画像Ｉｅを供給する第１のステップａ）を含む。
ステップａ）は処理ユニット２６により実施される。
変形形態として、ステップａ）において、装置４の補強画像Ｉｅが処理ユニット２６に供給され、次いで、処理ユニット２６が注目点Ｐを分析する。そのような分析は、モードが変更されたときに動的に実行されるか、または静的に実行され、特に画面２４が凍結した後実行される。
詳細には、ステップａ）の間、処理ユニット２６は第１のソフトウェア命令２７２を起動する。
一実施形態によれば、電子デバイス２は、ジオポジショニングにより装置４を識別する。電子デバイス２は、ジオポジショニングユニット２１１を使用して、装置４の方向とともに装置４の座標を算出する。例として、算出された座標はＧＰＳ座標である。次いで、電子デバイス２は、そのアンテナ２８を経由して、送信ユニット６２を介してサーバ６のデータベース６０との無線通信を確立する。
次いで、電子デバイス２のＧＰＳ座標および方向が、装置４を識別するサーバ６に送られる。
変形形態として、装置４は、装置４の画像の認識により識別される。言い換えれば、電子デバイス２は、検出器２０を使用して装置４の画像Ｉａ、または画像の連続を収集する。次いで、１つまたは複数の画像は、装置４を識別するサーバ６に送られる。
さらなる変形形態として、装置４は、装置４に存在する固有のコードを使用して識別される。固有のコードは、たとえば、２次元識別コード、バーコード、識別画像または識別シンボル、マトリックスコードとも呼ばれるＱＲ（クイックレスポンス）コード、または装置４の明白な識別を可能にする任意の他の手段である。言い換えれば、電子デバイス２は、検出器２０を使用して固有のコードの画像を収集し、次いで、画像は装置４を識別するためにサーバ６に送られる。
サーバ６が装置４を識別したとき、サーバ６は、識別された装置４に存在する注目点Ｐに関する情報ＩＰを電子デバイス２に送る。次いで、複数の注目点Ｐは、補強画像Ｉｅになる収集された画像Ｉａ上にディスプレイユニット２２により表示される。上記で説明されたように、各注目点Ｐは、ユーザがアクセスすることができる、装置４の要素に固有の情報ＩＰの項目に関連付けられる。
変形形態として、ステップａ）において、装置４の収集された画像の連続および装置４の注目点Ｐを備える、装置４の補強画像の連続、たとえば映像が供給される。次いで、装置４は前に説明されたように識別される。詳細には、サーバ６が注目点Ｐに関する情報ＩＰを送ったとき、複数の注目点Ｐは、補強画像の連続になる収集された画像の連続上にディスプレイユニット２２により表示される。
ステップａ）の終わりに、コンピュータプログラム製品２７は、拡張現実内の装置４のビューを提供している。たとえば、図６に表されたように、補強画像Ｉｅは、ディスプレイユニット２２の助けを借りて、電子デバイス２の画面２４に表示される。補強画像Ｉｅは、装置４の一部の収集された画像Ｉａ、および装置４のそのような一部で識別された注目点Ｐを備える。詳細には、２つのポンプ４２、パイプ４０、および４つの注目点Ｐが補強画像Ｉｅ上に見える。この場合、注目点Ｐは、故障メッセージ、装置４のセンサにより作成された測定値を含む２つのメッセージ、および装置４の構成要素の動作に関するテキストメッセージである。
しかしながら、ユーザは拡張現実内のビューから従来のモードにおけるビューに変更することを望む。これを行うために、ユーザは、図７に表されたように、電子デバイス２を垂直軸Ｘ２のまわりに、たとえば９０度だけ回転させる。ユーザのそのような動作は、第３のソフトウェア命令２７４を起動する。
この方法は、次いで、１組の選ばれた注目点を取得するために、複数の注目点Ｐの中から少なくとも１つの注目点Ｐを選ぶステップｂ）を含む。
選ぶステップｂ）は、電子デバイス２と対話するユーザにより実施される。
詳細には、ユーザは、ユーザが保持することを望む注目点Ｐを選択する。たとえば、図６を参照すると、ユーザは、故障メッセージおよび測定値を有するメッセージに関係する注目点Ｐを選ぶ。そのようなユーザの選択は、たとえば画面２４上のタッチセンサ２１４を使用して、または音声認識用のマイクロフォン２１６を使用して、または手動選択の任意の他の手段を介して手動で、または注目点Ｐを含んでいる画面２４のエリアを選択することにより、または自動選択の任意の他の手段により自動的に、実行される場合がある。
ステップｂ）の終わりに、ユーザは、装置４の最も関連し、最も関心のある要素に対応する１組の注目点Ｐを取得する。
この方法は、次いで、表示される情報を選択するステップｃ）を含み、表示される情報は、選ばれた注目点に関連付けられた情報ＩＰである。
ステップｃ）は、選択ソフトウェア命令２７６により実施される。より正確には、ソフトウェア命令２７６は、選ばれた注目点Ｐに関連付けられた情報ＩＰをサーバ６から取り出す。たとえば、図６を参照すると、選択ソフトウェア命令２７６は、故障、および該当する装置４の要素で実行された測定に関する情報ＩＰをサーバ６から取り出す。実例として、情報ＩＰは、パイプ４０の各々の圧力に関する。
この方法は、次いで、データを選択するステップｇ）を含む。ステップｇ）において選択されたデータは、表示される対象である。
ステップｇ）は、選択ソフトウェア命令２７６により実施される。
一般に、ステップｇ）では、ユーザは、ユーザが関係すると考える情報に対する他の要求により、ステップｃ）の選択を完了させる。そのようなさらなる情報源は、電子デバイス２から得られるか、または電子デバイス２により生成される。例として、上記データは、ＧＰＳ座標、ファイルから抽出されたデータ、数値入力、またはテキストデータから構成される。代替または追加として、上記データは、１つまたは複数のリモートサーバ上のデータのリモートアクセスおよびリモート取出しを用いて、電子デバイス２により求められる。
したがって、上記データは、選ばれた注目点Ｐに関連付けられた情報ＩＰではないが、電子デバイス２にアクセス可能なデータである。そのようなデータへのアクセスは、一般に、選択ソフトウェア命令２７６により可能にされる。
より正確には、図示された例によれば、選択ソフトウェア命令２７６は、検出器２０および１組のセンサ２１から上記データを取り出す。
たとえば、選択ソフトウェア命令２７６は、電子デバイス２の位置データＤ２を取り出す。
選択ソフトウェア命令２７６は、処理ユニット２６のメモリ２６２から装置４に関するデータＤ４も取り出す。思い出されるように、データＤ４は、装置４に関する数値およびテキスト値である。
たとえば、図６を参照すると、選択ソフトウェア命令２７６は、検出器２０から画像を取り出し、メモリ２６２から故障を修正するために実行される修正行動（corrective action）のリストを取り出す。ステップｇ）の終わりに、表示される情報は、ステップｃ）において取り出された情報ＩＰ、およびステップｇ）において取り出されたデータを含む。
この方法は、次いで、装置４に利用可能な装置４の１組の図形を提供するステップｄ）を含む。
変形形態として、１つの図形のみが装置４に利用可能である。
たとえば、準備ソフトウェア命令２７７は、２次元図形、３次元図形などを含む利用可能な図形のリストを提供する。
ステップｄ）は、従来のモードで表示するソフトウェア命令２７４の準備ソフトウェア命令２７７により実施される。
ステップｄ）の終わりに、装置４について、１組の図形がこのようにして取得される。これらの図形は、表示される情報を含まない。
この方法は、次いで、補強概略表現Ｒｅを取得するために利用可能な装置４の各図形を最適化するステップｅ）を含む。最適化のステップｅ）は、準備ソフトウェア命令２７７により実施される。最適化は、あらかじめ定められた基準Ｃに従って実施される。
最適化は、表示される情報Ｉ４のプレビューの、装置４の図形への挿入を含む。プレビューは図形に適合する。
ステップｅ）の終わりに、１組の補強概略表現Ｒｅが取得され、各補強概略表現Ｒｅは、装置４の図形および表示される情報Ｉ４のプレビューを備える。補強画像Ｉｅ上でユーザにより選ばれた注目点Ｐに関連付けられたオブジェクトＯは、各補強概略表現Ｒｅに重ね合わされる。
この方法は、次いで、あらかじめ定められた基準Ｃに従って補強概略表現Ｒｅを分類するステップｆ）を含む。
実際には、分類は、ユーザにより要求されたコマンドおよび／または情報に従って、補強概略表現Ｒｅを順序付ける。
この分類の終わりに、この方法は、最良の補強概略表現Ｒｅを決定することが可能である。
ステップｆ）は、分類ソフトウェア命令２７８により実施される。
ステップｅ）およびｆ）を、特に同時に実施するために、いくつかの実施形態が提供される。
第１の実施形態によれば、表示される情報Ｉ４のプレビュー図形への挿入のために、最適化ステップｅ）は、たとえば、連想配列の使用を含む。そのような配列は、装置４のすべての注目点Ｐを含み、ＵＲＩ（Uniform Resource Identifier）文字列などのテキスト値を各注目点Ｐと関連付ける。ＵＲＩは、表示される情報のプレビューなどのリソースを示す。そのような情報のプレビューは、たとえば、ＳＣＡＤＡ模擬図形、またはマンマシンインターフェース、またはインターネットページである。言い換えれば、配列は、情報ＩＰの固有のプレビューを各注目点Ｐと関連付ける。
最適化の間、ユーザは、ある特定の図形に最も関連する注目点Ｐを選ぶ。準備ソフトウェア命令２７７は、連想配列を介してプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
第２の実施形態によれば、最適化のステップｅ）は、少なくとも１つの選択フィルタの使用を含む。
各選択フィルタは、たとえば、ＬＤＡＰ（Lightweight Directory Access Protocol）フィルタである。
ＬＤＡＰフィルタは、階層ツリーに従って構築されたデータを取得することを可能にする。
ＬＤＡＰフィルタは、たとえば近似フィルタである。「そのスペルがPeterに近い名前」のタイプのクエリが近似フィルタの例示である。
別の例によれば、ＬＤＡＰフィルタは、均等フィルタ、すなわち「Peterに全く等しい」タイプのクエリである。
さらに別の例によれば、ＬＤＡＰフィルタは、比較フィルタ、またはＡＮＤ、ＯＲ、排他的ＯＲなどのタイプの論理演算である。
各ＬＤＡＰフィルタは、通常、フィルタに適したシンタックスにより表される。
最適化の間、タッチセンサ２１４を使用する画面２４は、タッチキーボードを表示する。ユーザは、ＬＤＡＰフィルタに対応するシンタックスを入力する。
変形形態として、画面２４は、ＬＤＡＰフィルタに対応するタッチボタンを表示する。ユーザは所望のフィルタを選択する。
準備ソフトウェア命令２７７は、そのようなフィルタに関連付けられた注目点Ｐのみを抽出する。次いで、連想配列は、ＵＲＩ文字列などのキスト値を、ＬＤＡＰフィルタにより識別された各注目点Ｐと関連付ける。ＵＲＩすなわちユニフォームリソースアイデンティファイアは、ネットワーク上の物理リソースまたは抽象リソース（たとえば、ウェブリソース）を識別する短い文字列であり、そのシンタックスは、ワールドワイドウェブ用のインターネット規格の設定に準拠する。
上記で説明されたように、ＵＲＩはプレビューを示す。ユーザは、このようにして、ある特定の図形に最も関連する注目点Ｐを選ぶことができる。準備ソフトウェア命令２７７は、連想配列を介してプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
ＬＤＡＰフィルタの使用は、複数の注目点Ｐを選択するために使用することができる。
さらなる変形形態として、最適化のステップｅ）は、格子の形式で表示される情報を順序付けることを含む。そのような順序付けは、たとえば、より一般的に頭文字ＦＣＡで知られる、形式概念分析を使用して実行される。
ＦＣＡ分析は、概念が形式的に記述されたとき、すなわちコンテキストおよび概念が完全かつ正確に定められたとき、概念を調査することに着手する。そのような分析は、格子理論におけるソフトウェア命令として、１９８２年にRudolf Willeにより導入された。概念がその内包およびその外延により定められ得ることが思い出され、外延は概念に属する１組のオブジェクトであり、内包はこれらのオブジェクトにより共有される１組の属性である。
その結果、ＦＣＡ分析は、その目的が形式概念とも呼ばれるオブジェクトまたは属性のグループ化を識別することである、１組のデータ分析技法である。
ＦＣＡ分析は格子に基づき、数学では、格子は対偶が上限および下限を有する半順序集合である。
各ＦＣＡ分析技法は、考えられる形式概念を各々のオブジェクトおよび属性と関連付ける配列の使用に基づく。分析が実施された後、格子は順序付けられた要素の出力である。
ステップｅ）の特定のケースでは、形式概念のオブジェクトは、拡張現実ビュー内に存在するオブジェクトであり、形式概念の属性は、プレビューを示すＵＲＩ文字列である。
代替として、属性は拡張現実ビュー内に存在するオブジェクトの性状、またはグラフィカルオブジェクトの性状である。
前に説明されたように、図示された例では、１組の選ばれた注目点ＰがＦＣＡ分析において考慮に入れられる入力であるように、オブジェクトは注目点Ｐである。
ＦＣＡ分析を実施すると、注目点Ｐおよび対応するプレビューを備える配列が作成される。１つの注目点Ｐが複数のプレビューに関連付けられる場合があるので、ＦＣＡ分析は格子を定め、格子内の形式概念を順序付ける。実際には、格子を介して、分析は最も適切なプレビューを提供する。
したがって、ＦＣＡ分析を使用すると、順序付けられたプレビューをユーザに提示することが可能になる。特に、ＦＣＡ分析は、「少なくともＸであり多くともＹである」タイプのフィルタを表すため、および、その関係が「符号化」されず、したがって事前に知られているビューを提示するために使用される。
次いで、準備ソフトウェア命令２７７はこのプレビューを抽出し、そのようなプレビューの当該図形への挿入に進む。
この方法は、次いで、補強画像Ｉｅの代わりに、あらかじめ定められた基準Ｃの値に従って順序付けられた補強概略表現Ｒｅを表示するステップｈ）を含む。ステップｈ）は、プレビューソフトウェア命令２７９およびディスプレイユニット２２により実施される。次いで、ユーザは、自分の要求に最も適すると考える補強概略表現Ｒｅを選択することができる。次いで、選択された補強概略表現Ｒｅは、補強画像Ｉｅの代わりに、かつ、補強画像Ｉｅに完全にとって代わり、ディスプレイユニット２２の助けを借りて画面２４に表示される。
たとえば、図８に表されたように、ユーザは、あらかじめ定められた基準Ｃの最も高い値を提示する補強概略表現Ｒｅを選択する。この補強概略表現Ｒｅは、装置４の構成要素の２次元図形およびプレビューを備える。詳細には、ポンプ４２およびパイプ４０、および補強画像Ｉｅの注目点Ｐに関連付けられたオブジェクトＯが、補強概略表現Ｒｅ上に見られる。
補強概略表現Ｒｅがインターネットページである場合、プレビューソフトウェア命令２７９は、ウェブブラウザを調べるために使用することができる。選ばれた補強概略表現Ｒｅがマンマシンインターフェースまたは模擬図形である場合、プレビューソフトウェア命令２７９は、該当するインターフェースまたは模擬図形を表示することが可能な特定のソフトウェア命令を実行するために使用することができる。
加えて、表示管理方法は、従来のモードで表示することから拡張現実内で表示することに変更するためのステップを含む。これら後のステップは図に表されておらず、以下の記述において説明される。
実際には、ユーザの動作、たとえば垂直軸Ｘ２のまわりの電子デバイス２の９０°の回転、または作動ボタンまたはタッチボタンの押下に続いて、ユーザは、拡張現実内の表示の補強画像Ｉｅまたは補強画像の連続への補強概略表現Ｒｅの変換をトリガすることができる。
次いで、ディスプレイユニット２２は、ユーザが補強概略表現Ｒｅの一部分を選択することを可能にするタッチボタンを、画面２４に表示する。詳細には、ユーザは、少なくとも１つのオブジェクトＯを備える部分を選択しなければならない。この例では、ユーザは、複数のオブジェクトＯを備える補強概略表現Ｒｅの所望の部分を選択する。
変形形態として、ユーザは、補強概略表現Ｒｅ全体を選択する。
次いで、実行ソフトウェア命令２７５を使用して、この方法は、選択されたオブジェクトＯに関連付けられた注目点Ｐを識別する。
この方法は、次いで、新しい補強画像Ｉｅまたは新しい補強画像の連続への選択された部分または補強概略表現Ｒｅ全体の変換を含む。
前述されたように、電子デバイス２は、サーバ６を介して、ジオポジショニングにより、画像認識により、固有のコードを使用して、または装置４を一意に識別するための任意の他の機構を使用して、装置４を識別する。電子デバイス２は、１組のセンサ２１を使用して、そのＧＰＳ座標、その方向、および検出器２０の相対位置を算出する。言い換えれば、このステップの終わりに、表示管理方法は、電子デバイス２が認識されるように位置する環境を可能にしている。
次いで、コンピュータプログラム製品２７は、装置４の画像または画像の連続に、識別された注目点Ｐを配置し表示する。
より正確には、この方法は、注目点Ｐが選択された補強概略表現Ｒｅの一部分に位置する場合、注目点Ｐを配置し、注目点Ｐを表示するか、または注目点Ｐが選択された補強概略表現Ｒｅの一部分に属さないとき、それらの相対位置を示し、それらを見つけるようにユーザを導く。
変形形態として、新しい補強画像Ｉｅまたは新しい画像の連続が、選択された部分または補強概略表現Ｒｅ全体に対応しないとき、かつ注目点Ｐが画像Ｉｅ上で直接見えないとき、コンピュータプログラム製品２７は、注目点Ｐの相対位置を示すマーカを画面２４に表示する。
表示管理方法は、拡張現実内の表示と従来のモードでの表示との間の流動的かつ平滑な遷移を実行することに適している。この方法は、ユーザにより選択されたモードにおける正しいビジュアルインターフェースを探索するために使用することができる。この方法は、次いで、順序付けられた適合率でインターフェースまたはインターフェースのリストを提示する。複数の満足するインターフェースが存在する場合、ユーザは最も適切なインターフェースを選ぶ。
ユーザは、このようにして、２つの表示において同じ情報を見つけることができる。第１の拡張現実表示は、地理的空間および実空間に対応し、第２の従来のモードにおける表示は、専門的なビュー、すなわち、より容易にユーザに理解できる論理空間および抽象空間に対応する。
したがって、表示管理方法は、識別された情報のより簡略化され、図式化され、効果的な分析を実行するために、ユーザが従来のモードでの表示を取得するためのツールである。上述された表示管理方法は、ポンプ場４などの産業環境、および非産業環境、たとえば第３次活動が実践される環境、または病院環境において使用される場合がある。

Claims (12)

  1. 装置（４）に関する情報（Ｉ４）の少なくとも１つの項目を電子デバイス（２）の画面（２４）に表示することを管理するための方法であって、
    ａ）前記装置（４）の画像（Ｉａ）と前記装置（４）の複数の注目点（Ｐ）とを含む、前記装置（４）の補強画像（Ｉｅ）を提供するステップであって、各注目点（Ｐ）は、前記装置（４）の要素に固有の情報（ＩＰ）の項目に関連付けられている、ステップと、
    ｂ）１組の選ばれた注目点（Ｐ）を取得するために、前記複数の注目点（Ｐ）の中から少なくとも１つの注目点（Ｐ）を選ぶステップと、
    ｃ）表示される情報を選択するステップであって、表示される情報は、前記選ばれた注目点（Ｐ）に関連付けられた情報（ＩＰ）である、ステップと、
    ｄ）前記装置（４）に利用可能な、前記装置（４）の１組の図形を提供するステップと、
    ｅ）前記補強画像（Ｉｅ）と区別され、前記装置（４）の図形と、表示される情報の前記項目の１つの少なくとも１つのプレビューとを含む少なくとも１つの補強概略表現（Ｒｅ）を取得するために、表示される情報のプレビューを前記装置（４）の図形に挿入することにより、利用可能な前記装置（４）の各図形を、あらかじめ定められた基準（Ｃ）に従って最適化するステップであって、表示される情報の前記プレビューは、前記装置（４）の前記図形に適合する、ステップと、
    ｆ）前記あらかじめ定められた基準（Ｃ）に従って、前記補強概略表現（Ｒｅ）を分類するステップと、
    ｈ）前記補強画像（Ｉｅ）の代わりに、取得された前記補強概略表現（Ｒｅ）のうちの少なくとも１つを表示するステップと、
    を含む方法。
  2. さらに、データ（Ｄ２、Ｄ４）を選択するステップｇ）を含み、前記データ（Ｄ２、Ｄ４）は、前記選ばれた注目点（Ｐ）に関連付けられた情報（ＩＰ）ではなく、前記データ（Ｄ２、Ｄ４）は、前記電子デバイス（２）にとってアクセス可能であり、表示される情報は、前記選択されたデータ（Ｄ２、Ｄ４）も含む、請求項１に記載の方法。
  3. 前記選択されたデータ（Ｄ２、Ｄ４）は、前記電子デバイス（２）の少なくとも１つのセンサ（２０、２１）から生じる、請求項２に記載の方法。
  4. 最適化のステップｅ）は、表示される情報を格子の形式で順序付けることを含む、請求項１から３のいずれか一項に記載の方法。
  5. 最適化のステップｅ）は、複数の選択フィルタを使用することを含む、請求項１から３のいずれか一項に記載の方法。
  6. 最適化のステップｅ）は、前記注目点（Ｐ）が関連付けられた情報（ＩＰ）の固有のプレビューを各注目点（Ｐ）と関連付ける連想配列を使用することを含む、請求項１から３のいずれか一項に記載の方法。
  7. 表示のステップｈ）は、前記あらかじめ定められた基準（Ｃ）の値に従って順序付けられた複数の補強概略表現（Ｒｅ）を表示することを含む、請求項１から６のいずれか一項に記載の方法。
  8. さらに、前記あらかじめ定められた基準（Ｃ）の最も高い値を提示する前記補強概略表現（Ｒｅ）を表示することを含む、請求項７に記載の方法。
  9. 少なくとも１つのステップは、ユーザの動作によりトリガされる、請求項１から８のいずれか一項に記載の方法。
  10. 前記ユーザの動作は、前記電子デバイス（２）の画面（２４）に垂直な軸（Ｘ２）のまわりの前記電子デバイス（２）の回転であり、前記電子デバイス（２）は、少なくとも１つの作動ボタンまたはタッチボタンを備え、前記ユーザの動作は、前記作動ボタンまたは前記タッチボタンを押すことである、請求項９に記載の方法。
  11. 電子デバイス（２）に組み込まれた処理ユニット（２６）により実施されたとき、請求項１から１０のいずれか一項に記載の方法を実施する複数のソフトウェア命令（２７２、２７４、２７５、２７６、２７７、２７８、２７９）を備える、コンピュータプログラム製品（２７）。
  12. 検出器（２０）と、１組のセンサ（２１）と、画面（２４）と、前記画面にデータを表示するユニット（２２）と、請求項１１に記載のコンピュータプログラム製品（２７）が実装された処理ユニット（２６）と、を備える電子デバイス（２）。
JP2016020603A 2015-02-05 2016-02-05 表示管理方法および関連するコンピュータプログラム製品および電子デバイス Active JP6896364B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1550907 2015-02-05
FR1550907A FR3032544B1 (fr) 2015-02-05 2015-02-05 Procede de gestion de l'affichage, produit programme d'ordinateur et dispositif electronique associes

Publications (2)

Publication Number Publication Date
JP2016157435A true JP2016157435A (ja) 2016-09-01
JP6896364B2 JP6896364B2 (ja) 2021-06-30

Family

ID=53404658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016020603A Active JP6896364B2 (ja) 2015-02-05 2016-02-05 表示管理方法および関連するコンピュータプログラム製品および電子デバイス

Country Status (5)

Country Link
US (1) US9805477B2 (ja)
EP (1) EP3054426A1 (ja)
JP (1) JP6896364B2 (ja)
CN (1) CN105867612B (ja)
FR (1) FR3032544B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088065A (ja) * 2016-11-28 2018-06-07 株式会社Ｎｔｔファシリティーズ 情報可視化システム、情報可視化方法、及びプログラム
JP2020510915A (ja) * 2017-02-24 2020-04-09 ゼネラル・エレクトリック・カンパニイ ヘルスケア処置およびシステムパフォーマンスに関する補助情報の拡張現実を用いた提供

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11474496B2 (en) * 2017-04-21 2022-10-18 Rockwell Automation Technologies, Inc. System and method for creating a human-machine interface
EP3425468B1 (en) * 2017-07-05 2021-09-01 ABB Schweiz AG Method and systems for facilitaing user navigation among a plurality of operator workstation screens
EP3483104B1 (en) 2017-11-10 2021-09-01 Otis Elevator Company Systems and methods for providing information regarding elevator systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886615A (ja) * 1994-09-19 1996-04-02 Mitsubishi Electric Corp 映像表示装置及び映像表示システム
JP2002092647A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 情報呈示システム及びモデル誤差検出システム
JP2012252477A (ja) * 2011-06-02 2012-12-20 Hitachi Ltd 画像検索装置及び画像検索システム
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2014191367A (ja) * 2013-03-26 2014-10-06 Mitsubishi Electric Information Systems Corp 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム
WO2014170471A1 (en) * 2013-04-17 2014-10-23 Tomtom International B.V. Methods, devices and computer software for facilitating searching and display of locations relevant to a digital map

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658271B2 (en) * 2008-09-11 2017-05-23 The Boeing Company Wire fault illumination and display
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
CN102663448B (zh) * 2012-03-07 2016-08-10 北京理工大学 一种基于网络的增强现实物体识别分析方法
FR2990286B1 (fr) * 2012-05-07 2019-09-06 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative a un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0886615A (ja) * 1994-09-19 1996-04-02 Mitsubishi Electric Corp 映像表示装置及び映像表示システム
JP2002092647A (ja) * 2000-09-19 2002-03-29 Olympus Optical Co Ltd 情報呈示システム及びモデル誤差検出システム
JP2012252477A (ja) * 2011-06-02 2012-12-20 Hitachi Ltd 画像検索装置及び画像検索システム
JP2013149042A (ja) * 2012-01-18 2013-08-01 Hitachi Plant Technologies Ltd 設備保守管理システム
JP2014191367A (ja) * 2013-03-26 2014-10-06 Mitsubishi Electric Information Systems Corp 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム
WO2014170471A1 (en) * 2013-04-17 2014-10-23 Tomtom International B.V. Methods, devices and computer software for facilitating searching and display of locations relevant to a digital map

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018088065A (ja) * 2016-11-28 2018-06-07 株式会社Ｎｔｔファシリティーズ 情報可視化システム、情報可視化方法、及びプログラム
JP2020510915A (ja) * 2017-02-24 2020-04-09 ゼネラル・エレクトリック・カンパニイ ヘルスケア処置およびシステムパフォーマンスに関する補助情報の拡張現実を用いた提供
US10991461B2 (en) 2017-02-24 2021-04-27 General Electric Company Assessing the current state of a physical area of a healthcare facility using image analysis
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality

Also Published As

Publication number Publication date
CN105867612B (zh) 2020-06-19
FR3032544B1 (fr) 2018-03-09
JP6896364B2 (ja) 2021-06-30
CN105867612A (zh) 2016-08-17
EP3054426A1 (fr) 2016-08-10
FR3032544A1 (fr) 2016-08-12
US9805477B2 (en) 2017-10-31
US20160232687A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
JP6896364B2 (ja) 表示管理方法および関連するコンピュータプログラム製品および電子デバイス
Yew et al. Towards a griddable distributed manufacturing system with augmented reality interfaces
US10679337B2 (en) System and method for tool mapping
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
JP5942456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104111812A (zh) 显示控制方法和装置
EP3259679B1 (en) An automatically invoked unified visualization interface
JP2014238819A5 (ja)
JP2011504853A (ja) 技術データのナビゲーションのためのシステムと方法
US20130120450A1 (en) Method and apparatus for providing augmented reality tour platform service inside building by using wireless communication device
EP2819071A1 (en) Systems and methods for displaying and analyzing employee history data
CN108604256B (zh) 零件信息检索装置、零件信息检索方法以及程序
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
Eiriksson et al. Augmented reality interfaces for additive manufacturing
WO2017116883A1 (en) Gestures visual builder tool
CN104316948A (zh) 建筑物内导航系统及其应用系统
GB2598986A (en) Quick activation techniques for industrial augmented reality applications
JP2021018710A (ja) 現場連携システムおよび管理装置
US11062523B2 (en) Creation authoring point tool utility to recreate equipment
CN106250384A (zh) 信息检索系统及信息检索方法
CN110689614B (zh) 基于电子地图的设备信息收集方法、介质、设备及系统
JP5525497B2 (ja) プラント作業支援装置およびプラント作業支援方法
US9547943B2 (en) Framework and method for creating virtual model of three-dimensional space
JP5266416B1 (ja) テストシステム及びテストプログラム
WO2019194697A1 (en) Instrumentation overview device and method for a machine instrumented with a plurality of sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200206

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200207

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200228

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200303

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201002

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201218

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210416

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210514

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150