JP2003514294A - 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法 - Google Patents

対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法

Info

Publication number
JP2003514294A
JP2003514294A JP2001536646A JP2001536646A JP2003514294A JP 2003514294 A JP2003514294 A JP 2003514294A JP 2001536646 A JP2001536646 A JP 2001536646A JP 2001536646 A JP2001536646 A JP 2001536646A JP 2003514294 A JP2003514294 A JP 2003514294A
Authority
JP
Japan
Prior art keywords
data
information
technical
marking
documented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001536646A
Other languages
English (en)
Inventor
フリードリッヒ、ヴォルフガング
ヴォールゲムート、ヴォルフガング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2003514294A publication Critical patent/JP2003514294A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

(57)【要約】 特に作業者とこの技術的装置との間の対話を情況に応じて支援するために、対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるためのシステム及び方法において、特に自動化システムの保守において最適に支援するために、このシステムは、文書化データを記憶する記憶手段と、現実の情報を検出する検出手段と、文書化データにアクセスするアクセス手段と、現実の情報を評価し記憶された文書化データをこの現実の情報に関連して選択する評価手段と、技術的構成要素に仮想的にマーキングをする手段と、この仮想的マーキングにより選択された技術的構成要素に関連する付加情報を表示する手段とを備える。

Description

【発明の詳細な説明】
【０００１】 本発明は、対象に指向してマーキングし情報を選択された技術的構成要素に対
応付けるシステム及び方法に関する。
【０００２】 このようなシステム及び方法は、例えば自動化技術の分野において、生産機械
及び工作機械において、診断及びサービス支援システムにおいて並びに例えば車
両や産業機械及び設備のような複合的な構成要素、機器及びシステムに対して使
用される。
【０００３】 本発明の課題は、具体的な作業情況において関連する文書化データに迅速にか
つ確実にアクセスすることを可能にするシステム及び方法を提供することにある
。
【０００４】 この課題は、請求項１に挙げられた特徴を備えたシステム並びに請求項４に挙
げられた特徴を備えた方法によって解決される。
【０００５】 文書化データは、例えば、設備或いは自動化システムを設立する際に作成され
、集積されたデータ及び／又は設備或いは自動化システムの稼動において所定の
基準に従って整理され、その都度更新された文書化データである。これらの文書
化データは、ローカルにも、即ちその都度の使用の場所でも或いは任意の他の場
所（例えば個々の設備構成要素のそれぞれの製造会社の場所）でも記憶手段に記
憶される。検出手段により例えば画像内容から現実の情報が検出され、評価手段
を介して評価されるので、現実の対象を文書化データに記憶された対象データに
対応付けることが可能になる。現実の情報データ（例えば検出された対象の形態
のデータ）により、特に自動的に、文書化データに含まれている対象データが選
択され、例えば現場でサービスのために提供される。これによりその都度の必要
なデータに情況に応じた迅速なアクセスが可能となる。
【０００６】 作業者にとって非常に使い易い、対象のマーキング方法は、仮想的にマーキン
グする手段が音声制御により及び／又はデジタル画像処理により制御されること
である。作業者はその場合例えば特定の対象を観察し、これによりＡＲシステム
（＝強調現実感システム）のカメラが同様にその対象を撮影する。デジタル画像
処理により、かくして選択された対象の位置が決められ、仮想的にマーキングさ
れる。付加的に或いは画像評価とは無関係に、選択されマーキングされるべき対
象は作業者の音声命令の評価によって検出できる。
【０００７】 現場作業者のその都度の所在地に無関係に、このシステムの「グローバル」な
適用は、作業者の現場に、遠隔の専門家及び／又は遠隔のエキスパートシステム
とのデータ接続を介してマーキングを伝達するために及び／又は仮想的マーキン
グによって選択された技術的構成要素に関連する付加情報の返送するために接続
可能である強調現実感システムが設けられていることによって達成される。かく
して対象の、現場で作成されたマーキングが遠隔の専門家に伝達され、この専門
家はそれによりその都度マーキングされた対象に対する付加情報を現場の作業者
に仲介することができる。
【０００８】 本発明の異なる有利な構成例は文書化データが静的及び／又は動的な情報デー
タである。このような静的な情報の例はハンドブックの技術データ、分解図、保
守仕様書等である。動的な情報の例は温度、圧力等のようなプロセス値である。
【０００９】 文書化データへの情況に応じた迅速なアクセスは、検出手段が撮像装置を備え
、現実の情報を評価する評価手段が、現実の情報から適用コンテキスト、特に文
書化データの対象が求められるように設けられ、そしてこのシステムが文書化デ
ータを可視化する可視化手段を備えていることによりさらに支援される。
【００１０】 文書化データへの情況に応じた迅速なアクセスは、検出手段が作業者側で制御
され、特に音声制御形検出手段として及び／又は制御データにより制御された検
出手段として形成されていることによっても支援される。
【００１１】 静的及び／又は動的な文書化データ及び／又はプロセスデータに基づいた強調
現実感技術の、多くの適用例に対する最適な使用は、検出手段及び／又は可視化
手段がデータグラスとして形成されるようにして行われる。
【００１２】 以下において本発明を図に示された実施例により詳しく説明する。 図１は文書化処理システムの１つの実施例のブロック回路図、 図２は文書化処理システムの異なる実施例のブロック回路図、 図３は文書化処理システムのさらに別の実施例のブロック回路図、 図４は文書化データに情況に応じてアクセスするための１つの適用例、 図５は対象に指向してマーキングし情報を選択された技術的構成要素に対応付
けるための１つの適用例の問題設定及び作業情況を備えた第一の情況、 図６は情況に関連して強調した図５の適用例の第二の情況、 図７は図５の適用例の第三の情況、 図８は対象に指向してマーキングし情報を音声に基づく対話により対応付ける
第四の情況、 図９は対象に指向してマーキングし情報を対応付ける第五の情況、 図１０は対象に指向してマーキングし情報を対応付ける第六の情況、 図１１は対象に指向してマーキングし情報を対応付ける第七の情況、 図１２は対象に指向してマーキングし情報を対応付ける第八の情況、を示す。
【００１３】 図１は、強調現実感技術を使用した文書化処理システムの原理図を示す。この
システムは評価手段Ａと、これに接続された検出手段２並びに可視化手段Ｂとか
らなる。データ接続Ｄを介して評価手段Ａは記憶手段１と連結可能である。この
記憶手段１は文書化データとして情報Ｉ１．．Ｉｎを含む。検出手段２はプロセ
ス３（例えば自動化システム）の現実の情報Ｒを検出するためのものである。
【００１４】 図１は技術的及び工業的適用のための情況に応じた文書化処理システムの基本
構造を構成する。検出手段２（例えばビデオカメラ）により技術的及び工業的適
用例３の現実の情報が検出され、評価手段Ａ（例えばデジタル画像処理手段）に
より分析され、評価される。評価手段Ａによる現実の情報Ｒの評価は、例えば、
個々の対象（即ち自動化システム或いは工業的適用の個々の構成要素）を検出す
るように行われる。この検出は、例えば、現実の対象に付加された付加情報の形
で、例えばバーコード・ステッカーの形で行われるか、或いは評価手段Ａ及び／
又は文書化データ１に記憶された比較データと画像情報との比較によって行われ
る。現実の情報Ｒに対応する所望の対象を求めた後、自動的に及び／又は対話的
に作業者によって制御されて、文書化データＩ１．．Ｉｎが作業者に可視化手段
Ｂにより表示される。これらの文書化データＩ１．．Ｉｎは情況に応じた及び修
理、保守等の際の支援のための付加情報を形成する。現実の情報に関係してその
都度必要とされる文書化データが情況に応じて示される。この文書化データＩ１
．．Ｉｎは、現場で、例えばデータ処理装置に或いはまた遠隔の場所に記憶され
る。この場合、アクセスは例えばインターネット接続を介して行われる。
【００１５】 図２は、作業者と自動化装置Ａ１．．Ａｎとの間の相互関係を情況に応じて支
援するための文書化処理システムの原理図を示す。図２に詳しく図示されていな
い作業者はモバイル機器４，６を備えている。このモバイル機器はビデオカメラ
２並びにマイクロフォン１１が配置されているデータグラス４を含んでいる。こ
のデータグラスは無線インターフェイス１５を介して自動化装置Ａ１．．Ａｎと
交信する無線送受信装置６に連結されている。この自動化装置Ａ１．．Ａｎはデ
ータ接続１４を介して強調現実感システム１０に接続可能である。なお、このシ
ステムは以下において簡略化してＡＲシステムと称する。このＡＲシステムは情
報データを記憶する情報モジュール１ｂと、ＡＲ基本モジュール８と、ＡＲ応用
モジュール９とを含む。ＡＲシステム１０はデータ接続１３を介してインターネ
ット５と接続可能であり、例示されたインターネット接続１２を介して別の記憶
及び文書化データ１ａにアクセス可能である。
【００１６】 データグラス４及びモバイル無線送受信装置６を装着している作業者は、保守
及びサービス目的のために装置Ａ１．．Ａｎ内において自由に移動できる。例え
ばこの装置Ａ１．．Ａｎの特定の部分構成要素の保守或いは修理が必要な場合、
データグラス４のカメラ２により、場合によってはマイクロフォン１１で捉えら
れる音声指令によって制御されて、関係する文書化データ１ａ，１ｂへの適当な
アクセスが行われる。このために無線インターフェイス１５を介して装置Ａ１．
．Ａｎ或いは対応の無線送信モジュールへのデータ接続が構成され、データがＡ
Ｒシステム１０に伝達される。ＡＲシステムにおいては、作業者によって得られ
たデータの情況に応じた評価が行われ、情報データ１ａ，１ｂへのアクセスが自
動的に或いは対話的に作業者によって制御されて行われる。求められた関係する
文書化データ１ａ，１ｂはデータ接続１４，１５を介して無線送信装置６に伝達
され、全体として、検出された作業情況に基づいて分析が行われ、現在の静的情
報からのデータの選択のための基礎とされる。これにより、情況に応じた、対象
に指向したもしくは構成要素に指向した重要な知識を最新のデータ源１ａ，１ｂ
から選択することができる。この情報の表示はその都度使用された可視化機器（
例えば携帯形パソコン或いはデータグラス）によって行われる。ＡＲに基づく技
術について説明する。現場の作業者はそれ故ただ必要とする情報だけが供給され
る。サービスマンは例えばいわゆる「１００頁マニュアル」によって情報を過剰
に受けることはない。
【００１７】 図３はサービス及び保守のための文書化処理システムの別の適用例を示す。こ
のシステムは、情報データを記憶する情報モジュール１ｂと、ＡＲ基本モジュー
ル８と、ＡＲ応用モジュール９とを含む強調現実感システム１０からなる。ＡＲ
システム１０は接続線１３，１８を介してインターネット５に接続可能である。
インターネットから例示されているデータ接続１２を介して遠隔の専門家２２が
操作する遠隔のパソコン１６と接続できる。ＡＲシステム１０の個々のモジュー
ル間の結合は接続線１９，２０，２１を介して行われる。作業者７とＡＲシステ
ムとの間の交信はインターフェイス８，２３を介して行われる。このためにＡＲ
システム１０は、ＡＲシステム１０と作業者７との間の双方向データ交信をデー
タグラス４により或いは直接インターフェイス８を介して又は作業者７の範囲に
配置されている無線送受信装置１７によりインターフェイス２３を介して行うこ
とを可能にする送受信装置に連結可能である。インターフェイス２３による接続
は別置のデータ接続を介して或いは電流回路網を介していわゆる「電源ライン」
モデムとして実現することができる。データグラス４は眼鏡レンズの範囲に配置
された表示装置の他に、画像検出装置２をカメラの形で並びにマイクロフォン１
１を備えている。作業者７はデータグラス４により装置Ａ１．．Ａｎの範囲で移
動でき、サービス或いは保守作業を行うことができる。
【００１８】 データグラス４と、これに付設された無線送受信装置（例えば作業者が直接身
体に所持する無線送受信装置１７）とにより、予防的な機能を達成することがで
きる。即ち、先ずその都度の作業情況の検出を、例えばカメラ２或いは作業者７
による位置決定により行う。この検出された作業情況に基づいて、ＡＲシステム
においてデータ保守された装置Ａ１．．Ａｎの選択が行われる。図３に示された
システムの基本的な利点は、このシステムが個々の単独機能の協調をその適用に
応じて支援することにある。即ち、先ず具体的な作業情況が自動的に検出され、
次いでこの作業情況が分析され、その際最新の、現存の静的情報からその時に検
出された動的データと組み合わされて自動的に重要な局面が求められる。これに
より例えば組立指針が最新のプロセスデータで修正される。作業者７はこれによ
り重要な情報の情況に応じた表示を、作業者の視界に現実の作業情況を求められ
た情報に関して拡大するように、例えば対応するデータを重畳して可視化するこ
とにより得ることができる。これにより作業者７は最短時間で行動可能とされ、
従って必要な機械行程時間が確保される。保守作業者７は現場で遠隔の専門家２
２及び遠隔の専門家２２の所に存在するパソコンデータ１６を介しても支援を得
ることができる。
【００１９】 図４は文書化データに情況に応じてアクセスするための１つの適用例を示す。
図４は、その左側の第一の画像スクリーン範囲Ｂ１に装置の構成要素を示してい
る。右側の画像スクリーン範囲Ｂ２には、例えば装置の個々の構成要素を監視す
る作業者７が示されている。この作業者７は、検出手段としてのカメラ２を含む
データグラス４を装着している。データグラス４にはさらにマイクロフォン１１
並びに拡声器１６が配置されている。左側の画像スクリーン範囲Ｂ１には、画像
スクリーンＢ２に示されたデータグラスで観察される配管の概観が示されている
。左側の画像スクリーンＢ１において２つの点Ｐ１，Ｐ２が、それぞれデータグ
ラス４により観察された２つの画像部分を表わすものとしてマークされている。
第一の点Ｐ１を観察した後、即ち点Ｐ１に配置されている配管を観察した後、作
業者７には付加情報がデータグラス４に可視化される。この付加情報Ｉ１１は、
第一の点Ｐ１に関してはこの配管部に対する作業指針を含み、点Ｐ２に関しては
第二の工程で実行される据付け指針を含む文書化データからなる。据付け指針は
、作業者７に点Ｐ２のボルト締付けのトルク及び回転方向が付加データＩ１２の
可視化により通知されることである。作業者７はそれ故最短時間で観察される対
象に対する情況に応じた指示を得る。その時適用されたトルクを検出できるイン
テリジェント工具を使用する場合には、さらに、作業者が現在のトルクに基づい
て、このトルクを上げるか又は下げるかについても要求されることが可能である
。
【００２０】 図５から図１２は、それぞれ、対象に指向してマーキングし情報を選択された
技術的構成要素に対応付けるための１つの適用例の情況を示す。その場合、装置
或いはその他の技術的構成要素に異常事態があるものとされている（図５参照）
。データ処理技術により行う異常事態管理が問題を含んでいると思われる装置の
構成要素の位置を決めている（図６，７参照）。作業者或いはサービスマンはそ
の作業を支援するためのモバイルＡＲシステムを装着し、例えば、指でそれらし
い問題スポットを指すことによって及び／又は例えばこれを音声で支援すること
によって、その疑念を表わしている（「この構造群に欠陥があるのかも知れない
」、図８参照）。かくして例えば技術的対象（例えば前記構造群）に当てた指が
、その後も引き続き遠隔のシステム専門家（サービスセンターの専門家）及び現
場の作業者或いはサービスマンのために見えるような仮想のマーキング（図９に
おける円を参照）を残している。例えばシステム専門家はこの情況を、カメラ及
びデータ線を介して伝達されたビデオ画像を可視化するモニタ（図１１）で見て
いる。作業者は現場でいわゆる「モバイルモニタ」（例えば、ＨＭＤ、「データ
グラス」或いは手持ちモニタ）でその可視化を行う。遠隔の専門家は作業者によ
って提起された問題スポットに対して音声及び他の情報（マーキング、付加的な
テキスト或いは図表のような情報、図１２参照）によってコメントする。この「
強調」は、挿入された、対象に関連する表示（文書、画像、多面情報「対象背後
を見よ」）によるマーキングによって行われる。付加情報及び強調化は、それに
より、特に作業者にとって、関係する技術的対象に対する視覚的な関連をもって
見える（図１２参照、「このリレーをもう一度チェックせよ」）。
【００２１】 本発明の主要な構成要素は、それ故、特に作業者と遠隔地で関与可能なシステ
ム専門家との協調作業を支援するために、対象に指向した仮想マーキングと、光
学的に検出された、現実の技術的構成要素への情報の対応付けとにある。本発明
は特に適用フィールド「生産及び工作機械」（ＮＣ制御の自動化プロセス）並び
に「複合的な技術的構成要素、機器及びシステムのための診断及びサービス支援
システム」（例えば、車輌、しかしまた産業機械や設備）の特殊なコンテキスト
にある。
【００２２】 特に、生産、始動及びサービス（診断、保守等）の段階において従来の技術は
、複合的な経過及び作業手順を支援するためには殆ど充分ではなかった。空間的
に遠隔のシステム専門家が現場の協力者や作業者と全世界的な距離を介して交信
して、分散して問題解決を行うような協調作業には、効果的な技術的可能性が欠
けていた。このことは特に主に中規模の工作機械メーカーにとっては特に重要で
ある。彼らはグローバル化によって、その顧客の生産拠点を全世界的に建設する
ことを余儀なくされてきた。しかしながら、全ての重要な市場に支点を置くこと
は経済的な理由から実現不可能でもあり、また益々複合化する設備に関して本社
の経験豊富なサービスマンの深遠なる知識を諦めることもできない。
【００２３】 本発明は、光学的に検出された現実の技術的構成要素に、「仮想のマーキング
」を行うことを可能にする。この「マーキング」（＝対象の同一性確認）は、利
用者の観点から直感的に使用可能な対話技術（例えば身振りや音声）によって行
われる。
【００２４】 従来のむしろハンディな解決方法はこれによって不必要となるか或いは少なく
とも大幅に軽減される。このような従来の解決方法は例えば作業情況の状況的説
明のための口頭による交信もしくは所定の課題設定の作業における支援のための
電話による指示であった。
【００２５】 図５ないし図１２により行われるやり方においては、特別なこととして、強調
現実感によるマン・マシーン相互会話がコンピュータとの非常に簡単なかつ直感
的な交信でもって、音声処理或いは身振り認識のような例えばマルチモードの対
話技術に補足されて使用される。
【００２６】 光学的に検出され文書化された現実の作業情況において画像認識（分析的画像
処理による）の手法での技術的対象の確認、即ち「マーキング」、即ち、例えば
作業者により行われる重要な技術的対象の確認は、マルチモードの対話手法、例
えば身振り認識に、場合によっては音声認識を加えたような手法により行われる
。マーキングは技術的対象に対応付けられており、「遠隔で」関与可能なシステ
ム専門家による支援とにも同様に使用される。
【００２７】 本発明の本質的に新規でかつ特別な点は、作業者によるマーキングと、対象に
このマーキングを結合することと、場合によっては遠隔のシステム専門家による
マーキング及び強調化とにある。
【００２８】 要約するに、本発明は、対象に指向したマーキング及び情報を選択された技術
的構成要素に対応付けるためのシステム及び方法に関する。特に自動化システム
の保守において最適な支援のために、作業者と技術的構成要素との間の対話を情
況に応じて支援するために、対象に指向してマーキングし情報を選択された技術
的構成要素に対応付けるための、特に技術的及び工業的適用のためのシステムが
提案される。このシステムは、文書化データを記憶する記憶手段と、現実の情報
を検出する検出手段と、文書化データにアクセスするアクセス手段と、現実の情
報を評価し記憶された文書化データをこの現実の情報に関連して選択する評価手
段と、技術的構成要素を仮想的にマーキングする手段と、この仮想的マーキング
により選択された技術的構成要素に関連する付加情報を表示する手段とを備える
。
【図面の簡単な説明】
【図１】 文書化処理システムの１つの実施例のブロック回路図
【図２】 文書化処理システムの異なる実施例のブロック回路図
【図３】 文書化処理システムのさらに別の実施例のブロック回路図
【図４】 文書化データに情況に応じてアクセスするための適用例を示す図
【図５】 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるた
めの適用例の問題設定及び作業情況を備えた第一の情況を示す図
【図６】 情況に関連して強調した図５の適用例の第二の情況を示す図
【図７】 図５の適用例の第三の情況を示す図
【図８】 対象に指向してマーキングし情報を音声に基づく対話により対応付ける第四の
情況を示す図
【図９】 対象に指向してマーキングし情報を対応付ける第五の情況を示す図
【図１０】 対象に指向してマーキングし情報を対応付ける第六の情況を示す図
【図１１】 対象に指向してマーキングし情報を対応付ける第七の情況を示す図
【図１２】 対象に指向してマーキングし情報を対応付ける第八の情況を示す図
【符号の説明】
１ 記憶手段 １ａ 文書化データ １ｂ 文書化データ（情報モジュール） ２ 検出手段 ３ プロセス ４ データグラス ５ インターネット ６ 送受信装置 ７ 作業者 ８ ＡＲ基本モジュール ９ ＡＲ応用モジュール １０ ＡＲシステム １１ マイクロフォン １２ インターネット接続 １３，１４，１５ データ接続線 １６ 遠隔のパソコン １６（図４） 拡声器 １７ 送受信装置 １８ 接続線 １９，２０，２１ 内部接続線 ２２ 遠隔の専門家 ２３ インターフェイス Ａ 評価手段 Ａ１．．．Ａｎ 技術的装置 Ｂ 可視化手段 Ｂ１，Ｂ２ 画像スクリーン範囲 Ｄ アクセス手段（データ接続） Ｉ１．．．Ｉｎ 文書化データ Ｉ１１ 付加情報 Ｉ１２ 付加データ Ｐ１，Ｐ２ 画像スクリーンの点 Ｒ 現実の情報

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】作業者（７）と技術的装置（Ａ１．．Ａｎ）との間の対話を情
    況に応じて支援するために、対象に指向してマーキングし情報を選択された技術
    的構成要素に対応付けるための、特に技術的及び工業的適用のためのシステムに
    おいて、文書化データ（Ｉ１．．Ｉｎ）を記憶する記憶手段（１）と、現実の情
    報（Ｒ）を検出する検出手段（２）と、文書化データ（Ｉ１．．Ｉｎ）にアクセ
    スするアクセス手段（Ｄ）と、現実の情報（Ｒ）を評価し記憶された文書化デー
    タ（Ｉ１．．Ｉｎ）をこの現実の情報（Ｒ）に関連して選択する評価手段（Ａ）
    と、技術的構成要素を仮想的にマーキングする手段と、この仮想的マーキングに
    よって選択された技術的構成要素に関連する付加情報を表示する手段とを備えた
    システム。
  2. 【請求項２】仮想的にマーキングする手段が音声制御によって及び／又はデ
    ジタル画像処理によって制御されることを特徴とする請求項１に記載のシステム
    。
  3. 【請求項３】作業者（７）の現場、遠隔の専門家及び／又は遠隔のエキスパ
    ートシステムとのデータ接続を介してマーキングを伝達するために及び／又は仮
    想マーキングによって選択された技術的構成要素に関連する付加情報を返送する
    ために接続可能である強調現実感システムが設けられていることを特徴とする請
    求項１又は２に記載のシステム。
  4. 【請求項４】作業者（７）と技術的装置（Ａ１．．Ａｎ）との間の対話を情
    況に応じて支援するために、対象に指向してマーキングし情報を選択された技術
    的構成要素に対応付ける、特に技術的及び工業的適用のための方法において、文
    書化データ（Ｉ１．．Ｉｎ）が記憶され、現実の情報（Ｒ）が検出手段（２）に
    より検出され、文書化データ（Ｉ１．．Ｉｎ）に、現実の情報（Ｒ）が評価され
    、記憶された文書化データ（Ｉ１．．Ｉｎ）がこの現実の情報（Ｒ）に関連して
    選択されるようにアクセスされ、選択される技術的構成要素に仮想的マーキング
    が付けられ、この仮想的マーキングによって選択された技術的構成要素に関連す
    る付加情報が作業者に表示される方法。
  5. 【請求項５】仮想的マーキングが音声に基づき及び／又はデジタル画像処理
    によって付けられることを特徴とする請求項４に記載の方法。
  6. 【請求項６】作業者（７）の場所から強調現実感システムによって、遠隔の
    専門家及び／又は遠隔のエキスパートシステムとのデータ接続を介して、マーキ
    ングの伝達が行われ、及び／又は仮想的マーキングによって選択された技術的構
    成要素に関連する付加情報の返送が行われることを特徴とする請求項４又は５に
    記載の方法。
JP2001536646A 1999-11-09 2000-11-09 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法 Withdrawn JP2003514294A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE19953739A DE19953739C2 (de) 1999-11-09 1999-11-09 Einrichtung und Verfahren zur objektorientierten Markierung und Zuordnung von Information zu selektierten technologischen Komponenten
DE19953739.9 1999-11-09
PCT/DE2000/003942 WO2001035178A1 (de) 1999-11-09 2000-11-09 System und verfahren zur objektorientierten markierung und zuordnung von information zu selektierten technologischen komponenten

Publications (1)

Publication Number Publication Date
JP2003514294A true JP2003514294A (ja) 2003-04-15

Family

ID=7928337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001536646A Withdrawn JP2003514294A (ja) 1999-11-09 2000-11-09 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法

Country Status (5)

Country Link
US (1) US7103506B2 (ja)
EP (1) EP1230583B1 (ja)
JP (1) JP2003514294A (ja)
DE (2) DE19953739C2 (ja)
WO (1) WO2001035178A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
JP2016062336A (ja) * 2014-09-18 2016-04-25 凸版印刷株式会社 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ
JP2016192206A (ja) * 2015-03-30 2016-11-10 Ｊｆｅスチール株式会社 安全管理システムおよび安全管理方法
JP2019196695A (ja) * 2018-03-19 2019-11-14 ヨゼフ フェゲーレ アーゲー 道路の敷設又は仕上げ用の建設機械

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10041104C1 (de) * 2000-08-22 2002-03-07 Siemens Ag Einrichtung und Verfahren zur Kommunikation zwischen einer mobilen Datenverarbeitungsvorrichtung und einer stationären Datenverarbeitungsvorrichtung
DE10116539B4 (de) * 2000-08-22 2004-02-26 Siemens Ag System und ein Verfahren zur automatischen Datenaufbereitung insbesondere im Umfeld Produktion, Montage, Service oder Wartung
JP2004534963A (ja) * 2001-03-30 2004-11-18 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 強化現実のための方法、システム及び装置
EP1298506A1 (de) 2001-09-27 2003-04-02 Siemens Aktiengesellschaft Dynamischer Zugriff auf Automatisierungsressourcen
DE10153511A1 (de) * 2001-10-30 2002-09-19 Siemens Ag Service-System mit Multimedia-Dialog zu einem Experten-Center
SE523990C2 (sv) * 2001-12-28 2004-06-15 Abb Ab Förfarande och system i en industriellt automatiserad anläggning för att skicka relevant anläggningsinformation till mobila enheter beroende på deras lokalitet
DE10202498A1 (de) * 2002-01-23 2003-07-31 Siemens Ag Automatisierungssystem und Verfahren zur Erzeugung einer Dokumentation
DE10203369B4 (de) * 2002-01-29 2004-03-25 Siemens Ag Verfahren und Vorrichtung zum Anfordern von für eine Durchführung von Arbeiten an einer technischen Einrichtung benötigten Daten
EP1487616B1 (de) * 2002-03-20 2010-06-30 Volkswagen Aktiengesellschaft Automatische prozesskontrolle
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
DE10307981A1 (de) * 2003-02-24 2004-09-02 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
JP2007523781A (ja) 2003-02-24 2007-08-23 バイエリッシェ　モートーレン　ウエルケ　アクチエンゲゼルシャフト 車両における修理手順を視覚化するための方法及び装置
DE10307980A1 (de) * 2003-02-24 2004-09-16 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Visualisierung eines Reparaturablaufs an einem Fahrzeug
DE102004004695A1 (de) * 2004-01-20 2005-08-11 Gesellschaft für Industrieanlagen-Planung mbH & Co KG Verfahren und System zur elektronischen Anlagendokumentation einer technischen Anlage
DE102005005266A1 (de) * 2005-02-04 2006-08-10 Volkswagen Ag Verfahren und Vorrichtung zum automatisierten Erzeugen und Anzeigen von Arbeitsanweisungen
US7672512B2 (en) 2005-03-18 2010-03-02 Searete Llc Forms for completion with an electronic writing device
DE102005014941B4 (de) 2005-04-01 2009-02-26 Kraussmaffei Technologies Gmbh Verfahren zum Bereitstellen von Dokumentationsinformationen von komplexen Maschinen und Anlagen, insbesondere einer Spritzgussmaschine
US7546219B2 (en) * 2005-08-31 2009-06-09 The Boeing Company Automated damage assessment, report, and disposition
US8275399B2 (en) * 2005-09-21 2012-09-25 Buckyball Mobile Inc. Dynamic context-data tag cloud
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
DE102006014571A1 (de) * 2006-03-29 2007-10-04 Di Ke Opto-Electronics Co., Ltd Verwendungsverfahren von Geräten für die Sichtprüfung
US7729786B2 (en) * 2006-09-26 2010-06-01 Rockwell Automation Technologies, Inc. Natively retaining project documentation in a controller
US20080092070A1 (en) * 2006-10-16 2008-04-17 Lake Union Capital Partners, Llc Systems and methods for presentation of operational data
ATE505756T1 (de) * 2006-10-24 2011-04-15 Krones Ag Bedienungshilfe für eine vorrichtung zum behandeln von behältnissen
US8191005B2 (en) 2007-09-27 2012-05-29 Rockwell Automation Technologies, Inc. Dynamically generating visualizations in industrial automation environment as a function of context and state information
US7920935B2 (en) * 2008-08-19 2011-04-05 International Business Machines Corporation Activity based real-time production instruction adaptation
AT10520U3 (de) 2008-09-05 2013-10-15 Knapp Systemintegration Gmbh Vorrichtung und verfahren zur visuellen unterstützung von kommissioniervorgängen
US20100082118A1 (en) * 2008-09-30 2010-04-01 Rockwell Automation Technologies, Inc. User interface display object for logging user-implemented solutions to industrial field problems
US9489217B2 (en) * 2008-12-09 2016-11-08 Oracle America, Inc. Dynamic software documentation
DE102010013420A1 (de) 2010-02-16 2011-08-18 Volkswagen AG, 38440 Projektionsanordnung, insbesondere für ein Kraftfahrzeug oder sonstige technische Einrichtungen
DE102010013885A1 (de) * 2010-03-30 2011-10-06 Khs Gmbh Mobile Wartungseinheit
DE102010017938A1 (de) * 2010-04-22 2011-10-27 Siemens Aktiengesellschaft System und Verfahren zum Bereitstellen von Sensordaten
DE102010022735B4 (de) 2010-06-04 2022-07-07 Volkswagen Ag Verfahren zur Projektion einer Grafik auf eine Projektionsoberfläche, inbesondere auf eine Oberfläche eines Kraftfahrzeuges und Verfahren zur Herstellung eines Kraftfahrzeuges
JP2012168346A (ja) * 2011-02-15 2012-09-06 Casio Comput Co Ltd 閲覧装置
DE102011013760B4 (de) 2011-03-12 2022-09-29 Volkswagen Ag Verfahren, Vorrichtung und Computerprogrammprodukt zur Informationsvermittlung mittels erweiterter Realität im Zusammenhang mit einem Straßenfahrzeug
DE102011007183A1 (de) * 2011-04-12 2012-10-18 Wafios Ag Verfahren und System zur Programmierung der Steuerung einer mehrachsigen Umformmaschine sowie Umformmaschine
US8686871B2 (en) * 2011-05-13 2014-04-01 General Electric Company Monitoring system and methods for monitoring machines with same
US20120308969A1 (en) * 2011-06-06 2012-12-06 Paramit Corporation Training ensurance method and system for copmuter directed assembly and manufacturing
DE102011122206A1 (de) * 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
EP2689650B1 (en) * 2012-07-27 2014-09-10 Honda Research Institute Europe GmbH Trainable autonomous lawn mower
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
DE102013013343A1 (de) * 2013-08-09 2015-02-12 Avelon Cetex AG Verfahren und Vorrichtung zum Betrieb einer Automationsanlage
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
EP3685734B1 (en) * 2014-05-22 2022-03-09 Invuity, Inc. Medical device featuring cladded waveguide
DE102014213058A1 (de) * 2014-07-04 2016-01-07 Siemens Aktiengesellschaft Verfahren zur Ausgabe von Fahrzeuginformation
US9576329B2 (en) * 2014-07-31 2017-02-21 Ciena Corporation Systems and methods for equipment installation, configuration, maintenance, and personnel training
DE102014225937A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren
DE102014226554A1 (de) * 2014-12-19 2016-06-23 Robert Bosch Gmbh Identifikations- und Reparaturunterstützungs-Vorrichtung und -Verfahren
DE102015201290A1 (de) 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
US9646371B2 (en) 2015-03-09 2017-05-09 Dresser, Inc. Utilizing an image of a valve assembly to identify the valve assembly found on a process line
ITUB20154627A1 (it) * 2015-10-13 2017-04-13 Sematic S P A Procedimento per effettuare una manutenzione di un dispositivo elettromeccanico
DE102016003074A1 (de) * 2016-03-12 2017-09-14 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
DE102016220580A1 (de) * 2016-10-20 2018-04-26 Krones Ag Computerterminalvorrichtung und Verfahren zum Erstellen von digitalen Dokumentationsunterlagen für eine Maschine der Lebensmittelindustrie
DE102017107224A1 (de) * 2017-04-04 2018-10-04 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Darstellung einer Bauteildokumentation
DE102017207992A1 (de) * 2017-05-11 2018-11-15 Homag Gmbh Verfahren zur Überwachung eines Fertigungsprozesses
WO2018211312A1 (en) * 2017-05-18 2018-11-22 Uab Atomichronica Augmented reality system for providing support to user concerning technical device
US10748443B2 (en) 2017-06-08 2020-08-18 Honeywell International Inc. Apparatus and method for visual-assisted training, collaboration, and monitoring in augmented/virtual reality in industrial automation systems and other systems
CN111373449B (zh) * 2017-11-21 2023-09-12 沃尔沃卡车集团 用于辅助在产品上执行任务的辅助方法和辅助系统
DE102017130913A1 (de) * 2017-12-21 2019-06-27 Rehau Ag + Co Verfahren zum Aufbau eines Rohrsystems unter Erzeugung mindestens einer Rohrverbindung
DE102018201711B4 (de) 2018-02-05 2020-07-02 Vypii GmbH Anordnung und Verfahren zum Bereitstellen von Informationen bei einer kopftragbaren erweiterte-Realität-Vorrichtung
EP3547268A1 (de) 2018-03-29 2019-10-02 Sick AG Augmented-reality-vorrichtung
EP3647911A1 (de) * 2018-11-05 2020-05-06 Primetals Technologies Germany GmbH Augmented-reality-unterstützte überwachung eines produkts
EP3660608A1 (en) * 2018-11-30 2020-06-03 Siemens Aktiengesellschaft Method and system for managing an asset in a technical installation
US10997231B2 (en) 2019-01-17 2021-05-04 International Business Machines Corporation Image-based ontology refinement using clusters
DE102019112289B3 (de) 2019-05-10 2020-06-18 Controlexpert Gmbh Verfahren zur Schadenserfassung bei einem Kraftfahrzeug
EP3783458B1 (en) * 2019-08-22 2023-04-05 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
US11209261B2 (en) 2019-08-22 2021-12-28 Innovmetric Logiciels Inc. Methods and systems for producing traceable measurements
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system
JP7222388B2 (ja) * 2020-12-28 2023-02-15 横河電機株式会社 装置、方法及びプログラム
EP4273644A1 (en) * 2022-05-03 2023-11-08 Basf Se An augmented reality based automation system with task manager

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324039A (ja) * 1992-05-26 1993-12-07 Fanuc Ltd 数値制御装置
FR2724026B1 (fr) * 1994-08-29 1996-10-18 Aerospatiale Procede et dispositif pour l'identification de pannes dans un systeme complexe
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5745387A (en) * 1995-09-28 1998-04-28 General Electric Company Augmented reality maintenance system employing manipulator arm with archive and comparison device
US5982362A (en) * 1996-05-30 1999-11-09 Control Technology Corporation Video interface architecture for programmable industrial control systems
US6115489A (en) * 1997-09-02 2000-09-05 General Electric Company System and method for performing image-based diagnosis
DE19751273A1 (de) * 1997-11-19 1999-05-27 Siemens Ag Verfahren zum computergestützten Erstellen und Handhaben einer auf Produkt- oder Prozesslebenszyklen bezugnehmenden technischen Datenbank
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465668B1 (ko) * 2008-06-24 2014-11-26 삼성전자주식회사 단말 및 그의 블로깅 방법
JP2016062336A (ja) * 2014-09-18 2016-04-25 凸版印刷株式会社 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ
JP2016192206A (ja) * 2015-03-30 2016-11-10 Ｊｆｅスチール株式会社 安全管理システムおよび安全管理方法
JP2019196695A (ja) * 2018-03-19 2019-11-14 ヨゼフ フェゲーレ アーゲー 道路の敷設又は仕上げ用の建設機械
US11345235B2 (en) 2018-03-19 2022-05-31 Joseph Voegele Ag Construction machine with operating parameter sensor

Also Published As

Publication number Publication date
EP1230583B1 (de) 2004-03-17
US7103506B2 (en) 2006-09-05
DE19953739C2 (de) 2001-10-11
DE19953739A1 (de) 2001-07-12
WO2001035178A1 (de) 2001-05-17
US20020191002A1 (en) 2002-12-19
DE50005725D1 (de) 2004-04-22
EP1230583A1 (de) 2002-08-14

Similar Documents

Publication Publication Date Title
JP2003514294A (ja) 対象に指向してマーキングし情報を選択された技術的構成要素に対応付けるシステム及び方法
JP4981779B2 (ja) プロセス制御環境におけるポータブルコンピュータ
JP5000888B2 (ja) 通信方法および通信システム
US7230582B1 (en) Wearable computer in a process control environment
JP2002538543A (ja) 強調現実感技術により対話を状況に応じて支援するためのシステム及び方法
US7324081B2 (en) Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
US7787992B2 (en) Method to generate a human machine interface
KR20190076770A (ko) 증강현실 기반 조립 가이드 시스템
CN106340217A (zh) 基于增强现实技术的制造装备智能系统及其实现方法
AU2020385740B2 (en) Remote work support system
US11328623B2 (en) System and method for using wearable technology in manufacturing and maintenance
TWI738149B (zh) 智慧巡檢方法與智慧巡檢系統
CN110751734B (zh) 一种适用于工作现场的混合现实助手系统
WO2020194413A1 (ja) 保守支援システム、保守支援方法及びプログラム
JP7171208B2 (ja) 建設機械の作業支援装置
CN114567535B (zh) 一种基于增强现实的产品交互与故障诊断方法
CN112130572A (zh) 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统
JP7391518B2 (ja) 産業用機械の保守・診断システム
JP2019032728A (ja) 表示装置および表示方法
KR102312015B1 (ko) 증강현실을 이용한 원격지원 장치
CN112966540A (zh) 智慧巡检方法与智慧巡检系统
JP2021157781A (ja) 保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080205