JP2015500978A - ハンズフリーで検査を行うためのシステムと方法 - Google Patents

Abstract

本発明は機器を検査するためのシステム及び方法に関する。本方法においては、機器が複数の可動のカメラに相対的な既知の位置に配置される。複数の可動のカメラは制御可能なアクチュエータに取り付けられている。複数のカメラは、制御可能なアクチュエータの制御によって機器に向けられ、その際に、ユーザインタフェースを用いてカメラが位置決めされる。カメラによって形成された機器の画像は無線モバイルデバイスのディスプレイに表示される。またコンピューティングデバイスによって、無線モバイルデバイスのディスプレイに表示すべき、レンダリングされた仮想画像が形成される。関心ストリーム及び関心領域は、カメラによって形成された画像に基づき、無線モバイルデバイスのディスプレイにおいて選択される。

Description

関連案件の参照
本願は、２０１１年９月２２日に出願した米国仮出願第６１／５３７，６４２号の優先権を主張するものであり、この仮出願は参照によって全て本願に組み込まれるものとする。

本発明は、カメラ及びコンピューティングデバイスを使用する、検査システム及び検査方法に関する。より詳細には、本発明はタービンを検査するためのシステム及び方法に関する。

産業用の機器及び装置に関して、カメラ画像に基づくコンピュータ化された検査は非常に正確な情報を提供する。しかしながら、検査される対象物が複雑なもの（例えば現在のガスタービン機械）である場合、また複数のカメラ及びカメラの複数のコンフィギュレーションが必要とされる場合には、検査は困難になる。検査される機器に関するデータはデータベースに記憶されることが多い。ときには、複数のカメラが機器の異なる部品の複数の画像を記録し、それらの画像を検査が実施される前にプロセッサによって処理する必要がある。検査員が検査を行う大型の対象物、例えばタービンの周囲を移動することも多い。

検査員が歩き回っている間に、対象物に関連するデータを有している高性能コンピュータに高速にアクセスすることは、特にタービンの産業環境においては困難である場合が多い。これは検査の生産性を阻害する。

そのような困難の別の原因は機器が大型で複雑な形状を有しているからであり、これによって、コンピュータの支援なく分析を行うことが困難になる可能性がある。それらの機械は、相互的に影響を及ぼす複数の相関的な部品及びコンポーネントも有している。例えば、弁の起動はタービンのロータ速度、温度及び振動に影響を及ぼす可能性があり、それらは全て機械の異なる場所において異なる部品の検査を必要とする。高性能コンピュータにおいて検査データを集合させて一つの集合検査データを形成することができる。しかしながら、検査を実施するために対象物とコンピュータとの間の移動しなければならないことは検査員にとって効率的なものではない。

従って、複雑な機器のコンピュータ支援によりハンズフリーで行われる検査の改善されたシステム及び方法が必要とされる。

本発明は、検査される機器に関するカメラ構成の正確な状況を、機器を検査している検査員に認識させるための直接的な支援を提供する。本発明の一つの態様によれば、カメラはアクチュエータに設置され、このアクチュエータを、ジョイスティック、キーボード及びマウスを備えているユーザインタフェースデバイスを有しているコンピュータによって制御することができる。カメラは複数の自由度を有することができる。コンピューティングデバイスにおけるソフトウェアは完全にアクチュエータを制御し、また各カメラの空間的な位置及び配向を知る。カメラ画像はコンピュータから、画像を表示するためのディスプレイを備えている無線モバイルコンピュータデバイスへと無線伝送される。ユーザは、コンピュータからモバイルコンピューティングデバイスへと送信される複数の画像ストリームから成る関心ストリーム（ＳＯＩ：stream of interest）を、モバイルコンピュータデバイスによって選択することができる。ユーザは、コンピュータからモバイルコンピューティングデバイスへと伝送される、選択された関心ストリームにおいて、関心領域を選択することもできる。選択された関心ストリームにおいて選択された関心領域以外の画像データはコンピュータからモバイルコンピューティングデバイスには伝送されない。

本発明の一つの態様によれば、検査コンピュータ及びカメラを用いてタービンを検査するための方法が提供され、この方法は、無線モバイルデバイスを用いて、検査コンピュータとの無線接続を確立するステップと、無線モバイルデバイスを用いて、タービンの画像の関心ストリーム並びにその関心ストリーム内の関心領域を選択するステップと、無線モバイルデバイスが、関心ストリーム及び関心領域を検査コンピュータに要求し、関心ストリームにおける関心領域を表す画像を検査コンピュータから受信するステップと、無線モバイルデバイスが関心領域を表示するステップとを備えている。

本発明の別の態様によれば、無線モバイルデバイスに複数の関心ストリームのリストを表示し、そのリストから関心ストリームを選択し、検査コンピュータから受信した関心領域を、検査コンピュータに接続されているメモリから検索する方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスに複数の関心ストリームのリストを表示し、そのリストから関心ストリームを選択し、検査コンピュータから受信した関心領域を、検査コンピュータに接続されているカメラから検索する方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスが、画像の関心ストリームに関するｆｐｓパラメータを選択し、検査コンピュータが、選択されたｆｐｓに従って、画像の関心ストリームを無線モバイルデバイスに送信する方法が提供される。

本発明の更に別の態様によれば、選択されたｆｐｓは３０ｆｐｓよりも小さい方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがプローブ制御信号を検査コンピュータに送信し、検査コンピュータがプローブ制御信号を処理して、その処理されたプローブ制御信号をプローブの制御のために送信するステップを備えている方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがカメラ制御信号を検査コンピュータに送信し、検査コンピュータがカメラ制御信号を処理して、その処理されたカメラ制御信号をカメラの制御のために送信するステップを備えている方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがトリガ制御信号を検査コンピュータに送信し、検査コンピュータがトリガ制御信号を処理して、その処理されたトリガ制御信号をトリガボードの制御のために送信するステップを備えている方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスが、プローブ制御信号を検査コンピュータに送信し、検査コンピュータがプローブ制御信号を処理して、その処理されたプローブ制御信号をプローブの制御のために送信するステップと、カメラ制御信号を検査コンピュータに送信し、検査コンピュータがカメラ制御信号を処理して、その処理されたカメラ制御信号をカメラの制御のために送信するステップと、トリガ制御信号を検査コンピュータに送信し、検査コンピュータがトリガ制御信号を処理して、その処理されたトリガ制御信号をトリガボードの制御のために送信するステップとを備えている方法が提供される。

本発明の更に別の態様によれば、無線モバイルデバイスが、関心領域内のタービンのモデル並びにその関心領域内のタービンの画像に関するリクエストを検査コンピュータに送信するステップと、タービンのモデル及び関心領域内のタービンの画像を検査コンピュータから受信するステップと、タービンのモデル及び関心領域内のタービンの画像を無線モバイルデバイスに表示するステップとを備えている方法が提供される。

本発明の更に別の態様によれば、更に、検査コンピュータが画像の関心ストリーム内の関心領域を、無線モバイルデバイスとの伝送品質に依存するフレームレートで送信するステップを備えている方法が提供される。

本発明の別の態様によれば、検査コンピュータ及びカメラを用いてタービンを検査するためのシステムが提供され、このシステムは、検査コンピュータとの無線接続を確立する無線モバイルデバイスを有しており、この無線モバイルデバイスは、タービンの画像の関心ストリーム並びにその関心ストリーム内の関心領域を選択するステップと、関心ストリーム及び関心領域を検査コンピュータに要求し、関心ストリームにおける関心領域を表す画像を検査コンピュータから受信するステップとを実施するための命令を実行するプロセッサを備えている。

本発明の更に別の態様によれば、無線モバイルデバイスに複数の関心ストリームのリストが表示され、そのリストから関心ストリームが選択され、検査コンピュータから受信した関心領域が検査コンピュータに接続されているメモリから検索されるシステムが提供される。

本発明の更に別の態様によれば、無線モバイルデバイスに複数の関心ストリームのリストが表示され、そのリストから関心ストリームが選択され、検査コンピュータから受信した関心領域が検査コンピュータに接続されているカメラから検索されるシステムが提供される。

本発明の更に別の態様によれば、無線モバイルデバイスが、画像の関心ストリームに関するｆｐｓパラメータを選択し、検査コンピュータが、選択されたｆｐｓに従って、画像の関心ストリームを無線モバイルデバイスに送信するシステムが提供される。

本発明の更に別の態様によれば、選択されたｆｐｓは３０ｆｐｓよりも小さいシステムが提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがプローブ制御信号を検査コンピュータに送信し、検査コンピュータがプローブ制御信号を処理して、その処理されたプローブ制御信号をプローブの制御のために送信するシステムが提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがカメラ制御信号を検査コンピュータに送信し、検査コンピュータがカメラ制御信号を処理して、その処理されたカメラ制御信号をカメラの制御のために送信するシステムが提供される。

本発明の更に別の態様によれば、無線モバイルデバイスがトリガ制御信号を検査コンピュータに送信し、検査コンピュータがトリガ制御信号を処理して、その処理されたトリガ制御信号をトリガボードの制御のために送信するシステムが提供される。

本発明の更に別の態様によれば、更に、検査コンピュータが画像の関心ストリーム内の関心領域を、無線モバイルデバイスとの伝送品質に依存するフレームレートで送信するシステムが提供される。

上述の方法及び本明細書において説明する他の方法を実行するシステムが、本発明の複数の態様に従い提供される。

コンピューティングデバイスは、制御可能な各アクチュエータ並びに少なくとも一つのディスプレイに接続され、また制御可能な各アクチュエータを制御するためのユーザインタフェースを備えている。コンピューティングデバイスによって、少なくとも一つのディスプレイに表示すべきレンダリングされた仮想画像を形成することもできる。

本発明の一つの態様による、機器を検査するためのシステムを示す。 本発明の一つの態様による、モバイルタブレットの使用法を示す。 本発明の一つの態様による、モバイルタブレットの使用法を示す。 本発明の一つの態様による、タービンを検査するために使用されるモバイルタブレット上の表示を示す。 本発明の一つの態様による、モバイル検査タブレットのセットアップを示す。 本発明の一つの態様による、モバイル検査タブレットにおいて使用されるＧＵＩを示す。 本発明の一つの態様による、モバイル検査タブレットのタッチスクリーン上の表示を示す。 本発明の一つの態様による、モバイル検査タブレットを使用したタービンの検査方式を示す。 本発明の一つの態様による、デバイスを検査するためのシステムを示す。 本発明の一つの態様に従い形成されたイメージを示す。

複雑な機械の検査員が、その機械の特定の部品の完全で障害物のないビューを取得することは困難であることが多い。機械の複数の部品を同時に考察することが所望されることも頻繁に生じる。機械又は機械の一部の環境における変更又は修正がその機械の他の部品、即ち、一つの位置からでは検査員には直接的に見えない部品に影響を及ぼす可能性があることも良く知られている。

幾つかの状況においては、以前の検査時に記録された先行の状態との関連において、検査中に機械の視覚的な最新の状態を判別することも所望される。

同一の譲受人により共同で所有されている別個の同時係属出願には、複雑で視覚的な検査における状況認識を実現する、サイド・バイ・サイド方式の検査システムが開示されている。サイド・バイ・サイド方式のアプローチを用いるそのようなシステムでは、ユーザは全てのカメラ及びプローブコントローラが接続されているＰＣ（デスクトップ又はラップトップ）の前で作業を行う。本発明の一つの実施の形態におけるプローブは、プローブコントローラによって制御される操縦可能な機器、例えばロボットアームに取り付けられている。プローブ自体はカメラ、温度センサ又はその他のセンサ、若しくは、操縦可能な機器に取り付けることができるアクチュエータで良い。複数のプローブ、例えばカメラ及び温度センサを操縦可能な機器に取り付けることができる。操縦可能な機器の移動又はナビゲーションはプローブコントローラを介してオペレータによって制御される。

検査される実際の機器、例えばガスタービン機械は非常に大型であることが多いので、ユーザは検査を実施している間にその機械の周辺を歩いて、実際の状態を調査しなければならない。ユーザをＰＣの前に座らせるか、又はＰＣの元へ戻ることから解放し、また検査制御ＰＣにアクセスしたまま実際のデバイスを調査できるようにすることは有効であると考えられる。本発明の一つの態様によれば、ユーザが、大部分の検査作業のための嵩張るデスクトップ又はラップトップＰＣで作業する代わりに、軽量のモバイルコンピュータタブレットを使用できるようにする、検査及びデータ収集のための方法及びシステムが提供される。

図１には、本発明の一つの実施の形態が示されている。図１におけるシステムは検査コンピュータ乃至検査ＰＣを含む。この検査コンピュータは例えばデスクトップコンピュータ又はラップトップコンピュータである。検査コンピュータは、モバイルタブレット、例えばｉＰａｄ（登録商標）との通信を処理する通信モジュールを有している。タブレットはプロセッサ、外部装置と通信するための無線通信装置、ディスプレイ、及び、ディスプレイにわたるタッチスクリーンであっても良いデータ入力装置を含んでいる。有利には、タブレットはカメラを備えている。

検査コンピュータとモバイルタブレットとの間の通信リンクは例えばＷｉ−Ｆｉを介する無線形式のものである。検査コンピュータはカメラによって形成されるデータを捕捉するためのカメラキャプチャを含んでいる。検査コンピュータ又は別個のトリガボード（Trigger Board）において、プロセッサはトリガ信号を生成することができ、このトリガ信号は、カメラに記録を指示するか、又は、プロセッサにカメラによって記録された一連の画像の中からの一つの画像の選択を指示される。トリガボードにおけるプロセッサは、基準タービン翼がセンサを通過した際に通知を行う、タービンにおけるＯＰＲ（Once Per Rotation）センサから、ＯＰＲ信号を受信する。ＯＰＲ信号から、カメラのトリガの瞬間が決定され、カメラは計算された瞬間にタービン翼の画像を撮影する。

所定の画像が捕捉され、またその画像をデータ記憶装置、例えば磁気ディスクに保存することができる。検査コンピュータはトリガ制御部を含み、このトリガ制御部は、有利にはグラフィカルユーザインタフェース（ＧＵＩ）を介して、所望のトリガの瞬間及び所要オフセットを設定するために、ユーザからの入力を受信する。

本発明の一つの実施の形態における通信装置は、カメラからモバイルタブレットにライブビデオをストリーミングする。この通信装置は、モバイルタブレットからの捕捉制御の要求、メタデータの変更並びにプローブナビゲーションの要求を受信し、また所定のアクションを実行するために、カメラ捕捉部、トリガ制御部及びプローブ制御部に命令する。

図２には、モバイルタブレットが検査にとって有効である一つのシナリオが示されている。大型の機械２００は、モバイルタブレット２０７を所持している検査員２１０による視覚的な検査を必要とする部品２０５を有している。機械２００は駆動部２０２を有しており、この駆動部２０２が、カメラを含むことができる一つ又は複数のプローブ２０３によって監視され、またアクチュエータを含むことができる制御装置２０４によって制御される。制御装置２０４、例えば弁をコンピュータ２０１によって開閉することができる。コンピュータ２０１はネットワーク２０８に接続されており、このネットワーク２０８には一連のセンサ、例えば別の部品２０６を監視するカメラ２１１が接続されており、またそれらのセンサをコンピュータ２０１によって監視することができる。機械２００における別の部品２０６及び前述の部品２０５はいずれも駆動部２０２の状態による影響を受ける。機器２００の近傍の位置にいる、タブレットコンピュータを所持している検査員２１０は、コンピュータ２０１から遠く離れた位置におり、また別の部品２０６を見ることはできない。過酷なＥＭ環境では、ネットワーク２０８は有利には防磁ケーブル又は光学ケーブルを含んでいる。

所定の条件下では、検査員が直接的に部品２０５を考察し、駆動部２０２の性能が変化した際には部品２０５に何が起こっているのかを検査員の最高の視点からリアルタイムで調べることが有利である。また検査員は駆動部２０２の設定又は性能の結果、部品２０５に何が起こっているのかを調べようともする。駆動部２０２はコンピュータ２０１によって制御される。一つの公知のアプローチでは、複数人の検査員が必要とされる。つまり、一人はコンピュータ２０１のもとに、一人は別の部品２０６のもとに、また一人は検査を必要とする部品２０５のもとにそれぞれ配置され、各人には活動及び観察を調整するために電話又は無線装置が提供される。これは理想的な解決手段ではない。何故ならば、要求される調整のレベルに関して、エラーや誤解の生じる余地が多分に残されたままだからである。更には、過酷なＥＭ環境では無線通信又は音声通信の使用は推奨されない。つまり、何らかのイベントが迅速な応答を要求する可能性があるが、そのような迅速な応答は、機械周辺の作業条件によって、また、２人以上の人員を配置することによって困難になることが考えられる。

本発明の一つの実施の形態において、機器２００はカメラによって、例えばネットワーク２０８に接続されているカメラ２１１によって監視される。無線通信を容易にするために、ルータ又はハブ２１２、例えば無線通信用のBluetoothハブをネットワークに接続することができる。特別なカメラを対象物に取り付けることもできる。例えば赤外線（ＩＲ）カメラをタービンのポートに取り付け、そのタービンの熱い部品を監視することができる。ＩＲカメラの画像もコンピュータ２０１において利用することができる。

検査員にとって、自身のオペレーションを考察しながら、コンポーネントの関連するデータを考察することは非常に有効である。例えば、一つの実施の形態においては、検査員は所定の部品、その画像及び背景情報、例えばその部品のＣＡＤモデルを観察する。それにより検査員はその部品の状況を考察することができ、また画像データ及びＣＡＤデータを用いて、例えばその形状における何らかの顕著な差異を検出することができる。モバイルタブレット２０７を使用する検査員は、その検査員が立っているが、その位置からは見ることができない場所に関連する対象物の一部を、コンピュータ２０１において使用できる、カメラからの画像又は他の関連するデータを使用することによって考察することができる。

コンピュータ２０１と無線で通信するモバイルタブレットの使用又はそれよりも小さいスマートフォン２０７の使用には検討すべき以下の幾つかの制限が課されている。（１）複数のスクリーンを有することもできるコンピュータ２０１のディスプレイよりも遙かに小さいディスプレイスクリーンを有している；（２）デバイス２０７からコンピュータ２０１までの無線通信、ましてやハブ２１２を介する無線通信は帯域幅が制限される；（３）処理及び表示に関して非常に大きいサイズのデータストリームの取り扱い能力が制限されていることから、デバイス２０７における処理能力及び／又は保存能力が制限される可能性がある。

少なくとも上記の理由から、また本発明の一つの態様に関して、検査員はデバイス２０７において画像の一つ又は複数の関心ストリーム（ＳＯＩ：stream of interest）を選択することができ、また一つのストリーム内で一つの関心領域（ＲＯＩ：region of interest）を選択することができる。これは図３に示されている。図３には、画像３０１，３０２及び３０３が示されている、デバイス２０７の表示画面が示されている。本発明の一つの実施の形態において、各画像３０１，３０２及び３０３は、一つのウィンドウ内で公知のように表示される、三つの異なるカメラから取得された静止画又は静止写真である。本発明の一つの実施の形態においては、少なくとも一つの画像はビデオ画像である。本発明の一つの実施の形態においては、少なくとも一つの画像は、カメラによって記録されたレートよりも遅い表示レートのビデオ画像である。本発明の一つの実施の形態においては、メニュー項目３０４及び３０５がディスプレイに表示される。

本発明の一つの実施の形態においては、ディスプレイ３００はタッチスクリーンを有しており、このタッチスクリーン上においてメニュー及びメニュー項目をアクティブ化又はデアクティブ化することができるか、又は、ウィンドウのサイズを決定するか又はリサイズすることができるか、又は、スクリーン上の項目及びウィンドウを選択、移動、アクティブ化することができ、またタッチスクリーンベースのコンピュータにおいては既知の利用可能な何らかのアクションを実行することができる。タッチスクリーン上の項目３０４又は３０５を例えばタッチペンによってアクティブ化することによって、画像３０１，３０２及び３０３が右方向又は左方向に移動され、またそれらの画像がスクリーンの端部に達し、更にその端部を超えると、それらの画像がスクリーンから消え、別の画像がスクリーンの反対側から現われる。 この別の画像は画像３０６によって示唆されており、この画像３０６はディスプレイの空間の外側の仮想空間に位置している。メニュー項目３０４がアクティブ化されると、全ての画像が左方向に移動される。最終的には画像３０１がスクリーンの左側において消え、別の画像３０６がスクリーンの右側に現われる。

これにより、検査中の表示のために選択されるべきカメラの種々の画像を小さいスクリーン３００でも表示することができる。例えばタッチペンでもってスクリーン上の一つの画像をタッチして画像を選択することにより、その画像はスクリーン３００の比較的広い場所に拡大されて表示される。図４には、スクリーン３００においてアクティブ化されて拡大された画像３０１が示されており、この画像３０１は考察の対象となる部品４０１を有している機器４００の画像である。本発明の一つの実施の形態においては、画像３０１が部品４０１の画像と共に示されている。ユーザは、関心領域を起動及び設定するために、部品４０１の周囲にウィンドウ４０２を描くか、又はアクティブ化する。本発明の一つの実施の形態においては、システム２０１は、機器に相対的なカメラの位置と機器のＣＡＤデータに関する知識を利用し、機器４００における部品４０１の位置を識別するために機器４００の描画を形成する。一般的に、そのようなコンテキスト画像は部品４０１を考察するための小さいスクリーンに描画する必要はない。しかしながら、複数のカメラが使用される場合には、ウィンドウ４０２のコンテキストをリコールすることは検査員にとって有用となり得る。メニューをアクティブ化することによって、スクリーン３００における画像をリサイズし、機器４００のＣＡＤ描画のコンテキストにおいてウィンドウ４０２を一時的に表示することができる。カメラによって形成された画像の最大画像が、ＣＡＤ描画の全体のサイズよりも小さい画像３０１であることが見て取れる。

本発明の一つの実施の形態においては、配向及び相対的な位置を含むことができる簡単な記述又はラベルが、画像を有しているウィンドウに付されている。ラベルを要求に応じて表示することもできる。

ＲＯＩ及びＳＯＩの選択及び準備は、デバイス２０７及び／又はコンピュータ２０１において行うことができる。コンピュータ２０１の方がデバイス２０７よりも遙かに高性能であり、またより大きいディスプレイを有しているので、全ての選択を設定するために、検査選択をコンピュータ２０１において実施し、デバイス２０７の設定をコンピュータ２０１の検査設定と同期させることは有効である。デバイス２０７とコンピュータ２０１を同期させている間に、コンピュータ２０１には、スクリーンサイズも含めてデバイス２０７の特性に関する情報が供給される。デバイス２０７に関する設定を、コンピュータ２０１又は、類似の高性能のコンピュータにおいて実行することができる。これは図５に示されている。図５には、関連するカメラ、センサ、データベース並びに検査に関連する他のデバイス及びアクチュエータのいずれにもアクセスする、コンピュータ２０１のような高性能コンピュータのディスプレイ５０１が示されている。コンフィギュレートされるべきデバイス２０７の画像５０７が示されている。コンピュータ２０１を用いることにより、ディスプレイ５０１上でデバイス２０７の所望のコンフィギュレーションを実現することができる。カスタマイズ可能なデータを、ウィンドウ５０３を介して入力することができる。そのデータは、デバイス２０７とコンピュータ２０１との間の伝送状態の特性を含むことができ、またフレームレート、解像度、ストリーム数等に影響を及ぼすことができる。

カメラは比較的広い視野を有することができ、また関心領域に比べて高解像度の画像センサを適用することができる。画像プロセッサを使用することによって、ビデオ画像のストリームから選択されるべき画像フレームの数が限定され、また、捕捉、伝送及び表示されるべき関心領域がより小さくすることができる。このことは図４に示した。図４には、比較的小さい関心対象物４０１と共に大きい対象物の画像３０１が示されており、そのような比較的小さい関心対象物４０１はウィンドウ４０２において、スクリーン３００のサイズに画像を拡大することによって考察することができ、その際に詳細が顕著に損なわれることはない。

対象物４０１が高電磁妨害（ＥＭＩ）環境にある場合を想定する。画像３０１はカメラによって記録される。本発明の一つの実施の形態においては、カメラから無線チャネルを介して携帯可能なモバイルコンピューティングデバイス２０７へと画像が伝送される。従って、対象物の近くで作業している検査員は、対象物４０１の詳細な画像を考察することができる。しかしながら、そのシナリオにおいては、図２に示したコンピュータ２０１は全ての画像を処理のためにデバイス２０７に伝送しなければならない。例えば、過酷な環境における無線干渉に起因して、デバイス２０７は、カメラによって形成されたビデオ画像、又はコンピュータ２０１から提供されるビデオ画像を受信することができない。デバイス２０７がコンピュータ２０１から提供される画像を処理及び／又は表示できないケースも起こり得る。そのようなケースにおいては、コンピュータ２０１に画像の処理を指示し、カメラによって形成された画像のダウンサイズされたバージョンをモバイルデバイス２０７に送信することは有利である。ここでダウンサイズされた画像とは、画像領域の比較的小さい、（単一画像にまで下げられた）低フレームレート及び低解像度の画像であると解される。

雑音及び／又は限定的な帯域幅を有するチャネルを介してエラーなく情報を伝送するために、雑音及び／又は帯域幅を時間に変えられることは公知である。本発明の一つの実施の形態においては、デバイス２０７への無線チャネルの雑音が高くまた帯域幅が制限されていれば、データ伝送に対して１０ｋビット／秒までの能力しか提供されない。本発明の一つの態様によれば、コンピュータ２０１は、１０ｋビット／秒の要求を満たすように構成された画像を表示用のデバイス２０７に伝送するように構成されている。

本発明の一つの態様によれば、例えば既知のデータシーケンスの交換に基づき、無線チャネルを介してコンピュータ２０１とデバイス２０７との間の適応型データ伝送システムを提供することができる。コンピュータ２０１及びデバイス２０７は、チャネルの品質に基づき、伝送レート及び誤り訂正符号方式を含めて送受信方式を設定する。本発明の一つの実施の形態においては、チャネルが事前に規定された伝送レートは維持するが、それ以上は何もないという最悪のケースのシナリオを想定してコンピュータ２０１及びデバイス２０７をプログラミングすることができる。本発明の一つの実施の形態においては、そのような想定伝送レートは１０ｋビット／秒よりも高くない。本発明の一つの実施の形態においては、そのような想定伝送レートは１００ｋビット／秒よりも高くない。本発明の一つの実施の形態においては、そのような想定伝送レートは１Ｍビット／秒よりも高くない。本発明の一つの実施の形態においては、そのような想定伝送レートは１０Ｍビット／秒よりも高くない。本発明の一つの実施の形態においては、そのような想定伝送レートは１０Ｍビット／秒よりも高い。

帯域幅がビデオデータの多数のストリームのリアルタイム送受信に対して十分なものであれば、デバイス２０７の設定は一般的に、画像を表示するデバイス２０７の容量及び能力によって決定され、帯域幅によっては決定されない。

本発明の一つの実施の形態においては、カメラによって形成された画像を表示するために、ＧＵＩ６００がコンピュータスクリーンに開かれている。ここではカメラによって形成された画像３０１が示されている。ウィンドウ４０２は、モバイルデバイス２０７に関心領域を表示するためにオペレータによって選択される。更に、ＧＵＩにおいて選択を設定することができ、例えば記録を行う期間、好適なフレームレート、リアルタイムでの表示又は（コンテキストの（静止）バックグラウンド画像を提供しようとするが、ウィンドウ４０２は現在の画像を有している場合には）スローダウンされた表示、比較的低いフレームレートで記録される場合の画像のタイミングの設定、ウィンドウのサイズ、解像度、白黒表示等の選択を設定することができる。

図６のメニュー項目は、帯域幅が十分であり、全ての設定がオペレータの利便性に基づくものである場合には、その設定に関して相互に独立させることができる。しかしながら、帯域幅が制限されている場合には、種々の設定を関連付けることができ、それによって、例えばフレームレートを犠牲にしてより高い解像度が達成される。全てのデータを高性能マシン２０１において利用することができ、またこれは、一般的には、モバイルデバイスへのデータの伝送を制限することになる帯域幅又は処理の限定である。

本発明の一つの実施の形態においては、モバイルデバイス２０７がＧＵＩを有しており、このＧＵＩを図７に示されているようにタッチスクリーン７００上でアクティブ化することができる。画像はモバイルデバイスのスクリーン７００に表示され、これは一つの関心ストリーム（ＳＯＩ）の一つの関心領域（ＲＯＩ）を表示するために、スクリーン全体又はスクリーンの大部分において行われる。本発明の一つの実施の形態においては、メニュー７０２が少なくとも三つのメニュー項目、即ち画像、センサ及び制御と共にアクティブ化される。表示されていた画像のサイズ７０１が縮小される。一つの実施の形態においては、画像のサイズ７０１は、詳細を考察することはできないが、タッチペンを用いてスクリーンをタッチすることによってアクティブ化することができるビューウィンドウのためのリマインダとして存在しているに過ぎない程度の小ささである。画像項目によって新たなＲＯＩ又は特定のＲＯＩを有する新たなＳＯＩを呼び出すことができる。センサ項目によってセンサデータを呼び出して考察することができる。また制御項目によって、機械に指示するためにモバイルデバイス２０７からコンピュータ２０１へと伝送される機械設定を選択することができる。

本発明の一つの実施の形態においては、カメラ、中央コンピュータに接続されている機械、及び、関心ストリーム又は関心領域を中央コンピュータから受信することができるモバイルデバイスは全て、１００平方メートルよりも大きくない単一の部屋に配置されている。本発明の一つの実施の形態においては、少なくとも一つのカメラ、中央コンピュータ及びモバイルデバイスが単一の部屋には配置されない。

上記においては、タブレットコンピュータ又はスマートフォンであるか、若しくはモバイルタブレット（Mobile Tablet）と称することができるモバイルデバイス２０７が、ＧＵＩをユーザに表示するために特定のソフトウェアを実行することができる。ユーザは一つ又は複数のカメラビデオ、並びに、例えば関連するＣＡＤモデルの３Ｄビューを、検査ＰＣと称することができるコンピュータ２０１からのデータを有するメインの表示画面として選択することができる。即ち、キャプチャ制御、メタデータ表示及びプローブナビゲーションによってユーザは各アクションを実行することができる。

そのような構成においては、ハードウェア及びソフトウェアの初期設定後に、ユーザはタブレットを所持し、検査を実施するための能力を失うことなく、検査対象の周囲を自由に歩くことができる。

上述のように、産業分野の環境は、電磁的な影響が強いことに起因して、Ｗｉ−Ｆｉ帯域幅以外の帯域幅の大部分を得るには電磁的に好適ではないが、その一方では、ビデオストリーミング又は３Ｄビューストリーミングは非常に大きい帯域幅又はデータスループット能力を必要とする。本発明の一つの態様によれば、関心ストリーム（ＳＯＩ）及び関心領域（ＲＯＩ）は有利にはモバイルタブレットによって定義される。種々のカメラビデオ及び３Ｄビューの中から、ユーザは一つ又は複数のストリーム（ＳＯＩ）を選択し考察を行うことができる。それ以外のストリームは帯域幅を節約するために伝送されない。各ＳＯＩと共に、タブレットのスクリーンのスペース可用性に依存して、モバイルタブレットは伝送されるべき関心領域（ＲＯＩ）を選択することができ、またモバイルタブレット上では見ることができないか、又は所望のものではない画像の部分は伝送されない。ＳＯＩ／ＲＯＩのみが転送されることによって、帯域幅は利用可能な全ての画像が伝送される場合よりも小さくて済み、またユーザエクスペリエンスも改善される。

更に図８には、本発明の一つの態様による、検査される機器と検査システムが示されている。検査される機器８１０が示されている。この機器８１０は、タービン、ガスタービン等を含む多数の機器の内の一つであると考えられる。検査される機器は、その大きさも形状も極めて複雑である。検査を行うためにカメラが使用される場合、欠陥が存在している場所を追跡し損ねる可能性が高い。欠陥には傷、ひび、汚れ又は他の欠陥を含む。可視の欠陥を有していない機器の性能を検査することもできる。

複数のカメラ８１２及び８１４が検査される機器８１０の内部を移動することによって検査が行われる。カメラ８１２及び８１４は、制御可能な可動のアクチュエータ８１６に取り付けられている。本発明の一つの態様によれば、アクチュエータ８１６は第１のアーム８１８及び第２のアーム８２０を備えている。

ここでは二つのカメラ８１２及び８１４が示されているが、使用するカメラは一つであっても良い。択一的に、三つ以上のカメラを使用することもできる。

第１のアーム８１８を、矢印８２２によって示唆されている方向に沿って動くように制御することができる。従って、カメラ８１２及び８１４は、検査を実施するために、検査される機器８１０の中心を通って移動することができる。

第２のアーム８２０を、矢印８２４によって示唆されている方向に回転させることができる。第２のアーム８２０を、図面の紙面の前後方向に回転させることもできる。従って、制御可能な可動のアクチュエータ８１６は複数の自由度を有している。アクチュエータ８１６は方向８２２に沿って移動するので、検査される機器８１０の全ての内部セクションを検査するために、第２のアーム８２０を回転させることができる。

本発明の一つの態様によれば、送信回路がアクチュエータ８１６に取り付けられており、これによりアクチュエータ８１６の位置及び配向を、インタフェース８２８を介してコンピューティングデバイス８２６に伝送することができる。送信回路はまた、カメラ８１２及び８１４の物理的な特性の全てをコンピューティングデバイス８２６に伝送することができる。そのようにして、コンピューティングデバイス８２６は、カメラ８１２及び８１４が機器８１０の何を見ているのかを知り、またコンピューティングデバイス８２６はカメラ８１２及び８１４の特性を理解する。

更に、本発明の一つの態様による検査機器のためのシステムが図９に示されている。検査されるべき機器９３０が図示されている。機器は一般的にガスタービン機械のような複雑な機器である。

システムは複数のカメラ９３２及び９３４を備えている。上述のように、二つのカメラが示されているが、三つ以上のカメラを使用することもできる。本発明の別の態様によれば、カメラを一つだけ使用することもできる。使用されるカメラのタイプは、複雑な機器の検査を実施するために使用される、標準的な産業用カメラである。

カメラ９３２はアクチュエータ９３６に取り付けられており、またカメラ９３４はアクチュエータ９３８に取り付けられている。本発明の一つの態様によれば、アクチュエータ９３６及び９３８は、複数の部分から成る単一の構造体の一部である。択一的に、各アクチュエータ９３６及び９３８が独立したアクチュエータ構造であっても良い。アクチュエータ９３６及び９３８は、複数のカメラ９３２及び９３４の各々に対して、複数の自由度を提供する。そのようにして、カメラ９３２及び９３４を、検査される機器におけるあらゆる所望の場所に向けることができる。

アクチュエータを、インタフェース９４２を介して、コンピューティングデバイス９４０によって制御することができる。コンピューティングデバイスは、パーソナルコンピュータ、ラップトップを含むあらゆるタイプのコンピューティングデバイスで良く、またそれどころか特別に設計されたコンピュータであっても良い。検査される機器に相対的なアクチュエータ９３６及び９３８の位置及び配向は、コンピューティングデバイス９２０の一部であるユーザインタフェースによって制御される。使用することができるユーザインタフェースにはマウス、キーボード、キーパッド、タッチスクリーン及びジョイスティックが含まれる。それらのユーザインタフェースはコンピューティングデバイスの一部として提供される。

システムは、それぞれが複数のカメラ９３２及び９３４に接続されている、一つ又は複数のディスプレイ９４４を備えている。本発明の一つの実施の形態においては、各カメラ９３２及び９３４が一つのディスプレイ９４４に接続されている。本発明の別の態様によれば、一つのカメラを個別に一つのディスプレイに接続することができる。

検査することができる複数の機器の一つ又は複数のＣＡＤモデルはメモリ９４８に記憶されている。メモリ９４８は、コンピューティングデバイス９４０によって遠隔操作によりアクセスされるリモートサーバの一部で良い。メモリ９４８には検査される機器９３０のＣＡＤモデルが含まれている。

コンピューティングデバイス９４０は、検査される機器のＣＡＤモデルから、検査される機器の仮想画像をレンダリングする。このレンダリングを、ＯｐｅｎＧＬのような公的に入手可能なソフトウェアを使用して実行することができる。コンピューティングデバイス９４０は、検査される機器全体の完全な仮想画像をレンダリングすることができるか、又は、時間を節約するために、検査される機器の複数のセクションの仮想画像をレンダリングすることができる。

検査される機器の画像を取得するために、カメラ９３２及び９３４の位置及び配向は、コンピューティングデバイス９４０におけるユーザインタフェースによって制御される。本発明の一つの態様によれば、検査される機器の画像及びレンダリングされた仮想画像が同時に表示される。

図１０には、コンピューティングデバイス１０４０によって表示されるウィンドウ１０５０が示されている。画像１０５２及び１０５４は検査される機器のライブ画像である。傷、ひび、退色等のような欠陥が存在する場合には、それらの結果がウィンドウ１０５０に表示されることが望ましい。しかしながら、それらの画像の単純な検査では、検査される機器におけるそれらの欠陥の場所を検査員が特定できないままであることも考えられる。また検査員が検査される機器の性質を特定できない可能性もあり、更には実際に欠陥があるか否かについても特定できない可能性がある。

従って本発明によれば、画像１０５８及び１０５６として、ライブ画像に関するレンダリングされた仮想画像も表示される。つまりライブ画像１０５２はレンダリングされた仮想画像１０５８に関連付けられている。また、ライブ画像１０５４はレンダリングされた仮想画像１０５６に関連付けられている。

一般的に、仮想画像は、所定の仮想カメラ位置及び内部特性を用いて、ＣＡＤモデルからレンダリングされる。仮想画像とライブ画像の相関関係を確立するために、仮想カメラはライブカメラと同一の位置及び内部特性を有していなければならない。内部較正プロセスはライブカメラの内部特性を評価する。外部較正プロセスの後に、ＣＡＤモデルに関するライブカメラの位置を、アクチュエータの位置を読み出すことによって何時でも計算することができる。

ライブカメラの位置に関するパラメータ及び内部的なパラメータが取得されると、それらのパラメータは、ＯｐｅｎＧＬのようなコンピュータグラフィックス技術を使用して、ＣＡＤモデルから仮想画像１０５６及び１０５８をレンダリングするために、仮想カメラによって使用される。仮想画像及びライブ画像は同様の構造、例えばライブ画像１０５４及び仮想画像１０５６の上部の中心に位置する穴のような類似する構造を示す。

従って、本発明の態様によって、検査されるデバイスのライブ画像を、レンダリングされた仮想画像と共に表示することができる。本発明の一つの態様によれば、ライブ画像１０５４はレンダリングされた仮想画像１０５６に隣接して表示される。つまり複数の画像を並べて表示することができる。これによって、検査中の機器における欠陥をより容易に識別することができる。何故ならば、検査員は、既に使用されている、検査される機器の画像を考察しながら、未使用の状態にある機器のモデルも見ることができるからである。

付加的又は択一的に、ライブビデオ画像１０５２を、ウィンドウ１０６０内のレンダリングされた仮想画像１０６２のより大きいバージョンの上に画像１０６４として重ねることができる。これは位置を相関付けることによって行われる。

アクチュエータは自身の位置をコンピューティングデバイスに報告するので、コンピューティングデバイスにはカメラの位置及び配向が既知である。また、カメラの必要とされる物理的な特性を、アクチュエータインタフェースを介して、コンピューティングデバイスに伝送することができる。択一的に、カメラの物理的な特性をメモリに記憶し、必要に応じてコンピューティングデバイスからアクセスすることができる。コンピューティングデバイスはこの情報を使用して、レンダリングされた仮想画像１０６２上のライブ画像１０６４及び１０６６の位置を特定する。

図１０に示されているように、複数の画像１０６４及び１０６６を、検査中の機器のレンダリングされた仮想画像１０６２に重ねることができる。

ディスプレイ１０６０によって、検査員は画像の位置及び仮想画像１０５２及び１０５４内にある何らかの欠陥を容易に識別することができる。

本発明の検査局を種々のモードで使用することができ、第１のモードにおいては、検査される機器のリアルタイム検査から生成されるライブ画像がコンピューティングデバイスに供給される。この場合、コンピューティングデバイスは上述のステップをリアルタイムで実行し、またアクチュエータの位置、従ってカメラの位置を制御するために使用することができる。

本発明の別の態様によれば、カメラ及び制御可能な可動のアクチュエータと、メモリに記憶されているそれらのアクチュエータの画像とを使用して、機器の画像を形成することができる。分析を行う際には、コンピューティングデバイスはメモリに記憶されている画像にアクセスすることができる。

コンピューティングデバイスは、上述のように、検査される機器のＣＡＤモデルにアクセスする。コンピューティングデバイスは、例えばＯｐｅｎＧＬを使用してＣＡＤモデルから、検査される機器の仮想画像をレンダリングする。続いて、コンピューティングデバイスは、レンダリングされた仮想画像と同時に表示されるべき一つ又は複数のライブ画像を形成する。

ライブ画像及びレンダリングされた仮想画像は、上記においての述べたように、並べて表示されるか、重ねて表示されるか、又は並べて表示し、且つ重ねて表示される。図１０には、並べて表示したものと重ねて表示したものが両方とも示されている。

検査される機器は、検査に先行して、カメラ／アクチュエータに対して既知の位置に配置されている。これによって、コンピューティングデバイスは機器のＣＡＤモデルの適切なセクションに画像を関連付けることができる。これは較正と称される。この較正を手動で実施することができ、また較正の詳細がコンピューティングデバイスに報告される。

本発明の基本的な新規の特徴を本発明の有利な実施の形態として図示及び説明並びに指摘したが、当業者であれば本発明の精神から逸脱することなく、上記において説明した方法及びシステムの形態及び詳細に関して、またそのオペレーションに関して、種々の省略、置換及び変更を行えることが分かる。従って、それらは本発明の範囲は特許請求の範囲によってのみ規定される。

Claims (20)

1. 検査コンピュータ及びカメラを用いてタービンを検査するための方法において、
   無線モバイルデバイスを用いて、前記検査コンピュータとの無線接続を確立するステップと、
   前記無線モバイルデバイスを用いて、前記タービンの画像の関心ストリーム並びに該関心ストリーム内の関心領域を選択するステップと、
   前記無線モバイルデバイスが、前記関心ストリーム及び前記関心領域を前記検査コンピュータに要求し、前記関心ストリームにおける前記関心領域を表す画像を前記検査コンピュータから受信するステップと、
   前記無線モバイルデバイスが前記関心領域を表示するステップと、
   を備えていることを特徴とする、方法。
2. 前記無線モバイルデバイスに複数の関心ストリームのリストを表示し、該リストから一つの前記関心ストリームが選択され、
   前記検査コンピュータから受信した前記関心領域を、前記検査コンピュータに接続されているメモリから検索する、請求項１に記載の方法。
3. 前記無線モバイルデバイスに複数の関心ストリームのリストを表示し、該リストから一つの前記関心ストリームが選択され、
   前記検査コンピュータから受信した前記関心領域を、前記検査コンピュータに接続されているカメラから検索する、請求項１に記載の方法。
4. 前記無線モバイルデバイスが、前記画像の関心ストリームに関するｆｐｓパラメータを選択し、
   前記検査コンピュータが、前記選択されたｆｐｓ（frame per second）に従って、前記画像の関心ストリームを前記無線モバイルデバイスに送信する、請求項１に記載の方法。
5. 前記選択されたｆｐｓは３０ｆｐｓよりも小さい、請求項４に記載の方法。
6. 前記無線モバイルデバイスがプローブ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記プローブ制御信号を処理して、該処理されたプローブ制御信号をプローブの制御のために送信するステップを備えている、請求項１に記載の方法。
7. 前記無線モバイルデバイスがカメラ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記カメラ制御信号を処理して、該処理されたカメラ制御信号を前記カメラの制御のために送信するステップを備えている、請求項１に記載の方法。
8. 前記無線モバイルデバイスがトリガ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記トリガ制御信号を処理して、該処理されたトリガ制御信号をトリガボードの制御のために送信するステップを備えている、請求項１に記載の方法。
9. 無線モバイルデバイスが、
   プローブ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記プローブ制御信号を処理して、該処理されたプローブ制御信号をプローブの制御のために送信するステップと、
   カメラ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記カメラ制御信号を処理して、該処理されたカメラ制御信号を前記カメラの制御のために送信するステップと、
   トリガ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記トリガ制御信号を処理して、該処理されたトリガ制御信号をトリガボードの制御のために送信するステップと、
   を備えている、請求項１に記載の方法。
10. 前記無線モバイルデバイスが、
    関心領域内の前記タービンのモデルに関する、並びに該関心領域内の前記タービンの画像に関するリクエストを前記検査コンピュータに送信するステップと、
    前記関心領域内の前記タービンの前記モデル及び前記タービンの前記画像を前記検査コンピュータから受信するステップと、
    前記関心領域内の前記タービンの前記モデル及び前記タービンの前記画像を前記無線モバイルデバイスに表示するステップと、
    を備えている、請求項１に記載の方法。
11. 更に、
    前記検査コンピュータが画像の前記関心ストリーム内の前記関心領域を、前記無線モバイルデバイスとの伝送品質に依存するフレームレートで送信するステップを備えている、
    請求項１に記載の方法。
12. 検査コンピュータ及びカメラを用いてタービンを検査するためのシステムにおいて、
    該システムは、
    前記検査コンピュータとの無線接続を確立する無線モバイルデバイスを有しており、該無線モバイルデバイスが備えるプロセッサは、
    前記タービンの画像の関心ストリームと該関心ストリーム内の関心領域とを選択するステップと、
    前記関心ストリーム及び前記関心領域を前記検査コンピュータに要求し、前記関心ストリームにおける前記関心領域を表す画像を前記検査コンピュータから受信するステップと、
    前記関心領域をディスプレイに表示するステップと、
    を実施するための命令を実行することを特徴とする、システム。
13. 前記無線モバイルデバイスに複数の関心ストリームのリストが表示され、該リストから一つの前記関心ストリームが選択され、前記検査コンピュータから受信した前記関心領域が、前記検査コンピュータに接続されているメモリから検索される、請求項１２に記載のシステム。
14. 前記無線モバイルデバイスに複数の関心ストリームのリストが表示され、該リストから一つの前記関心ストリームが選択され、前記検査コンピュータから受信した前記関心領域が、前記検査コンピュータに接続されているカメラから検索される、請求項１２に記載のシステム。
15. 前記無線モバイルデバイスが、前記画像の関心ストリームに関するｆｐｓパラメータを選択し、
    前記検査コンピュータが、前記選択されたｆｐｓ（frame per second）に従って、前記画像の関心ストリームを前記無線モバイルデバイスに送信する、請求項１２に記載のシステム。
16. 前記選択されたｆｐｓは３０ｆｐｓよりも小さい、請求項１５に記載のシステム。
17. 前記無線モバイルデバイスがプローブ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記プローブ制御信号を処理して、該処理されたプローブ制御信号をプローブの制御のために送信する、請求項１２に記載のシステム。
18. 前記無線モバイルデバイスがカメラ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記カメラ制御信号を処理して、該処理されたカメラ制御信号を前記カメラの制御のために送信する、請求項１２に記載のシステム。
19. 前記無線モバイルデバイスがトリガ制御信号を前記検査コンピュータに送信し、前記検査コンピュータが前記トリガ制御信号を処理して、該処理されたトリガ制御信号をトリガボードの制御のために送信する、請求項１２に記載のシステム。
20. 更に、前記検査コンピュータが画像の前記関心ストリーム内の前記関心領域を、前記無線モバイルデバイスとの伝送品質に依存するフレームレートで送信する、請求項１２に記載のシステム。

Images