JP2016506581A - 非破壊検査システムの遠隔制御のためのシステムおよび方法 - Google Patents

非破壊検査システムの遠隔制御のためのシステムおよび方法 Download PDF

Info

Publication number
JP2016506581A
JP2016506581A JP2015550470A JP2015550470A JP2016506581A JP 2016506581 A JP2016506581 A JP 2016506581A JP 2015550470 A JP2015550470 A JP 2015550470A JP 2015550470 A JP2015550470 A JP 2015550470A JP 2016506581 A JP2016506581 A JP 2016506581A
Authority
JP
Japan
Prior art keywords
ndt
control
data
control data
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015550470A
Other languages
English (en)
Other versions
JP6705651B2 (ja
Inventor
クームズ,ケヴィン・アンドリュー
ヴェヌゴパル,ラジェシュクマール
シーファー,ユージーン・カール
リーダー,マイケル・スタントン,ジュニア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2016506581A publication Critical patent/JP2016506581A/ja
Application granted granted Critical
Publication of JP6705651B2 publication Critical patent/JP6705651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/563Camera grips, handles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

システムは、非破壊検査(NDT)デバイスを含み得る。NDTデバイスはさらに、外部システムからの制御データを通信するように構成されたワイヤレスシステムを含み、NDTデバイスは、NDTデバイスに含まれる構成要素を制御するために制御データを使用するように構成される。【選択図】図1

Description

本明細書に開示される主題は、非破壊検査(NDT)システムに関し、特に、NDTシステムの遠隔制御のためのシステムおよび方法に関する。
発電機器および設備、石油ガス機器および設備、航空機機器および設備、製造機器および設備、等といった、ある特定の機器および設備は、相互に関係のある複数のシステムおよび処理を含む。たとえば、発電プラントは、タービンシステムと、タービンシステムを動作させ、維持するための処理とを含み得る。同様に、石油ガス操業は、パイプラインを介して相互接続された、炭素質燃料回収システムと処理機器とを含み得る。同様に、航空機システムは、飛行機と、耐空性を維持し、整備支援を提供するのに有用な整備格納庫とを含み得る。機器の動作中、機器は劣化し、全体的な機器の効率に潜在的に影響を及ぼす腐食、摩耗、および裂傷、等といった望ましくない状態に遭遇し得る。非破壊点検技法または非破壊検査(NDT)技法といった、ある特定の点検技法が、望ましくない機器の状態を検出するために使用され得る。
従来のNDTシステムでは、データは、ポータブルメモリデバイス、紙を使用して、または電話で、他のNDTオペレータまたは人員と共有され得る。そのようなものとして、NDT人員の間でデータを共有するための時間の長さは、物理ポータブルメモリデバイスがその宛先へと物理的に発送されるスピードに大きく依存し得る。したがって、たとえば、さまざまなシステムおよび機器をより効率的に検査および点検するために、NDTシステムのデータ共有ケイパビリティを改善することが有益であろう。
国際公開第2011/149582号
当初特許請求された発明と範囲において対応するある特定の実施形態が、以下に要約される。これらの実施形態は、特許請求された発明の範囲を限定するように意図されたものではなく、むしろこれらの実施形態は、本発明の可能な形態の簡単な概要を提供するようにのみ意図されている。実際、本発明は、以下に説明される実施形態と同様であるかまたは異なり得る、さまざまな形態を包含し得る。
一実施形態において、システムは、外部システムからの制御データを通信するように構成されたワイヤレスシステムを含み、NDTデバイスは、NDTデバイスに含まれる構成要素を制御するために制御データを使用するように構成される。
別の実施形態において、非一時的なコンピュータ可読媒体は、非破壊検査(NDT)デバイスを使用することにより制御データをワイヤレスで受信するように構成された命令を備え、NDTデバイスは、NDTデバイスに含まれる構成要素を制御するために制御データを使用するように構成される。
さらなる別の実施形態において、方法は、非破壊検査(NDT)デバイスを使用することにより制御データをワイヤレスで受信することを含み、NDTデバイスは、NDTデバイスに含まれる構成要素を制御するために制御データを使用するように構成される。
本発明のこれらのおよび他の特徴、態様、および利点は、同一の符号が図面全体を通して同一のパーツを表す添付図面を参照しながら以下の詳細な説明を読むと、より良好に理解されるようになるであろう。
モバイルデバイスを含む、分散非破壊検査(NDT)システムの実施形態を示すブロック図である。 図1の分散NDTシステムの実施形態のさらなる詳細を示すブロック図である。 図1のモバイルデバイスと「クラウド」とに通信可能に結合されたボアスコープシステム14の実施形態を示す正面図である。 図1のモバイルデバイスに通信可能に結合されたパンチルトズーム(PTZ)カメラシステムの実施形態の説明図である。 分散NDTシステムを使用した、計画、点検、解析、報告、および点検データのようなデータの共有に有用な処理の実施形態を示すフローチャートである。 ワイヤレスコンジットによる情報の流れの実施形態のブロック図である。 図1のNDT点検システムの遠隔制御に有用な情報のワイヤレスコンジットによる情報の流れの実施形態のブロック図である。 仮想ジョイスティックの実施形態の画面ビューである。 複数の仮想コントロールの実施形態の図である。 一実施形態に係る図8の仮想ジョイスティックのための複数の位置の図である。 半透明の制御パッドの実施形態の図である。 一実施形態に係る複数のジェスチャ制御の図である。 動きおよび/または声による制御に適した図1のモバイルデバイスの実施形態の斜視図である。
1つ以上の特定の実施形態が以下に説明される。これらの実施形態の簡潔な説明を提供するために、実際の実装のすべての特徴が本明細書において説明されるわけではない。任意のそのような実際の実装の開発では、任意の工学プロジェクトまたは設計プロジェクトと同様に、ある実装と別の実装とで異なり得るシステム関連の制約およびビジネス関連の制約の遵守といった開発者の特定の目標を達成するために、実装固有の多数の決定がなされなくてはならない、ということが理解されるべきである。さらに、そのような開発努力は、複雑で時間のかかるものであるかもしれないが、それにもかかわらず、本開示の恩恵を有する当業者にとっては、設計、製作、および製造のルーチン業務であろう、ということが理解されるべきである。
本発明のさまざまな実施形態の要素を導入する際、「1つの(a)」、「1つの(an)」、「その(the)」、および「前記(said)」といった冠詞は、要素が1つ以上存在することを意味するように意図される。「備える(comprising)」、「含む(including)」、および「有する(having)」といった用語は、包括的であるように意図され、列挙された要素以外の追加の要素が存在し得ることを意味する。
本開示の実施形態は、非破壊検査(NDT)または点検システムを含む、さまざまな点検および検査技法に適用され得る。NDTシステムでは、ボアスコープ検査、溶接検査、遠隔目視検査、X線探傷検査、超音波探傷検査、渦電流探傷検査、等といったある特定の技法が、腐食、機器の摩耗および裂傷、亀裂、漏れ口、等を含むがこれらに限定されない、さまざまな状態を解析および検出するために使用され得る。本明細書に説明される技法は、向上したデータギャザリング、データ解析、点検/検査工程、およびNDT共同作業技法を可能にする、ボアスコープ検査、遠隔目視検査、X線探傷検査、超音波探傷検査、および/または渦電流探傷検査に適した、改善されたNDTシステムを提供する。
本明細書に説明される改善されたNDTシステムは、点検機器を、タブレット、スマートフォン、および拡張現実メガネのようなモバイルデバイスや、ノートブック、ラップトップ、ワークステーション、パーソナルコンピュータのようなコンピューティングデバイス、クラウドベースのNDTエコシステム、クラウドアナリティクス、クラウドベースの共同作業およびワークフローシステム、分散コンピューティングシステム、エキスパートシステム、および/または知識ベースシステムといった「クラウド」コンピューティングシステムに通信可能に結合するのに適したワイヤレスコンジットを使用する点検機器を含み得る。実際に、本明細書に説明される技法は、向上したNDTデータギャザリング、解析、およびデータ分配を提供し得るので、望ましくない状態の検出を改善し、整備アクティビティを向上させ、設備および機器の投資利益率(ROI)を増大させる。
一実施形態では、タブレットが、General Electric,Co.,of Schenectady,New Yorkから入手可能なMENTOR(登録商標)NDT点検デバイスのような、NDT点検デバイス(たとえば、ボアスコープ、可搬型のパンチルトズームカメラ、渦電流デバイス、X線探傷検査デバイス、超音波探傷検査デバイス)に通信可能に結合され、たとえば、向上したワイヤレスディスプレイケイパビリティ、遠隔制御、データアナリティクス、および/またはNDT点検デバイスへのデータ通信を提供するために使用され得る。他のモバイルデバイスが使用され得る一方で、しかしながら、タブレットが、より大きく、より高解像度のディスプレイ、よりパワフルなプロセッシングコア、増大したメモリ、および改善されたバッテリー寿命を提供することができる限りにおいて、タブレットの使用が適切である。したがって、タブレットは、データの改善された視覚化を提供すること、点検デバイスの操作制御を改善すること、および協同的な共有を複数の外部システムおよびエンティティに拡張することといった、ある特定の問題に対処することができる。
以上のことに留意して、本開示は、NDTシステムから収集されたデータの共有、および/または、NDTシステムにおけるアプリケーションおよび/またはデータの制御に関する。一般的に、NDTシステムから発生させられたデータは、本明細書に開示される技法を使用して、さまざまな人々または人々のグループに自動で分配され得る。さらに、NDTシステムにおけるデバイスを監視および/または制御するために使用されるアプリケーションによって表示されるコンテンツが、NDTシステムにおけるデバイスを監視および制御するための仮想の協同的な環境を作成するために個人の間で共有され得る。
導入として、ここで図1を参照すると、図は、分散NDTシステム10の実施形態のブロック図である。描かれている実施形態において、分散NDTシステム10は、1つ以上のNDT点検デバイス12を含み得る。NDT点検デバイス12は、少なくとも2つのカテゴリに分割され得る。図1に描かれた1つのカテゴリでは、NDT点検デバイス12は、さまざまな機器および環境を目視点検するのに適したデバイスを含み得る。以下において図2に関しより詳細に説明される別のカテゴリでは、NDTデバイス12は、X線探傷検査モダリティ、渦電流探傷検査モダリティ、および/または超音波探傷検査モダリティといった、目視点検モダリティの代替例を提供するデバイスを含み得る。
描かれている図1の第1の例示的なカテゴリにおいて、NDT点検デバイス12は、1つ以上のプロセッサ15とメモリ17とを有するボアスコープ14、および1つ以上のプロセッサ19とメモリ21とを有する可搬型のパンチルトズーム(PTZ)カメラ16を含み得る。目視点検デバイスのこの第1のカテゴリにおいて、ボアスコープ14およびPTZカメラ16は、たとえば、ターボ機械18や、設備または現場20を点検するために使用され得る。示されているように、ボアスコープ14およびPTZカメラ16は、モバイルデバイス22に通信可能に結合され得、モバイルデバイス22もまた、1つ以上のプロセッサ23とメモリ25とを有する。モバイルデバイス22は、たとえば、タブレット、携帯電話(たとえば、スマートフォン)、ノートブック、ラップトップ、または任意の他のモバイルコンピューティングデバイスを含み得る。しかしながら、タブレットが画面サイズ、重量、コンピューティングパワー、およびバッテリー寿命の間の良好なバランスを提供する限りにおいて、タブレットの使用が適切である。したがって、一実施形態では、モバイルデバイス22は、General Electric,Co.,of Schenectady,New Yorkから入手可能であり、タッチスクリーン入力を提供する、上述されたタブレットであり得る。モバイルデバイス22は、さまざまなワイヤレスコンジットまたは有線コンジットにより、ボアスコープ14および/またはPTZカメラ16のようなNDT点検デバイス12に通信可能に結合され得る。たとえば、ワイヤレスコンジットは、WiFi(たとえば、電気電子技術者協会(IEEE)802.11X)、セルラーコンジット(たとえば、高速パケットアクセス(HSPA)、HSPA+、ロングタームエボリューション(LTE)、WiMax)、近距離無線通信(NFC)、Bluetooth(登録商標)、パーソナルエリアネットワーク(PAN)、等を含み得る。ワイヤレスコンジットは、TCP/IP、UDP、SCTP、ソケットレイヤ、等といったさまざまな通信プロトコルを使用し得る。ある特定の実施形態において、ワイヤレスコンジットまたは有線コンジットは、セキュアソケットレイヤ(SSL)、仮想プライベートネットワーク(VPN)レイヤ、暗号化レイヤ、チャレンジ鍵認証レイヤ、トークン認証レイヤ、等といったセキュアレイヤを含み得る。有線コンジットは、プロプライエタリケーブル、RJ45ケーブル、同軸ケーブル、光ファイバーケーブル、等を含み得る。
加えて、またはあるいは、モバイルデバイス22は、「クラウド」24により、ボアスコープ14および/またはPTZカメラ16のようなNDT点検デバイス12に通信可能に結合され得る。実際、モバイルデバイス22は、点検を受けようとする物理的場所とは遠隔の地理的場所を含む任意の地理的場所からNDT点検デバイス12とインターフェース接続するために、HTTP、HTTPS、TCP/IP、サービス指向アーキテクチャ(SOA)プロトコル(たとえば、簡易オブジェクトアクセスプロトコル(SOAP)、Webサービス記述言語(WSDL))を含むがこれに限定されない、クラウド24コンピューティングおよび通信技法(たとえば、クラウドコンピューティングネットワーク)を使用し得る。さらに、一実施形態において、モバイルデバイス22は、「ホットスポット」機能を提供し得、この機能では、モバイルデバイス22が、NDT点検デバイス12をクラウド24における他のシステムに接続するのに適したワイヤレスアクセスポイント(WAP)機能を提供し得る。したがって、マルチパーティワークフロー、データギャザリング、およびデータ解析を提供することにより、共同作業が向上し得る。
たとえば、ボアスコープオペレータ26が、ある場所でボアスコープ14を物理的に操作し得る一方で、モバイルデバイスオペレータ28が、モバイルデバイス22を使用して、ボアスコープ14にインターフェース接続し、遠隔制御技法により第2の場所でボアスコープ14を物理的に操作し得る。第2の場所は、第1の場所に近接し得るか、または第1の場所と地理的に隔たり得る。同様に、カメラオペレータ30が、第3の場所でPTZカメラ16を物理的に動作させ得、モバイルデバイスオペレータ28が、モバイルデバイス22を使用することにより、第4の場所でPTZカメラ16を遠隔制御し得る。第4の場所は、第3の場所に近接し得るか、または第3の場所と地理的に隔たり得る。オペレータ26および30によって行われるいずれかまたはすべての制御アクションは加えて、オペレータ28によりモバイルデバイス22を通じて行われ得る。加えて、オペレータ28は、ボイスオーバーIP(VOIP)、仮想ホワイトボード、テキストメッセージ、等といった技法を通じて、デバイス14、16、および22を使用することにより、オペレータ26および/または30と通信し得る。オペレータ28、オペレータ26、およびオペレータ30の間の遠隔共同作業技法を提供することにより、本明細書に説明される技法は、向上したワークフローを提供し、資源効率を上げることができる。実際、非破壊検査工程は、モバイルデバイス22、NDT点検デバイス12、およびクラウド24に結合された外部システムとの、クラウド24の通信結合を活用し得る。
動作の1つのモードにおいて、モバイルデバイス22は、たとえば、より大きな画面表示、よりパワフルなデータ処理、ならびに、以下においてより詳細に説明されるごとくの、モバイルデバイス22によって提供されるさまざまなインターフェース技法を活用するために、ボアスコープオペレータ26および/またはカメラオペレータ30によって動作させられ得る。実際、モバイルデバイス22は、デバイス14および16とともに、またはデバイス14および16と協力するよう、それぞれのオペレータ26および30により動作させられ得る。この向上したフレキシビリティは、人的資源を含む資源のより良好な利用と、改善された点検結果を提供する。
オペレータ28によって制御されるにせよ、オペレータ26によって制御されるにせよ、および/またはオペレータ30によって制御されるにせよ、ボアスコープ14および/またはPTZカメラ16は、広くさまざまな機器および設備を目視点検するために使用され得る。たとえば、ボアスコープ14は、ターボ機械18の複数の構成要素の照明と目視観察を提供するために、ターボ機械18の複数のボアスコープポートおよび他の場所に挿入され得る。描かれている実施形態では、ターボ機械18は、炭素質燃料を機械力に変換するのに適したガスタービンとして示されている。しかしながら、圧縮機、ポンプ、ターボエキスパンダ、風力タービン、ハイドロタービン、産業用機器、および/または住宅用機器を含む、他の機器タイプが点検され得る。ターボ機械18(たとえば、ガスタービン)は、本明細書に説明されるNDT点検デバイス12によって点検され得るさまざまな構成要素を含み得る。
以上のことに留意して、本明細書に開示される実施形態を使用することによって点検され得るターボ機械18のある特定の構成要素を論じることが有益であり得る。たとえば、図1に描かれているターボ機械18のある特定の構成要素は、腐食、侵食、亀裂、漏れ口、溶接の点検、等のために点検され得る。ターボ機械18のような機械システムは、動作状態中に機械的応力および熱応力を経験し、それは、ある特定の構成要素の定期的な点検を必要とし得る。ターボ機械18の動作中、天然ガスまたは合成ガスのような燃料が、燃焼器36への1つ以上の燃料ノズル32を経由してターボ機械18に送られ得る。空気が、吸気部38を経由してターボ機械18に入り得、圧縮機34によって圧縮され得る。圧縮機34は、空気を圧縮する一連の段40、42、および44を含み得る。各々の段は、回転して圧力を漸進的に上昇させ、圧縮された空気を提供する、静翼46および羽根48の1つ以上のセットを含み得る。羽根48は、シャフト52に接続された回転ホイール50に取り付けられ得る。圧縮機34からの圧縮された排気が、ディフューザ部56を経由して圧縮機34を出、燃焼器36へと向けられて燃料と混合し得る。たとえば、燃料ノズル32が、燃料と空気の混合物を、最適な燃焼、放出、燃料消費、およびパワー出力のための最適な比で、燃焼器36に噴射し得る。ある特定の実施形態において、ターボ機械18は、環状配列で配置された複数の燃焼器36を含み得る。各々の燃焼器36が、高温の燃焼ガスをタービン54に向け得る。
描かれているように、タービン54は、ケーシング76によって取り囲まれた3つの別個の段60、62、および64を含む。各々の段60、62、および64は、それぞれのローターホイール68、70、および72に結合された羽根または動翼のセット66を含み、それぞれのローターホイール68、70、および72は、シャフト74に取り付けられる。高温の燃焼ガスがタービンの羽根66の回転を引き起こすと、シャフト74が回転して、圧縮機34および任意の他の適切な負荷、たとえば、発電機を駆動する。最終的に、ターボ機械18が、排出部80を通じて燃焼ガスを拡散させ、排出する。ノズル32、吸気口38、圧縮機34、翼46、羽根48、ホイール50、シャフト52、ディフューザ56、段60、62、および64、羽根66、シャフト74、ケーシング76、および排気管80のようなタービンの構成要素は、同構成要素を点検および整備するために、NDT点検デバイス12のような開示された実施形態を使用し得る。
加えて、またはあるいは、PTZカメラ16が、ターボ機械18の周囲または内部のさまざまな場所に配置され得、これらの場所の目視観察結果を入手するために使用され得る。PTZカメラ16は加えて、所望の場所を照明するのに適した1つ以上のライトを含み得、さらに、到達しづらいさまざまな領域にわたる観察結果を得るのに有用な、以下において図4に関しより詳細に説明されるズーム、パン、およびチルト技法を含み得る。ボアスコープ14および/またはカメラ16は加えて、石油ガス設備20のような設備20を点検するために使用され得る。石油ガス機器84のようなさまざまな機器が、ボアスコープ14および/またはPTZカメラ16を使用することにより、目視点検され得る。有利に、パイプまたはコンジット86の内部、水中(または流体中)の場所88、および観察しづらい場所、たとえば、カーブまたは湾曲部90を有する場所、といった場所が、モバイルデバイス22を使用することによりボアスコープ14および/またはPTZカメラ16を通じて目視点検され得る。したがって、モバイルデバイスオペレータ28は、機器18、84、および場所86、88、90をより安全にかつ効率的に点検することができ、観察結果をリアルタイムまたはほぼリアルタイムで、点検領域と地理的に隔たった場所と共有することができる。ファイバースコープ(たとえば、関節ファイバースコープ、非関節ファイバースコープ)や、ロボットパイプインスペクタおよびロボットクローラを含む遠隔操作無人探査機(ROV)といった、他のNDT点検デバイス12が本明細書に説明される実施形態を使用し得ることが理解されるべきである。
ここで図2を参照すると、図は、目視点検データの代替の点検データを提供可能であり得るNDT点検デバイス12の第2のカテゴリを描いた、分散NDTシステム10の実施形態のブロック図である。たとえば、NDT点検デバイス12の第2のカテゴリは、渦電流探傷検査デバイス92、超音波欠陥検出器94のような超音波探傷検査デバイス、およびデジタルラジオグラフィデバイス96のようなX線探傷検査デバイスを含み得る。渦電流探傷検査デバイス92は、1つ以上のプロセッサ93とメモリ95とを含み得る。同様に、超音波欠陥検出器94は、1つ以上のプロセッサ97とメモリ99とを含み得る。同様に、デジタルラジオグラフィデバイス96は、1つ以上のプロセッサ101とメモリ103とを含み得る。動作において、渦電流探傷検査デバイス92は、渦電流オペレータ98によって動作させられ得、超音波欠陥検出器94は、超音波デバイスオペレータ100によって動作させられ得、デジタルラジオグラフィデバイス96は、ラジオグラフィオペレータ102によって動作させられ得る。
描かれているように、渦電流探傷検査デバイス92、超音波欠陥検出器94、およびデジタルラジオグラフィデバイス96は、図1に関し上述されたコンジットを含む有線コンジットまたはワイヤレスコンジットを使用することにより、モバイルデバイス22に通信可能に結合され得る。加えて、またはあるいは、デバイス92、94、および96は、クラウド24を使用することによりモバイルデバイス22に結合され得、たとえば、渦電流探傷検査デバイス92が、セルラー「ホットスポット」に接続され、このホットスポットを使用して渦電流探傷検査および解析における1人以上の専門家に接続することができる。したがって、モバイルデバイスオペレータ28は、モバイルデバイス22を使用することによりデバイス92、94、および96の動作のさまざまな態様を遠隔制御することができ、本明細書においてより詳細に説明されるように、データアナリティクス、専門家の支援、等を提供する、声(たとえばボイスオーバーIP(VOIP))、データ共有(たとえば、ホワイトボード)を通じて、オペレータ98、100、および102と共同作業し得る。
したがって、X線観察モダリティ、超音波観察モダリティ、および/または渦電流観察モダリティを用いて、航空機システム104および設備106のようなさまざまな機器の目視観察を向上させることが可能であり得る。たとえば、パイプ108の内部および壁が、腐食および/または侵食について点検され得る。同様に、パイプ108の内部の障害物または望ましくない発生物が、デバイス92、94、および/または96を使用することにより検出され得る。同様に、ある特定の鉄材料または非鉄材料112の内部に設けられたひびまたは亀裂110が観察され得る。加えて、構成要素116の内部に挿入された部品114の配置および生存性が確認され得る。実際、本明細書に説明される技法を使用することにより、機器および構成要素104、108、112、および116の改善された点検が提供され得る。たとえば、モバイルデバイス22が、デバイス14、16、92、94、および96とインターフェース接続し、デバイス14、16、92、94、および96の遠隔制御を提供するために使用され得る。
図3は、モバイルデバイス22とクラウド24とに結合されたボアスコープ14の正面図である。したがって、ボアスコープ14は、クラウド24に接続されたまたはクラウド24の内部の任意の数のデバイスにデータを提供し得る。上述されたように、モバイルデバイス22が、ボアスコープ14からのデータの受信、ボアスコープ14の遠隔制御、またはその組み合わせのために使用され得る。実際、本明細書に説明される技法は、たとえば、画像、映像、およびセンサ計測値、たとえば、温度、圧力、流量、クリアランス(たとえば、固定の構成要素と回転する構成要素との間の計測値)、および距離計測値を含むがこれに限定されない、ボアスコープ14からモバイルデバイス22へのさまざまなデータの通信を可能にする。同様に、モバイルデバイス22は、以下においてより詳細に説明されるように、制御命令、再プログラミング命令、構成命令、等を通信し得る。
描かれているように、ボアスコープ14は、ターボ機械18、機器84、パイプまたはコンジット86の内部、水中の場所88、カーブまたは湾曲部90、航空機システム104の内部または外部のさまざまな場所、パイプ108の内部、等といった、さまざまな場所への挿入に適した挿入管118を含む。挿入管118は、ヘッドエンド部120、関節部122、およびコンジット部124を含み得る。描かれている実施形態において、ヘッドエンド部120は、カメラ126、1つ以上のライト128(たとえば、LED)、およびセンサ130を含み得る。上述されたように、ボアスコープのカメラ126は、点検に適した画像および映像を提供し得る。ライト128は、ヘッドエンド120が光の弱い場所または光のない場所に配置された場合に照明を提供するために使用され得る。
使用中、関節部122は、たとえば、モバイルデバイス22、および/またはボアスコープ14に設けられた物理ジョイスティック131によって、制御され得る。関節部122は、さまざまな次元で操縦されるかまたは「湾曲」し得る。たとえば、関節部122は、描かれているXYZ軸133のX−Y平面、X−Z平面、および/またはY−Z平面におけるヘッドエンド120の移動を可能にし得る。実際、物理ジョイスティック131および/またはモバイルデバイス22の両者が、ヘッドエンド120を描かれている角度αのようなさまざまな角度に配置するのに適した制御アクションを提供するために、単独または組み合わせで使用され得る。このように、ボアスコープのヘッドエンド120が、所望の場所を目視点検するために位置決めされ得る。カメラ126が続いて、たとえば、映像134を取り込み得、映像134が、ボアスコープ14の画面135およびモバイルデバイス22の画面137に表示され得、ボアスコープ14および/またはモバイルデバイス22によって記録され得る。一実施形態において、画面135および137は、キャパシタンス法、抵抗法、赤外線グリッド法、等を使用してスタイラスおよび/または1本以上の人間の手指のタッチを検出する、マルチタッチスクリーンであり得る。加えて、またはあるいは、画像および映像134は、クラウド24に送信され得る。
センサ130のデータを含むがこれに限定されない他のデータが加えて、ボアスコープ14により通信および/または記録され得る。センサ130のデータは、温度データ、距離データ、クリアランスデータ(たとえば、回転する構成要素と固定の構成要素との間の距離)、流量データ、等を含み得る。ある特定の実施形態において、ボアスコープ14は、複数の交換先端部136を含み得る。たとえば、交換先端部136は、スネアのような回収先端部、磁気先端部、グリッパー先端部、等を含み得る。交換先端部136は加えて、ワイヤブラシ、ワイヤカッター、等といった、掃除具および障害物除去具を含み得る。先端部136は加えて、焦点距離、ステレオスコピックビュー、三次元(3D)フェーズビュー、シャドービュー、等といった異なる光学特性を有する先端部を含み得る。加えて、またはあるいは、ヘッドエンド120は、取り外し可能かつ交換可能なヘッドエンド120を含み得る。したがって、さまざまな直径の複数のヘッドエンド120が提供され得、挿入管118は、約1ミリメートルから10ミリメートルまたはそれ以上の開口を有する複数の場所に配置され得る。実際、広くさまざまな機器および設備が点検され得、データがモバイルデバイス22および/またはクラウド24を通じて共有され得る。
図4は、モバイルデバイス22とクラウド24とに通信可能に結合された可搬型のPTZカメラ16の実施形態の斜視図である。上述されているように、モバイルデバイス22および/またはクラウド24は、PTZカメラ16を遠隔操作してPTZカメラ16を位置決めし、所望の機器および場所を見ることができる。描かれている例において、PTZカメラ16は、チルトされ、Y軸の周りを回転させられ得る。たとえば、PTZカメラ16は、約0°〜180°、0°〜270°、0°〜360°、またはそれ以上の角度βだけ、Y軸の周りを回転させられ得る。同様に、PTZカメラ16は、たとえば、Y−X平面について、Y軸に対し約0°〜100°、0°〜120°、0°〜150°、またはそれ以上の角度γだけ、チルトされ得る。ライト138も同様に、たとえば、アクティブであるように、または非アクティブ化するように、および照明のレベル(たとえば、ルクス)を所望の値に増減させるように、制御され得る。ある特定の対象物までの距離を計測するのに適したレーザーレンジファインダのようなセンサ140もまた、PTZカメラ16に搭載され得る。ロングレンジ温度センサ(たとえば、赤外線温度センサ)、圧力センサ、流量センサ、クリアランスセンサ、等を含む他のセンサ140が使用され得る。
PTZカメラ16は、たとえば、シャフト142を使用することにより、所望の場所に運ばれ得る。シャフト142は、たとえば、場所86、108の内部で、水中88で、危険な(たとえば、危険物の)場所へ、といったようにカメラを移動させること、カメラを位置決めすることを、カメラオペレータ30に可能にさせる。加えて、シャフト142は、シャフト142を永久的または半永久的なマウント上に搭載することによってPTZカメラ16をより永久的に固定するために使用され得る。このように、PTZカメラ16は、所望の場所に運ばれることおよび/または固定されることができる。PTZカメラ16は続いて、たとえば、ワイヤレス技法を使用することにより、画像データ、映像データ、センサ140のデータ、等をモバイルデバイス22および/またはクラウド24に送信し得る。したがって、PTZカメラ16から受信されたデータが、所望の機器および設備についての動作の状態および適性を決定するために遠隔で解析および使用され得る。実際、本明細書に説明される技法は、以下において図5に関しより詳細に説明されるように、上述されたデバイス12、14、16、22、92、94、96、およびクラウド24を使用することによる、計画、点検、解析、および/またはさまざまなデータの共有に適した、広い範囲にわたる点検および整備工程を提供し得る。
図5は、上述したデバイス12、14、16、22、92、94、96、およびクラウド24を使用することによる、計画、点検、解析、および/またはさまざまなデータの共有に適した処理150の実施形態のフローチャートである。実際、本明細書に説明される技法は、デバイス12、14、16、22、92、94、96を使用して、描かれている処理150のような処理を可能にし、さまざまな機器をより効率的に支援および整備することができる。ある特定の実施形態において、処理150または処理150の一部は、メモリ17、21、25、95、99、103のようなメモリに記憶された非一時的なコンピュータ可読媒体に含まれ得、プロセッサ15、19、23、93、97、101のような1つ以上のプロセッサによって実行可能であり得る。
一例において、処理150は、点検および整備アクティビティを計画し得る(ブロック152)。ターボ機械18のフリートから収集されたフリートデータのような、機器のユーザ(たとえば、航空機104のサービス会社)および/または機器の製造業者から、デバイス12、14、16、22、92、94、96、等を使用することによって収集されたデータが、機械のための整備および点検アクティビティ、より効率的な点検スケジュールを計画したり(ブロック152)、より詳細な点検のためにある特定の領域にフラグを立てたり、といったことのために使用され得る。処理150は続いて、所望の設備および機器(たとえば、ターボ機械18)のシングルモード点検またはマルチモーダル点検(ブロック154)の使用を可能にし得る。上述されているように、点検(ブロック154)は、NDT点検デバイス12(たとえば、ボアスコープ14、PTZカメラ16、渦電流探傷検査デバイス92、超音波欠陥検出器94、デジタルラジオグラフィデバイス96)のいずれか1つ以上を使用して、1つ以上の点検モード(たとえば、目視、超音波、渦電流、X線)を提供し得る。描かれている実施形態では、モバイルデバイス22が、NDT点検デバイス12を遠隔制御し、NDT点検デバイス12によって通信されたデータを解析し、本明細書においてより詳細に説明されるNDT点検デバイス12に含まれていない追加の機能を提供し、NDT点検デバイス12からのデータを記録し、たとえば特にメニュー駆動型点検(MDI)技法を使用することによる、点検(ブロック154)を誘導するために使用され得る。
点検(ブロック154)の結果が続いて、たとえば、NDTデバイス12を使用すること、点検データをクラウド24に送信すること、モバイルデバイス22を使用すること、またはその組み合わせにより、解析され得る(ブロック156)。解析は、設備および/または機器の残りの寿命、摩耗および裂傷、腐食、侵食、等を決定するのに有用な技術解析を含み得る。解析は加えて、より効率的な部品交換スケジュール、整備スケジュール、機器利用スケジュール、人員使用スケジュール、新たな点検スケジュール、等を提供するために使用される、オペレーションズリサーチ(OR)解析を含み得る。解析(ブロック156)が続いて報告され得(ブロック158)、クラウド24においてまたはクラウド24を使用することにより作成された報告を含み、行われた点検および解析と得られた結果とを詳述する、1つ以上の報告159を結果として生じる。報告159が続いて、たとえば、クラウド24、モバイルデバイス22、およびワークフロー共有技法のような他の技法を使用することにより、共有され得る(ブロック160)。一実施形態において、処理150は反復し得るので、処理150は、報告159の共有(ブロック160)の後、計画(ブロック152)に戻って反復し得る。本明細書に説明されるデバイス(たとえば、12、14、16、22、92、94、96)を使用した、計画、点検、解析、報告、データの共有に有用な実施形態を提供することにより、本明細書に説明される技法は、設備20、106および機器18、104のより効率的な点検および整備を可能にすることができる。実際、以下において図6に関しより詳細に説明されるように、複数のカテゴリのデータの転送が提供され得る。
図6は、NDT点検デバイス12(たとえば、デバイス14、16、92、94、96)に端を発し、モバイルデバイス22および/またはクラウド24に送信される、さまざまなデータカテゴリの流れの実施形態を描いたデータ流れ図である。上述されているように、NDT点検デバイス12は、ワイヤレスコンジット162を使用してデータを送信し得る。一実施形態において、ワイヤレスコンジット162は、WiFi(たとえば、802.11X)、セルラーコンジット(たとえば、HSPA、HSPA+、LTE、WiMax)、NFC、Bluetooth(登録商標)、PAN、等を含み得る。ワイヤレスコンジット162は、TCP/IP、UDP、SCTP、ソケットレイヤ、等といったさまざまな通信プロトコルを使用し得る。ある特定の実施形態において、ワイヤレスコンジット162は、SSL、VPNレイヤ、暗号化レイヤ、チャレンジ鍵認証レイヤ、トークン認証レイヤ、等といったセキュアレイヤを含み得る。したがって、許可データ164が、モバイルデバイス22および/またはクラウド24へのNDT点検デバイス12のペアリングまたはそうでなければ許可に適した、任意の数の許可情報またはログイン情報を提供するために使用され得る。加えて、ワイヤレスコンジット162は、たとえば、現在利用可能な帯域幅およびレイテンシーに依存して、データを動的に圧縮し得る。そして、モバイルデバイス22が、データを解凍し、表示し得る。圧縮/展開技法は、H.261、H.263、H.264、ムービングピクチャエクスパーツグループ(MPEG)、MPEG−1、MPEG−2、MPEG−3、MPEG−4、DivX、等を含み得る。
ある特定のモダリティ(たとえば、目視モダリティ)では、画像および映像が、ある特定のNDT点検デバイス12を使用することにより通信され得る。他のモダリティもまた、それらのそれぞれの画面に関連するかまたは含まれる、映像、センサデータ、等を送り得る。NDT点検デバイス12は、画像の取り込みに加えて、ある特定のデータを画像上にオーバーレイし、より多くの情報ビューを結果として生じ得る。たとえば、ボアスコープカメラ126をより精確に位置決めするようオペレータ26を誘導するために、挿入中のボアスコープ先端部の配置の近似を示すボアスコープ先端部マップが映像にオーバーレイされ得る。オーバーレイ先端部マップは、4つの象限を有するグリッドを含み得、先端部136の配置が、4つの象限の中の任意の部分または位置にドットとして表示され得る。以下においてより詳細に説明されるように、計測値オーバーレイ、メニューオーバーレイ、注釈オーバーレイ、および対象物識別オーバーレイを含む、さまざまなオーバーレイが提供され得る。映像134のような画像および映像データが続いて、一般的には画像および映像データの上に表示されるオーバーレイとともに、表示され得る。
一実施形態において、オーバーレイ、画像、および映像データは、画面135から「スクリーンスクレイピング」され、スクリーンスクレイピングデータ166として通信され得る。スクリーンスクレイピングデータ166が続いて、モバイルデバイス22、またはクラウド24に通信可能に結合された他の表示デバイス上で表示され得る。有利に、スクリーンスクレイピングデータ166は、より容易に表示され得る。実際、画素が画像または映像とオーバーレイとの両方を同一フレーム中に含み得るので、モバイルデバイス22は単に上記画素を表示するだけでよい。しかしながら、スクリーンスクレイピングデータを提供することはオーバーレイと画像の両方をマージし得るので、2つ(またはそれ以上)のデータストリームに分離することが有益であり得る。たとえば、別個のデータストリーム(たとえば、画像または映像ストリーム、オーバーレイストリーム)が、ほぼ同時に送信され得るので、より高速のデータ通信が提供される。加えて、データストリームが別個に解析され得るので、データの点検と解析が改善される。
したがって、一実施形態では、画像データとオーバーレイが、2つ以上のデータストリーム168および170に分離され得る。データストリーム168がオーバーレイのみを含み得る一方で、データストリーム170は、画像または映像を含み得る。一実施形態において、画像または映像170は、同期信号172を使用することにより、オーバーレイ168と同期させられ得る。たとえば、同期信号は、データストリーム170のフレームをオーバーレイストリーム168に含まれる1つ以上のデータアイテムとマッチさせるのに適したタイミングデータを含み得る。さらなる別の実施形態では、同期データ172のデータは使用されないことができる。その代わりに、各々のフレームまたは画像170が一意のIDを含み得、この一意のIDが、オーバーレイデータ168の1つ以上とマッチさせられ、オーバーレイデータ168と画像データ170を共に表示するために使用され得る。
オーバーレイデータ168は、先端部マップオーバーレイを含み得る。たとえば、4つの四角形を有するグリッド(たとえば、象限グリッド)が、先端部136の位置を表すドットまたは円とともに表示され得る。この先端部マップはかくして、先端部136がどのように対象物の内部に挿入されているかを表し得る。第1象限(右上)は、先端部136が対象物を軸方向に見下ろす右上の角に挿入されていることを表し得、第2象限(左上)は、先端部136が軸方向に見下ろす左上の角に挿入されていることを表し得、第3象限(左下)は、先端部136が左下の角に挿入されていることを表し得、第4象限(右下)は、先端部136が右下の角に挿入されていることを表し得る。したがって、ボアスコープオペレータ26は、先端部136の挿入をより容易に誘導することができる。
オーバーレイデータ168はまた、計測値オーバーレイを含み得る。たとえば、長さ、ポイントツーライン、深さ、面積、マルチセグメントライン、距離、斜め、およびサークルゲージのような計測値が、1つ以上のカーソルの十字(たとえば、「+」)を画像の上にオーバーレイすることをユーザに可能にさせることにより提供され得る。一実施形態では、ステレオスコピック計測を含む、および/または対象物上に影を投射することによる、対象物の内部の計測に適した、ステレオプローブ計測先端部136またはシャドープローブ計測先端部136が、提供され得る。複数のカーソルアイコン(たとえば、カーソルの十字)を画像上に置くことにより、計測値がステレオスコピック技法を使用して導出され得る。たとえば、2つのカーソルアイコンを置くことは、線形的な二地点間計測値(たとえば、長さ)を提供し得る。3つのカーソルアイコンを置くことは、点から線までの垂直距離(たとえば、ポイントツーライン)を提供し得る。4つのカーソルアイコンを置くことは、(3つのカーソルを使用することにより導出された)表面とその表面の上または下の点(4つ目のカーソル)との間の垂直距離(たとえば、深さ)を提供し得る。そして、特徴または欠陥の周りに3つ以上のカーソルを置くことは、カーソルの内部に含まれる表面の近似面積を付与し得る。3つ以上のカーソルを置くことはまた、各々のカーソルに続くマルチセグメントラインの長さを可能にし得る。
同様に、影を投射することにより、計測値が、照明と結果として生じる影とに基づいて導出され得る。したがって、計測領域にわたって影を位置決めし、そして、所望の計測値の最も離れている点のところの影の可能な限り近くに2つのカーソルを置くことは、それらの点の間の距離の導出を結果として生じ得る。計測領域にわたって影を置くこと、続いて、水平な影のほぼ中心までの所望の計測領域のエッジ(たとえば、照明されたエッジ)にカーソルを置くことは、斜め計測値を結果として生じ得、そうでなければ、プローブのビューに対し垂直でない表面上の線形的な(二地点間)計測値として定義され得る。これは、垂直な影が得られることができない場合に有用であり得る。
同様に、計測領域にわたって影を位置決めすること、続いて、高くなった表面上に1つのカーソルを置き、くぼんだ表面上に次のカーソルを置くことは、深さ、すなわち、表面とその表面の上または下の点との間の距離の導出を結果として生じ得る。計測領域の近くに影を位置決めすること、続いて、影の近くかつ欠陥の上に円(たとえば、サークルゲージとも呼ばれる、ユーザ選択可能な直径の円のカーソル)を置くことはまた、欠陥の近似直径、円周、および/または面積を導出し得る。
オーバーレイデータ168はまた、注釈データを含み得る。たとえば、テキストおよび図形(たとえば、矢印のポインタ、十字、幾何学形状)が、「表面亀裂」のようなある特定の特徴に注釈をつけるために画像の上にオーバーレイされ得る。加えて、音声が、NDT点検デバイス12によって取り込まれ、音声オーバーレイとして提供され得る。たとえば、声の注釈、点検を受けている機器の音、等が、画像または映像に音声としてオーバーレイされ得る。モバイルデバイス22および/またはクラウド24によって受信されたオーバーレイデータ168は続いて、さまざまな技法によってレンダリングされ得る。たとえば、HTML5または他のマークアップ言語が、オーバーレイデータ168を表示するために使用され得る。一実施形態において、モバイルデバイス22および/またはクラウド24は、NDTデバイス12によって提供される第2のユーザインターフェースとは異なる第1のユーザインターフェースを提供し得る。したがって、オーバーレイデータ168は、単純化され、基礎情報を送るのみであり得る。たとえば、先端部マップのケースでは、オーバーレイデータ168は単に、先端部の場所と相関的なXYデータを含み得、第1のユーザインターフェースが続いて、XYデータを使用してグリッド上に先端部を視覚表示し得る。
加えて、センサデータ174が通信され得る。たとえば、センサ130、140からのデータ、X線センサデータ、渦電流センサデータ、等が通信され得る。ある特定の実施形態では、センサデータ174は、オーバーレイデータ168と同期させられ得、たとえば、オーバーレイ先端部マップが、温度情報、圧力情報、流量情報、クリアランス、等とともに表示され得る。同様に、センサデータ174は、画像または映像データ170とともに表示され得る。
ある特定の実施形態では、力フィードバックまたは触覚フィードバックデータ176が通信され得る。力フィードバックデータ176は、たとえば、構造と接するかまたは接触するボアスコープ14の先端部136に関連するデータ、先端部136または振動センサ130によって知覚された振動、流量、温度、クリアランス、圧力に関連する力、等を含み得る。モバイルデバイス22は、たとえば、流体で満たされたマイクロチャネルを有する触感レイヤを含み得、マイクロチャネルは、力フィードバックデータ176に基づき、それに応答して、流体圧力を改め得、および/または、流体を向け直し得る。実際、本明細書に説明される技法は、センサデータ174および他のデータを触感力としてコンジット162において表すのに適したモバイルデバイス22によって発動させられる応答を提供し得る。
NDTデバイス12は加えて、位置データ178を通信し得る。たとえば、位置データ178は、機器18、104および/または設備20、106に関連するNDTデバイス12の場所を含み得る。たとえば、屋内GPS、RFID、三角測量(たとえば、WiFi三角測量、無線三角測量)のような技法が、デバイス12の位置178を決定するために使用され得る。対象物データ180は、点検されている対象物に関するデータを含み得る。たとえば、対象物データ180は、識別情報(たとえば、シリアルナンバー)、機器の状態についての観察結果、注釈(テキストの注釈、声の注釈)、等を含み得る。メニュー駆動型点検データを含むがこれに限定されない他のタイプのデータ182が使用され得、メニュー駆動型点検データは、使用される際、テキストの注釈およびメタデータとして適用され得る、予め定義された「タグ」のセットを提供する。これらのタグは、点検を受けている対象物に関連する、場所情報(たとえば、第1の段のHP圧縮機)またはインジケーション(たとえば、異物損傷)を含み得る。他のデータ182は加えて、遠隔ファイルシステムデータを含み得、遠隔ファイルシステムデータにおいて、モバイルデバイス22は、NDT点検デバイス12のメモリ25の中にあるデータのファイルおよびファイル構造物(たとえば、フォルダ、サブフォルダ)を見ることができ、操作することができる。したがって、ファイルは、モバイルデバイス22およびクラウド24に転送され、編集されて、メモリ25に再び転送され得る。データ164〜182をモバイルデバイス22およびクラウド24に通信することにより、本明細書に説明される技法は、より高速でより効率的な処理150を可能にし得る。データ164〜182をモバイルデバイス22およびクラウド24に通信することにより、本明細書に説明される技法は、より高速でより効率的な処理150を可能にし得る。実際、図7〜図10に関し以下においてより詳細に説明されるように、複数のカテゴリのデータの転送が提供され得る。
ここで図7を参照すると、図は、モバイルデバイス22、クラウド24の内部のデバイス、および/またはクラウド24に通信可能に接続されたデバイス(たとえば、コンピューティングシステム29)に端を発し、たとえば、NDT点検デバイス12(たとえば、ボアスコープ14、PTZカメラ16、渦電流探傷検査デバイス92、超音波欠陥検出器94、デジタルラジオグラフィデバイス96)へと向けられた、さまざまなデータカテゴリの流れの実施形態を示すデータ流れ図である。そのようなデータは、NDTデバイスを制御するのに適した制御データを含み得る。本明細書において説明される場合、NDT点検デバイス12の制御は、ボアスコープ14の関節部122や、PTZカメラ16をパン、チルト、およびズームするために使用される装置、といった位置決め装置の制御だけでなく、以下においてより詳細に説明されるように、NDTデバイス12におけるファイルシステム、NDTデバイス12に含まれる画面(単数または複数)、およびNDTデバイス12の動作または構成のために使用されるパラメータの設定の遠隔制御をも含む。
描かれている実施形態では、ワイヤレスコンジット200が、NDTデバイス12にデータ(たとえば、制御データ)を通信するために使用され得る。コンジット162と同様に、ワイヤレスコンジットは、ある特定の実施形態において、WiFi(たとえば、802.11X)、セルラーコンジット(たとえば、HSPA、HSPA+、LTE、WiMax)、NFC、Bluetooth(登録商標)、PAN、等を含み得る。ワイヤレスコンジット200は、TCP/IP、UDP、SCTP、ソケットレイヤ、等といったさまざまな通信プロトコルを使用し得る。ある特定の実施形態において、ワイヤレスコンジット200は、SSL、VPNレイヤ、暗号化レイヤ、チャレンジ鍵認証レイヤ、トークン認証レイヤ、等といったセキュアレイヤを含み得る。他の実施形態では、有線コンジットが、ワイヤレスコンジット162、200の代替としてまたは代わりに使用され得る、ということに注意すべきである。
許可データ202が、たとえば、NDTデバイス12へのセキュアなアクセスを可能にするために許可データ164とともに通信および使用され得る。ログイン/パスワードの組み合わせ、セキュアなMACアドレスのリストの維持、デバイス12、22、およびクラウド24の2つ以上の間のチャレンジ応答認証、セキュアなNFC認証、サードパーティ認証サーバの使用(たとえば、証明書認証、鍵交換認証を使用することによる)、等を含むがこれに限定されない、さまざまなセキュアな認証技法が使用され得る。
NDTデバイス12の構成要素を移動させるかまたはそうでなければ位置決めするのに有用な位置制御データ204が加えて通信され得る。実際、NDTデバイス12のある特定の構成要素は、たとえば、図8に関し以下においてより詳細に説明される仮想ジョイスティックを使用することにより、遠隔で物理的に移動させられ得る。NDTデバイス12にローカルに(たとえば、WiFi、Bluetooth(登録商標)で)および/またはクラウド24を介して接続されたデバイスといった、任意の数のシステム(たとえば、モバイルデバイス22、コンピューティングシステム29、ウェブベースの仮想コントローラ)が、データ204を遠隔で通信するために使用され得、NDTデバイス12の構成要素を遠隔で位置決めするために使用され得る。
有利に、さまざまな遠隔動作、トレーニング、および共同作業が可能にされ得る。たとえば、熟練したオペレータが新人のボアスコープオペレータをオンザジョブトレーニングし得る。新人のボアスコープオペレータがボアスコープ14を把持して観察し得る一方で、熟練したオペレータが、モバイルデバイス22を使用することによりボアスコープ14を制御する。熟練したオペレータが続いて、先端部の制御技法を教え、どのタイプの観察結果が腐食に相関しているかを述べ、どのように注釈をつけるかを示し得る、といった具合である。他のケースでは、熟練したオペレータが、異なる地理的場所に位置し得、VOIP、ホワイトボード、等の使用により、新人のボアスコープオペレータと共同作業し得、および/または、新人のボアスコープオペレータをトレーニングし得るか、またはモバイルデバイス22を使用して完全な点検を遠隔で行い得る。別のトレーニングの例では、新人のボアスコープオペレータが、モバイルデバイス22および/またはボアスコープ14を使用して、ウェブベースの場所のような遠隔の場所からトレーニングを受け得る。たとえば、モバイルデバイス22の画面137は、1つのビュー領域がボアスコープ14の画像または映像を示す一方で、第2のビュー領域はトレーニング映像を示し、第3の領域はワイヤレスで入手されたオンライン機器マニュアルを示すように、複数のビュー領域(たとえば、「スプリットスクリーン」)に分割され得る。実際、ボアスコープ14は、外部ソース(たとえば、モバイルデバイス22、クラウド24、コンピューティングシステム29)から、ターゲットを絞ったマルチメディア点検データを含むデータを受信し得る。
加えて、微細制御データ206が通信され得る。たとえば、ボアスコープの関節部122および/またはPTZカメラ16を移動させるのに適した「寸動」データは、位置制御データ204よりも小さなインクリメントである。より具体的には、微細制御データ206は、(約0.5mm、0.05mm〜1cm、またはそれ以上)移動させるステップと、複数(たとえば、1つ、2つ、3つ、4つ、5つ、またはそれ以上)の移動させるステップを含み得る。したがって、点検を受けているある特定の特徴をより良好に観察するために、NDTデバイス12の構成要素がより精密に配置され得る。位置制御データ204および微細制御データ206は、NDTデバイス12に通信可能に接続された仮想コントローラまたは物理コントローラによって生成され得る。
画像、映像、テキスト、および/または音声データ208が加えて通信され得る。たとえば、モバイルデバイス22、クラウド24、および/またはクラウドに結合されたデバイス(たとえば、コンピューティングシステム29)は、画像および/または映像だけでなく、さらに点検すべきある特定の特徴を、どのように点検を進めるべきかについての説明を詳述する音声とともに、ボアスコープオペレータに示すのに有用な、オーバーレイ注釈を送り得る。ある特定の実施形態において、データ208は、点検手順を詳述するのに有用なトレーニングデータであり得る。他の実施形態では、データ208は、ある特定の機器をより完璧に点検する仕方についての命令を詳述した、熟練者から送信されたデータを含み得る。さらなる別の実施形態では、データ208は、点検を命じることおよび/または点検にフォーカスすることに有用な図6からの受信データの自動解析後に、同受信データに基づいて、自動化されたエンティティ(たとえば、エキスパートシステム、ファジー論理システム、ニューラルネットワークシステム、ステートベクターマシン)によって送られる、データを含み得る。
構成データ210もまた通信され得る。たとえば、NDTデバイス12に含まれるファイルシステムの更新、NDTデバイス12の再プログラム、NDTデバイス12の動作に有用なパラメータの設定、および/またはデバイス12の電子構成要素の再構成(たとえば、フラッシュアップグレード)のために使用されるデータが、NDT点検デバイス12に遠隔で送られ得る。実際、プログラミングおよびパラメータの設定は、遠隔で行われ得るので、より容易にNDTデバイスを最新の状態に維持し、デバイスの動作を改善する技法が提供される。異なるNDTデバイス12が異なるパラメータのセットを使用し得ることが理解されるべきである。限定ではなく例として、たとえば、NDTデバイス12の動作中に使用され、NDTデバイス12を遠隔制御するのに有用ないくつかのパラメータは、データの収集を開始し、データの収集を停止し、ファイルを保存し、ファイルに名前をつけるかまたは名前を変更し、利得を調節し、時間基準を調節し、渦電流探傷検査中にリフトオフ−ゼロイング信号を補償し、相回転を調節し、パーシステンスを調節し、プローブをバランシングし、ゲートを調節し(たとえば、振幅の調節、位置の調節)、カラーパレット−ソフト利得を調節し、信号の整流を変更し、パルサーフィルタを変更し、ズームインおよびズームアウトし、パルス幅を調節し、データフィルタ(たとえば、帯域幅)を調節し、パルス繰返し周波数を調節し、スイープアングルの開始/停止を調節し、スイープアングルのインクリメントを調節し、チャネルをオン/オフにし、データをフリーズさせ、データをクリア/消去し、スパンを調節し、フィルタを調節し、スポット位置を変更し、ディスプレイのタイプを変更し(たとえば、スポットディスプレイ、時間基準ディスプレイ、ウォーターフォールディスプレイ)、および/またはチャネルビューを変更するためのパラメータを含み得る。
一実施形態では、とりわけ、仮想ネットワークコンピューティング(VNC)、リモートデスクトッププロトコル(RDP)、デスクトップ共有、といったクライアント−サーバ技法が、構成データ210を送り、NDTデバイス12の画面制御と相関するデータを受信するために使用され得る。同様に、遠隔ファイルシステム制御が、セキュアファイル転送プロトコル(ftp)、ftpオーバーセキュアシェル(SSH)、遠隔ファイル共有(RFS)、および/または(たとえば、クラウド24を使用してNDTデバイス12を通してファイルを記憶および検索する)分散ファイルシステム、といった技法を使用することにより提供され得る。ファイルが、追加され、名前を変更され、削除され、および/または更新され得る。同様に、ファイルフォルダおよび他のファイル記憶構造も同様に、名前を変更され、削除され、および/または更新され得る。
力フィードバックデータ212が加えて通信され得る。たとえば、モバイルデバイス22のタッチスクリーンへのより力強い押下は、ボアスコープの関節部122をより迅速に移動させるのに有用なデータ212ということになり得る。同様に、触覚コントローラがコンピューティングデバイス29に結合され、力フィードバックデータを提供し得る。加えられる力が大きければ大きいほど、ボアスコープ14の関節部122のような構成要素の相関的な移動がより高速になる。力フィードバックデータ212が、他のデバイス、たとえば、物理ジョイスティック131、以下において図8に関しより詳細に説明される仮想ジョイスティック、クラウド24または(たとえば、モバイルデバイス22がWAP機能を提供している場合には)モバイルデバイス22によって結合されたコントローラを含む、NDTデバイス12にワイヤレスで結合された触覚コントローラにより提供され得ることに注意すべきである。他のデータ214は、NDTデバイス12を動作させるのに有用な更新されたデジタルマニュアルまたはヘルプマニュアル、点検を受けている機器(たとえば、ターボ機械18、航空機104)に関連するマニュアル、等を含み得る。したがって、ワイヤレスコンジット200は、計測情報(カーソルのプレースメント、計測値、ステレオマッチング)を含むがこれに限定されないボアスコープ固有の情報、MDI情報(現在のステージ、資産情報、参考資料)、現在のメニュー選択、先端部の温度/圧力、先端部の向き(先端部マップ、人工水平儀)、三次元位相計測(3DPM)レンジインジケーション、テキスト注釈、等といったNDTデバイス12の情報を通信し、変更またはそうでなければ修正変更するために使用されるであろう。ソフトウェア制御アプリケーションが、以下においてより詳細に説明されるように、タッチスクリーンボタンまたはソフトキーラベルによってネイティブな図形をレンダリングし、適宜、ユーザ入力を受理し得る。固定機能または動的機能のいずれかを有するハード物理ボタンもまた、入力を受理するために使用され得る。NDTデバイス12が第2のエンティティによって使用されるのと同時に、NDTデバイス12が第1のエンティティ(または2つ以上の遠隔エンティティ)によって制御され得ることに注意すべきである。実際、本明細書に説明される制御の実施形態は、複数の遠隔パーティを含む複数のパーティにデバイスを同時に制御することを可能にさせる。
図8は、NDTデバイス12を遠隔制御するのに有用な画面ビュー220の実施形態を示す。画面ビュー220は、モバイルデバイス22(たとえば、タブレット、携帯電話、ノートブックのタッチスクリーン)に含まれ得る。画面ビュー220は、たとえば、モバイルデバイス22のメモリ25に記憶された、非一時的なコンピュータ可読命令を使用することにより、実現され得る。描かれている実施形態において、インターフェースバー222は、たとえば、タブコントロール224を「スワイプ」することにより、アクティブ化され得る。アクティブ化されると、タブコントロール224は、右矢印アイコン226から好ましいスワイプ方向を表す左矢印アイコン228へとアイコンを変更し得る。
インターフェースバー222のセクション230には、複数の仮想コントロールが表示され得る。描かれている仮想コントロールは、仮想ジョイスティック232、仮想制御パッド234、スライダ236、および先端部136の位置239を示す先端部マップ238を含む。図9に関し以下においてより詳細に説明されるように、他の仮想コントロールが提供され得る。仮想コントロールは、たとえば、モバイルデバイス22のプロセッサ23によって実行可能な、制御ソフトウェアアプリケーションの画面240上に表示され得、NDTデバイス12の1つ以上の構成要素を制御するために使用され得る。描かれている例において、手指242は、仮想ジョイスティック232を所望の場所へと移動させるために使用される。実際、仮想コントロール234、236、238のすべても同様に、画面240の任意の領域に配置され得る。仮想コントロール232、234、236、238は、リサイズ可能である。加えて、「ピンチトゥズーム」のような技法が、コントロール232、234、236、238を所望のサイズにリサイズするために使用され得る。
仮想コントロールが画面240の所望の場所に位置決めされると、画面のセクション244が、画面240のコントロールのための保存された位置およびサイズを含む、カスタマイズされたテンプレート246を記憶し得る。他のテンプレート248が、たとえば、NDTデバイス12のための製造業者、機器18、104の製造業者、機器18、104にサービス提供する店、ソフトウェアベンダー、等を含む、さまざまなソースから、クラウド24を介して、提供され得る。テンプレート248は、テンプレート248によって元々提供されていた、複数の仮想コントロールと、ある特定のプレースメントおよびサイズとを記憶し得る。ある特定の実施形態において、テンプレート(単数または複数)248は、選択されたNDTデバイス12(たとえば、14、16、92、94、96)のタイプ、特定のモデルに近接するといったNDTデバイス12の場所、および/または機器18、104のシリアルナンバーに基づいて、自動でダウンロードされ得る。実際、ある特定の機器および/または設備に固有の制御テンプレート248が、選択されたNDTデバイス12、および/または上述された機器または設備へのNDTデバイス12の近接に基づいて、自動でダウンロードされ得る。
描かれている画面240の例において、仮想ジョイスティック232は、ボアスコープ14の関節部122を制御するために使用され得る。先端部マップ238が続いて、点検を受けている機器の内部に配置された場合の先端部136の場所を示すために使用され得る。ライト128、138は、スライダ236を使用することにより制御され得、温度は、テキストコントロール250を使用することにより表示され得る。画面240の全部または画面240の一部が続いて、たとえばボアスコープカメラ126またはカメラ16を使用することにより取り込まれた、画像または映像を表示するために使用され得る。動的な再構成可能な画面240を提供することにより、本明細書に説明される技法は、より効率的で完璧な点検154を可能にすることができる。
図9を参照すると、図は、図8の画面240上に配置され得る仮想コントロールの実施形態の排他的でないリストを描いたものである。たとえば、ボタンコントロール254は、NDTデバイス12および/またはモバイルデバイス22の構成要素(ハードウェアまたはソフトウェアの構成要素)をアクティブ化または非アクティブ化するために使用され得る。ラジオボタン256は、NDTデバイス12および/またはモバイルデバイス22の構成要素を選択または選択解除するために使用され得る。テキストボックスコントロール250は、これもまた図8に示されているが、任意の数のテキストデータ(たとえば、センサデータ、注釈、注、時間/日付、パラメータ設定、等)を表示するために使用され得る。キーボードコントロール260は、データのタイピングに適した仮想キーボードを表示するために使用され得る。チェックボックスコントロール262は、NDTデバイス12および/またはモバイルデバイス22の特徴(ハードウェアまたはソフトウェアの特徴)にチェックするかまたはそのチェックを外すために使用され得る。メニューコントロール264は、MDIデータおよび他のメニュー関連データを表示するために使用され得る。ラベルコントロール266は、静的なテキストまたは図形ラベルを所望の通りに表示するために使用され得る。先端部マップコントロール268は、現在の先端部136の位置を表示するために使用され得る。
同様に、スライダコントロール236(これもまた図8に示されている)は、所望のレベルに「スライド」することにより、任意の数のハードウェアまたはソフトウェア構成要素、パラメータ、等を調節するために使用され得る。寸動コントロール272は、微細制御データ206を「寸動」させるために、すなわち、微細制御データ206に関連づけられたプロパティ(たとえば、移動させるステップ、複数の移動させるステップ)を設定するために使用され得る。ボイスコントロール274は、声による指示、声の注釈、VOIP会話、等を提供するために使用され得る。矢印コントロール276は、画像または映像の特徴を指すために使用され得る。ジョイスティック232および制御パッド234(これらもまた図8に示されている)は、ある特定の構成要素(たとえば、ボアスコープ14の関節部122)を操作して構成要素を所望の位置に配置するために使用され得る。
同様に、グルーピングコントロール278が、構成要素の移動、画面240からの構成要素の削除、等のために、構成要素を「ラッソ」またはグルーピングするために使用され得る。十字280のカーソルは、画像または映像の特徴と相関する、画面240上のある特定の場所をマーキングするまたはそうでなければ示すために使用され得る。計測構成要素282は続いて、図6に関し上述されたステレオスコピックおよび/またはシャドー計測値のような計測値を導出するために、たとえば、1つ以上の十字280を使用し得る。ズームコントロール284およびズーム解除コントロール286は、画面240のある特定の部分(または全部)に、または画面240のある特定の部分(または全部)から、ズームするために使用され得る。リサイズ可能で再位置決め可能な仮想コントロール252を提供することにより、本明細書に説明される技法は、画面240のスペースのより効率的な使用を可能にすることができ、カスタマイズ可能で動的な画面240を提供することができる。
仮想ジョイスティック232のようなコントロールのいくつかは、図10に図示された実施形態において示されているように、さまざまな向きに配置され得る。描かれている実施形態において、仮想ジョイスティック232は、4つの異なる向き300、302、304、および306において示されている。より具体的には、向き300は、「上」位置におけるジョイスティックヘッド307によりジョイスティック232をY軸に対し平行に位置決めし、向き302は、「右」位置におけるジョイスティックヘッド307によりジョイスティック232をX軸に対し平行に位置決めし、向き304は、「下」位置におけるジョイスティックヘッド307によりジョイスティック232をY軸に対し平行に位置決めし、向き306は、「左」位置におけるジョイスティックヘッド307によりジョイスティック232をX軸に対し平行に位置決めする。他の向き、たとえば、Z軸に対し平行な向き、または、XY平面、XZ平面、および/またはYZ平面に対する任意の角度が、仮想ジョイスティック232を位置決めするために選ばれ得る。加えて、仮想ジョイスティック232および/または仮想制御パッド234は、操作の感度を変えるように調節され得る。すなわち、タッチスクリーン135、137を使用する場合、所与の量だけ仮想コントロール(たとえば、232、234)を「移動させる」ためにどのレベルのタッチまたは動きが所望されるかを、ユーザが構成することができるように、ジョイスティックの感度のユーザ制御を可能にすることが有用であり得る。したがって、ジョイスティック232は、さまざまなNDTデバイス12を制御するのに有用なよりフレキシブルなインターフェースを提供することができる。
図11に描かれている実施形態のようないくつかの実施形態では、図9に示された仮想コントロールが、不透明または半透明の視覚化として表示され得る。たとえば、制御パッド234は、窩洞外形において視覚化されたある特定の特徴308により透明な本体を有するものとして示されている。不透明また半透明の視覚化を提供することにより、図9のコントロールの下に表示されている画像または映像が、より容易に見られることができ、点検154がより容易に行われることができる。
いくつかのケースでは、ジョイスティック232または制御パッド234の代わりに、またはコントロール232、234に加えて、ジェスチャ制御を使用することによる、NDTデバイス12への制御が所望され得る。したがって、画面240のスペースが最大化され得る。図12は、NDTデバイス12を制御するために使用され得る複数のジェスチャの実施形態の非包括的な例を描いている。1本の指または手指のジェスチャ390が、始点Aと終点Bとを有するベクトルABを定義するために使用され得る。ベクトルABの方向が続いて、所望の構成要素をベクトルABに沿って移動させるために使用され得、ベクトルABの長さは、移動の長さを提供し得る。ピンチズームジェスチャ392もまた使用され得る。たとえば、2本の手指を線394に沿って外側に広げることは、画面240のある特定の部分をズームし得る。同様に、2本の手指を線396に沿って内側に移動させることは、画面240のある特定の部分をズーム解除し得る。
回転ジェスチャ398もまた提供され得る。たとえば、弧400および402をなぞるように1本または2本の手指を回転させることは、NDTデバイス12の所望の構成要素を相関的に回転させ得る。マルチジェスチャ制御404もまた提供される。たとえば、3本以上の手指を使用すること、および方向406、408にスワイプすることは、視覚コントロールの異なるセットまたは異なるソフトウェアアプリケーションを含む画面、といった完全に新しい画面を表示するように、画面240をシフトし得る。力フィードバックジェスチャ410または技法が加えて使用され得る。たとえば、力412で手指を押すことは、力412に相関した所望の構成要素の移動という結果を生じ得る。力412が強ければ強いほど、移動がより高速になる。同様に、力412は、たとえば画面240をタップする際、所望の構成要素の寸動または微細制御を提供するために使用され得る。
ある特定の実施形態において、モバイルデバイス22は、加速度計、ジャイロスコープ、および、モバイルデバイス22の動きおよび/または向きを導出するのに有用な他のセンサを含み得る。したがって、図13に描かれているように、モバイルデバイス22を動かすことおよび/またはモバイルデバイス22の向きを変更することが、ボアスコープ14の関節部122のようなNDTデバイス12の特徴を制御するために使用され得る。実際、モバイルデバイス22を仮想で「駆動」することにより、NDTデバイス12を遠隔制御することが可能であり得る。X、Y、X軸133に対し垂直な移動(たとえば、軸133における並進)、X、Y、Z軸133の周りの回転、および/または、軸133の各々に対する回転移動(たとえば、ピッチ、ヨー、ロール)といった、軸133に対する6つの自由度の移動が、導出され得る。移動が、導出され得、ボアスコープ14の関節部122の移動、およびPTZカメラ16のパン/チルト/ズーム移動といった、NDTデバイス12の相関的な移動に後にマッピングされ得る。モバイルデバイス22の仮想駆動を提供することにより、たとえば、ジョイスティック232および制御パッド234を含まないことによって画面240のスペースをさらに最大化することが可能であり得る。
上述された仮想コントロールに加えて、または代わって、声による指示が提供され得る。たとえば、声が、声を有用な指示へとパーズするために、NDTデバイス12により、モバイルデバイス22により、クラウド24により、クラウド24に結合されたデバイス(たとえば、デバイス29)により、またはそれらの組み合わせにより、処理され得る。上述されたように、NDTデバイス12の構成要素(たとえば、ボアスコープ14の関節部122)を位置決めすること、画像および映像を記録すること、注釈を提供すること、パラメータを制御すること、等を含む、NDTデバイス12のすべての態様が、声を使用して制御され得る。
したがって、ユーザ28は、モバイルデバイス22でボアスコープ14からのライブ映像を見ることができ、画面をスワイプすること、または寸動方向を示すためにエッジをタップすることにより、ボアスコープ先端部136の関節を動かすことができる。ユーザ28は、加えてまたはあるいは、モバイルデバイス22でボアスコープ14からのライブ映像を見ることができ、モバイルデバイス22の画面240に仮想ジョイスティック232または制御パッド234を呼び出すことができる。仮想ジョイスティック232または制御パッド234が続いて、ボアスコープ14の関節を動かすために使用され得る。同様に、ユーザ28は、モバイル画面240でライブ映像を見ることができ、関心の領域を見つけることができ、スナップショット(静止画)を撮るようボアスコープ14に指示することができる。同様に、ユーザ28は、モバイル画面240でライブ映像を見ることができ、関心の領域を見つけることができ、スナップショット(静止画)を撮るようボアスコープ14に指示することができ、続いて、(たとえば、3DPM取り込み、シャドー取り込み、ステレオ取り込みを含む、画像上のカーソルのプレースメントの使用による)計測を行うことができる。ユーザ28はまた、モバイル画面240でライブ映像を見ることができ、続いて、以前に取り込まれた静止画および映像を見、モバイルデバイス22、クラウド24、およびクラウド24に結合されたシステム(たとえば、コンピューティングシステム29)に転送するために、ボアスコープのファイルシステムのビューに指示することができる。モバイルデバイス22は、ボアスコープのメニューのいずれかを見ることおよび/または実行することを指示し得る。実際、オペレータ26によって行われ得るすべての機能が、モバイルデバイス22および/またはコンピューティングシステム29を使用して、オペレータ28により遠隔で行われ得る。実際、画面135のようなNDTデバイス12の全画面が、モバイルデバイスの画面240において再現され得、NDTデバイスを制御するために使用され得る。
本発明の技術的効果は、NDTデバイス12の遠隔制御を可能にすることを含む。遠隔制御は、機械構成要素の位置制御、NDTデバイス12に含まれるファイルシステムの遠隔制御、NDTデバイス12の動作のために使用されるパラメータ、およびNDTデバイス12を構成するために使用されるパラメータを含む、NDTデバイス12のパラメータの遠隔制御を含み得る。さらに、NDTデバイス12は、遠隔で再プログラミングされ得る。仮想コントローラ(たとえば、ジョイスティック、パッド)、ジェスチャ制御、動き制御、および声による指示を含む、さまざまな仮想制御が、遠隔制御のために提供および使用され得る。
記載されたこの説明は、ベストモードを含む発明を開示し、また、任意のデバイスまたはシステムの製造および使用と組み込まれた任意の方法の実行とを含む発明の実現をいずれの当業者にも可能にさせるための、例を使用する。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者が想到する他の例を含み得る。そのような他の例は、それらが特許請求の範囲の文字通りの言語と異ならない構造要素を有する場合、または、それらが特許請求の範囲の文字通りの言語との実質的な差を有しない均等な構造要素を含む場合、特許請求の範囲内であるように意図される。
10 分散NDTシステム
12 NDT点検デバイス、NDTデバイス
14 ボアスコープ
15 プロセッサ
16 可搬型のパンチルトズーム(PTZ)カメラ
17 メモリ
18 ターボ機械
19 プロセッサ
20 設備または現場
21 メモリ
22 モバイルデバイス
23 プロセッサ
24 クラウド
25 メモリ
26 ボアスコープオペレータ
28 モバイルデバイスオペレータ、ユーザ
29 コンピューティングシステム、コンピューティングデバイス
30 カメラオペレータ
32 燃料ノズル
34 圧縮機
36 燃焼器
38 吸気部、吸気口
40 段
42 段
44 段
46 静翼
48 羽根
50 回転ホイール
52 シャフト
54 タービン
56 ディフューザ部、ディフューザ
60 段
62 段
64 段
66 羽根または動翼のセット
68 ローターホイール
70 ローターホイール
72 ローターホイール
74 シャフト
76 ケーシング
80 排出部、排気管
84 石油ガス機器
86 パイプまたはコンジット
88 水中
90 カーブまたは湾曲部
92 渦電流探傷検査デバイス
93 プロセッサ
94 超音波欠陥検出器
95 メモリ
96 デジタルラジオグラフィデバイス
97 プロセッサ
98 渦電流オペレータ
99 メモリ
100 超音波デバイスオペレータ
101 プロセッサ
102 ラジオグラフィオペレータ
103 メモリ
104 航空機システム、航空機
106 設備
108 パイプ
110 ひびまたは亀裂
112 鉄材料または非鉄材料
114 部品
116 構成要素
118 挿入管
120 ヘッドエンド部、ヘッドエンド
122 関節部
124 コンジット部
126 ボアスコープカメラ
128 ライト
130 振動センサ
131 物理ジョイスティック
133 XYZ軸
134 映像
135 画面
136 交換先端部、ボアスコープ先端部、ステレオプローブ計測先端部、シャドープローブ計測先端部
137 画面
138 ライト
140 センサ
142 シャフト
150 処理
152 ブロック
154 ブロック、点検
156 ブロック
158 ブロック
159 報告
160 ブロック
162 ワイヤレスコンジット
164 許可データ
166 スクリーンスクレイピングデータ
168 データストリーム、オーバーレイストリーム、オーバーレイ、オーバーレイデータ
170 データストリーム、フレームまたは画像、画像または映像データ、画像または映像、画像データ
172 同期信号、同期データ
174 センサデータ
176 力フィードバックまたは触覚フィードバックデータ
178 位置データ
180 対象物データ
182 他のタイプのデータ
200 ワイヤレスコンジット
202 許可データ
204 位置制御データ
206 微細制御データ
208 画像、映像、テキスト、および/または音声データ
210 構成データ
212 力フィードバックデータ
214 他のデータ
220 画面ビュー
222 インターフェースバー
224 タブコントロール
226 右矢印アイコン
228 左矢印アイコン
230 セクション
232 仮想ジョイスティック
234 仮想制御パッド
236 スライダ、スライダコントロール
238 先端部マップ
239 位置
240 画面
242 手指
244 セクション
246 テンプレート
248 テンプレート
250 テキストコントロール、テキストボックスコントロール
252 仮想コントロール
254 ボタンコントロール
256 ラジオボタン
260 キーボードコントロール
262 チェックボックスコントロール
264 メニューコントロール
266 ラベルコントロール
268 先端部マップコントロール
272 寸動コントロール
274 ボイスコントロール
276 矢印コントロール
278 グルーピングコントロール
280 十字
282 計測構成要素
284 ズームコントロール
286 ズーム解除コントロール
300 向き
302 向き
304 向き
306 向き
307 ジョイスティックヘッド
308 特徴
390 ジェスチャ
392 ジェスチャ
394 線
396 線
398 ジェスチャ
400 弧
402 弧
404 マルチジェスチャ制御
406 方向
408 方向
410 ジェスチャ
412 力

Claims (20)

  1. 非破壊検査(NDT)デバイス(12)を備えるシステム(10)であって、
    前記非破壊検査(NDT)デバイス(12)は、外部システムからの制御データ(204、206)を通信するように構成されたワイヤレスシステム(200)を備え、前記NDTデバイス(12)は、前記NDTデバイス(12)に含まれる構成要素を制御するために前記制御データ(204、206)を使用するように構成される、システム(10)。
  2. 前記NDTデバイス(12)は、前記構成要素に寸動信号を適用するために前記制御データ(204、206)を使用するように構成され、前記寸動信号は、前記構成要素を移動させるために使用される寸動ステップおよび複数の寸動ステップを備える、請求項1に記載のシステム(10)。
  3. 前記NDTデバイス(12)は、先端部(136)に接続された関節部(122)を有するボアスコープ(14)を備え、前記構成要素は、前記関節部(122)を備え、前記制御データ(204、206)は、前記先端部(136)を位置決めするために前記関節部(122)の移動を制御するために使用される、請求項1に記載のシステム(10)。
  4. 前記外部システムは、先端部マップ(238)において前記先端部(136)の位置(239)を表示するように構成されたディスプレイ(240)を備える、請求項2に記載のシステム(10)。
  5. 前記制御データ(204、206)は、ジェスチャを定義するために少なくとも1つの指またはスタイラスを使用するように構成されたジェスチャ制御データを備える、請求項1に記載のシステム(10)。
  6. 前記NDTデバイス(12)は、物理コントロールを備え、前記制御データ(204、206)は、前記物理コントロールを置換するために使用される、請求項1に記載のシステム(10)。
  7. 前記制御データ(204、206)は、仮想コントロールを使用することにより導出される仮想制御データを備える、請求項1に記載のシステム(10)。
  8. 前記仮想コントロールは、仮想ジョイスティック(232)、仮想制御パッド(234)、またはそれらの組み合わせを備え、前記制御データ(204、206)は、前記外部デバイスに含まれるタッチスクリーン(240)を使用することによって前記仮想ジョイスティック(232)、前記仮想制御パッド(234)、またはそれらの組み合わせを操作することにより導出される、請求項7に記載のシステム(10)。
  9. 前記外部システムは、前記ワイヤレスシステム(200)を使用することにより前記NDTデバイス(12)に通信可能に結合される、物理ジョイスティック(131)、物理制御パッド、またはそれらの組み合わせを備える、請求項1に記載のシステム(10)。
  10. 前記外部システムは、前記ワイヤレスシステム(200)を使用することにより前記NDTデバイス(12)に通信可能に結合される、モバイルデバイス(22)、コンピューティングシステム(29)、またはそれらの組み合わせを備える、請求項1に記載のシステム(10)。
  11. 前記ワイヤレスシステム(200)は、クラウドコンピューティングネットワーク(24)を使用することにより前記外部システムと通信するように構成される、請求項1に記載のシステム(10)。
  12. 実行可能な命令を備える非一時的なコンピュータ可読媒体であって、前記命令は、プロセッサによって実行された場合に、
    前記プロセッサに、非破壊検査(NDT)デバイス(12)を使用することにより制御データ(204、206)をワイヤレスで受信させ、前記NDTデバイス(12)は、前記NDTデバイス(12)に含まれる構成要素を制御するために前記制御データ(204、206)を使用するように構成される、非一時的なコンピュータ可読媒体。
  13. 前記NDTデバイス(12)を使用することにより、画像、映像、音声データ、またはそれらの組み合わせを受信するように構成された命令を備え、前記NDTデバイス(12)は、前記NDTデバイス(12)のディスプレイ構成要素(240)において前記画像または映像を表示し、前記NDTデバイス(12)のスピーカー構成要素、前記NDTデバイス(12)のイヤホンポート構成要素、またはそれらの組み合わせで、前記音声データを再生するように構成される、請求項12に記載の非一時的なコンピュータ可読媒体。
  14. 前記NDTデバイス(12)は、前記NDTデバイス(12)のパラメータ、前記NDTデバイス(12)のファイルシステム、またはそれらの組み合わせを制御するために前記制御データ(204、206)を使用するように構成される、請求項12に記載の非一時的なコンピュータ可読媒体。
  15. 仮想ジョイスティック(232)、仮想制御パッド(234)、またはそれらの組み合わせを表示し、前記仮想ジョイスティック(232)、前記仮想制御パッド(234)、または前記それらの組み合わせのタッチスクリーン操作に基づいて、前記制御データ(204、206)を送るように構成された命令を備える、請求項12に記載の非一時的なコンピュータ可読媒体。
  16. 前記制御データ(204、206)を生成するために、ジェスチャ制御、声による指示、またはそれらの組み合わせを使用するように構成された命令を備える、請求項12に記載の非一時的なコンピュータ可読媒体。
  17. 前記制御データ(204、206)を生成するために、仮想ボタン(254)、ラジオボタン(256)、テキストボックス(250)、仮想キーボード(260)、チェックボックス(262)、メニュー(264)、スライダ(236)、寸動コントロール(272)、カーソル(280)、計測コントロール(282)、ズームコントロール(284)、ズーム解除コントロール(286)、またはそれらの組み合わせを使用するように構成された命令を備える、請求項12に記載の非一時的なコンピュータ可読媒体。
  18. 非破壊検査(NDT)デバイス(12)を使用することにより制御データ(204、206)をワイヤレスで受信することを備え、前記NDTデバイス(12)は、前記NDTデバイス(12)に含まれる構成要素を制御するために前記制御データ(204、206)を使用するように構成される、方法。
  19. 前記制御データ(204、206)を送信するために前記NDTデバイス(12)に通信可能に結合されたモバイルデバイス(22)またはコンピューティングシステム(29)を使用することを備える、請求項18に記載の方法。
  20. 前記制御データ(204、206)を送信するために前記NDTデバイス(12)に通信可能に結合された物理ジョイスティック(131)または物理制御パッドを使用することを備える、請求項18に記載の方法。
JP2015550470A 2012-12-31 2013-12-17 非破壊検査システムの遠隔制御のためのシステムおよび方法 Active JP6705651B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/732,252 2012-12-31
US13/732,252 US9588515B2 (en) 2012-12-31 2012-12-31 Systems and methods for remote control of a non-destructive testing system
PCT/US2013/075595 WO2014105509A1 (en) 2012-12-31 2013-12-17 Systems and methods for remote control of a non-destructive testing system

Publications (2)

Publication Number Publication Date
JP2016506581A true JP2016506581A (ja) 2016-03-03
JP6705651B2 JP6705651B2 (ja) 2020-06-03

Family

ID=49958665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015550470A Active JP6705651B2 (ja) 2012-12-31 2013-12-17 非破壊検査システムの遠隔制御のためのシステムおよび方法

Country Status (6)

Country Link
US (1) US9588515B2 (ja)
EP (1) EP2939412B1 (ja)
JP (1) JP6705651B2 (ja)
CN (1) CN104885443A (ja)
CA (1) CA2896649A1 (ja)
WO (1) WO2014105509A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023517654A (ja) * 2020-03-09 2023-04-26 マターネット, インコーポレイテッド 無人航空機のための地上ステーション

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9581438B2 (en) * 2012-12-31 2017-02-28 General Electric Company Systems and methods for control of a non-destructive testing system
US10162796B2 (en) 2012-12-31 2018-12-25 General Electric Company Inspection systems and methods
US9954908B2 (en) 2013-01-22 2018-04-24 General Electric Company Systems and methods for collaborating in a non-destructive testing system
US9217999B2 (en) 2013-01-22 2015-12-22 General Electric Company Systems and methods for analyzing data in a non-destructive testing system
US9535809B2 (en) 2013-01-22 2017-01-03 General Electric Company Systems and methods for implementing data analysis workflows in a non-destructive testing system
US10325298B2 (en) 2013-01-22 2019-06-18 General Electric Company Systems and methods for a non-destructive testing ecosystem
US20140228976A1 (en) * 2013-02-12 2014-08-14 Nagaraja K. S. Method for user management and a power plant control system thereof for a power plant system
US9414740B2 (en) * 2013-03-14 2016-08-16 Arthrex, Inc. Endoscopic imaging system and method for adapting to remote stimulus
US20140320630A1 (en) * 2013-04-27 2014-10-30 Mit Automobile Service Company Limited Device for an automobile fuel intake catalytic system test and its test method
US9393699B1 (en) 2014-12-05 2016-07-19 Google Inc. Methods and systems for wireless control of a robotic device
US9833907B1 (en) 2015-06-22 2017-12-05 X Development Llc Proximity-based binding
US9841836B2 (en) * 2015-07-28 2017-12-12 General Electric Company Control of non-destructive testing devices
US10878556B2 (en) 2018-01-19 2020-12-29 United Technologies Corporation Interactive semi-automated borescope video analysis and damage assessment system and method of use
WO2020096891A1 (en) * 2018-11-05 2020-05-14 Medivators Inc. Self-centering mechanism
JP7231462B2 (ja) * 2019-04-05 2023-03-01 株式会社キーエンス 画像検査システム及び画像検査方法
USD938339S1 (en) 2020-03-09 2021-12-14 Matternet, Inc. Ground station
CN111912897A (zh) * 2020-08-11 2020-11-10 中国石油大学(北京) 一种管道缺陷信息获取方法、装置、设备及存储介质
JP2022159806A (ja) * 2021-04-05 2022-10-18 株式会社エビデント データ処理方法、データ処理装置、およびプログラム
EP4283967A1 (de) * 2022-05-24 2023-11-29 Rausch GmbH Bedienvorrichtung zur steuerung eines kreis- und schwenkkopfs mit einer durch den kreis- und schwenkkopf gehaltenen bilderfassungseinrichtung, system zur inspektion einer rohr- und/oder kanalleitung sowie computerimplementiertes steuerungsverfahren zur steuerung eines kreis- und schwenkkopfs
DE102022205181A1 (de) * 2022-05-24 2023-11-30 Ibak Helmut Hunger Gmbh & Co Kg Kanalrohrinspektionssystem sowie Verfahren zur Steuerung eines Kanalrohrinspektionssystems

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0957671A (ja) * 1995-08-23 1997-03-04 Canon Inc 多関節型移動体の制御装置及びその制御方法
JPH11262884A (ja) * 1998-03-19 1999-09-28 Denso Corp ロボットのマニュアル操作装置
JP2001134357A (ja) * 1991-04-08 2001-05-18 Hitachi Ltd 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム
JP2004066045A (ja) * 2002-08-02 2004-03-04 Chiyoda Kohan Co Ltd 紫外線照射装置
JP2005066045A (ja) * 2003-08-25 2005-03-17 Konica Minolta Medical & Graphic Inc 音データ処理装置及びプログラム
JP2006020462A (ja) * 2004-07-02 2006-01-19 Olympus Corp 非破壊検査装置
JP2007132769A (ja) * 2005-11-10 2007-05-31 Hitachi Ltd 水中検査装置
JP2010199832A (ja) * 2009-02-24 2010-09-09 Panasonic Electric Works Co Ltd リモートコントローラ
US20110295427A1 (en) * 2010-05-26 2011-12-01 Motzer William P Methods and systems for inspection sensor placement
US20120169610A1 (en) * 2010-12-29 2012-07-05 Microsoft Corporation Virtual controller for touch display

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317039B1 (en) 1998-10-19 2001-11-13 John A. Thomason Wireless video audio data remote system
US20020198997A1 (en) 2001-06-20 2002-12-26 Linthicum Steven Eric System and method for on board maintenance instructions and records
US6907799B2 (en) 2001-11-13 2005-06-21 Bae Systems Advanced Technologies, Inc. Apparatus and method for non-destructive inspection of large structures
US7370532B2 (en) 2002-01-11 2008-05-13 Lockheed Martin Corporation RF communications method and system for laser ultrasonic testing
US6830545B2 (en) 2002-05-13 2004-12-14 Everest Vit Tube gripper integral with controller for endoscope of borescope
US7252633B2 (en) 2002-10-18 2007-08-07 Olympus Corporation Remote controllable endoscope system
US8255170B2 (en) 2006-11-02 2012-08-28 The Boeing Company Remote nondestructive inspection systems and methods
CA2689676C (en) 2007-06-12 2013-08-20 Avn Medical Technologies, Llc Airway management
US8059882B2 (en) 2007-07-02 2011-11-15 Honeywell International Inc. Apparatus and method for capturing information during asset inspections in a processing or other environment
US8138755B2 (en) 2008-04-18 2012-03-20 Olympus Ndt Enhanced wireless eddy current probe for a non-destructive inspection system
US8108168B2 (en) 2009-03-12 2012-01-31 Etegent Technologies, Ltd. Managing non-destructive evaluation data
KR100997194B1 (ko) 2009-08-18 2010-11-30 주식회사 이턴 간접적으로 수술감을 제공하는 원격 수술 로봇 시스템 및 그 제어 방법
US8798940B2 (en) 2010-04-16 2014-08-05 Olympus Ndt Inc. Rotating array probe system for non-destructive testing
US8319506B2 (en) * 2010-06-28 2012-11-27 General Electric Company Detector state monitoring system and a portable detector including same
US8732823B2 (en) 2010-11-18 2014-05-20 Olympus Corporation Nondestructive testing system
CA2801661A1 (en) * 2012-01-10 2013-07-10 Mathieu Audet Method of associating attributes and systems and apparatus thereof
US9152304B2 (en) * 2012-12-31 2015-10-06 General Electric Company Systems and methods for virtual control of a non-destructive testing system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134357A (ja) * 1991-04-08 2001-05-18 Hitachi Ltd 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム
JPH0957671A (ja) * 1995-08-23 1997-03-04 Canon Inc 多関節型移動体の制御装置及びその制御方法
JPH11262884A (ja) * 1998-03-19 1999-09-28 Denso Corp ロボットのマニュアル操作装置
JP2004066045A (ja) * 2002-08-02 2004-03-04 Chiyoda Kohan Co Ltd 紫外線照射装置
JP2005066045A (ja) * 2003-08-25 2005-03-17 Konica Minolta Medical & Graphic Inc 音データ処理装置及びプログラム
JP2006020462A (ja) * 2004-07-02 2006-01-19 Olympus Corp 非破壊検査装置
JP2007132769A (ja) * 2005-11-10 2007-05-31 Hitachi Ltd 水中検査装置
JP2010199832A (ja) * 2009-02-24 2010-09-09 Panasonic Electric Works Co Ltd リモートコントローラ
US20110295427A1 (en) * 2010-05-26 2011-12-01 Motzer William P Methods and systems for inspection sensor placement
US20120169610A1 (en) * 2010-12-29 2012-07-05 Microsoft Corporation Virtual controller for touch display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023517654A (ja) * 2020-03-09 2023-04-26 マターネット, インコーポレイテッド 無人航空機のための地上ステーション
JP7455430B2 (ja) 2020-03-09 2024-03-26 マターネット, インコーポレイテッド 無人航空機のための地上ステーション

Also Published As

Publication number Publication date
US9588515B2 (en) 2017-03-07
EP2939412B1 (en) 2019-05-15
US20140188435A1 (en) 2014-07-03
EP2939412A1 (en) 2015-11-04
JP6705651B2 (ja) 2020-06-03
WO2014105509A1 (en) 2014-07-03
CA2896649A1 (en) 2014-07-03
CN104885443A (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
JP6307095B2 (ja) 非破壊検査システムの制御のためのシステムおよび方法
US9489124B2 (en) Systems and methods for virtual control of a non-destructive testing system
JP6705651B2 (ja) 非破壊検査システムの遠隔制御のためのシステムおよび方法
US11010448B2 (en) Inspection systems and methods
US9538677B2 (en) System for mobile device cradle and tube gripper of non-destructive testing inspection device
JP6371308B2 (ja) 非破壊試験システムのための基準速度測定
JP2016513302A (ja) 自己主導された点検計画

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180621

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180824

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200514

R150 Certificate of patent or registration of utility model

Ref document number: 6705651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250